Mongodb 删除集合数据后释放磁盘空间的操作步骤
更新时间：2023年11月20日 10:35:54 作者：Ethanchen's notes
Mongodb当集合数据占用比较多,对其进行清理后,集合存储空间下降,但磁盘空间并没释放,对于具有活动更新的集合来说,有一些可重用的空间是正常的,过多的可重用空间通常是删除大量数据的结果,这篇文章主要介绍了Mongodb 删除集合数据后如何释放磁盘空间,需要的朋友可以参考下
删除集合
在Mongodb当集合数据占用比较多，对其进行清理后，集合存储空间下降，但磁盘空间并没释放，对于具有活动更新的集合来说，有一些可重用的空间是正常的。过多的可重用空间通常是删除大量数据的结果。
如果您有许多大量集合需要压缩（或者想要尽可能的释放磁盘空间），请重新同步副本集的次要成员
如果compact最终没有释放足够的空间， 通过初始同步将通过复制另一个成员的数据来重建所有数据文件。
compact 如果您确实决定在生产环境中运行，可以考虑将通过以下方式最大限度地减少影响：
- 副本集部署（理想情况下至少三个数据承载成员，没有仲裁者）
- compact 一次在一台辅助设备上运行操作。
- 配置 secondary 为 hidden 在操作期间，竞争流量将是基本复制。
- 重新分配主节点。
- 压缩旧的主数据库。
集合数据如下：
local_rs1:PRIMARY> db.version()
4.4.15
# Primary
local_rs1:PRIMARY> db.myCompact.count()
500000
local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20520960
# 11747328 + 8773632 = 20520960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw------- 1 mongodb mongodb 11747328 11月 17 10:53 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb 8773632 11月 17 10:53 index-9--3518756157035530607.wt
# -------------------------------------
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20492288
# 11661312 + 8830976 = 20492288
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 11661312 11月 17 10:53 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb 8830976 11月 17 10:53 index-9-7679634562768091767.wt
# -------------------------------------
# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20533248
# 11702272 + 8830976 = 20533248
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -lt | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 10:53 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb 8830976 11月 17 10:53 index-9-265063963681791421.wt删除集合所有数据，执行 db.collection.deleteMany() 方法。 Compact 操作阻塞行为是特定于版本的。
| 版本 | 阻止行为 |
|---|---|
| 4.4 之前 | compact 阻止所有读写活动。 |
| 4.4 | compact 阻止这些操作： db.collection.drop() db.collection.createIndex() db.collection.createIndexes() db.collection.dropIndex() db.collection.dropIndexes() collMod 所有其他操作都是允许的。 |
| 4.4.17后 | compact 阻止这些操作： db.collection.drop() db.collection.createIndex() db.collection.createIndexes() db.collection.dropIndex() db.collection.dropIndexes() collMod 所有其他操作都是允许的。 锁定顺序发生变化。 |
compact 尝试减少集合中数据和索引所需的存储空间，向操作系统释放不需要的磁盘空间。此操作的有效性取决于工作负载，并且无法恢复任何磁盘空间。如果您已从集合中删除大量数据并且不打算替换它，则此命令非常有用。
测试删除 60% （300000/500000）集合数据，如下：
# PRIMARY
local_rs1:PRIMARY> db.myCompact.find().limit(2)
{ "_id" : ObjectId("6556d1a2ff3d41b00910281b"), "uid" : 0, "username" : "compact0", "create_at" : ISODate("2023-11-17T02:36:18.883Z") }
{ "_id" : ObjectId("6556d1a2ff3d41b00910281c"), "uid" : 1, "username" : "compact1", "create_at" : ISODate("2023-11-17T02:36:18.894Z") }
local_rs1:PRIMARY> db.myCompact.deleteMany({ "uid" : { $lt: 300000 } })
{ "acknowledged" : true, "deletedCount" : 300000 }
local_rs1:PRIMARY> db.myCompact.count()
200000以上清理数据后，磁盘空间和集合存储大小并没有减小。 如下
# PRIMARY
local_rs1:PRIMARY> db.myCompact.count()
200000
local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw------- 1 mongodb mongodb 15519744 11月 17 11:47 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb 12713984 11月 17 11:47 index-9--3518756157035530607.wt
# ----------------------------
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 16674816 11月 17 13:09 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb 13848576 11月 17 13:09 index-9-7679634562768091767.wt
# ----------------------------
# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20516864
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -tl | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 13:14 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb 8814592 11月 17 13:14 index-9-265063963681791421.wtCompact 集合
对于副本集， 您可以在存储副本集中的集合和索引上使用 compact ，但是有一些重要的注意事项：
主节点不会将compact命令复制到辅助节点。
您应该尽可能在辅助节点上运行compact。如果您无法在辅助节点上运行compact，请使用 force 选项。
从 MongoDB 4.4.17 开始：
compact 运行时辅助节点可以进行复制。
允许读取。
压缩辅助节点。compact 在辅助节点之一上运行。完成后 compact ，依次在剩余的每个辅助节点上重复该操作。
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392
# 释放空间 23064576 = 22 MB 左右
local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
"bytesFreed" : 23064576,
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1700198786, 1),
"signature" : {
"hash" : BinData(0,"o2RnaYFH8J1pgLaIx2T+iLCkPdY="),
"keyId" : NumberLong("7236938018798436354")
}
},
"operationTime" : Timestamp(1700198786, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
7458816
# 4382720 + 3076096 = 7458816
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 4382720 11月 17 13:26 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb 3076096 11月 17 13:26 index-9-7679634562768091767.wt重新分配主节点。要让当前的初选下台并触发选举，请使用该 rs.stepDown()方法。要提名特定辅助节点，请调整成员优先级。
local_rs1:PRIMARY> rs.status()
{
"set" : "local_rs1",
"date" : ISODate("2023-11-17T05:41:07.931Z"),
........
"members" : [
{
"_id" : 1,
"name" : "192.168.88.11:27018",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
......
},
{
"_id" : 3,
"name" : "192.168.88.11:27017",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
......
},
{
"_id" : 4,
"name" : "192.168.88.11:27019",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
......
}
],
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1700199666, 1),
"signature" : {
"hash" : BinData(0,"a5utef8Cjsp20W8DWtvzsmMn9Wo="),
"keyId" : NumberLong("7236938018798436354")
}
},
"operationTime" : Timestamp(1700199666, 1)
}
local_rs1:PRIMARY> rs.stepDown()
{
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1700199726, 1),
"signature" : {
"hash" : BinData(0,"qpsh46gaM9GKg8RMV799tA/o8uw="),
"keyId" : NumberLong("7236938018798436354")
}
},
"operationTime" : Timestamp(1700199726, 1)
}压缩旧的主数据库。下台后，旧的主节点将成为辅助节点。compact 在旧主节点上运行。
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728
local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
"bytesFreed" : 18976768,
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1700199986, 1),
"signature" : {
"hash" : BinData(0,"D1zMSrcV9n2Deh/2u1Edw4s2pDk="),
"keyId" : NumberLong("7236938018798436354")
}
},
"operationTime" : Timestamp(1700199986, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
9256960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw------- 1 mongodb mongodb 5341184 11月 17 13:46 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb 3915776 11月 17 13:46 index-9--3518756157035530607.wt分片集群
对于分片集群 ，compact 仅适用于mongod实例。在分片环境中，运行 compact 分别在每个分片上作为维护操作。
注意： 你不能针对一个mongos实例 发出 compact
到此这篇关于Mongodb 删除集合数据后如何释放磁盘空间的文章就介绍到这了,更多相关Mongodb释放磁盘空间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
MongoDB.NET 2.2.4驱动版本对Mongodb3.3数据库中GridFS增删改查
这篇文章主要为大家详细介绍了使用MongoDB.NET 2.2.4驱动版本对Mongodb3.3数据库中GridFS增删改查,具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-11-11
我们设计关系数据库Schema的都有一套完整的方案，而NoSQL却没有这些。半年前笔者读了本《SQL反模式》的书，觉得非常好。就开始留意，对于NoSQL是否也有反模式？好的反模式可以在我们设计Schema告诉哪里是陷阱和悬崖。2014-08-08
这篇文章主要介绍了MongoDB Windows安装服务方法与注意事项的相关资料,MongoDB作为一个基于分布式文件存储的数据库，近两年大受追捧。数据灵活的存取方式和高效的处理使得它广泛用于互联网应用，需要的朋友可以参考下2016-12-12
MongoDB错误32-bit servers don''t have journaling enabled by de
这篇文章主要介绍了MongoDB错误32-bit servers don't have journaling enabled by default解决方法,需要的朋友可以参考下2014-10-10
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的2011-10-10
分片集群中良好的查询性能都依赖于正确选择分片键。下面这篇文章主要给大家介绍了关于MongoDB分片键的选择和案例的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧2018-05-05
MongoDB是领先的NoSQL数据库之一,以其快速的性能,灵活的模式,可伸缩性和强大的索引功能而闻名,下面这篇文章主要给大家介绍了关于MongoDB中查询(find操作符)的相关资料,需要的朋友可以参考下2023-04-04
这篇文章主要给大家介绍了关于一次Mongodb中admin数据库导致的事故的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2018-03-03
今天小编就为大家分享一篇关于Mongodb读数据操作，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-01-01
mongodb是nosql里面最像关系型数据库的数据库。单表操作，基本上可以和关系型数据库差不多。mongodb比较易学，易用，分几期记录一下，学习和使用mongodb过程。2014-07-07
最新评论