MongoDB副本集迁移实操案例详解

 更新时间:2023年11月29日 09:52:34   作者:爱可生开源社区  
文中详细阐述了通过全量 + 增量 Oplog 的迁移方式,完成一套副本集 MongoDB 迁移的全过程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

背景介绍

客户要将生产环境上一套副本集架构的 MongoDB 进行迁移,数据量 240GB 左右。经过测试,全量备份耗时 3.5 小时,恢复耗时 4.5小时。

为了减少割接时间,采取全量 + 增量 Oplog 的迁移方式。提前一天进行全备,割接当天只需备份增量的 Oplog 恢复即可,可大幅减少割接窗口。

实操过程

查看 Oplog 信息

检查并评估生产环境 Oplog 的产生信息,以防全量和增量备份期间产生的 Oplog 被覆盖掉。

mongo> db.getReplicationInfo()
{
"logSizeMB" : 20480,
"usedMB" : 20374.38,
"timeDiff" : 7074665,
"timeDiffHours" : 1965.18,
"tFirst" : "Fri Feb 24 2023 18:36:32 GMT+0800 (CST)",
"tLast" : "Wed May 17 2023 15:47:37 GMT+0800 (CST)",
"now" : "Wed May 17 2023 15:47:43 GMT+0800 (CST)"
}

可以看出在 1965.18h 的运行中,产生了 10374.38MB 大小的 Oplog。

全量备份

全量备份并拷贝备份期间产生的 Oplog 用来增量还原。

#!/bin/bash

user=admin
password=123
host=127.0.0.1
port=27017
outputdir=/data/mongobak_`date +%F`
authenticationdatabase=admin
start_time=`date +%s`
mongodump -u$user --host $host --port $port -p$password --authenticationDatabase $authenticationdatabase --oplog --gzip -o $outputdir
stop_time=`date +%s`
duration=$((stop_time-start_time)) 
echo "Spend times: $duration seconds"

全量恢复

利用全备进行数据恢复。

#!/bin/bash
start_time=`date +%s`
user=admin
password=123
host=127.0.0.1
port=27017
authenticationdatabase=admin
mongorestore -u$user --host $host --port $port -p$password --authenticationDatabase $authenticationdatabase --oplogReplay --gzip /data/mongobak_2023-07-17
stop_time=`date +%s`
duration=$((stop_time-start_time)) 
echo "Spend times: $duration seconds"

提取增量备份开始的时间点

全备备份出来的 Oplog,可以利用 bsondump 工具将 bson 转换为 json 格式,查看备份时间产生的最后的 Oplog 的时间戳,根据此时间戳来进行增量的 Oplog 备份。

shell> cd /data/ mongobak_2023-07-17
shell> mv oplog.bson oplog.bson.gz
shell> gzip -d oplog.bson.gz
shell> bsondump --pretty oplog.bson > op.json

查看 op.json 文件,找出增量备份开始的时间点。

"ts": {
          "$timestamp": {
                      "t": 1686669429,
                      "i": 4
          }
},

增量备份

备份 Oplog(时间戳大于上一次全备结束时的时间)。

#!/bin/bash
user=admin
password=123
host=127.0.0.1
port=27017
outputdir=/tmp/oplog_`date +%F`
authenticationdatabase=admin
start_time=`date +%s`
mongodump -u$user --host $host --port $port -p$password --authenticationDatabase $authenticationdatabase -d local -c oplog.rs -q '{"ts":{"$gt": {"$timestamp":{"t":1686669429, "i":4}}}}' -o $outputdir
stop_time=`date +%s`
duration=$((stop_time-start_time)) 
echo "Spend times: $duration seconds"

增量恢复

#!/bin/bash
user=admin
password=123
host=127.0.0.1
port=27017
authenticationdatabase=admin
start_time=`date +%s`
mongorestore -u$user --host $host --port $port -p$password --authenticationDatabase $authenticationdatabase --oplogReplay  /data/oplog_2023-07-17
stop_time=`date +%s`
duration=$((stop_time-start_time)) 
echo "Spend times: $duration seconds"

增量迁移后业务文档数量对比

分别在源端和目标端运行脚本,检查迁移完成后业务数据库下文档数量是否一致。

#!/bin/bash
user=admin
password=123
host=127.0.0.1
port=27017
authenticationdatabase=admin
mpid=`pidof mongod`
tooldir=`dirname $(ls -l /proc/$mpid/exe | awk '{print $11}')`
database=$(echo "show dbs" | $tooldir/mongo -uadmin --host $host --port $port -p$password --authenticationDatabase $authenticationdatabase  --quiet |awk '{print $1}'| sed -E '/^admin$|^config$|^local$/d')
for db in $database
do
  collections=$(echo -e "use $db\n show collections" | $tooldir/mongo -u $user --host $host --port $port -p $password  $authenticationdatabase --quiet | sed '/switched to db/d')
  for table in $collections
  do
    count=$(echo -e "use $db\n db.$table.count()" | $tooldir/mongo -u $user --host $host --port $port -p $password  --authenticationDatabase $authenticationdatabase  --quiet | sed '/switched to db/d')
    echo "$db.$table have $count documents"
  done
done

源端运行结果:

目标端运行结果:

注意事项

  • 使用 secondary 备份时,在割接停止业务后,增量备份前,首先检查下从库与主库的延时,确保主从没有延时,防止备份出的数据和主库不一致。
  • 如果全备时指定了 gzip,在提取时间戳时要重命名 oplog.bson 为 oplog.bson.gz,然后解压,再利用 bsondump 工具解析 bson 文件,否则会报错。

以上就是MongoDB 副本集迁移实操案例的详细内容,更多关于MongoDB 副本集迁移实操案例的资料请关注脚本之家其它相关文章!

相关文章

  • Mongodb亿级数据性能测试和压测

    Mongodb亿级数据性能测试和压测

    MongoDB是一个开源的、基于分布式文件存储的NoSQL数据库系统,它使用文档存储方式,数据结构由键值(key-value)对组成,本文给大家介绍了Mongodb亿级数据性能测试和压测,需要的朋友可以参考下
    2024-06-06
  • Mongodb 启动命令mongod参数说明(中文翻译)

    Mongodb 启动命令mongod参数说明(中文翻译)

    这篇文章主要介绍了Mongodb 启动命令mongod参数说明(中文翻译)的相关资料,需要的朋友可以参考下
    2016-10-10
  • 如何利用MongoDB存储Docker日志详解

    如何利用MongoDB存储Docker日志详解

    这篇文章主要给大家介绍了关于如何利用MongoDB存储Docker日志的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友没呢下面随着小编来一起学习学习吧
    2018-09-09
  • MongoDB在Linux系统中的安装与配置指南

    MongoDB在Linux系统中的安装与配置指南

    在这篇文章中,我们将介绍如何在CentOS 7服务器上安装MongoDB,并通过DataX将数据从MongoDB迁移到MySQL数据库,这将包括MongoDB的安装、配置、数据准备以及使用DataX进行数据迁移的详细步骤
    2024-09-09
  • Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍

    Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍

    这篇文章主要介绍了Mongodb3.0.5 副本集搭建及spring和java连接副本集配置详细介绍的相关资料,这里对安装步骤进行了详解,需要的朋友可以参考下
    2016-12-12
  • java操作mongoDB查询的实例详解

    java操作mongoDB查询的实例详解

    这篇文章主要介绍了java操作mongo查询的实例详解的相关资料,希望通过本文能帮助到大家,需要的朋友可以参考下
    2017-09-09
  • MySQL和MongoDB设计实例对比分析

    MySQL和MongoDB设计实例对比分析

    MySQL是关系型数据库中的明星,MongoDB是文档型数据库中的翘楚。
    2011-07-07
  • MongoDB的基础查询和索引操作方法总结

    MongoDB的基础查询和索引操作方法总结

    MongoDB使用JavaScript作为shell脚本,可以代替关系型数据库中的SQL语句完成查询操作,包括索引下的查询操作,这里我们就来整理MongoDB的基础查询和索引操作方法总结:
    2016-07-07
  • mongodb出现id重复问题的简单解决办法

    mongodb出现id重复问题的简单解决办法

    近期在使用mongodb的过程中遇到一次表中有_id字段重复的记录(相同_id的有两条),着实吓了一大跳,这篇文章主要给大家介绍了关于mongodb出现id重复问题的简单解决办法,需要的朋友可以参考下
    2021-12-12
  • Windows系统下安装MongoDB与Robomongo环境详解

    Windows系统下安装MongoDB与Robomongo环境详解

    这篇文章主要给大家介绍了在Windows系统下安装MongoDB与Robomongo环境的相关资料,文中介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-04-04

最新评论