MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

1.复制集的作用

? 1.1 MongoDB复制集的主要意义在于实现服务高可用

? 1.2 它的实现依赖于两个方面的功能:

?? · 数据写入时将数据迅速复制到另一个独立节点上
?? · 在接收写入的节点发生故障时自动选举出一个新的替代节点

? 1.3 在实现高可用的同时,复制集实现了其他几个附加作用:

?? · 数据分发:将数据从一个区域复制到另一个区域,减少另一个区域的读延迟
?? · 读写分离:不同类型的压力分别在不同的节点上执行
?? · 异地容灾:在数据中心故障时快速切换到异地

2.典型复制集结构

? 2.1 一个典型的复制集由3个以上具有投票权的节点组成,包括:

?? · 一个主节点(PRIMARY):接受写入操作和选举时投票
?? · 两个(或多个)从节点(SECONDARY):复制主节点上的新数据和选举时投票
?? · 不推荐使用Arbiter(投票节点,即不做数据存储只用来投票)
MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

3. 数据是如何复制的?

  • 当一个修改操作,无论是插入、更新或删除,到达主节点时,它对数据的操作将被记录下来(经过一些必要的转换),这些记录成为oplog
  • 从节点通过在主节点上打开一个tailable游标不断获取新进入主节点的oplog,并在自己的数据上回放,以此保持与主节点数据一致
    MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

4. 通过选举完成故障恢复

  • 具有投票权的节点之间两两互相发送心跳(默认2s)
  • 当5次心跳未收到时判断为节点失联
  • 如果失联的是主节点,从节点会发起选举,选出新的主节点
  • 如果失联的是从节点则不会产生新的选举
  • 选举基于 RAFT一致性算法 实现,选举成功的必要条件是大多数投票节点存活
  • 复制集最多可以有50个节点,但具有投票权的节点最多7个
    MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

? 影响选举的因素

  • 整个集群必须有大多数节点存活
  • 被选举为主节点的节点必须:
    • 能够与多数节点建立连接
    • 具有较新的oplog
    • 具有较高的优先级(如果有配置)

? 复制集节点具有以下常见选项

  • 是否具有投票权(v 参数):有则参与投票
  • 优先级(priority 参数):优先级越高的节点越优先成为主节点。优先级为0的节点无法成为主节点
  • 隐藏(hidden 参数):复制数据,但对应用不可见。隐藏节点可以具有投票权,但优先级必须为0
  • 延迟(slaveDelay 参数):复制n秒之前的数据,保持与主节点的时间差

? 复制集注意事项

  • 关于硬件
    • 因为正常的复制集节点都有可能成为主节点,它们的地位是一样的,因此硬件配置上必须一致
    • 为了保证节点不会同时宕机,各个节点使用的硬件必须具有独立性
  • 关于软件
    • 复制集各节点软件版本必须一致,防止出现不可预知的问题
  • 增加节点不会增加系统写性能 !

5. 在一台机器上运行3个实例来搭建一个简单的复制集

? 5.1 通过实验将学会:

?? 如何启动一个MongoDB实例
?? 如何将3个MongoDB实例搭建成一个复制集
?? 如何对复制集运行参数做一些常规调整

? 5.2 创建数据目录

mkdir -p /data/db{1,2,3}

? 5.3 准备配置文件并启动实例

?? 复制集的每个MongoDB进程应该位于不同的服务器。我们现在在一台机器上运行3个进程,因此要为他们各自配置:

  • 不同的端口(示例将使用28017、28019、28019)
  • 不同的数据目录
    • /data/db1
    • /data/db2
    • /data/db3
  • 不同的日志文件路径
    • /data/db1/mongod.log
    • /data/db2/mongod.log
    • /data/db3/mongod.log
  • 三个配置文件:
  • /data/db1/mongod.conf
systemLog:
 destination: file
 path: /data/db1/mongod.log   # log path
 logAppend: true
storage:
 dbPath: /data/db1    # data directory
net:
 bindIp: 0.0.0.0
 port: 28017
replication:
 replSetName: rs0
processManagement:
 fork: true
  • /data/db2/mongod.conf
systemLog:
 destination: file
 path: /data/db2/mongod.log   # log path
 logAppend: true
storage:
 dbPath: /data/db2    # data directory
net:
 bindIp: 0.0.0.0
 port: 28018
replication:
 replSetName: rs0
processManagement:
 fork: true

  • /data/db3/mongod.conf
systemLog:
 destination: file
 path: /data/db3/mongod.log   # log path
 logAppend: true
storage:
 dbPath: /data/db3    # data directory
net:
 bindIp: 0.0.0.0
 port: 28019
replication:
 replSetName: rs0
processManagement:
 fork: true
  • 使用如下命令启动MongoDB实例(成功启动终端会显示success)
./mongod -f /data/db1/mongod.conf 
./mongod -f /data/db2/mongod.conf 
./mongod -f /data/db3/mongod.conf 
  • 使用 ps -ef | grep mongod来确认已经正确运行
MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

? 5.4 配置复制集

  • 方法1(此方式需要hostname能被解析,输入hostname -f可以查看)
#假定使用28017做为主节点

./mongo --port 28017   # 进入mongodb的终端
> rs.initiate()

>rs.add("localhost:28018")  # 如果localhost不行可改为本机ip
>rs.add("localhost:28019")

  • 方法2
#假定使用28017做为主节点

./mongo --port 28017   # 进入mongodb的终端
 # 如果localhost不行可改为本机ip
> rs.initiate({
  _id:"rs0",
  members:[{
   _id:0,
   host:"localhost:28017"
  },{
   _id:1,
   host:"localhost:28018"
  },{
   _id:2,
   host:"localhost:28019"
  }]
})
  • 使用 rs.status() 可以查看复制集状态

? 5.5 验证复制集

  • MongoDB主节点进行写入
# mongo localhost:28017
> db.test.insert({a:1})
> db.test.insert({a:2})
  • MongoDB从节点进行读取
# mongo localhost:28018
> rs.salvaOk()
> db.test.find()

可以看到MongoDB几乎是没有延迟的,数据就可以同步到子节点上,建议在生产环境上一定要使用MongoDB的复制集

MongoDB学习4:MongoDB复制集机制和原理,搭建复制集

上一篇:MySQL & Canal流程&架构梳理


下一篇:SQL语言之DDL(操作数据库和表结构)