Linux搭建MongoDB分片集群

2023-01-02 18:51:13

一、介绍

1、基本介绍

MongoDB部署架构分为单机、复制集群、分片集群。单机适合学习用，分片集群比较复杂且运维难度高。

分片集群是把大型数据集进行拆分，分片到多个MongoDB节点上，这些节点组成了分片集群。分片结构如下：

2、词汇表

Shard：分片，存储集群中的一部分数据。可以是单个mongo服务器，也可以是复制集。生产环境推荐使用复制集。

Config Server：配置服务器。存储集群的元数据，比如集群的分片信息。mongos 启动时会从配置服务器读取元数据到内存中。配置服务器必须是复制集。

Routers：mongos 路由。负责接收客户端请求，并将请求路由到集群内部对应的分片上。

Shard Key：分片键。对于每个需要分片的 collection，通过指定分片键进行分片。分片键必须是索引字段或者是组合索引的左前缀。

Range分区：范围分区算法。分片键必须是数字或者字符串类型，根据分片键将数据分成不同的 chunk，每个 chunk 互相临近但不重叠。

Hash分区：哈希分区算法。计算分片键的hash值，并以此作为 Range 分区。这种方式可以将document更加随机的分散到不同 chunk 上

二、环境准备

虚拟机三台(Centos7.6)，分别安装好MongoDB。

分片集群中，一共10个节点：2个分片(每个分片是3个复制集)， 1个config(3个复制集)，1个路由。

服务网格信息如下：

角色	IP	Node
分片0复制集	192.168.20.100:27017、192.168.20.101:27017、192.168.20.102:27017	1主1从1仲裁
分片1复制集	192.168.20.100:27018、192.168.20.101:27018、192.168.20.102:27018	1主1从1仲裁
config复制集	192.168.20.100:28018、192.168.20.101:28018、192.168.20.102:28018	1主2从
mongos节点	192.168.20.100:29019

三、搭建 Shard

1、在100/101/102机器上，创建目录：

mkdir -p /usr/local/mongo/share/data/db      #分片0的数据保存路径
mkdir -p /usr/local/mongo/share/data/db2    #分片1的数据保存路径
mkdir -p /usr/local/mongo/share/conf
mkdir -p /usr/local/mongo/share/pids
mkdir -p /usr/local/mongo/share/logs

2、在100/101/102机器上，/usr/local/mongo/share/conf 目录下，添加分片0复制集的配置文件：mongo.conf ：

#数据保存路径
dbpath=/usr/local/mongo/share/data/db/
#日志保存路径
logpath=/usr/local/mongo/share/logs/mongo.log
#进程描述文件
pidfilepath=/usr/local/mongo/share/pids/mongo.pid
#日志追加写入
logappend=true
#复制集名称
replSet=rs0
bind_ip_all=true
#mongo端口
port=27017
#操作日志容量
oplogSize=10000
#开启子进程
fork=true
#代表当前节点是一个shard节点
shardsvr=true

3、在100/101/102机器上，/usr/local/mongo/share/conf 目录下，添加分片1复制集的配置文件：mongo2.conf ：

#数据保存路径
dbpath=/usr/local/mongo/share/data/db2/
#日志保存路径
logpath=/usr/local/mongo/share/logs/mongo2.log
#进程描述文件
pidfilepath=/usr/local/mongo/share/pids/mongo2.pid
#日志追加写入
logappend=true
#复制集名称
replSet=rs1
bind_ip_all=true
#mongo端口
port=27018
#操作日志容量
oplogSize=10000
#开启子进程
fork=true
#代表当前节点是一个shard节点
shardsvr=true

4、在100/101/102机器上，分别启动 mongod 服务：

#分片0(rs0)
/usr/local/mongo/bin/mongod -f /usr/local/mongo/share/conf/mongo.conf
#分片1(rs1)
/usr/local/mongo/bin/mongod -f /usr/local/mongo/share/conf/mongo2.conf

5、登录复制集：

#分片0(rs0)
/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 27017
#分片1(rs1)
/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 27018

6、初始化复制集：

#分片0(rs0)
rs.initiate({
    _id:"rs0",
    members:[
        {_id:0, host:"192.168.20.100:27017", priority:3},
        {_id:1, host:"192.168.20.101:27017", priority:2},
        {_id:2, host:"192.168.20.102:27017", arbiterOnly:true}
    ]
});
#分片1(rs1)
rs.initiate({
    _id:"rs1",
    members:[
        {_id:0, host:"192.168.20.100:27018", priority:3},
        {_id:1, host:"192.168.20.101:27018", priority:2},
        {_id:2, host:"192.168.20.102:27018", arbiterOnly:true}
    ]
});

四、搭建Config Server

1、在100/101/102机器上，创建目录：

mkdir -p /usr/local/mongo/config-server/data/db
mkdir -p /usr/local/mongo/config-server/conf
mkdir -p /usr/local/mongo/config-server/pids
mkdir -p /usr/local/mongo/config-server/logs

2、在100/101/102机器上，/usr/local/mongo/config-server/conf 目录下，添加复制集的配置文件：mongo-cfg.conf

dbpath=/usr/local/mongo/config-server/data/db
logpath=/usr/local/mongo/config-server/logs/mongo.log
pidfilepath=/usr/local/mongo/config-server/pids/mongo.pid
logappend=true
replSet=rs_conf
bind_ip_all=true
port=28018
oplogSize=10000
fork=true
#代表当前节点是一个config节点
configsvr=true

3、在100/101/102机器上，分别启动配置复制集：

/usr/local/mongo/bin/mongod -f /usr/local/mongo/config-server/conf/mongo-cfg.conf

4、登录复制集：

/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 28018

5、初始化复制集：

rs.initiate({
    _id:"rs_conf",
    configsvr: true,
    members:[
        {_id:0, host:"192.168.20.100:28018", priority:2},
        {_id:1, host:"192.168.20.101:28018", priority:1},
        {_id:2, host:"192.168.20.102:28018", priority:1}
    ]
});

五、搭建Router

本案例只配置了一个Router，生产环境通常配置多个。Router不需要数据目录(dbpath)，只需要提供 config server 信息

1、在100机器上，创建目录：

mkdir -p /usr/local/mongo/router/conf
mkdir -p /usr/local/mongo/router/pids
mkdir -p /usr/local/mongo/router/logs

2、在 /usr/local/mongo/router/conf 目录下，创建 Router 的配置文件：mongo-router.conf

configdb=rs_conf/192.168.20.100:28018,192.168.20.101:28018,192.168.20.102:28018
logpath=/usr/local/mongo/router/logs/mongos.log
pidfilepath=/usr/local/mongo/router/pids/mongos.pid
port=29019
fork=true
bind_ip_all=true

3、启动 Router 服务：

/usr/local/mongo/bin/mongos -f /usr/local/mongo/router/conf/mongo-router.conf

4、连接 Router 节点：

/usr/local/mongo/bin/mongo --host 192.168.20.100 --port 29019

5、切换到 admin 库

use admin

6、添加分片信息：

#分片0
db.runCommand({addShard: "rs0/192.168.20.100:27017,192.168.20.101:27017,192.168.20.102:27017", name: "share0"});
#分片1
db.runCommand({addShard: "rs1/192.168.20.100:27018,192.168.20.101:27018,192.168.20.102:27018", name: "share1"});

7、查看分片：

db.runCommand({listshards: 1})

8、查看分片状态：

sh.status()

六、测试

1、测试分片--哈希策略

连接 Router 节点并切换到 admin 库。对测试库 xwjdb 开启分片功能：

sh.enableSharding("xwjdb")

对集合 account 分片，分片键为 nickname，分片策略为哈希：

sh.shardCollection("xwjdb.account", {"nickname": "hashed"})

切换到 xwjdb 库。向 account 集合中，循环插入1000条数据：

for(var i=1; i<=1000; i++){db.account.insert({_id: i+"", nickname: "xwj"+i})}

分别连接分片0 和分片1 节点，并切换到 xwjdb 库。查询 account 集合数据条数：

db.account.count()

分片0的数据是505条，分片2是495条，总数正好是1000条，说明数据分片成功了

结论：基于哈希策略的分片算法，数据会均匀的分配到不同的分片节点上

2、测试分片-范围策略

数据块(chunk)默认大小是64M，填满后才会考虑向其它片的数据块填充数据，因此，为了测试可以将其改小，这里改为1M：

use config
db.setting.save({"_id": "chunksize", "value": 1})

七、其它

1、一个集合只能有一个分片键

2、删除所有数据和日志信息：

rm -rf /usr/local/mongo/config-server/logs/*
rm -rf /usr/local/mongo/config-server/data/db/*
rm -rf /usr/local/mongo/share/data/db/*
rm -rf /usr/local/mongo/share/data/db2/*
rm -rf /usr/local/mongo/share/logs/*
rm -rf /usr/local/mongo/router/logs/*

八、踩坑

1、config server复制集初始化时，报错：

问题原因：搭建config server复制集时，不能有仲裁节点(Arbiters)，否则初始化失败

解决办法：复制集使用一主两从

码农公寓