rocketmq高可用集群部署（RocketMQ-on-DLedger Group）

2023-08-03 14:47:28

rocketmq高可用集群部署（RocketMQ-on-DLedger Group）

rocketmq部署架构

rocketmq部署架构非常多，都是为了解决一些问题，越来越高可用，越来越复杂。

单master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。
多master

一个集群无Slave，全是Master，例如2个Master或者3个Master
- 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
- 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
多master异步复制slave

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：
- 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
- 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。
多master同步复制slave。

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：
- 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
- 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
RocketMQ-on-DLedger Group（可自动主从容灾）

之前的几种方式，能解决数据冗余备份，一定高可用问题。但是master故障后，多master多slave架构能提供继续想slave消费数据。但是生产数据呢？这会导致生产服务中断不可用。所以又出现了RocketMQ-on-DLedger Group架构。可自主容灾。引入了DLedger工具。

rocketmq架构：

部署架构

部署架构：RocketMQ-on-DLedger Group

服务器数量3台。

部署操作步骤

官网下载rocketmq二进制包

官网下载地址：http://rocketmq.apache.org/dowloading/releases/

解压并安装

cd /opt

wget http://192.168.0.155:9999/rocketmq-all-4.9.1-bin-release.zip

unzip rocketmq-all-4.9.1-bin-release.zip

mkdir /data/rocketmq-4.9.1-raftcluster

3台主机分别配置nameserver

修改bin目录下的文件：runserver.sh，将jvm调整至1G。（由于我服务器资源内存有限）
3台主机分别启动nameserver
```
cd ./bin   #切换到bin目录

nohup sh mqnamesrv > ./nameserver.log 2>&1 &
```
每台nameserver是不需要互相通信，NameServer之间数据不同步。和hdfs的nameserver不是一样的概念。

通过命令netstat -tunlp | grep 9876检查端口9876是否存在

编辑broker的配置文件

第一台主机node0的配置（192.168.0.218）：vim ./conf/dledger/broker-n0.conf

内容如下：

brokerClusterName = RaftCluster  #集群名

brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致

listenPort=30911

namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876

storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00

storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node00/commitlog

enableDLegerCommitLog=true

dLegerGroup=RaftNode00  #dleger组名

dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式

## must be unique

dLegerSelfId=n0  #每个dleger组下面的实例ip，保证唯一

sendMessageThreadPoolNums=4  #发送线程数，建议和服务器cpu一致

第二台主机node1的配置（192.168.0.89）：vim ./conf/dledger/broker-n1.conf

内容如下：

brokerClusterName = RaftCluster  #集群名

brokerName=RaftNode00  #broker组名，建议和dLegerGroup名一致

listenPort=30911

namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876

storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01

storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node01/commitlog

enableDLegerCommitLog=true

dLegerGroup=RaftNode00  #dleger组名

dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式

## must be unique

dLegerSelfId=n1   #每个dleger组下面的实例ip，保证唯一

sendMessageThreadPoolNums=4

第三台主机node2的配置（192.168.0.77）：vim ./conf/dledger/broker-n2.conf

内容如下：

brokerClusterName = RaftCluster

brokerName=RaftNode00

listenPort=30911

namesrvAddr=192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876

storePathRootDir=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02

storePathCommitLog=/data/rocketmq-4.9.1-raftcluster/rmqstore/node02/commitlog

enableDLegerCommitLog=true

dLegerGroup=RaftNode00

dLegerPeers=n0-192.168.0.218:40911;n1-192.168.0.89:40911;n2-192.168.0.77:40911  #注意配置格式

## must be unique

dLegerSelfId=n2

sendMessageThreadPoolNums=4

修改3台broker的jvm大小，默认是8G

在./bin目录下，由于我服务器没有8G内存，需修改jvm大小。

vim runbroker.sh

每台实例启动broker实例进程

cd /data/rocketmq-4.9.1-raftcluster/rocketmq-all-4.9.1-bin-release/bin  #安装路径

#在第一台服务器上启动broker

nohup ./mqbroker -c ../conf/dledger/broker-n0.conf > ./broker.log 2>&1 &

#在第二台服务器上启动broker

nohup ./mqbroker -c ../conf/dledger/broker-n1.conf > ./broker.log 2>&1 &

#在第三台服务器上启动broker

nohup ./mqbroker -c ../conf/dledger/broker-n2.conf > ./broker.log 2>&1 &

验证：

查看输出日志或者用netstat -tunlp | grep 30911命令查看端口是否启动

用命令行查看dleger集群的状态

sh bin/mqadmin clusterList -n 127.0.0.1:9876

安装rocketmq-console的web管理页面(rocketmq-dashboard)

备注：新版本rocketmq-console已经改名叫rocketmq-dashboard。

rocketmq-dashboard下载地址为：https://github.com/apache/rocketmq-dashboard

unzip rocketmq-dashboard-master.zip

cd rocketmq-dashboard-master

mvn clean package -Dmaven.test.skip=true  #打包如果失败，可以多尝试几次

#构建成功后，jar包在target目录里面

#启动rocketmq-dashboardd的jar包

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --rocketmq.config.namesrvAddr="192.168.0.218:9876;192.168.0.89:9876;192.168.0.77:9876" --server.port=8080

访问服务器的192.168.0.218:8080端口，能看到集群信息，如下：

RocketMQ-on-DLedger Group集群部署完成。

其他

rocketmq的默认日志文件在启动用户的家目录下的logs里面。

如需变更需要修改以下3个文件

本教程部署的RocketMQ-on-DLedger Group。只有一个分片，如果服务器数量充足，可以部署多分片。部署方式参考前面的操作步骤。只是部署更多的服务器，修改配置而已。

码农公寓