rocketmq是阿里研发,并贡献给Apache的一款分布式消息中间件。
RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。
ACE环境:(Adapted communication environment)自适配通信环境
ACK:命令应答(Acknowledgement)
rocketMQ参照jms,但是并不遵循jms规范,因此也就不存在activeMQ的createQueue,createTopic进行ptp连接,直接负载均衡依托于groupName。
JMS (java message server)的PTP模型:point to point model
BROKER :中继器(代理人),即RocketMQ服务,也称provider。
同步刷盘-消息阻塞,能保证数据绝对完整性,异步刷盘-信息丢失,但吞吐量增大。
订阅者和发布者情况下,会直接广播到group下的所有customer。
RocketMQ作用:
- 解耦合
- 消峰
- 异步
- 消息一致性
rocketMQ可做到平均分配,不同于其他的mq有随机性分配。
搭建:
前提要求:
rocketMQ由java编写,因此需要jdk环境。
jdk1.7+,tomcat7.0+,主机64位,
http://rocketmq.apache.org/dowloading/releases/
rocketMQ下载解压到指定位置。
在两台主机上创建/etc/hosts地址和名称。
192.168.68.137 rocketmq-nameserver1
192.168.68.138 rocketmq-nameserver2
创建存储路径:
[root@localhost program]# mkdir rocketmq/store
[root@localhost program]# mkdir rocketmq/store/commitlog
[root@localhost program]# mkdir rocketmq/store/consumequeue
[root@localhost program]# mkdir rocketmq/store/index
修改配置文件 rocketmq/config:
drwxr-xr-x. root root Sep 2m-2s-async //异步复制
drwxr-xr-x. root root Sep 2m-2s-sync //同步双写
drwxr-xr-x. root root Sep 2m-noslave //双主
如果是搭建双主,则进入双主对应的文件夹:
修改文件rocketmq-a.properties 和 rocketmq-b.properties
可参照一下的配置项,注意文件夹路径,和nameserver的host名,以及broker-name.
RocketMQ 部分 配置项(https://blog.csdn.net/w_x_z_/article/details/70225303)
配置说明:
brokerClusterName=rocketmq-cluster #集群名,多个mq集群需要使用一个统一的名字,最好是按照示例自动给的名字,防止人为输错,导致集群失败。
brokerName=broker-a #当前主机节点名称,按照mq的惯性进行起名,比如第一个为 brokerName=broker-a,第二个文件为brokerName=broker-b
brokerId=0 #master节点的ID都为0,>0的数就为Slave。
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #用于多个nameserver进行互相发现,注意多个用分号连接,名字和/etc/hosts中保持一致。
defaultTopicQueueNums=4 #默认设置1个topic对应4个队列。
autoCreateTopicEnable=true #是否允许自动创建Topic。这种最好设置为false,不然随意注入会造成资源无形损耗,比如我本来消费者只消费T1,T2,
#但是如果传过来的是T3~T100(恶意攻击),则消费不掉,会在mq中进行积压,因此建议设置为false.
autoCreateSubscriptionGroup=true #是否允许自动创建订阅组,也是同理最好关闭掉,不让自发产生。
listenPort=10911 #broker的监听端口号,一个broker会占用3个端口,即10911,10912,10913,同台机器要隔几个端口
deleteWhen=04 #文件在服务器被删除掉的时间,例 04点的时候被删除。
fileReservedTime=120 #文件保留最长时间默认是48小时,也就是2天。
mapedFileSizeCommitLog=1073741824 #commit文件大小限制,超过则会新建一个文件进行保存。commitlog用于存放从producer传递过来的数据内容。
mapedFileSizeConsumeQueue=300000 #每个文件默认存30W条,根据业务情况调整,consumequeue用于存放文件内容索引和topic以及队列的逻辑关系。
brokerRole=ASYNC_MASTER #可选择同步双写,或异步复制(SYNC_MASTER ASYNC_MASTER SLAVE),如果是从节点就用SLAVE
#destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/program/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/program/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/program/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/program/rocketmq/store/index
# checkpoint 文件存储路径
storeCheckpoint=/usr/local/program/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/program/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128
isVIPChannel=false
注意: brokerRole 我从别人那copy的配置文件,当时这个名称是brokerRote 导致一直Slave不起作用。
注意用替换的时候storepath,我当当时从服务和主服务交叉,store用的store2,直接用全替换将路径名也替换掉了,导致Slave启动不起来。
修改logs文件位置,替换文件的存放位置: 因斜杠有特殊意义,因此需要反斜杠做不转义声明
>mkdir rocketmq/logs
>cd rocketmq/config && sed -i 's/${user.home}/\/usr\/local\/program\/rocketmq/g' logback_*.xml
修改配置文件JAVA_OPT文件:
查看rocketmq/bin/runbroker.sh rocketmq/bin/runnameserver.sh可以看出以下的java_opt中默认设置的内存达到8G,在生产上可以,但是用虚拟机太大带不起来。
因此需要全部调整为1G,太小有可能启动不起来。
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"
修改为:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"
启动:
注意:首先要启动所有机器节点的nameServer.然后再启动各节点的broker.
在ab机器启动nameserver:
》nohup sh mqnamesrv &
使用java的jps查看就可以看到nameserver的进程。
>jps
在ab机器启动broker,注意a机器用broker-a.properties,b机器用broker-b.properties:
》nohup sh mqbroker -c /usr/local/program/rocketmq/conf/2m-noslave/broker-a.properties &
有时会遇到有这种写法 nohup sh **** >/dev/null >2&1 & 这种是为了在当前目录下不产生nohup.out文件。
再用jps查看是否已经启动进程。如果发现没有broker的进程,则去logs下查看日志nohup.sh或者broker文件,了解问题。
至此,服务端的启动就算OK了。
关闭:》sh mqshutdown broker (先关闭所有的broker)
》sh mqshutdown namesrv (然后再关闭所有的namesrv)
清理数据:删除掉 store中的文件夹及文件即可。
RocketMQ的监控服务平台:
使用教程:RocketMq 监控 之rocketmq-console应用(https://yq.aliyun.com/articles/486069)
下载地址:https://github.com/apache/rocketmq-externals
目前rocketmq-console使用springboot,因此已经不需要安装tomcat,内嵌有tomcat。
下载后,修改rocketmq-console的配置文件application.properties。
修改以下文件:
rocketmq.config.namesrvAddr=[参见broker-a.properties中namesrvAddr] isVIPChannel=false rocketmq.config.dataPath=/usr/local/program/rocketmq-console/data
不过,也可以先不做修改,在控制台启动后在OPT上添加也可以。
然后重新打包 >mvn install -DskipTests
将target中的jar包放入到linux下,启动
>nohup java -jar /rocketmq-console.jar &
也可添加参数指定启动的port,和nohup启动文件日志地址 --server.port=12581 > /Disk/temp.txt &
如果浏览器访问被拒绝,有可能是linux端的防火墙未关闭导致,关闭防火墙后就OK了。
http://192.168.68.137:8080/
点击菜单Cluster就可以看到集群的机器,默认会提供一些Topic。
双主双从的搭建注意事项:
1. 从节点的brokerId=n, n>0从节点的数值一定要大于0。
2. 从节点的brokername名一定要和对应的主节点一致。
3. 从节点的brokerRote=SLAVE。
4. 因9876端口为其默认端口,因此也就意味着一台电脑使用一个NameServer。不能存在主节点和从节点部署在一台机子上。
如果用2个电脑做双主双从,则端口号要不一样且至少隔3位,不然端口占用无法启动,且存储位置不能一样。(仅测试用),生产完全分开。
可参照文章: https://www.cnblogs.com/buyige/p/9454634.html
2m-2s sync 同步双写,
2m-2s async 异步复制。
从节点一般会做数据备份,只有在主节点宕机时,从节点未被消费内容会被消费,但是从节点不能用于直接生产者写操作。即主从不能互换。
当主节点重启后,主节点会去从节点查询offset同步offset。这样就防止从消费后主又消费。