RocketMQ服务搭建_1

rocketmq是阿里研发,并贡献给Apache的一款分布式消息中间件。

RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。

ACE环境:(Adapted communication environment)自适配通信环境

ACK:命令应答(Acknowledgement)

rocketMQ参照jms,但是并不遵循jms规范,因此也就不存在activeMQ的createQueue,createTopic进行ptp连接,直接负载均衡依托于groupName。

JMS (java message server)的PTP模型:point to point model

BROKER :中继器(代理人),即RocketMQ服务,也称provider。

同步刷盘-消息阻塞,能保证数据绝对完整性,异步刷盘-信息丢失,但吞吐量增大。

订阅者和发布者情况下,会直接广播到group下的所有customer。

RocketMQ作用:

  • 解耦合
  • 消峰
  • 异步
  • 消息一致性

rocketMQ可做到平均分配,不同于其他的mq有随机性分配。

RocketMQ服务搭建_1

搭建:

前提要求:

rocketMQ由java编写,因此需要jdk环境。

jdk1.7+,tomcat7.0+,主机64位,

http://rocketmq.apache.org/dowloading/releases/

rocketMQ下载解压到指定位置。

在两台主机上创建/etc/hosts地址和名称。

192.168.68.137 rocketmq-nameserver1
192.168.68.138 rocketmq-nameserver2

创建存储路径:

[root@localhost program]# mkdir rocketmq/store
[root@localhost program]# mkdir rocketmq/store/commitlog
[root@localhost program]# mkdir rocketmq/store/consumequeue
[root@localhost program]# mkdir rocketmq/store/index

修改配置文件 rocketmq/config:

drwxr-xr-x.  root root   Sep    2m-2s-async    //异步复制
drwxr-xr-x. root root Sep 2m-2s-sync //同步双写
drwxr-xr-x. root root Sep 2m-noslave //双主

如果是搭建双主,则进入双主对应的文件夹:

修改文件rocketmq-a.properties 和 rocketmq-b.properties

可参照一下的配置项,注意文件夹路径,和nameserver的host名,以及broker-name.

RocketMQ 部分 配置项(https://blog.csdn.net/w_x_z_/article/details/70225303)

配置说明:

brokerClusterName=rocketmq-cluster      #集群名,多个mq集群需要使用一个统一的名字,最好是按照示例自动给的名字,防止人为输错,导致集群失败。
brokerName=broker-a #当前主机节点名称,按照mq的惯性进行起名,比如第一个为 brokerName=broker-a,第二个文件为brokerName=broker-b
brokerId=0 #master节点的ID都为0,>0的数就为Slave。
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #用于多个nameserver进行互相发现,注意多个用分号连接,名字和/etc/hosts中保持一致。
defaultTopicQueueNums=4 #默认设置1个topic对应4个队列。
autoCreateTopicEnable=true #是否允许自动创建Topic。这种最好设置为false,不然随意注入会造成资源无形损耗,比如我本来消费者只消费T1,T2,
#但是如果传过来的是T3~T100(恶意攻击),则消费不掉,会在mq中进行积压,因此建议设置为false.
autoCreateSubscriptionGroup=true #是否允许自动创建订阅组,也是同理最好关闭掉,不让自发产生。
listenPort=10911 #broker的监听端口号,一个broker会占用3个端口,即10911,10912,10913,同台机器要隔几个端口
deleteWhen=04 #文件在服务器被删除掉的时间,例 04点的时候被删除。
fileReservedTime=120 #文件保留最长时间默认是48小时,也就是2天。
mapedFileSizeCommitLog=1073741824 #commit文件大小限制,超过则会新建一个文件进行保存。commitlog用于存放从producer传递过来的数据内容。
mapedFileSizeConsumeQueue=300000 #每个文件默认存30W条,根据业务情况调整,consumequeue用于存放文件内容索引和topic以及队列的逻辑关系。
brokerRole=ASYNC_MASTER #可选择同步双写,或异步复制(SYNC_MASTER ASYNC_MASTER SLAVE),如果是从节点就用SLAVE

#destroyMapedFileIntervalForcibly=120000
redeleteHangedFileInterval=120000

# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88

#存储路径
storePathRootDir=/usr/local/program/rocketmq/store

#commitLog存储路径
storePathCommitLog=/usr/local/program/rocketmq/store/commitlog

#消费队列存储路径
storePathConsumeQueue=/usr/local/program/rocketmq/store/consumequeue

# 消息索引存储路径
storePathIndex=/usr/local/program/rocketmq/store/index

# checkpoint 文件存储路径
storeCheckpoint=/usr/local/program/rocketmq/store/checkpoint

#abort 文件存储路径
abortFile=/usr/local/program/rocketmq/store/abort

#限制的消息大小
maxMessageSize=65536

# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000

# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量
#sendMessageTreadPoolNums=128

#拉消息线程池数量
#pullMessageTreadPoolNums=128

isVIPChannel=false

 注意: brokerRole 我从别人那copy的配置文件,当时这个名称是brokerRote 导致一直Slave不起作用。

            注意用替换的时候storepath,我当当时从服务和主服务交叉,store用的store2,直接用全替换将路径名也替换掉了,导致Slave启动不起来。

修改logs文件位置,替换文件的存放位置: 因斜杠有特殊意义,因此需要反斜杠做不转义声明

>mkdir rocketmq/logs
>cd rocketmq/config && sed -i 's/${user.home}/\/usr\/local\/program\/rocketmq/g' logback_*.xml

修改配置文件JAVA_OPT文件:

查看rocketmq/bin/runbroker.sh rocketmq/bin/runnameserver.sh可以看出以下的java_opt中默认设置的内存达到8G,在生产上可以,但是用虚拟机太大带不起来。

因此需要全部调整为1G,太小有可能启动不起来。

JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"
修改为:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

启动:

注意:首先要启动所有机器节点的nameServer.然后再启动各节点的broker.

在ab机器启动nameserver:

》nohup sh mqnamesrv &

使用java的jps查看就可以看到nameserver的进程。

>jps

在ab机器启动broker,注意a机器用broker-a.properties,b机器用broker-b.properties:

》nohup sh mqbroker -c /usr/local/program/rocketmq/conf/2m-noslave/broker-a.properties  &

有时会遇到有这种写法  nohup sh **** >/dev/null >2&1 & 这种是为了在当前目录下不产生nohup.out文件。

再用jps查看是否已经启动进程。如果发现没有broker的进程,则去logs下查看日志nohup.sh或者broker文件,了解问题。

至此,服务端的启动就算OK了。

关闭:》sh mqshutdown broker   (先关闭所有的broker)

》sh mqshutdown namesrv  (然后再关闭所有的namesrv)

清理数据:删除掉 store中的文件夹及文件即可。

RocketMQ的监控服务平台:

使用教程:RocketMq 监控 之rocketmq-console应用(https://yq.aliyun.com/articles/486069)

下载地址:https://github.com/apache/rocketmq-externals

目前rocketmq-console使用springboot,因此已经不需要安装tomcat,内嵌有tomcat。

下载后,修改rocketmq-console的配置文件application.properties。

修改以下文件:

rocketmq.config.namesrvAddr=[参见broker-a.properties中namesrvAddr]

isVIPChannel=false

rocketmq.config.dataPath=/usr/local/program/rocketmq-console/data

不过,也可以先不做修改,在控制台启动后在OPT上添加也可以。

然后重新打包 >mvn install -DskipTests

将target中的jar包放入到linux下,启动

>nohup java -jar /rocketmq-console.jar &

也可添加参数指定启动的port,和nohup启动文件日志地址  --server.port=12581 > /Disk/temp.txt &

如果浏览器访问被拒绝,有可能是linux端的防火墙未关闭导致,关闭防火墙后就OK了。

http://192.168.68.137:8080/

点击菜单Cluster就可以看到集群的机器,默认会提供一些Topic。

双主双从的搭建注意事项:

1. 从节点的brokerId=n,  n>0从节点的数值一定要大于0。

2. 从节点的brokername名一定要和对应的主节点一致。

3. 从节点的brokerRote=SLAVE。

4. 因9876端口为其默认端口,因此也就意味着一台电脑使用一个NameServer。不能存在主节点和从节点部署在一台机子上。

如果用2个电脑做双主双从,则端口号要不一样且至少隔3位,不然端口占用无法启动,且存储位置不能一样。(仅测试用),生产完全分开。

可参照文章: https://www.cnblogs.com/buyige/p/9454634.html

2m-2s sync 同步双写,

2m-2s async 异步复制。

从节点一般会做数据备份,只有在主节点宕机时,从节点未被消费内容会被消费,但是从节点不能用于直接生产者写操作。即主从不能互换。

当主节点重启后,主节点会去从节点查询offset同步offset。这样就防止从消费后主又消费。

上一篇:Eclipse中屏蔽日志


下一篇:系统更新报错--NO_PUBKEY