RabbitMQ镜像集群搭建
RabbitMQ基础概念
RabbitMQ Broker的集群是多个erlang节点的逻辑组，每一个erlang节点运行RabbitMQ应用，多个RabbitMQ之间共享用户、虚拟主机、队列、exchange(虚拟交换机)，绑定和运行时参数
搭建前提
1.集群的所有节点运行的erlang和RabbitMQ版本一致。注意：erlang和RabbitMQ之间有版本依赖问题，版本对应不正确导致无法正确安装。对应关系可以到RabbitMQ官网查看：https://www.rabbitmq.com/which-erlang.html
2.hostname解析，节点之间通过域名相互通信
RabbitMQ的端口
RabbitMQ主要涉及三个端口：分别是5672、15672、25672
- 5672是RabbitMQ的客户端连接端口
- 15672是RabbitMQ的web管理控制台连接端口
- 25672是RabbitMQ的集群通信端口
集群的配置方式和认证方式
配置方式：配置方式为rabbitmqctl手动配置方式
认证方式：RabbitMQ集群的认证方式的是通过.erlang.cookie文件进行认证，相当于共享秘钥。RabbitMQ启动的时候，erlang VM会创建一个随机的cookie文件。文件的位置/var/lib/rabbitmq/.erlang.cookie或者/root/.erlang.cookie。RabbitMQ集群之中需要保证集群每一个RabbitMQ对应的cookie文件一致
RabbitMQ集群搭建
环境统一
采用源码包安装，百度云下载链接：软件的版本如下：
- java的jdk版本使用：jdk-8u221-linux-x64.tar.gz
- erlang版本为：otp_src_19.1.tar.gz
- rabbitmq的版本为：rabbitmq-server-generic-unix-3.6.10.tar.xz
java环境搭建
安装java环境的原因：erlang编译的时候需要使用javac命令，如果不安装java环境，erlang编译的时候去掉编译命令的javac。
java环境安装步骤：将压缩包上传到/usr/local路径下面
cd /usr/local
mkdir java # 新建java文件夹
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/java # 解压到指定的文件夹
#java环境变量配置，修复/etc/profile文件
vi /etc/profile
#在/etc/profile文件后追加以下内容，根据自己的实际安装状况设置JAVA_HOME和JRE_HOME的目录
set java environment
JAVA_HOME=/usr/local/java/jdk1.8.0_221
JRE_HOME=/usr/local/java/jdk1.8.0_221/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
# 配置完成以后刷新环境变量文件
source /etc/profile
#检查是否安装成功：通过javac 或者 java -version命令
javac
java -version
安装erlang
erlang就是RabbitMQ的运行环境。
erlang环境依赖问题如下：
两个依赖库是必须的：一是完整的GCC编译器环境 二是Ncurses开发库
还有一些编译配置需要的库：OpenSSL开发库 ODBC开发库 Java编译器
编译过程之中只有：APPLICATIONS DISABLED的错误是必须解决的，其余的可以忽略
1.首先安装erlang需要的依赖：如果没有这些依赖，erlang无法编译成功
yum install build-essential openssl openssl-devel unixODBC unixODBC-devel make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz socat
2.解压编译
cd /usr/local
mkdir erlang
tar -zxvf otp_src_19.1.tar.gz
cd otp_src_19.1
# 执行编译
./configure --prefix=/usr/local/erlang --with-opengl --enable-debug --enable-unicode --enable-hipe --enable-threads --enable-smp-support --enable-kernel-poll
#编译完成之后进行安装
make && make install
#安装成功之后配置环境变量
vi /etc/profile
ERL_HOME=/usr/local/erlang
export PATH=$PATH:$ERL_HOME/bin
#查看是否安装成功
erl
#安装成功之后
cd /usr/local/erlang/bin
ln -s /usr/local/erlang/bin/erl /usr/bin/erl
安装RabbitMQ
cd /usr/local
mkdir rabbitmq
tar -Jxvf rabbitmq-server-generic-unix-3.6.10.tar.xz -C /usr/local/rabbitmq
集群搭建配置
1.配置/etc/hosts文件，保证集群节点之间的通信：配置为 ip 名称。配置完成之后刷新hosts文件
/etc/init.d/network restart
2.分别在各个虚拟机上启动rabbitmq，此时会生成一个.erlang.cookie文件
选择一个节点，在另外两台服务器同步这个erlang.cookie文件，保证三台服务器的erlang.cookie文件一致
scp -r root@192.168.204.128:./.erlang.cookie ./.erlang.cookie
# 输入 yes 和服务器密码后会同步完成
3.主节点放开端口：rabbitmq集群是基于erlang集群的，而erlang集群中各节点间的通信是通过4369端口和25672端口来进行通信的，因此需要保证服务器4396端口和25672端口是放行状态。
4.首先启动rabbitmq：./rabbitmq-server ./rabbitmqctl reset
5.执行：./rabbitmqctl stop_app
6.加入集群：./rabbitmqctl join_cluster --ram rabbit@rabbitmq01
7.重启rabbitmq：./rabbitmqctl start_app
8.主节点查询集群状态：./rabbitmqctl cluster_status
9.镜像队列设置：./rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' ./rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' 。创建队列时，Arguments中设置ha-mode = all。此时创建的队列为镜像队列
RabbitMQ常用命令
首先进入到/usr/local/rabbitmq/rabbitmq_server-3.6.10/sbin目录下面会有5个脚本：
rabbitmqctl
rabbitmq-defaults
rabbitmq-env
rabbitmq-plugins
rabbitmq-server
插件相关：rabbitmq-plugins
./rabbitmq-plugins list 查看插件安装
./rabbitmq-plugins enable rabbitmq_management 启用rabbitmq的web控制台
启动相关：rabbitmq-server
./rabbitmq-server 启动rabbitmq
用户相关
rabbitmq有一个默认用户 guest-guest，但是不能远程web访问。如果需要远程web访问，则需要新建用户，授权。
添加用户
./rabbitmqctl add_user 用户名称 用户密码
角色授权
./rabbitmqctl set_user_tags 用户名 administrator
查看用户列表
./rabbitmqctl list_users
设置虚拟主机权限，指定允许访问的vhost以及write/read
./rabbitmqctl set_permissions -p "/" 用户名称 "." "." ".*"
查询vhost（/）允许哪些用户访问
./rabbitmqctl list_permissions -p /
配置允许远程访问的用户
rabbitmq的guest用户默认不允许远程主机访问，rabbitmq安装文件下的etc文件下的配置文件添加以下
[
{rabbit, [{tcp_listeners, [5672]}, {loopback_users, ["账户名"]}]}
].
Rabbitmq设置开机自启
1.新建自启动脚本cd /etc/init.d
2.新建脚本文件:touch rabbitmq-server
3.编辑修改文件：有几项需要根据自己的安装配置进行修改
pid文件的路径可以使用：find / -name rabbit*.pid 查询到详细路径
4.开机启动配置的相关命令：
chmod a+x /etc/init.d/rabbitmq-server # 设置执行的权限
chkconfig --add /etc/init.d/rabbitmq-server # 添加启动项
chkconfig --list # 查看所有的启动项，判断是否设置成功
chkconfig rabbitmq-server on # 开启开启自启动
chkconfig rabbitmq-server off # 关闭开机自启动
chkconfig --del rabbitmq-server # 删除开机自启动
reboot # 重启判断是否启动成功
5.注意点：如果启动文件在Windows下编辑过，在Windows下每一行结尾是\n\r，而Linux下则是\n，所以才会有 多出来的\r，导致启动文件有误，执行以下sed -i 's/\r$//' 文件名称。将/r替换为空白。
开启自启动脚本如下：
#!/bin/sh
#
# rabbitmq-server RabbitMQ broker
#
# chkconfig: - 80 05
# description: Enable AMQP service provided by RabbitMQ
#
### BEGIN INIT INFO
# Provides: rabbitmq-server
# Required-Start: $remote_fs $network
# Required-Stop: $remote_fs $network
# Description: RabbitMQ broker
# Short-Description: Enable AMQP service provided by RabbitMQ broker
### END INIT INFO
# Source function library.
. /etc/init.d/functions
export HOME=/root
PATH=/sbin:/usr/sbin:/bin:/usr/bin
NAME=rabbitmq-server
DAEMON=/usr/local/rabbitmq/rabbitmq_server-3.6.10/sbin/${NAME}
CONTROL=/usr/local/rabbitmq/rabbitmq_server-3.6.10/sbin/rabbitmqctl
DESC=rabbitmq-server
USER=root
ROTATE_SUFFIX=
INIT_LOG_DIR=/usr/local/rabbitmq/rabbitmq_server-3.6.10/var/log/rabbitmq
PID_FILE=/usr/local/rabbitmq/rabbitmq_server-3.6.10/var/lib/rabbitmq/mnesia/rabbit@rabbitmq01.pid
START_PROG="daemon"
LOCK_FILE=/var/lock/subsys/$NAME
test -x $DAEMON || exit 0
test -x $CONTROL || exit 0
RETVAL=0
set -e
[ -f /etc/default/${NAME} ] && . /etc/default/${NAME}
start_rabbitmq () {
status_rabbitmq quiet
if [ $RETVAL = 0 ] ; then
echo RabbitMQ is currently running
else
RETVAL=0
set +e
RABBITMQ_PID_FILE=$PID_FILE $START_PROG $DAEMON \
> "${INIT_LOG_DIR}/startup_log" \
2> "${INIT_LOG_DIR}/startup_err" \
0<&- &
$CONTROL wait $PID_FILE >/dev/null 2>&1
RETVAL=$?
set -e
case "$RETVAL" in
0)
echo SUCCESS
if [ -n "$LOCK_FILE" ] ; then
touch $LOCK_FILE
fi
;;
*)
echo FAILED - check ${INIT_LOG_DIR}/startup_\{log, _err\}
RETVAL=1
;;
esac
fi
}
stop_rabbitmq () {
status_rabbitmq quiet
if [ $RETVAL = 0 ] ; then
set +e
$CONTROL stop ${PID_FILE} > ${INIT_LOG_DIR}/shutdown_log 2> ${INIT_LOG_DIR}/shutdown_err
RETVAL=$?
set -e
if [ $RETVAL = 0 ] ; then
if [ -n "$LOCK_FILE" ] ; then
rm -f $LOCK_FILE
fi
else
echo FAILED - check ${INIT_LOG_DIR}/shutdown_log, _err
fi
else
echo RabbitMQ is not running
RETVAL=0
fi
}
status_rabbitmq() {
set +e
if [ "$1" != "quiet" ] ; then
$CONTROL status 2>&1
else
$CONTROL status > /dev/null 2>&1
fi
if [ $? != 0 ] ; then
RETVAL=3
fi
set -e
}
rotate_logs_rabbitmq() {
set +e
$CONTROL rotate_logs ${ROTATE_SUFFIX}
if [ $? != 0 ] ; then
RETVAL=1
fi
set -e
}
restart_running_rabbitmq () {
status_rabbitmq quiet
if [ $RETVAL = 0 ] ; then
restart_rabbitmq
else
echo RabbitMQ is not runnning
RETVAL=0
fi
}
restart_rabbitmq() {
stop_rabbitmq
start_rabbitmq
}
case "$1" in
start)
echo -n "Starting $DESC: "
start_rabbitmq
echo "$NAME."
;;
stop)
echo -n "Stopping $DESC: "
stop_rabbitmq
echo "$NAME."
;;
status)
status_rabbitmq
;;
rotate-logs)
echo -n "Rotating log files for $DESC: "
rotate_logs_rabbitmq
;;
force-reload|reload|restart)
echo -n "Restarting $DESC: "
restart_rabbitmq
echo "$NAME."
;;
try-restart)
echo -n "Restarting $DESC: "
restart_running_rabbitmq
echo "$NAME."
;;
*)
echo "Usage: $0 {start|stop|status|rotate-logs|restart|condrestart|try-restart|reload|force-reload}" >&2
RETVAL=1
;;
esac
exit $RETVAL
使用HaProxy对Rabbitmq集群负载均衡
Haproxy提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。对rabbitMQ集群主要作用还是负载均衡。但独使用rabbitMQ集群存在不能负载均衡的问题，通过使用 haproxy 的负载策略来转发客户端的请求到RabbitMQ集群中，缓解队列集群中单一节点网络负载等情况。