在阿里云上自动化搭建RabbitMQ集群

2022-03-11 22:25:07

RabbitMQ简介

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

基于RabbitMQ的MQTT插件（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，是物联网的重要组成部分。该协议支持所有平台，几乎可以把所有联网物品和外部连接起来，被用来当做传感器和制动器的通信协议。

最近项目上需要用到RabbitMQ，所以有机会在阿里云上搭建RabbitMQ集群。

RabbitMQ集群

RabbitMQ提供了很多方式来搭建集群。包括：

配置文件方式
基于DNS的发现
AWS实例发现（通过插件）
Kubernetes发现（通过插件）
基于consul的发现（通过插件）
基于etcd的发现（通过插件）
rabbitmqctl命令手动关联

考虑到是在阿里云上进行搭建集群，而且阿里云本身提供DNS Private Zone服务，为了避免不必要的额外搭建其它服务，所以采用了基于DNS发现来创建集群。具体架构如下图：

我们创建3台ECS，分别命名为rabbit1，rabbit2，rabbit3。然后在Private Zone里面创建rabbitmq.gadev，把3台ECS的解析添加进去。

因为RabbitMQ要用到节点名字，同时创建一个反向解析。这样根据其它IP地址可以获取其它节点的名字。

在配置文件中添加集群的发现方式：

[root@rabbit1]# cat rabbitmq.conf
loopback_users = none

cluster_formation.peer_discovery_backend = rabbit_peer_discovery_dns
cluster_formation.dns.hostname = rabbitmq.gadev

自动化实施

下面介绍下如何在阿里云上进行RabbitMQ的自动化创建。这里用到的工具链包括：

GitLab - 自动化脚本代码存储，使用了GitLab的CI/CD Pipeline。
Terraform - 创建阿里云相关资源。
Ansible - 安装/升级ECS上的RabbitMQ。
Python - 用来访问阿里云上的OSS，Private Zone等。
阿里云CLI - 访问OSS获取Ansible Playbook，触发OOS来运行ECS中的ansible。
自动化安装架构如下图：

用到的阿里云服务

ECS - 用来安装RabbitMQ
Auto Scaling Group - 用伸缩组来管理ECS
SLB - 提供公网SLB使设备能直接连接集群，提供私有SLB供内部业务使用。
Private Zone - RabbitMQ集群服务发现
Domain name - 提供域名来绑定公网SLB
OSS - 用OSS来存储ansible playbook
OOS(Operation Orchestration Service) - 使用OOS来触发ansible脚本运行。
RAM - 给ECS绑定需要的role
VPC - 基础网络相关配置

使用OOS来运行ansible playbook
OOS编排服务提供了模板ACS-ECS-ApplyAnsiblePlayBooks可以在一批ECS里面运行各自的ansible playbook。

# aliyun oos StartExecution help
Alibaba Cloud Command Line Interface Version 3.0.29

Product: oos (Operation Orchestration Service)
Link:    https://help.aliyun.com/api/oos/StartExecution.html

Parameters:
  --TemplateName      String  Required
  --ClientToken       String  Optional
  --LoopMode          String  Optional
  --Mode              String  Optional
  --Parameters        String  Optional
  --ParentExecutionId String  Optional
  --RegionId          String  Optional
  --SafetyCheck       String  Optional
  --TemplateVersion   String  Optional

下面的命令就可以用来运行ansible：

# aliyun oos StartExecution --TemplateName ACS-ECS-ApplyAnsiblePlayBooks --RegionId cn-shanghai --Parameters '{"playbookurl":"https://{{oss_bucket}}.oss-cn-shanghai.aliyuncs.com/{{playbook.yml}}","OOSAssumeRole":"{{oosRole}}","targets":{"type":"Tags","tags":[{"value": "{{environment}}","key": "rabbit"}]}}'

CI/CD stage

Stage	Description
PLAN	部署RabbitMQ到不同环境，检查是否一切如预期。执行terraform plan脚本，检查是否需要更新阿里云资源。
APPLY	真正部署集群。执行terraform apply脚本，创建或更新阿里云资源。
UPDATE	升级集群，或增加新的集群功能。执行aliyun oos命令让每台ECS执行ansible playbook。
DESTROY	销毁集群。

参考资料

https://www.rabbitmq.com/
https://www.rabbitmq.com/clustering.html
https://yq.aliyun.com/articles/718185

码农公寓

RabbitMQ简介

RabbitMQ集群

自动化实施

参考资料

相关文章