Mysql集群与调优
实验背景：
1．安装MySQL-Cluster相关软件包。
2．依次配置管理/数据/SQL节点。
3．启动并测试MySQL-Cluster集群架构。
实验方案：
使用6台RHEL 6.4虚拟机，其中sqlA和sqlB作为SQL节点，ndbA和ndbB作为数据节点，
mgmd作为管理节点，这5个节点构成MySQL Cluster体系；而另一台虚拟机192.168.4.20作为MySQL测试客户机。
构成MySQL集群体系的5个节点应安装Cluster版的MySQL相关软件包，具体操作见“实现”部分的安排；测试用的Linux客户机只需安装普通版的MySQL-client即可。
实验实现：
1．前期准备工作
1）确认各节点服务器的主机名、IP地址
为5个节点建立统一的hosts文件，提高本地解析速度，相关操作如下：
[root@sqlA ~]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
.. ..
192.168.4.10 sqlA.tarena.com sqlA
192.168.4.20 sqlB.tarena.com sqlB
192.168.4.30 ndbA.tarena.com ndbA
192.168.4.40 ndbB.tarena.com ndbB
192.168.4.100 mgmsvr.tarena.com mgmsvr
参考上述hosts文件为各节点设置好主机名、IP地址（具体过程略）。
卸载冲突包【所有节点】
官方提供的MySQL-Cluster相关软件包已集成数据库服务端/客户端程序，因此可直接用
来替换普通的MySQL服务端/客户端程序。如果已安装有普通版的mysql-server、mysql、
MySQL-server、MySQL-client包，请先将其卸载（若没有则忽略）：
[root@sqlA ~]# yum -y remove mysql-server mysql
Setting up Remove Process
对于RHEL自带的mysql-libs暂时保留（如果直接卸载会因为依赖关系删除许多重要的包
，比如crontab、postfix等），但在安装MySQl-Cluster相关包的时候采用“-U”升级的
方式执行替换。
如果有残留的/etc/my.cnf文件，确保已转移备用或直接删除。
[root@sqlA ~]# mv /etc/my.cnf /etc/my.cnf.old
3）安装MySQL-Cluster相关软件包【所有节点】
在所有节点上，解压下载的MySQL-Cluster集合包：
[root@sqlA ~]# cd /var/ftp/pub/
[root@sqlA pub]# tar xvf MySQL-Cluster-gpl-7.3.3-1.el6.x86_64.rpm-bundle.tar
MySQL-Cluster-shared-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-shared-compat-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-server-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-client-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-test-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-devel-gpl-7.3.3-1.el6.x86_64.rpm
MySQL-Cluster-embedded-gpl-7.3.3-1.el6.x86_64.rpm
在所有节点上，安装MySQL-Cluster-server、MySQL-Cluster-client软件包：
[root@sqlA pub]# rpm -Uvh MySQL-Cluster-shared-*.rpm
在SQL节点（sqlA、sqlB）服务器上，修改MySQL数据库的root密码：
[root@sqlA ~]# cat /root/.mysql_secret
# The random password set for the root user at Tue Dec 24 15:24:50 2013 (local time): Z3Qw2OWJ //查看默认的密码
[root@sqlA ~]# service mysql start //启动MySQL服务程序
Starting MySQL... [确定]
[root@sqlA ~]# mysql –u root –p //以上述默认密码登录
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
mysql> SET PASSWORD FOR 'root'@'localhost'=PASSWORD('1234567');
Query OK, 0 rows affected (0.10 sec) //重设root口令
在数据节点（ndbA、ndbB）和管理节点（mgmsvr）上，实际上并不需要启动MySQL服务程序
，因此建议将mysql服务的自启状态设为关闭，root密码可改可不改：
[root@ndbA ~]# chkconfig mysql off
[root@ndbA ~]# chkconfig --list mysql
mysql 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭
4）添加授权数据库用户【SQL节点】
在SQL节点（sqlA、sqlB）服务器上，添加相应的授权数据库用户，以方便客户端使用数据
库服务。以用户root为例，允许其从192.168.4.0/24网段访问：
mysql> GRANT all ON *.* TO 'root'@'192.168.4.%' IDENTIFIED BY '1234567';
Query OK, 0 rows affected (0.10 sec) //授权用户及客户机
mysql> exit //退出 mysql> 环境
Bye
2．配置管理节点 mgmd （192.168.4.100）
1）创建工作文件夹
为管理节点提供一个工作目录，方便记录MySQL集群相关的日志消息：
[root@mgmsvr ~]# mkdir -p /var/log/mysql-cluster
2）创建配置文件
针对本节的案例，管理节点的配置操作参考如下：
[root@mgmsvr ~]# vim /etc/my-cluster.ini
[ndbd default]
NoOfReplicas=2 //保留2份数据拷贝
DataMemory=80M //数据缓存大小
IndexMemory=18M //索引缓存大小
[ndb_mgmd]
nodeid=1 //第1个管理节点的ID号
hostname=192.168.4.100 //此管理节点的地址
datadir=/var/log/mysql-cluster //此管理节点的工作目录
[mysqld]
nodeid=10 //第1个SQL节点的ID号
hostname=192.168.4.10 //第1个SQL节点的地址
[mysqld]
nodeid=20 //第2个SQL节点的ID号
hostname=192.168.4.20 //第2个SQL节点的地址
[ndbd]
nodeid=30 //第1个数据节点的ID号
hostname=192.168.4.30 //第1个数据节点的地址
datadir=/var/lib/mysql-cluster/data //第1个数据节点的工作目录
[ndbd]
nodeid=40 //第2个数据节点的ID号
hostname=192.168.4.40 //第2个数据节点的地址
datadir=/var/lib/mysql-cluster/data //第2个数据节点的工作目录
3．配置数据节点 ndbA（192.168.4.30） 、ndbB （192.168.4.40）
1）创建工作文件夹
为各数据节点提供一个工作目录，用来存放实际的数据库表记录等相关数据：
1.[root@ndbA ~]# mkdir -p /var/lib/mysql-cluster/data
2）创建配置文件
指定工作目录（数据存储目录）、管理服务器的IP地址、采用ndbcluster存储引擎，以
便支持集群特性；并添加[mysql_cluster]配置段，同样指定管理地址。
针对本节的案例，2个数据节点的配置操作参考如下：
[root@ndbA ~]# vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql-cluster/ndbdata //指定数据存储目录
ndb-connectstring=192.168.4.100 //要连接的管理服务器的IP地址
ndbcluster //指定运行的存储引擎
[mysql_cluster] //集群连接配置段
ndb-connectstring=192.168.4.100
4．配置SQL节点sqlA（192.168.4.10） 、sqlB （192.168.4.20）
主要是调整my.cnf配置，指定运行的存储引擎、默认存储引擎，并通过[mysql_cluster]配置段指定管理地址。在MySQL-Cluster集群环境中，若某个数据库未采用ndbcluster引擎（而是InnoDB、MyISAM等其他引擎），则当更新数据库表时，可能无法同步到其他节点。
[root@sqlA ~]# vim /etc/my.cnf
[mysqld]
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
explicit_defaults_for_timestamp=1
.. ..
ndbcluster //指定运行的存储引擎
default-storage-engine=ndbcluster //设置默认存储引擎
[mysql_cluster] //集群连接配置段
ndb-connectstring=192.168.4.100
5．启动MySQL集群
正确的启动顺序：管理节点 --> 数据节点 --> SQL节点。
关闭顺序：SQL节点 --> 数据节点 --> 管理节点。
数据节点、SQL节点都正常运行后，理论上管理节点可关闭（无监控等任务的话）。
1）启动管理节点mgmd
MySQL Cluster管理节点的对应服务程序为ndb_mgmd，通过选项-f指定建立的集群配置文件。
[root@mgmsvr ~]# ndb_mgmd -f /etc/my-cluster.ini //启动管理节点，-f 指定配置文件路径
若希望每次开机后自动运行ndb_mgmd，可将上述启动操作写入到/etc/rc.local配置文件内，例如：
[root@mgmsvr ~]# vim /etc/rc.local
.. ..
ndb_mgmd -f /etc/my-cluster.ini
启动完成后可查看监听状态：
[root@mgmsvr ~]# netstat -anpt | grep ndb
tcp 0 0 0.0.0.0:1186 0.0.0.0:* LISTEN 4656/ndb_mgmd
tcp 0 0 127.0.0.1:1186 127.0.0.1:38567 ESTABLISHED 4656/ndb_mgmd
tcp 0 0 127.0.0.1:38567 127.0.0.1:1186 ESTABLISHED 4656/ndb_mgmd
查看日志文件相关数据：
[root@mgmsvr ~]# ls /var/log/mysql-cluster/
ndb_1_cluster.log ndb_1_out.log ndb_1.pid
2）启动数据节点ndbA、ndbB
MySQL Cluster数据节点的对应服务程序为ndbd（单线程的）、ndbmtd（多线程的），首次启动或重新初始化时加 --initial选项，以后不用加。
启动ndbA：
[root@ndbA ~]# ndbd --initial //启动数据节点
.2013-12-24 17:55:55 [ndbd] INFO -- Angel connected to '192.168.4.100:1186'
2013-12-24 17:55:55 [ndbd] INFO -- Angel allocated nodeid: 30
启动ndbB：
[root@ndbA ~]# ndbd --initial //启动数据节点
2013-12-24 17:55:55 [ndbd] INFO -- Angel connected to '192.168.4.100:1186'
2013-12-24 17:55:55 [ndbd] INFO -- Angel allocated nodeid: 40
在ndbA和ndbB服务器上，修改/etc/rc.local配置文件，以便每次开机后能自动启动数据节点服务：
[root@ndbA ~]# vim /etc/rc.local
.. ..
ndbd
3）启动SQL节点sqlA、sqlB
对于MySQL Cluster的SQL节点来说，对应的服务程序就是mysqld，正常通过mysql脚本重新启动服务就可以了。
启动sqlA：
[root@sqlA ~]# service mysql restart
.Shutting down MySQL..... [确定]
Starting MySQL.... [确定]
启动sqlB：
[root@sqlB ~]# service mysql restart
Shutting down MySQL..... [确定]
Starting MySQL.... [确定]
在sqlA和sqlB服务器上，建议将mysql服务的自动状态设为“启用”：
[root@sqlA ~]# chkconfig mysql on
[root@sqlA ~]# chkconfig --list mysql
mysql 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
成功启动后，可在本机登入mysql>环境，检查默认的存储引擎，确保已支持ndbcluster且作为默认存储引擎：
[root@sqlA ~]# mysql -u root -p
Enter password:
.. ..
mysql> SHOW ENGINES\G
*************************** 1. row ***************************
Engine: ndbcluster //已支持NDB集群存储
Support: DEFAULT //且已作为默认
Comment: Clustered, fault-tolerant tables
Transactions: YES
XA: NO
Savepoints: NO
*************************** 2. row ***************************
... ...
4）在管理节点mgmd上查看群集状态
直接执行ndb_mgm可进入群集管理环境：
[root@mgmsvr ~]# ndb_mgm //进入集群管理环境
-- NDB Cluster -- Management Client --
ndb_mgm>
进入ndb_mgm> 环境后，执行SHOW可查看当前各节点的状态，确保本例中的5个节点都已经成功连接;
ndb_mgm> SHOW //查看管理状态
Connected to Management Server at: localhost:1186
.Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s) //两个数据节点
id=30 @192.168.4.30 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0, *)
id=40 @192.168.4.40 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0)
[ndb_mgmd(MGM)] 1 node(s) //一个数据节点
id=1 @192.168.4.100 (mysql-5.6.14 ndb-7.3.3)
[mysqld(API)] 2 node(s) //两个SQL节点
id=10 @192.168.4.10 (mysql-5.6.14 ndb-7.3.3)
id=20 @192.168.4.20 (mysql-5.6.14 ndb-7.3.3)
ndb_mgm>
6．MySQL集群的高可用性测试
1）数据同步测试
从客户机访问sqlA，执行写数据库、表相关操作：
然后从客户机访问sqlB，确认结果（能看到从sqlA上所建的库、表、表记录）：
反过来从sqlB上所作的数据库表操作，从sqlA上也能获得相同的结果。
2）高可用性测试（关闭一台数据节点）
关闭数据节点ndbA上的ndbd进程：
[root@ndbA ~]# killall -9 ndbd //暴力结束ndbd进程
[root@ndbA ~]# netstat -anpt | grep ndbd //确认已结束
此时从管理节点上查看集群状态，会发现ndbA已断开连接：
ndb_mgm> show
然后从客户机访问sqlA或sqlB，仍然可读、写数据库。比如可向mydb.mytb表中再添加一条记录：
以上测试成立说明：只要还有一台数据节点可用，MYSQL数据库整体就仍然可用。
实验总结：
1、实验开始之前的环境准备不要忘记卸载冲突包
2、在管理节点的ini配置文件中，应涵盖所有节点的设置，主要包括各节点的ID号、主机
名或IP地址、工作目录等信息。相关配置区段的作用如下：
?[ndbd default]：为所有的数据节点指定默认配置。
?[ndbd]：指定某一个数据节点的配置。
?[ndb_mgmd default]：为所有的管理节点指定默认配置。
?[ndb_mgmd]：指定某一个管理节点的配置。
?[mysqld default]：为所有的SQL节点指定默认配置。
?[mysqld]：指定某一个SQL节点的配置。
3、关于管理节点的启动，有以下几个需要注意的地方：
?ndb_mgmd默认以后台模式运行（--daemon），调试过程中可添加选项--nodaemon来禁用后台模式。
?ndb_mgmd初次启动成功以后，会自动保存集群配置，以后再启动时会忽略-f指定的配置文件，除非添加--inital选项（比如向集群中添加新的节点时，就应该重新初始化）。
4、