一、前言

   本篇博文只是实现Corosync + Pacemaker + DRBD + MySQL，实现MySQL的高可用。更多的基础知识在前几篇博文中已有涉猎，故更多的理论细节将不再此篇中详述。

   若想了解高可用基础知识，请参考：http://hoolee.blog.51cto.com/7934938/1406951

   若想了解Corosync + Pacemaker，请参考：http://hoolee.blog.51cto.com/7934938/1409395

   若想了解DRBD，请参考：http://hoolee.blog.51cto.com/7934938/1410121

二、实现方式

   双节点实现：

   node1: 172.16.1.11 node1.hoo.com

   node2: 172.16.1.12 node2.hoo.com

   vip: 172.16.1.100

三、Corosync + Pacemaker搭建集群环境

1.配置主机名

     节点名称很关键，集群每个节的名称都得能互相解析。/etc/hosts中的主机名配置结果必须跟”uname -n”的解析的结果一致。

     node1/node2都添加：

2.配置node之间SSH互信

3.同步时间

# crontab -e
*/5* * * * /usr/sbin/ntpdate172.16.0.1 &> /dev/null

4.安装corosync和pacemaker

 所有节点均安装

5.安装资源管理器客户端命令接口工具crmsh

从pacemaker 1.1.8开始，crmsh发展成了一个独立项目，叫crmsh。pacemaker默认不提供命令接口工具，需要单独安装crmsh。

6.配置主配置文件

7.生成认证key

 用corosync-keygen生成key时，由于要使用/dev/random生成随机数，因此如果新装的系统操作不多，如果没有足够的熵，狂敲键盘即可，随意敲，敲够即可。（关于random使用键盘敲击产生随机数的原理可自行google）

 实验演示没有足够的熵，这里将采用投机的方式，生产环境，切切不可。

8.copy配置给node2

9.启动corosync

10.检查启动情况

四、安装配置DRBD  

1.安装DRBD

  node1/node2均安装

2.配置DRBD

      node1

//修改全局配置文件
# vim /etc/drbd.d/global_common.conf
global {   //全局配置
        usage-count no;  #让linbit公司收集目前drbd的使用情况，yes为参加，我们这里不参加设置为no
        # minor-count dialog-refresh disable-ip-verification
}
common {
        handlers {    #处理器
                # These are EXAMPLE handlers only.
                # They may have severe implications,
                # like hard resetting the node under certain circumstances.
                # Be careful when chosing your poison.
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                // 定义了如果主节点降级了怎么处理的
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                //这个定义了如果有脑裂了之后找不到主节点怎么处理的
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
                //定义了一旦本地节点发生IO错误时应该怎么处理
                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
        }
        startup {    //定义一个节点启动时另一个节点应该怎么做       
                # wfc-timeout    //等待另一个节点上线的超时时长
                # degr-wfc-timeout   //等待超时后做降级处理
                # outdated-wfc-timeout  //过期的等待超时
                # wait-after-sb   //脑裂之后等待多长时长
        }
        options {
                # cpu-mask on-no-data-accessible
        }
        disk {
                on-io-error detach;  #同步错误的做法是分离
                # size max-bio-bvecs on-io-error fencing disk-barrier disk-flushes
                # disk-drain md-flushes resync-rate resync-after al-extents
                # c-plan-ahead c-delay-target c-fill-target c-max-rate
                # c-min-rate disk-timeout
        }
        net {
                protocol C;
                cram-hmac-alg "sha1";  #设置加密算法sha1
                shared-secret "mydrbd";  #设置加密key
                # protocol timeout max-epoch-size max-buffers unplug-watermark
                # connect-int ping-int sndbuf-size rcvbuf-size ko-count
                # allow-two-primaries cram-hmac-alg shared-secret after-sb-0pri
                # after-sb-1pri after-sb-2pri always-asbp rr-conflict
                # ping-timeout data-integrity-alg tcp-cork on-congestion
                # congestion-fill congestion-extents csums-alg verify-alg
                # use-rle
        }
        syncer {    # 同步相关的设置
                rate 1000M; #设置重新同步(re-synchronization)速度
        #re-synchronization时候，如果有大量不一致的数据，
        #我们不可能将所有带宽都分配给drbd做re- synchronization，
        #这样会影响对外提提供服务。rate的设置需要考虑IO能力。
        #一般来说，设置网络IO能力和磁盘IO能力中最小者的30%的带宽给re- synchronization是比较合适的（官方说明）
        # drbd还提供了一个临时的rate更改命令，可以临时性的更改syncer的rate 值：
        #drbdsetup /dev/drbd0 syncer -r 100M
        #这样就临时的设置为100M。
        #结束之后，通过
        #drbdadm adjust resource_name 来让drbd按照配置中的rate工作。
        }
}

3.为节点准备磁盘分区

  node1/node2都需要准备，分好区不需要格式化，系统能识别就行可

4.定义资源

# cd /etc/drbd.d/
# vim mystore.res
resource mystore {            #定义一个资源，用关键字resource；
  on node1.hoo.com {          #on说明在哪个节点上，跟uname -n保持一致
    device    /dev/drbd0;     #在磁盘上表现的drbd叫什么名；
    disk      /dev/sda5;      #所使用的磁盘设备是哪个；
    address   172.16.1.11:7789;  #监听的套接字,默认监听在7789端口上；
    meta-disk internal;         #内部存放metadata
  }
  on node2.hoo.com {
    device    /dev/drbd0;
    disk      /dev/sda5;
    address   172.16.1.12:7789;
    meta-disk internal;
  }
}

5.同步配置文件

6.初始化资源

  node1/node2均初始化

7.启动DRBD服务

      node1/node2均启动

8.查看启动状态

9.选择主节点

       将node1提升为主节点

10.格式化并挂载

11.测试

   DRBD确定正常工作。

12.将node1的DRBD设置为主节点并挂载，设置MySQL数据目录

//将node2降级
[root@node2 ~]# mount /drbd
[root@node2 ~]# drbdadm secondary mystore
//将node1提升为主
[root@node1 ~]# drbdadm primary mystore

[root@node1 ~]# drbd-overview
  0:web/0  Connected Primary/Secondary UpToDate/UpToDate C r-----
[root@node1 ~]# mkdir /mydata
[root@node1 ~]# mount /dev/drbd0 /mydata/
[root@node1 ~]# cd /mydata/
[root@node1 mydata]# mkdir data
[root@node1 mydata]# chown -R  mysql.mysql /mydata/data/

五、MySQL的安装配置

1.安装MySQL

   node1/node2均安装

# tar xf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -sv mysql-5.5.33-linux2.6-x86_64 mysql
# chown -R root:mysql /usr/local/mysql/*

2.创建mysql用户mysql组

    node1/node2均配置

# groupadd -g 3306 mysql
# useradd -u 3306 -g mysql -s /sbin/nologin -M mysql

3.提供配置文件

[root@node1 ~]# cp /usr/local/mysql/support-files/my-large.cnf /etc/my.cnf
[root@node1 ~]# vim /etc/my.cnf
#增加一行
datadir = /mydata/data

4.初始化MySQL

[root@node1 data]# /usr/local/mysql/scripts/mysql_install_db --datadir=/mydata/data/ --basedir=/usr/local/mysql --user=mysql

5.提供启动脚本

[root@node1 ~]# cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
[root@node1 ~]# chmod +x /etc/init.d/mysqld

6.启动并测试MySQL

[root@node1 data]# service mysqld start
Starting MySQL..... SUCCESS!
[root@node1 data]# /usr/local/mysql/bin/mysql
//启动成功

7.将node1上mysql配置文件与启动脚本复制到node2上

[root@node1 ~]# scp /etc/my.cnf node2:/etc/
[root@node1 ~]# scp /etc/init.d/mysqld node2:/etc/init.d/

8.关闭mysql并设置开机不启动

[root@node1 ~]# service mysqld stop
[root@node1 data]# chkconfig mysqld off
[root@node1 data]# chkconfig mysqld --list

9.node2上启动并测试MySQL

   node2设为主节点

[root@node1 ~]# umount /mydata/
[root@node1 ~]# drbdadm secondary web
[root@node1 ~]# drbd-overview
[root@node2 ~]# drbdadm primary web
[root@node2 ~]# drbd-overview
[root@node2 ~]# mkdir /mydata
[root@node2 ~]# mount /dev/drbd0 /mydata/
[root@node2 ~]# cd /mydata/
[root@node2 mydata]# ll
    //data目录存在

   启动测试MySQL

[root@node2 data]# service mysqld start
[root@node2 data]# /usr/local/mysql/bin/mysql
//成功

   停止mysql,设置开机不启动

[root@node2 ~]# service mysqld stop
[root@node2 ~]# chkconfig mysqld off
[root@node2 ~]# chkconfig mysqld --list

六、实现高可用

1.关闭drbd并设置开机不启动

  node1/node2均设置

2.添加brbd资源

[root@node1 ~]# crm
crm(live)# configure
crm(live)configure# property stonith-enabled=false    //禁用stonith
crm(live)configure# property no-quorum-policy=ignore  //双节点设置忽略
crm(live)configure# verify
crm(live)configure# commit
crm(live)configure# show
crm(live)configure# meta ocf:linbit:drbd   //查看drbd的详细信息
crm(live)configure# primitive mysqlstore ocf:linbit:drbd params drbd_resource=mystore op monitor role=Master interval=30s timeout=20s op monitor role=Slave interval=60s timeout=20s op start timeout=240s op stop timeout=100s
            //定义资源
crm(live)configure# verify
crm(live)configure# master ms_mysqlstore mysqlstore meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=”True”
            //定义主资源
crm(live)configure# verify
crm(live)configure# commit

2.添加文件系统资源

定义文件系统资源，让服务器切换时自动挂载

crm(live)configure# primitive drbdfs ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/mydata fstype=ext4 op monitor interval=30s timeout=40s on-fail-restart op start timeout=60 op stop timeout=60
crm(live)configure# verify
crm(live)configure# commit
//定义排列约束：
crm(live)configure# collocation drbdfs_with_ms_mysqlstore_master inf: drbdfs ms_mysqlstore:Master
        //drbd与文件系统在一起
crm(live)configure# verify
//定义顺序约束：
crm(live)configure# order drbdfs_after_ms_mysqlstore_master mandatory: ms_mysqlstore:promote drbdfs:start
crm(live)configure# show
crm(live)configure# commit

   验证：

[root@node1 ~]# crm status

3.添加mysql资源

crm(live)# configure
crm(live)configure# primitive mysqld lsb:mysqld
//定义排列约束
crm(live)configure# colocation mysqld_with_mystore inf: mysqld mystore
crm(live)configure# verify
crm(live)configure# show
crm(live)configure# commit
//定义顺序约束
crm(live)configure# order mysqld_after_mystore mandatory: mystore mysqld
crm(live)configure# verify
crm(live)configure# show
crm(live)configure# commit

   验证：

[root@node1 ~]# crm status

4.添加vip资源

crm(live)# configure
crm(live)configure# primitive vip ocf:heartbeat:IPaddr params ip=192.168.1.100 nic=eth0 cidr_netmask=255.255.255.0
//定义排列约束
crm(live)configure# colocation vip_with_ms_mysqldrbd inf: ms_mysqldrbd:Master vip
crm(live)configure# verify
crm(live)configure# show
crm(live)configure# commit

   验证：

[root@node1 ~]# crm status

七、测试使用

1.登录mysql

[root@node1 ~]# /usr/local/mysql/bin/mysql
//正常

2.模拟故障

[root@node1 ~]# crm
crm(live)# node standby node1.hoo.com
crm(live)# show

 验证：

[root@node2 ~]# crm status

 登录测试：

[root@node2 ~]# /usr/local/mysql/bin/mysql
//正常

本文出自 “潇洒哥是先知” 博客，请务必保留此出处http://hoolee.blog.51cto.com/7934938/1413023

HA集群之DRBD实现MySQL高可用,布布扣,bubuko.com

HA集群之DRBD实现MySQL高可用