Centos7 下安装NFS+Heartbeat+DRBD

2022-12-18 15:20:08

Centos7 下安装NFS+Heartbeat+DRBD


需求：一般由于公司资金紧张，也没有更多的资金购买存储设备，手都上只有仅有的资金购买2台服务器，但又想有一个高可用的环境满足企业的日常使用的需求，这里当然有很多种方式，总体来说，NFS+Heartbeat+DRBD,是可以满足，因为NFS部署方便，维护简单，并且NFS是以明文方式存储，不像MFS这样的分布式存储架构，数据分散到每台服务器上，并且数据都是加密存储，如有一台node坏了会影响整个分布式存储的性能，综上考虑还是选择NFS+Heartbeat+DRBD这种架构。

目的：通过部署NFS+Heartbeat+DRBD来满足公司业务在高可用环境的使用，确保业务不中断的运行。

实施规划：

名称 接口 IP地址
 用途
heartbeat01 eth0
 192.168.202.20 主服务器端IP地址

eth1 172.16.0.20
 用于NFS服务器之间心跳连接（直连）
VIP 
192.168.202.200 用于提供对外NFS存储系统服务的VIP
heartbeat02 eth0
 192.168.202.21 备服务器端IP地址

eth1 172.16.0.21
 用于NFS服务器之间心跳连接（直连）
VIP
192.168.202.200 用于提供对外NFS存储系统服务的VIP

实施步骤：

一、安装过程

1，查看Linux版本及内核版本,需要这2台服务器版本保持一致。

cat /proc/version

Centos7 下安装NFS+Heartbeat+DRBD

uname –r

Centos7 下安装NFS+Heartbeat+DRBD

2，关闭防火墙和selinux，两边都需要做。

systemctl stop firewalld

systemctl disable firewalld

sed -i 's#SELINUX=enforcing#SELINUX=disabled# /etc/selinux/config’

3，配置时间同步，两边都需要做。

# sysnc time from ntpserver
*/5 * * * * /usr/sbin/ntpdate  time.ustc.edu.cn >/dev/null 2>&1

4，配置hosts文件,两边都需要做心跳。

echo "`ifconfig ens34 |awk -F '[ :]+' 'NR==2 {print $3}'` `hostname`">>/etc/hosts

Centos7 下安装NFS+Heartbeat+DRBD5，配置路由,两边都需要做

/sbin/route add -host 172.16.0.21 dev ens34
echo '/sbin/route add -host 172.16.0.21 dev ens34' >>/etc/rc.local
route –n

Centos7 下安装NFS+Heartbeat+DRBD6，下载安装heartbeat，并提前安装依赖包。

yum install gcc gcc-c++ autoconf automake libtool glib2-devel libxml2-devel bzip2 bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel asciidoc -y

7，创建用户和组。

groupadd haclient
useradd -g haclient hacluster

8，新建目录，下载软件包。

mkdir –p /data && cd /data
wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
wget http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2
wget https://github.com/ClusterLabs/resource-agents/archive/v3.9.6.tar.gz

9，解压并安装glue。

tar xf 0a7add1d9996.tar.bz2
cd Reusable-Cluster-Components-glue--0a7add1d9996/
./autogen.sh
./configure --prefix=/usr/local/heartbeat \
--with-daemon-user=hacluster \
--with-daemon-group=haclient \
--enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install
cd ..

10，解压并安装Resource Agents。

tar xf v3.9.6.tar.gz
cd resource-agents-3.9.6/
./autogen.sh 
./configure --prefix=/usr/local/heartbeat \
--with-daemon-user=hacluster \
--with-daemon-group=haclient \
--enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install
cd ..

11，解压并heartbeat。

tar xf 958e11be8686.tar.bz2
cd Heartbeat-3-0-958e11be8686/
./bootstrap
export CFLAGS="$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib"
./configure --prefix=/usr/local/heartbeat \
--with-daemon-user=hacluster \
--with-daemon-group=haclient \
--enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install

12，配置网卡支持插件文件。

mkdir -pv /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/
cp /usr/lib/ocf/lib/heartbeat/ocf-* /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/

13，做一个链接。

ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/plugins/RAExec/
ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/

14，到解压的文件下拷贝文件到安装目录下。

cd  /data/Heartbeat-3-0-958e11be8686/doc
拷贝authkeys,haresources,ha.cf 三个文件到/usr/local/heartbeat/etc/ha.d目录下
cp {authkeys,haresources,ha.cf} /usr/local/heartbeat/etc/ha.d

15，配置ha.cf文件，先备份一下配置文件，然后再操作。

vim /usr/local/heartbeat/etc/ha.d/ha.cf
#the start 
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility     local1
 
keepalive 2
deadtime 30
warntime 10
initdead 60
 
#bcast  eth1
#mcast  eth1 225.0.0.18 694 1 0
ucast ens34 172.16.0.21
auto_failback on
node    heartbeat01
node    heartbeat02
crm     no
#the end

提示：另外一台也同样配置，唯一不同的是需要改单播ip地址

16，配置authkeys文件，先备份一下配置文件，然后再操作。

vim /usr/local/heartbeat/etc/ha.d/authkeys
auth 1
1 sha1 47e9336850f1db6fa58bc470bc9b7810eb397f04

17，给authkeys文件权限为600

chmod 600 /usr/local/heartbeat/etc/ha.d/authkeys

提示：另外一台也同样配置

18，配置haresources，先备份一下配置文件，然后再操作。

vim /usr/local/heartbeat/etc/ha.d/haresources
#192.168.202.200 VIP 
#heartbeat01 IPaddr::192.168.202.200/24/ens33
heartbeat01 IPaddr::192.168.202.200/24/ens33 drbddisk::data Filesystem::/dev/drbd0::/data::ext4

19，启动heartbeat测试一下

[root@heartbeat01 heartbeat]# service heartbeat start
Starting heartbeat (via systemctl):                        [  OK  ]
[root@heartbeat01 heartbeat]# ip add |grep 192.168.202
    inet 192.168.202.20/24 brd 192.168.202.255 scope global noprefixroute ens33
    inet 192.168.202.200/24 brd 192.168.202.255 scope global secondary ens33:0
[root@heartbeat01 heartbeat]# ps -ef |grep heartbeat
root      94686      1  0 15:01 ?        00:00:00 heartbeat: master control process
root      94688  94686  0 15:01 ?        00:00:00 heartbeat: FIFO reader
root      94689  94686  0 15:01 ?        00:00:00 heartbeat: write: ucast ens34
root      94690  94686  0 15:01 ?        00:00:00 heartbeat: read: ucast ens34
root      94952   1659  0 15:03 pts/0    00:00:00 grep --color=auto heartbeat

Centos7 下安装NFS+Heartbeat+DRBD

20，添加yum源并安装DRBD软件。

yum install https://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm -y
yum -y install drbd84-utils kmod-drbd84
[root@heartbeat01 ~]# modprobe drbd
[root@heartbeat01 ~]# lsmod |grep -i drbd
drbd                  397041  0 
libcrc32c              12644  2 xfs,drbd
echo "modprobe drbd >/dev/null 2>&1" >/etc/sysconfig/modules/drbd.modules

Centos7 下安装NFS+Heartbeat+DRBD21，先分区，然后格式化数据。

fdisk –l
fdisk /dev/sdb
mkfs.ext4 /dev/sdb1

22，编辑drbd配置文件。

vim  /etc/drbd.conf
#
global {
    # minor-count 64;
    # dialog-refresh 5; # 5 seconds
    # disable-ip-verification;
    usage-count no;
}
 
common {
  protocol C;
 
  disk {
    on-io-error   detach;
    no-disk-flushes;
    no-md-flushes;
  }
 
  net {
    sndbuf-size 512k;
    # timeout       60;    #  6 seconds  (unit = 0.1 seconds)
    # connect-int   10;    # 10 seconds  (unit = 1 second)
    # ping-int      10;    # 10 seconds  (unit = 1 second)
    # ping-timeout   5;    # 500 ms (unit = 0.1 seconds)
    max-buffers     8000;
    unplug-watermark   1024;
    max-epoch-size  8000;
    # ko-count 4;
    # allow-two-primaries;
    cram-hmac-alg "sha1";
    shared-secret "hdhwXes23sYEhart8t";
    after-sb-0pri disconnect;
    after-sb-1pri disconnect;
    after-sb-2pri disconnect;
    rr-conflict disconnect;
    # data-integrity-alg "md5";
    # no-tcp-cork;
  }
 
  syncer {
    rate 330M;
  }
}
 
resource data {
  on heartbeat01 {
    device     /dev/drbd0;
    disk       /dev/sdb1;
    address    192.168.202.20:7788;
    #meta-disk /dev/sdb1 [0];
    meta-disk  internal;
  }
 
  on heartbeat02 {
    device    /dev/drbd0;
    disk      /dev/sdb1;
    address   192.168.202.21:7788;
    #meta-disk /dev/sdb1 [0];
    meta-disk internal;
  }
}

提示：主要需要修改的地方是IP地址，同时采用内部模式。

23，初始化环境

drbdadm create-md data

提示：有报错如下图

Centos7 下安装NFS+Heartbeat+DRBD

解决：dd if=/dev/zero of=/dev/sdb1 bs=1M count=1

24，启动DRBD。

systemctl start drbd.service         #启动DRBD服务
drbdadm primary --force data       #把heartbeat01设置为主
drbdadm role data                #查看角色
drbdadm dstate data              #查看数据同步状态，如上为一致，还有Inconsistent状态为数据不一致正在同步
cat /proc/drbd                  #查看传输的状态

Centos7 下安装NFS+Heartbeat+DRBD25，在主服务器上执行。


mkdir /md1
mkfs.ext4 /dev/drbd0
mount /dev/drbd0 /md1
cd /md1
#弄几个文件测试一下，这个步骤可以省略
for n in `seq 10`;do cp /bin/cat tony$n;done

26，heartbeat配合drbd使用说明。

在/usr/local/heartbeat/etc/ha.d/haresources下面配置
heartbeat01 IPaddr::192.168.202.200/24/ens33 drbddisk::data Filesystem::/dev/drbd0::/md1::ext4
#参数配置说明
1，IPaddr::192.168.202.200/24/ens33
/usr/local/heartbeat/etc/ha.d/resource.d/ IPaddr::192.168.202.200/24/ens33
start 配置了一个VIP 192.168.202.200
2，drbddisk::data
/usr/local/heartbeat/etc/ha.d/resource.d/ drbddisk  data stop start 
启动drbd脚本来提供服务。
3，Filesystem::/dev/drbd0::/md1::ext4
/usr/local/heartbeat/etc/ha.d/resource.d/ Filesystem /dev/drbd0  /md1  ext4 start 挂载一个文件夹名字叫/md1

备注：在/usr/local/heartbeat/etc/ha.d/haresources内IPaddr,Filesystem等脚本存放路径在/etc/ha.d/resource.d/下，也可在该目录下存放服务启动脚本（例如：mysql,www），将相同脚本名称添加到/etc/ha.d/haresources内容中，从而跟随heartbeat启动而启动该脚本。

下面是对上述命令的具体解释：
※IPaddr::192.168.202.200/24/ens33：用IPaddr脚本配置对外服务的浮动虚拟IP这个就是VIP IP地址。
※drbddisk::data：用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载
※Filesystem::/dev/drbd0::/md1：用Filesystem脚本实现磁盘挂载和卸载

27，错误以及解决办法，先看日志，在找解决办法。

有2个错误在执行cat /var/log/ha-debug发现的。

一个是错误大概如下：Setup problem: couldn't find command: fuser

解决办法：安装一个软件yum install psmisc就可以解决了。

还有一个说是没有drbddisk脚本：然后查了一下还是真没有，然后拷贝一个放在/usr/local/heartbeat/etc/ha.d/resource.d目录下，并且授权755就好了。

解决办法:chmod 755 /usr/local/heartbeat/etc/ha.d/resource.d/drbddisk

28，安装NFS，在2台服务器上都要安装

[root@heartbeat01 ~]# yum -y install nfs-utils rpcbind
[root@heartbeat01 ~]# rpm -qa  nfs-utils rpcbind     
rpcbind-0.2.0-49.el7.x86_64
nfs-utils-1.3.0-0.68.el7.x86_64
[root@heartbeat01 ~]# systemctl start rpcbind
[root@heartbeat01 ~]# systemctl start nfs
[root@heartbeat01 ~]# systemctl enable nfs
[root@heartbeat01 ~]# systemctl enable rpcbind
[root@heartbeat02 ~]# systemctl start rpcbind
[root@heartbeat02 ~]# systemctl start nfs
[root@heartbeat02 ~]# systemctl enable nfs
[root@heartbeat02 ~]# systemctl enable rpcbind

29，查看启动是否正常。

[root@heartbeat01 ~]# rpcinfo -p localhost

30，配置heartbeat01上的参数。

[root@heartbeat01 ~]# cat /etc/exports
/md1 192.168.202.*(rw,sync)
[root@heartbeat01 ~]# systemctl reload nfs
或者是exportfs -r
[root@heartbeat01 ~]# exportfs -r
[root@heartbeat01 ~]# showmount -e 192.168.202.20
Export list for 192.168.202.20:
/md1 192.168.202.*

31，配置heartbeat02上的参数

[root@heartbeat02 ~]# vim /etc/exports
/md1 192.168.202.*(rw,sync)
[root@heartbeat02 ~]#  exportfs -r
[root@heartbeat02 ~]# showmount -e 192.168.202.21
Export list for 192.168.202.21:
/md1 192.168.202.*

32，客户端机器配置。

[root@mysql ~]#  yum -y install nfs-utils rpcbind
[root@mysql ~]#  systemctl start rpcbind
[root@mysql ~]# mkdir /web
[root@mysql ~]# showmount -e 192.168.202.200
Export list for 192.168.202.200:
/md1 192.168.202.*

33，将服务端的VIP共享资源挂载到本地的/web目录下面，下面是客户端挂载处理。

[root@mysql ~]# mount -t nfs 192.168.202.200:/md1 /web
[root@mysql ~]# echo "mount -t nfs 192.168.202.200:/md1 /web" >> /etc/rc.local
[root@mysql ~]# tail -l /etc/rc.local
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
 
touch /var/lock/subsys/local
mount -t nfs 192.168.202.200:/md1 /web

34，客户端查看挂载数据是否过来了。

[root@mysql ~]# ls /web
lost+found  test  tony1  tony10  tony2  tony3  tony4  tony5  tony6  tony7  tony8  tony9

二、错误处理

关于一台主机宕机修复后，主机节点不会自动切换成主节点。注意修复时需要以下步骤：

先在2台主机上查看节点的DRBD状态：

cat /proc/drbd然后在Secondary节点上操作如下步骤：

1，modprobe drbd

2，drbdadm Secondary data

3，drbdadm up data

4，drbdadm disconnect data

5，drbdadm -- --discard-my-data connect data

6，最后在primary节点上，通过cat /proc/drbd查看状态，如果不是connection状态需要手动执行drbdadm connect data

三、总结

1，不要把DRDB服务和Heartbeat服务开机自启动，因为，当一台服务器重维修好重新加入时很容易导致裂脑。

2，当故障发生时，我们需要冷静对待，查看日志，cat /var/log/ha-log文件，一般在这里出现的问题都有明显提示。

3，做好准备工作，你细心一点也能做的更好。

























上一篇：Heartbeat部署


下一篇：Dubbo分析之心跳设计