本节书摘来自华章计算机《高性能Linux服务器构建实战：系统安全、故障排查、自动化运维与集群架构》一书中的第3章，第3.3节,作者：高俊峰著， 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.3　DRBD的管理与维护

3.3.1　启动DRDB
1 . 在两个节点执行
在启动DRBD之前，需要分别在两台主机的hdb1分区上创建供DRBD记录信息的数据块。具体是分别在两台主机上执行：

[root@master-drbd ~]# drbdadm create-md r0 或者执行drbdadm create-md all
[root@master-drbd ~]# drbdadm create-md r0

2 . 在两个节点启动服务
接着在两个drbd节点启动DRBD服务，操作如下：

[root@master-drbd ~]# /etc/init.d/drbd start
[root@slave-drbd  ~]# /etc/init.d/drbd start

最好是在两个节点同时启动DRBD服务。
3 . 在任意节点查看节点状态
登录任意drbd节点，然后执行“cat /proc/drbd”命令，输出结果如下：

[root@master-drbd ~]# cat /proc/drbd
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
　ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:2007644

对输出的含义解释如下：
ro表示角色信息，第一次启动drbd时，两个drbd节点默认都处于Secondary状态。
ds表示磁盘状态信息，“Inconsistent/Inconsistent”即“不一致/不一致”状态，表示两个节点的磁盘数据处于不一致状态。
ns表示网络发送的数据包信息。
dw表示磁盘写信息。
dr表示磁盘读信息。
4 . 设置主用节点
由于默认没有主用节点和备用节点之分，因此需要设置两个主机的主次节点。选择需要设置为主用节点的主机，然后执行如下命令：

[root@master-drbd ~]# drbdsetup /dev/drbd0 primary -o

也可以执行下面命令：

[root@master-drbd ~]# drbdadm -- --overwrite-data-of-peer primary all

第一次执行完此命令后，如果需要设置哪个是主用节点，就可以使用另外一个命令：

[root@master-drbd ~]# /sbin/drbdadm primary r0或者/sbin/drbdadm primary all

执行此命令后，开始同步两台机器对应磁盘的数据：

[root@master-drbd ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
  ns:338640 nr:0 dw:0 dr:346752 al:0 bm:20 lo:1 pe:7 ua:64 ap:0 ep:1wo:b oos:10144232
        [>....................] sync'ed:  3.3% (9904/10236)M
        finish: 0:46:26 speed: 3,632 (3,184) K/sec

从输出可知：
“ro”状态现在变为“Primary/Secondary”，“ds”状态也变为“UpToDate/Inconsistent”，也就是“实时/不一致”状态。现在数据正在主备两台主机的磁盘间进行同步，且同步进度为3.3%，同步速度3.1Mbit/s左右。
等待片刻，再次查看同步状态，输出如下：

[root@master-drbd ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
  ns:10482024 nr:0 dw:0 dr:10482024 al:0 bm:640 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看到同步完成了，并且“ds”状态也变为“UpToDate/UpToDate”，即“实时/实时”状态了。
如果第一次设置主用节点和备用节点时使用“/sbin/drbdadm primary r0”命令，那么会提示如下错误：

0: State change failed: (-2) Need access to UpToDate data
Command '/sbin/drbdsetup 0 primary' terminated with exit code 17

只要第一次执行上面命令成功，以后就可以用“/sbin/drbdadm primary r0”命令设置主用节点了。
5 . 挂载DRBD设备
由于mount操作只能在主用节点上进行，因此只有设置了主用节点后才能格式化磁盘分区，同时，在两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态，而处于secondary状态的节点上不能挂载DRBD设备，要在备用节点上挂载DRBD设备，必须停止备用节点的DRBD服务或将备用节点角色升级为主用节点。
下面首先将DRBD设备格式化为ext3文件系统，然后在主用节点挂载，操作如下：

[root@master-drbd ~]# mkfs.ext3 /dev/drbd0
[root@master-drbd ~]# mount /dev/drbd0 /mnt

完成挂载后，就可以在/mnt目录下写数据了，此目录下的数据会自动同步到备用节点上。
3.3.2　测试DRBD数据镜像
为了验证DRBD的数据镜像功能，我们做一个简单的测试，首先在DRBD主用节点上的/mnt目录下创建一个200MB的文件，操作如下：

[root@master-drbd ~]# dd if=/dev/zero of=/mnt/testdrbd.tmp bs=10M count=20
[root@master-drbd ~]# ls –al    /mnt/testdrbd.tmp
-rw-r--r-- 1 root root 209715200 Mar 17 14:03 testdrbd.tmp

完成操作后，接着在备机上查看文件是否已经同步过去，为了保证数据的一致性，需要首先停止备用节点的DRBD服务，操作如下：

[root@slave-drbd /]# /etc/init.d/drbd  stop
Stopping all DRBD resources: .
[root@slave-drbd /]# mount /dev/sdb1  /mnt
[root@slave-drbd /]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      75226176  15156412  56186756  22% /
/dev/sda1               101086     19526     76341  21% /boot
tmpfs                  2025204         0   2025204   0% /dev/shm
/dev/sdb1             10317472    359240   9434132   4% /mnt
[root@slave-drbd /]# cd /mnt
[root@slave-drbdmnt]# ll
total 205020
drwx------ 2 root root     16384 Mar 17 13:58 lost+found
-rw-r--r-- 1 root root 209715200 Mar 17 14:03 testdrbd.tmp

可以看到，在主用节点master-drbd上产生的文件testdrbd.tmp也完整地保存到备用节点slave-drbd的镜像磁盘设备上。
测试完毕后，要重新启动备用节点的DRBD服务，此时必须先卸载/dev/sdb1设备，然后才能成功启动DRBD服务。
　这里挂载的是/dev/sdb1设备，而不是DRBD设备，因为DRBD设备只有在DRBD服务启动的时候才加载到系统中。
3.3.3　DRBD主备节点切换
在系统维护的时候，或者在高可用集群中，当主用节点出现故障时，就需要将主备节点的角色互换。主备节点切换有两种方式，分别是停止DRBD服务切换和正常切换，下面依次介绍。
1 . 停止DRBD服务切换
关闭主用节点服务，此时挂载的DRBD分区就自动在主用节点卸载了，操作如下：

[root@master-drbd /]# /etc/init.d/drbd  stop
Stopping all DRBD resources:

然后查看备用节点的DRBD状态：

[root@slave-drbd /]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----
  ns:0 nr:16 dw:16 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

从输出可以看到，现在主用节点的状态变为“Unknown”，接着在备用节点执行切换命令：

[root@slave-drbd  ~]# drbdadm primary all

此时会出现如下报错信息：

2: State change failed: (-7) Refusing to be Primary while peer is not outdated
Command 'drbdsetup 2 primary' terminated with exit code 11

因此，必须在备用节点执行如下命令：

[root@slave-drbd  ~]# drbdsetup /dev/drbd0 primary -o

或者

[root@slave-drbd ~]# drbdadm -- --overwrite-data-of-peer primary all

现在就可以正常切换了。接着查看此节点的状态，信息如下：

[root@slave-drbd /]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/Outdated C r-----
　ns:0 nr:16 dw:16 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看出，原来的备用节点已经处于“Primary”状态了，而原来的主用节点由于DRBD服务未启动，还处于“Unknown”状态，在原来的主用节点服务启动后，会自动变为“Secondary”状态，无需在原来主用节点上再次执行切换到备用节点的命令。
最后，在新的主用节点上挂载DRBD设备即可完成主备节点的切换：

[root@slave-drbd /]# mount /dev/drbd0 /mnt

2 . 正常切换
首先在主用节点卸载磁盘分区：

[root@ master-drbd /]# umount /mnt

然后执行：

[root@master-drbd ~]# drbdadm secondary all

如果不执行这个命令，直接在备用节点执行切换到主用节点的命令，会报如下错误：

2: State change failed: (-1) Multiple primaries not allowed by confi
Command 'drbdsetup 2 primary' terminated with exit code 11

此时查看master-drbd节点的DRBD状态，信息如下：

[root@master-drbd ~]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
  ns:36 nr:16 dw:52 dr:97 al:2 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

可以看到，两个节点都处于“Secondary”状态了，那么接下来就要指定一个主用节点，在备用节点执行如下命令：

[root@slave-drbd ~]# drbdadm primary all
[root@slave-drbd ~]# cat /proc/drbd 
version: 8.3.13 (api:88/proto:86-96)
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
　ns:0 nr:36 dw:36 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

至此，主备节点成功切换角色。最后在新的主用节点挂载DRBD磁盘分区即可：

[root@slave-drbd ~]# mount /dev/drbd0 /mnt