- GlusterFS 是一个开源的分布式文件系统。
- MFS
- 扩展性和高性能
- 高可用性
- 全局统一命名空间
- 弹性卷管理
- 基于标准协议
- Brick（存储块）：
- Volume（逻辑卷）：
- FUSE：
- VFS：
- Glusterd（后台管理进程）：
- 分布式卷（Distribute volume）：
文件分布在不同的服务器，不具备冗余性。
更容易和廉价地扩展卷的大小。 单点故障会造成数据丢失。 依赖底层的数据保护。 #创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中 gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3- 条带卷（Stripe volume）：
- 复制卷（Replica volume）：
- 分布式条带卷（Distribute Stripe volume）：
- 分布式复制卷（Distribute Replica volume）：
- 条带复制卷（Stripe Replica volume）：
- 分布式条带复制卷（Distribute Stripe Replicavolume）：
systemctl stop firewalld setenforce 0
2．磁盘分区，并挂载
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
3．修改主机名，配置/etc/hosts文件
#以Node1节点为例：hostnamectl set-hostname node1 su echo "192.168.200.13 node1" >> /etc/hosts echo "192.168.200.14 node2" >> /etc/hosts echo "192.168.200.15 node3" >> /etc/hosts echo "192.168.200.16 node4" >> /etc/hosts
3.1 安装、启动GlusterFS（所有node节点上操作）
#将gfsrepo 软件上传到/opt目录下cd /etc/yum.repos.d/ mkdir repo.bak mv *.repo repo.bak vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1 yum clean all && yum makecache #yum -y install centos-release-gluster #如采用官方 YUM 源安装，可以直接指向互联网仓库 yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma systemctl start glusterd.service systemctl enable glusterd.service systemctl status glusterd.service
3.2 添加节点到存储信任池中（在 node1 节点上操作）
#只要在一台Node节点上添加其它节点即可 gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4 #在每个Node节点上查看群集状态 gluster peer status
3.3 创建卷
#根据规划创建如下卷： 卷名称 卷类型 Brick dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1) stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1) rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1) dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)1．创建分布式卷
#创建分布式卷，没有指定类型，默认创建的是分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force #查看卷列表 gluster volume list #启动新建分布式卷 gluster volume start dis-volume #查看创建分布式卷信息 gluster volume info dis-volume
2．创建条带卷
#指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force gluster volume start stripe-volume gluster volume info stripe-volume
3．创建复制卷
#指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force gluster volume start rep-volume gluster volume info rep-volume
4．创建分布式条带卷
#指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force gluster volume start dis-stripe gluster volume info dis-stripe
5．创建分布式复制卷
指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷 gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force gluster volume start dis-rep gluster volume info dis-rep #查看当前所有卷的列表 gluster volume list
----- 部署 Gluster 客户端 -----
1．安装客户端软件#将gfsrepo 软件上传到/opt目下 cd /etc/yum.repos.d/ mkdir repo.bak mv *.repo repo.bak vim glfs.repo [glfs] name=glfs baseurl=file:///opt/gfsrepo gpgcheck=0 enabled=1 yum clean all && yum makecache yum -y install glusterfs glusterfs-fuse
2．创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
3．配置 /etc/hosts 文件
echo "192.168.200.13 node1" >> /etc/hosts echo "192.168.200.14 node2" >> /etc/hosts echo "192.168.200.15 node3" >> /etc/hosts echo "192.168.200.16 node4" >> /etc/hosts
4．挂载 Gluster 文件系统
#临时挂载 mount.glusterfs node1:dis-volume /test/dis mount.glusterfs node1:stripe-volume /test/stripe mount.glusterfs node1:rep-volume /test/rep mount.glusterfs node1:dis-stripe /test/dis_stripe mount.glusterfs node1:dis-rep /test/dis_rep df -Th #永久挂载 vim /etc/fstab node1:dis-volume /test/dis glusterfs defaults,_netdev 0 0 node1:stripe-volume /test/stripe glusterfs defaults,_netdev 0 0 node1:rep-volume /test/rep glusterfs defaults,_netdev 0 0 node1:dis-stripe /test/dis_stripe glusterfs defaults,_netdev 0 0 node1:dis-rep /test/dis_rep glusterfs defaults,_netdev 0 0
----- 测试 Gluster 文件系统 -----
1．卷中写入文件，客户端操作cd /opt dd if=/dev/zero of=/opt/demo1.log bs=1M count=40 dd if=/dev/zero of=/opt/demo2.log bs=1M count=40 dd if=/dev/zero of=/opt/demo3.log bs=1M count=40 dd if=/dev/zero of=/opt/demo4.log bs=1M count=40 dd if=/dev/zero of=/opt/demo5.log bs=1M count=40cp /opt/demo* /test/dis cp /opt/demo* /test/stripe/ cp /opt/demo* /test/rep/ cp /opt/demo* /test/dis_stripe/ cp /opt/demo* /test/dis_rep/
ls -lh /opt
2．查看文件分布
#查看分布式文件分布 [root@node1 ~]# ls -lh /data/sdb1 #数据没有被分片 总用量 160M -rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log [root@node2 ~]# ll -h /data/sdb1 总用量 40M -rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log #查看条带卷文件分布 [root@node1 ~]# ls -lh /data/sdc1 #数据被分片50% 没副本 没冗余 总用量 101M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log [root@node2 ~]# ll -h /data/sdc1 #数据被分片50% 没副本 没冗余 总用量 101M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log #查看复制卷分布 [root@node3 ~]# ll -h /data/sdb1 #数据没有被分片 有副本 有冗余 总用量 201M -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log [root@node4 ~]# ll -h /data/sdb1 #数据没有被分片 有副本 有冗余 总用量 201M -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log #查看分布式条带卷分布 [root@node1 ~]# ll -h /data/sdd1 #数据被分片50% 没副本 没冗余 总用量 81M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log [root@node2 ~]# ll -h /data/sdd1 总用量 81M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log [root@node3 ~]# ll -h /data/sdd1 总用量 21M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log [root@node4 ~]# ll -h /data/sdd1 总用量 21M -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log #查看分布式复制卷分布 #数据没有被分片 有副本 有冗余 [root@node1 ~]# ll -h /data/sde1 总用量 161M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log [root@node2 ~]# ll -h /data/sde1 总用量 161M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log [root@node3 ~]# ll -h /data/sde1 总用量 41M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log [root@node3 ~]# [root@node4 ~]# ll -h /data/sde1 总用量 41M -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
----- 破坏性测试 -----
#挂起 node2 节点或者关闭glusterd服务来模拟故障 [root@node2 ~]# systemctl stop glusterd.service #在客户端上查看文件是否正常 #分布式卷数据查看 [root@localhost test]# ll /test/dis/ #在客户机上发现少了demo5.log文件，这个是在node2上的 总用量 163840 -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log #条带卷 [root@localhost test]# cd /test/stripe/ #无法访问，条带卷不具备冗余性 [root@localhost stripe]# ll 总用量 0 #分布式条带卷 [root@localhost test]# ll /test/dis_stripe/ #无法访问，分布条带卷不具备冗余性 总用量 40960 -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log #分布式复制卷 [root@localhost test]# ll /test/dis_rep/ #可以访问，分布式复制卷具备冗余性 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log #挂起 node2 和 node4 节点，在客户端上查看文件是否正常 #测试复制卷是否正常 [root@localhost rep]# ls -l /test/rep/ #在客户机上测试正常 数据有 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log #测试分布式条卷是否正常 [root@localhost dis_stripe]# ll /test/dis_stripe/ #在客户机上测试没有数据 总用量 0 #测试分布式复制卷是否正常 [root@localhost dis_rep]# ll /test/dis_rep/ #在客户机上测试正常 有数据 总用量 204800 -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log
##### 上述实验测试，凡是带复制数据，相比而言，数据比较安全 #####
#其他的维护命令：
1．查看GlusterFS卷 gluster volume list 2．查看所有卷的信息 gluster volume info 3．查看所有卷的状态 gluster volume status 4．停止一个卷 gluster volume stop dis-stripe 5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功 gluster volume delete dis-stripe 6．设置卷的访问控制 #仅拒绝 gluster volume set dis-rep auth.deny 192.168.80.100 #仅允许 gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）