GlusterFS部署

目录
该文档是纯GlusterFS,而非红帽的GlusterFS,需注意!!!
声明:如需在单个节点上执行的都会有用户和主机名,如没有命令前没有用户名和主机名则为所有节点都执行
wiki
官网

硬件、环境介绍

node1/CentOS7.9/192.168.1.111/桥接/2G/2核/80G、20G
node2/CentOS7.9/192.168.1.112/桥接/2G/2核/80G、20G

注:2台机上的20G用来做GlusterFS使用

安装

2台机上都需要安装glusterfs,这里使用centos的源

systemctl stop firewalld && systemctl disable firewalld
sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
setenforce 0
mount /dev/sr0 /mnt/usb1        ===>该步按需

yum -y install centos-release-gluster
yum clean all && yum makecache
yum -y install glusterfs-server

systemctl start glusterd && systemctl enable glusterd
glusterd --version

cat /usr/lib/firewalld/services/glusterfs.xml     ===> 查看开启的规则信息

[root@node1 ~]# vim /etc/hosts
192.168.1.111   node1
192.168.1.112   node2

[root@node1 ~]# gluster peer probe node2
[root@node1 ~]# gluster peer status
Number of Peers: 1

Hostname: node2
Uuid: 2543bce7-bb6a-4974-ad54-67d3d3f2d72d
State: Peer in Cluster (Connected)


[root@node1 ~]# gluster pool list
UUID					Hostname 	State
2543bce7-bb6a-4974-ad54-67d3d3f2d72d	node2    	Connected 
6b5efcf3-e34f-4fac-87bc-fda1ae6e4189	localhost	Connected 

配置LV

两个节点都在本地虚拟机先添加一块磁盘,用于当作存储,两个节点都要操作如下命令

创建pv
pvcreate /dev/sdb
vgcreate opop /dev/sdb

创建thin
lvcreate -L 5G  -T opop/opop-thin-pool
注:-T表示创建的是thin pool

创建lv
lvcreate -V 2G -T opop/opop-thin-pool  -n  opop-brick

而后可用lvdisplay查看详细信息。
其实上述这些操作都可以不用做,直接对磁盘进行格式化就行。

mkfs.xfs -i size=512 /dev/opop/opop-brick

挂载
mkdir -p /data/brick1
mount /dev/opop/opop-brick /data/brick1
echo '/dev/opop/opop-brick /data/brick1  xfs defaults  1  2' >> /etc/fstab

注:已经被设置为共享卷的文件夹是不能再被挂载

df -h | grep data
/dev/mapper/opop-opop--brick  2.0G   33M  2.0G    2% /data/brick1


===================
如果selinux关闭的话,这个可不设置
# semanage fcontext  -a -t glusterd_brick_t /data1/brick1
# restorecon -Rv /data/
# ll -Z /data
===================

创建分布式卷

这种默认创建出来的就是分布式卷

[root@node1 ~]# gluster volume create gv0 node1:/data/brick1/brick node2:/data/brick1/brick


[root@node1 ~]# gluster volume info gv0 
 
Volume Name: gv0
Type: Distribute
Volume ID: 1b19e7ff-4608-4576-ab4f-fe8ef764102e
Status: Created                ====>默认的状态是Create,需要启动
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/brick1/brick
Brick2: node2:/data/brick1/brick
Options Reconfigured:
storage.fips-mode-rchecksum: on
transport.address-family: inet
nfs.disable: on


启动volume
gluster volume start gv0 
查看状态
gluster volume status gv0

客户端挂载使用

这里就把node2当客户端来使用
[root@node2 ~]# yum -y install glusterfs-fuse

挂载
[root@node2 ~]# mkdir /gluster_client
[root@node2 ~]# mount -t glusterfs node1:/gv0  /gluster_client
[root@node2 ~]# echo 'node1:/gv0 /gluster_client  glusterfs  defaults,_netdev,backup-volfile-servers=node2 1 2' >> /etc/fstab

写文件
[root@node2 ~]# for i in `seq -w 1 100`; do cp -rp /var/log/messages /gluster_client/copy-test-$i; done

[root@node2 ~]# ls -lA /gluster_client/copy* | wc -l

查看客户端节点上面的brick下面的数据文件
[root@node2 ~]# ll -lA /data/brick1/brick/copy-test-0* | wc -l

删除分布式卷
# umount /gluster_client/
# gluster volume stop gv0 // 停止卷
# gluster volume delete gv0 // 删除卷
上一篇:金钟罩还是铁布衫?TcaplusDB定时备份助你万无一失!


下一篇:GFS分布式文件系统