【beegfs相关】beegfs集群部署

一、前言

1、概述

参考资料:
beegfs源码地址
beegfs官方文档
beegfs FAQ

BeeGFS是行业领先的并行集群文件系统,设计时优先考虑性能强大的同时,安装和管理非常方便,是I/O密集型工作负载的优质存储开源解决方案,软件整体架构如下图所示:

【beegfs相关】beegfs集群部署

组件名称 组件包名称 说明
管理服务 beegfs-mgmtd 管理服务用于监控所有已注册服务的状态,不存储用户任何数据
注:在进行元数据服务、存储服务、客户端服务配置时,都需要指向管理服务节点IP地址,
一般集群部署需要第一个部署的服务,有且只有一个
元数据服务 beegfs-meta 元数据服务用于存储文件的元数据信息,如目录结构、权限信息、数据分片存放位置等,
一个文件对应一个元数据文件,客户端打开文件时,由元数据服务向客户端提供数据具体存放节点位置,
之后客户端直接与存储服务进行数据读写操作,可支持横向扩展,增加多个元数据服务用以提升文件系统性能
存储服务 beegfs-storage 存储服务用于存储条带化后的数据块文件
客户端服务 beegfs-client
beegfs-helperd
客户端服务用于集群存储空间挂载,当服务开启时自动挂载到本地路径,
之后可通过nfs/samba服务将本地挂载点导出,提供linux/windows客户端访问
注:挂载路径通过/etc/beegfs/beegfs-mounts.conf 配置文件指定
beegfs-helperd主要用于日志写入,不需要任何额外配置
命令行组件 beegfs-utils
beegfs-common
提供命令行工具,如beegfs-ctl、beegfs-df、beegfs-fsck等
  • 配置文件路径:/etc/beegfs/{package-name}.conf
  • 日志文件路径:/var/log/{package-name}.log
  • 服务控制控制管理:systemctl status/start/stop/restart {package-name}
  • 应用程序文件路径:/opt/beegfs/sbin/

注:{package-name}为对应组件包名称,如beegfs-mgmtd等

二、安装部署

节点名 节点IP 节点角色 软件版本
node190 172.16.21.190 mgmtd、meta、storage、client 系统版本:CentOS 7.6
软件版本:BeeGFS 7.2.4
node191 172.16.21.191 meta、storage、client 系统版本:CentOS 7.6
软件版本:BeeGFS 7.2.4

1、配置集群ssh免密登录

  • 配置集群节点主机名和IP映射关系,同步到所有集群节点上
[root@node190 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.21.190    node190
172.16.21.191    node191
[root@node190 ~]# scp /etc/hosts 172.16.21.191:/etc/
  • 配置机器A到机器B ssh免密登录

机器A执行ssh-keygen :在本地~/.ssh目录下生成公钥文件id_rsa.pub 和私钥文件id_rsa
机器A执行ssh-copy-id {target-hostname} :将机器A公钥文件id_rsa.pub 信息追加到机器B~/.ssh/authorized_keys 文件,实现机器A到机器B ssh免密登录

配置node190->node191 ssh免密登录
[root@node190 ~]# ssh-keygen 
[root@node190 ~]# ssh-copy-id node191


配置node190<-node191 ssh免密登录
[root@node191 ~]# ssh-keygen 
[root@node191 ~]# ssh-copy-id node190

2、软件安装

查看beegfs最新稳定版本源:https://www.beegfs.io/release/beegfs_7.2.4/dists/beegfs-rhel7.repo

示例如下:
yum install wget -y
yum install ca-certificates -y
wget -O /etc/yum.repos.d/beegfs-rhel7.repo https://www.beegfs.io/release/latest-stable/dists/beegfs-rhel7.repo
yum install beegfs-mgmtd -y
yum install beegfs-meta -y
yum install beegfs-storage -y 
yum install beegfs-helperd beegfs-client beegfs-utils -y

3、集群部署

3.1、部署管理服务

1)、部署服务:

/opt/beegfs/sbin/beegfs-setup-mgmtd -p {mgmtd_path}

  • -p:mgmtd_path 为管理服务数据存放目录

注:执行此命令后,会在mgmtd_path下生成format.conf 文件,更新/etc/beegfs/beegfs-mgmtd.conf 配置文件(storeMgmtdDirectorystoreAllowFirstRunInit 参数)

2)、启动服务:

systemctl restart beegfs-mgmtd

示例如下:
mkdir -p /data/mgmtd
/opt/beegfs/sbin/beegfs-setup-mgmtd -p /data/mgmtd/
systemctl restart beegfs-mgmtd

3.2、部署元数据服务

1)、部署服务:

/opt/beegfs/sbin/beegfs-setup-meta -p {meta_path} -s {meta_id} -m {mgmtd_host}

  • -p:meta_path 为元数据服务数据存放目录
  • -s:meta_id 为元数据服务ID,同一集群元数据服务id值不能重复
  • -m:mgmtd_host 为管理服务节点主机名或者IP地址,此处任选其一均可

注:执行此命令后,会在meta_path 下生成format.confnodeNumID 文件,更新/etc/beegfs/beegfs-meta.conf 配置文件(sysMgmtdHoststoreMetaDirectorystoreAllowFirstRunInitstoreFsUUID 参数)

2)、启动服务:

systemctl restart beegfs-meta

示例如下:
--node190节点使用/dev/sdb1存放元数据,分配元数据服务ID为190,指定管理服务节点主机名为node190--
mkdir /data/meta -p
mount /dev/sdb1 /data/meta/
/opt/beegfs/sbin/beegfs-setup-meta -p /data/meta/ -s 190 -m node190
systemctl restart beegfs-meta

--node191节点使用/dev/sdb1存放元数据,分配元数据服务ID为191,指定管理服务节点主机名为node190--
mkdir /data/meta -p
mount /dev/sdb1 /data/meta/
/opt/beegfs/sbin/beegfs-setup-meta -p /data/meta/ -s 191 -m node190
systemctl restart beegfs-meta

3.3、部署存储服务

1)、部署服务:

/opt/beegfs/sbin/beegfs-setup-storage -p {storage_path} -s {storage_host_id} -i {storage_id} -m {mgmtd_host}

  • -p:storage_path 为存储服务数据存放目录
  • -s:storage_host_id 为存储服务节点id,同一节点上的存储服务id一致,一般以ip地址命名
  • -i:storage_id 为存储服务id,同一集群存储服务id值不能重复
  • -m:mgmtd_host 为管理服务节点主机名或者IP地址,此处任选其一均可

注:执行此命令后,会在storage_path 下生成format.confnodeNumIDtargetNumID 文件,更新/etc/beegfs/beegfs-client.conf 配置文件(sysMgmtdHoststoreStorageDirectorystoreAllowFirstRunInitstoreFsUUID 参数)

  • 启动服务
    systemctl restart beegfs-storage
示例如下:
--node190节点使用/dev/sdc1和/dev/sdd1存放数据,指定存储服务节点ID为190,存储服务ID为1901和1902,管理服务节点主机名为node190--
mkdir /data/storage0{1..2} -p
mount /dev/sdc1 /data/storage01/
mount /dev/sdd1 /data/storage02/
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage01 -s 190 -i 1901 -m node190
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage02 -s 190 -i 1902 -m node190
systemctl restart beegfs-storage

--node191节点使用/dev/sdc1和/dev/sdd1存放数据,指定存储服务节点ID为191,存储服务ID为1911和1912,管理服务节点主机名为node190--
mkdir /data/storage0{1..2} -p
mount /dev/sdc1 /data/storage01/
mount /dev/sdd1 /data/storage02/
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage01 -s 191 -i 1911 -m node190
/opt/beegfs/sbin/beegfs-setup-storage -p /data/storage02 -s 191 -i 1912 -m node190
systemctl restart beegfs-storage

3.4、部署客户端服务

1)、部署服务:

/opt/beegfs/sbin/beegfs-setup-client -m {mgmtd_host}

  • -m:mgmtd_host 为管理服务节点主机名或者IP地址,此处任选其一均可

注:执行此命令后,会更新/etc/beegfs/beegfs-client.conf 配置文件(sysMgmtdHost 参数)
客户端默认将集群目录挂载到/mnt/beegfs ,如需修改挂载点,修改/etc/beegfs/beegfs-mounts.conf 配置文件即可

2)、启动服务:

systemctl restart beegfs-helperd; systemctl restart beegfs-client

示例如下:
/opt/beegfs/sbin/beegfs-setup-client -m node190
systemctl restart beegfs-helperd; systemctl restart beegfs-client

4、配置镜像组

参考wiki:BuddyGroups
参考aws:如何在 AWS 上构建并行文件系统 BeeGFS – 高可用篇

4.1、概述

4.1.1、BuddyGroups说明

beegfs通过BuddyGroups实现数据和元数据冗余,通常一个Buddy Group为一组两个目标,组内两个目标彼此进行数据复制,当一个目标出现故障时仍可以访问所有的数据,可以将Buddy Group两个目标存放于不同灾备区域(如不同机房、机架、节点),实现机房、机架、节点级别故障冗余。

Buddy Group两个目标有主辅之分,一个目标为主存储(primary),一个目标为辅存储(secondary),进行数据读写时,读写操作先发送到主存储,之后主存储同步写入到辅存储,当两个副本读写操作完成后,返回前端应用操作完成。

4.1.2、BuddyGroups故障切换

当Buddy Group主目标无法访问时,等待短暂时间后仍无法恢复,则会被标记为脱机状态,此时辅目标将会成为新的主目标接管服务
可通过beegfs-ctl --listtargets --nodetype={node_type} --state查询目标状态,相关状态描述如下:

[root@node190 ~]# beegfs-ctl --listtargets --nodetype=meta --state
TargetID     Reachability  Consistency   NodeID
========     ============  ===========   ======
       1           Online         Good        1
       2           Online         Good        2

[root@node190 ~]# beegfs-ctl --listtargets --nodetype=storage --state
TargetID     Reachability  Consistency   NodeID
========     ============  ===========   ======
       1           Online         Good      190
       3           Online         Good      191
  • Reachability(可达性)
    用于描述系统是否可以访问到目标,当管理服务监控到Buddy Group中的主目标无法访问,会自动进行故障转移,由辅目标提供读写操作
    • Online:可以访问此目标
    • Probably-offline:检测到此目标通信失败,有可能是服务重启或者短期网络故障造成,此状态下,关于该目标可能出现故障的信息将会广播到所有节点,以便系统做好故障转移准备
    • Offline:无法达到此目标,如果此目标为某一Buddy Group组的主目标,将会在目标转换为脱机状态时立即发起故障转移,由同组Buddy Group辅目标接管读写操作
  • Consistency(一致性)
    用于描述数据一致性状态
    • Good:目标数据被认为是好的
    • Needs-resync:目标数据被认为是不同步的,尝试重新同步中
    • Bad:目标数据被认为是不同步的,尝试重新同步失败

4.2、配置说明

  • 自动创建镜像组:beegfs-ctl --addmirrorgroup --automatic --nodetype={node_type}
    注:如需手动指定Buddy Group目标分布,确保同一Buddy Group组两个目标落在不同故障域上,可使用beegfs-ctl --addmirrorgroup --nodetype={node_type} --primary={target_id} --secondary={target_id} --groupid={group_id}
示例如下,自动创建元数据、数据镜像组:
[root@node190 ~]# beegfs-ctl --addmirrorgroup --automatic --nodetype=meta

New mirror groups:
BuddyGroupID   Node type Node
============   ========= ====
           1     primary        1 @ beegfs-meta node190 [ID: 1]
               secondary        2 @ beegfs-meta node191 [ID: 2]

Mirror buddy group successfully set: groupID 1 -> target IDs 1, 2

[root@node190 ~]# beegfs-ctl --addmirrorgroup --automatic --nodetype=storage

New mirror groups:
BuddyGroupID Target type Target
============ =========== ======
           1     primary        1 @ beegfs-storage node190 [ID: 190]
               secondary        3 @ beegfs-storage node191 [ID: 191]

Mirror buddy group successfully set: groupID 1 -> target IDs 1, 3
  • 激活元数据镜像:beegfs-ctl --mirrormd
    注:执行此操作前,需要停止所有客户端挂载操作systemctl stop beegfs-client
    执行此操作后,需要重启元数据服务systemctl restart beegfs-meta,重新挂载客户端systemctl restart beegfs-client
示例如下:
[root@node190 ~]# beegfs-ctl --mirrormd
Operation succeeded.

NOTE:
 To complete activating metadata mirroring, please remount any clients and
 restart all metadata services now.
  • 设置条带模式:beegfs-ctl --setpattern --pattern={pattern_type} --chunksize={chunk_size} --numtargets={target_num} {mount_path}
    • {pattern_type}:设置使用的条带模式,可选raid0(默认值)或buddymirror
    • {chunk_size}:每个存储目标条带大小,默认为512K
    • {target_num}:每个文件条带目标数,当设置为buddymirror模式时,参数值为buddy group组数

三、Q&A

1、常用操作

1.1、集群使用多元数据部署

在实践操作中,往往我们需要通过部署多元数据来提升集群性能,示例为单节点起3个元数据服务(meta1、meta2、meta3),参考步骤如下:

1)、创建元数据配置文件,指定服务日志路径及服务监听端口

默认情况下,元数据日志路径为/var/log/beegfs-meta.log,服务监听端口为8005,由于需要起多个元数据服务,故针对不同元数据服务指定不同的日志路径和服务监听端口

  • 创建3个目录用于存放3个元数据服务配置文件,将默认配置文件/etc/beegfs/beegfs-meta.conf拷贝到对应目录下
mkdir /etc/beegfs/meta{1..3}.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta1.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta2.d/
cp /etc/beegfs/beegfs-meta.conf /etc/beegfs/meta3.d/
  • 修改元数据服务配置文件,指定日志路径和监听端口
    指定元数据服务meta1日志路径为/var/log/beegfs-meta1.log,服务监听端口为8005
    指定元数据服务meta2日志路径为/var/log/beegfs-meta2.log,服务监听端口为8007
    指定元数据服务meta3日志路径为/var/log/beegfs-meta3.log,服务监听端口为8009
sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta1.log#'  /etc/beegfs/meta1.d/beegfs-meta.conf
sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta2.log#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connMetaPortTCP              = 8005#connMetaPortTCP              = 8007#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connMetaPortUDP              = 8005#connMetaPortUDP              = 8007#'  /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#logStdFile                   = /var/log/beegfs-meta.log#logStdFile                   = /var/log/beegfs-meta3.log#'  /etc/beegfs/meta3.d/beegfs-meta.conf
sed -i 's#connMetaPortTCP              = 8005#connMetaPortTCP              = 8009#'  /etc/beegfs/meta3.d/beegfs-meta.conf
sed -i 's#connMetaPortUDP              = 8005#connMetaPortUDP              = 8009#'  /etc/beegfs/meta3.d/beegfs-meta.conf
  • 部署元数据服务:/opt/beegfs/sbin/beegfs-setup-meta -c {meta_config} -p {meta_path} -s {meta_id} -m {mgmtd_host}
    • -c:meta_config为元数据服务配置文件路径
    • -p:meta_path 为元数据服务数据存放目录
    • -s:meta_id 为元数据服务ID,同一集群元数据服务id值不能重复
    • -m:mgmtd_host 为管理服务节点主机名或者IP地址,此处任选其一均可
/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta1.d/beegfs-meta.conf  -p /data/meta1 -s 1 -m node190
/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta2.d/beegfs-meta.conf  -p /data/meta2 -s 2 -m node190
/opt/beegfs/sbin/beegfs-setup-meta -c /etc/beegfs/meta3.d/beegfs-meta.conf  -p /data/meta3 -s 3 -m node190
  • 启动元数据服务
systemctl restart beegfs-meta@meta1
systemctl restart beegfs-meta@meta2
systemctl restart beegfs-meta@meta3

1.2、指定beegfs集群通讯使用网卡

参考官方文档:Network Configuration

1)、操作步骤
  • 添加需要使用的网卡名称到配置文件/etc/beegfs/tcp-only-interfaces.conf
    如使用网卡bond0作为beegfs集群通讯使用网卡,echo bond0 > /etc/beegfs/tcp-only-interfaces.conf
  • 添加connInterfacesFile = /etc/beegfs/tcp-only-interfaces.conf配置到所有beegfs服务配置中
sed -i 's#connInterfacesFile                     =#connInterfacesFile                     = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-mgmtd.conf
systemctl restart beegfs-mgmtd

sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta1.d/beegfs-meta.conf
sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta2.d/beegfs-meta.conf
sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/meta3.d/beegfs-meta.conf
systemctl restart beegfs-meta@meta1
systemctl restart beegfs-meta@meta2
systemctl restart beegfs-meta@meta3

sed -i 's#connInterfacesFile           =#connInterfacesFile           = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-storage.conf
systemctl restart beegfs-storage

sed -i 's#connInterfacesFile            =#connInterfacesFile            = /etc/beegfs/tcp-only-interfaces.conf#' /etc/beegfs/beegfs-client.conf
systemctl restart beegfs-client
2)、验证测试
  • 执行beegfs-check-servers命令,查看beegfs集群角色通讯使用IP地址跟指定网卡是否匹配
[root@node57 ~]# beegfs-check-servers 
Management
==========
node57 [ID: 1]: reachable at 172.16.33.101:8008 (protocol: TCP)

Metadata
==========
571 [ID: 1]: reachable at 172.16.33.101:8005 (protocol: TCP)
572 [ID: 2]: reachable at 172.16.33.101:8009 (protocol: TCP)
573 [ID: 3]: reachable at 172.16.33.101:8007 (protocol: TCP)

Storage
==========
node57 [ID: 57]: reachable at 172.16.33.101:8003 (protocol: TCP)

2、常用命令

  • 查看集群服务连接情况:beegfs-net
  • 查看集群服务详细信息:beegfs-ctl --listnodes --nodetype={node_type} --details
    注:{node_type}为beegfs集群节点类型,可选mgmtmetastorageclient
  • 查看集群服务状态:beegfs-ctl --listtargets --nodetype={node_type} --state
    注:{node_type}为beegfs集群节点类型,可选metastorage
  • 查看集群存储池状态:beegfs-df
  • 删除集群角色:beegfs-ctl --removenode --nodetype={node_type} {node_id}
    注:{node_id}可通过beegfs-net查看ID值
    删除集群角色不会自动迁移对应数据到其他节点,需谨慎使用!!如需迁移数据后删除,参考官方手册:FAQ#migrate
  • 查看集群目录属性信息:beegfs-ctl --getentryinfo {mount_path}
    注:{mount-path}为beegfs集群挂载路径,当前有RAID0Buddy Mirror两种模式
上一篇:HBase 读写数据流程


下一篇:Vue2.0 Vue路由 全局后置路由守卫