# 要运行文件系统必须创建至少带一个mds的Ceph存储集群
# 部署元数据服务器
ceph-deploy mds create node01 node02 node03

# 查看元数据服务器状态
ceph mds stat

# 创建两个存储池，一个用于存放元数据，一个用于存放数据
# ceph osd pool create cephfs_data <pg_num>
# ceph osd pool create cephfs_metadata <pg_num>
ceph osd pool create cephfs_pool 128
ceph osd pool create cephfs_metadata 64

# 查看存储池
ceph osd pool ls

# 查看Ceph磁盘容量信息
ceph df
ceph -s

# 创建CephFS文件系统
# ceph fs new <fs_name> <metadata> <data> {--force}
ceph fs new cephfs cephfs_metadata cephfs_pool

# 查看CephFS文件系统
ceph fs ls

# 使用ceph-authtool验证工具生成密码key文件，复制key和keyring到客户端
ceph-authtool -p /etc/ceph/ceph.client.admin.keyring > admin.key
scp ./admin.key client:/root/
scp /etc/ceph/ceph.client.admin.keyring client:/root/

# 客户端部署Ceph及其相关工具
yum install ceph-common -y
yum install ceph ceph-radosgw -y
yum install ceph-fuse

# 把CephFS挂载为内核驱动
# 客户端使用密码key文件挂载ceph文件系统，挂载集群任一节点均可
# mount -t ceph {ip-address-of-monitor}:6789:/ /mnt/
mount -t ceph node01:6789:/ /mnt -o name=admin,secretfile=/root/admin.key

# 把CephFS挂载为用户空间文件系统（FUSE）
# Ceph存储集群默认要求认证，需指定相应的密钥环文件，除非它在默认位置（即/etc/ceph）
# ceph-fuse -m {ip-address-of-monitor}:6789 /mnt/
ceph-fuse -k /root/ceph.client.admin.keyring -m node01:6789 /mnt/

# admin用户挂载（存在/etc/ceph/ceph.client.admin.keyring）
ceph-fuse -n client.admin /mnt/

# 自定义用户挂载
ceph fs authorize cephfs client.foo / rw | tee /etc/ceph/ceph.client.foo.keyring
ceph-fuse -n client.foo /mnt/

# 开机自动挂载
cat /etc/fstab
id=admin /mnt/ fuse.ceph defaults 0 0

mount -a

# 查看挂载状态
df -h

# 查看存储池使用统计信息
rados df

# 删除文件系统，需卸载并停止所有节点mds进程
umount /mnt/
systemctl stop ceph-mds.target # node01
systemctl stop ceph-mds.target # node02
systemctl stop ceph-mds.target # node03
ceph fs rm cephfs --yes-i-really-mean-it
ceph fs ls

# 删除存储池
# ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
ceph osd pool delete cephfs_pool cephfs_pool --yes-i-really-really-mean-it

# 重新启动所有节点mds进程
systemctl start ceph-mds.target # node01
systemctl start ceph-mds.target # node02
systemctl start ceph-mds.target # node03