先上几张图展示下目前Ceph存储的大体情况，模拟更换服务器CLIENT3上数据硬盘,ceph存储设备已经有存放数据，观察更换过程及恢复变化。
[root@client3 ~]# systemctl stop ceph-osd@2.service

[root@client3 ~]# umount /var/lib/ceph/osd/ceph-2

[root@client3 ~]# ceph osd out osd.2


[root@client3 ~]# ceph auth del osd.2

[root@client3 ~]# ceph osd rm 2

清空磁盘信息：
[root@client3 ~]# wipefs -af /dev/sdb

磁盘变化：（删除旧磁盘，更换新盘，虚拟机中删除后原50G硬盘，重新添加一个80G硬盘。


此时集群状态


原硬盘50G更换后为80G

[root@master ~]# cd /data/idc-cluster/
[root@master idc-cluster]# ceph-deploy osd prepare client3:/dev/sdb





存储空间也变大了（原来为135G,更改硬盘后存储空间为165G）。

数据依然存在，无变化。
CEPH集群恢复中：
[root@BDDB cephfs]# ceph health


恢复完成：[root@BDDB cephfs]# ceph health