ceph 运维操作-SCRUB

1. 基本概念

1.1 什么是 Scrub

Scrub是 Ceph 集群副本进行数据扫描的操作,用于检测副本间数据的一致性,包括 scrub 和 deep-scrub。
其中scrub 只对元数据信息进行扫描,相对比较快;而deep-scrub 不仅对元数据进行扫描,还会对存储的数据进行扫描,相对比较慢。

1.2 Scrub默认执行周期

OSD 的scrub 默认策略是每天到每周(如果集群负载大周期就是一周,如果集群负载小周期就是一天)进行一次,
时间区域默认为全体(0时-24时),deep-scrub默认策略是每周一次。

2. 配置

为了避开客户业务高峰时段,建议在晚上0点到第二天早上5点之间,执行scrub 操作。

2.1 设置标识位

在任一monitor节点进行如下操作:

ceph osd set noscrub
ceph osd set nodeep-scrub

2.2 临时配置

先通过tell 方式,让scrub 时间区间配置立即生效,在任一monitor节点进行如下操作:

ceph tell osd.* injectargs '--osd_scrub_begin_hour 0'
ceph tell osd.* injectargs '--osd_scrub_end_hour 5'
ceph tell mon.* injectargs '--osd_scrub_begin_hour 0'
ceph tell mon.* injectargs '--osd_scrub_end_hour 5'

2.3 修改配置文件

为了保证集群服务重启或者节点重启依然有效,需要修改Ceph集群所有节点的配置文件 /etc/ceph/ceph.conf

# vim /etc/ceph/ceph.conf
[osd]
osd_scrub_begin_hour = 0    # scrub操作的起始时间为0点
osd_scrub_end_hour = 5      # scrub操作的结束时间为5点#ps: 该时间设置需要参考物理节点的时区设置
 
osd_scrub_chunk_min = 1  #标记每次scrub的最小数
osd_scrub_chunk_max = 1  #标记每次scrub的最大数据块
osd_scrub_sleep = 3  #标记当前scrub结束,执行下次scrub的等待时间,增加该值,会导致scrub变慢,客户端影响反而会减小

2.4 取消标识位

ceph osd unset noscrub
ceph osd unset nodeep-scrub

上一篇:Ceph集群性能优化介绍


下一篇:Ceph删除OSD和Host的正确方法