一、什么是ceph

ceph是当前最热门的分布式存储系统之一，是软件定义存储(SDS,SoftwareDefinedStorage)解决方案中的典范。其具备良好的可靠性、可扩展性，应用范围包括块存储(RBD,RadosBlockDevice)、文件存储(CephFS,CephFileSystem)和对象存储（RADOSGW,Reliable、Autonomic、Distributed、ObjectStorageGateway），被广泛应用于云计算底层IAAS平台，更是OpenStack首选的后端存储，不管是互联网企业还是金融等传统行业，都被广泛应用。

ceph使用C++语言开发，采用分布式、无中心化的设计，具备横向扩展能力和故障容灾能力，每个组件都能够线性扩展且不存在单点故障，支持到EB级的存储扩展，对应用程序提供标准统一的访问入口。

ceph每半年发布一个版本，版本分为长期稳定版(LTS)和开发版本，同时会维护多个稳定版本，推进bug的修复。目前最新的版本是v14.2.2 Nautilus，历史的一些版本如下：

可以看到，ceph基本是按照半年一个版本的速度更新，较为稳定。

二、ceph功能组件

Ceph对于三大存储类型的支持是依赖底层的RADOS存储系统，整体架构上包含了OSD、MDS、Monitor等核心功能组件，如下图所示：

Ceph整体上包含了很多个模块，各个模块均负责不同的功能，以下是一些重点模块：

• Ceph OSD
  OSD全称是Object Storage Device，用于数据存储、复制、恢复，上报相关数据给Monitor,是Ceph的核心组件之一。一个Ceph集群至少需要两个Ceph OSD实现active+clean的健康状态。一个磁盘、一个分区都可以作为一个OSD，所以实验环境下可以在单机上搭建。
• Ceph Monitor
  Ceph Monitor用于整个集群的状态监控和决策，实现整个集群视图的一致性，这是Ceph无中心化设计的一个重点。包含了Monitor map、OSD map、PG map和CRUSH map。
• Monitor map
  Monitor节点也是可以横向扩展的，Monitor map包含所有Monitor节点的信息，包括集群ID，主机名，IP和端口等信息。
• OSD map
  OSD map包含Ceph Pool的id、名称、类型，副本以及PGP信息，包含OSD的数量、状态、最细清理间隔、OSD所在主机等信息。多个OSD形成一个Ceph Pool。
• PG map
  Placement Group map包含当前的PG版本、时间戳、空间使用比例以及每个PG的基本信息。
• CRUSH map
  CRUSH是英文Controlled Replication Under Scalable Hashing的缩写，是一种可扩展哈希发的可控复制算法。CRUSH map存储集群存储设备信息，故障层次结构以及存储数据时失败域规则信息。
• Ceph MDS
  Ceph Metadata Server，顾名思义，是包含Ceph文件系统(Ceph FS)的元数据的模块。ceph的块存储和对象存储都不需要用到MDS。

三、技术架构

Ceph底层都是依赖于RADOS,提供了一个可靠的具有自我修复能力的分布式存储，如下图所示：

• LIBRADOS

RADOS的应用程序库，提供应用程序的直接访问，提供了Java和Python等类库，这是接口统一性的体现。

• RADOSGW

RADOSGW是基于restful的网关，兼容S3和Swift，提供统一的访问入口，利用RADOSGW可以实现跨机房的访问和基于近端的负载均衡。

• RBD

RBD提供Ceph的块设备的功能，其通过内核与QEMU/KVM交互来创建一个块设备挂载到VM上提供使用。

• Ceph FS

Ceph FS提供了一个兼容POSIX的文件系统，值得注意的是因为历史原因，Ceph FS的支持比较弱，功能还不够完善。

四、安装部署

• Ceph-Deploy

Ceph为了方便用户安装Ceph集群简化过程，提供了Ceph-Deploy工具，通过配置免密的SSH自动登录到服务器 安装相关的组件，过程十分的简便。

• Step-By-Step Deploy
  除了使用Ceph-Deploy之外，官方亦提供了一步步手工安装的方案，过程比较复杂麻烦，很多文章都建议初学 者直接使用Ceph-Deploy，笔者却认为手工一步步安装的方案虽然复杂但是可以对Ceph集群理解更深，安装过程中不免遇到各种各样的问题，一步步去解决以后，绝对会收获良心。