Ceph的 RBD接口提供块存储服务， 块存储是 Ceph最稳定且最常用的存储类型。RBD   块设备可以类似于本地磁盘一样被操作系统挂载，具备快照、克隆、动态扩容、多副本和一致性等特性。

3.1.1  块设备映射

Ceph块设备可以通过 librbd、KRBD、iSCSI等方式进行访问。librbd运行在操作系统用户态，可部署在客户端节点或存储节点；KRBD   运行在操作系统内核态，需要部署在客户端节点的操作系统内核中；iSCSI 方式则为客户端节点与存储集群服务节点之间通过iSCSI 协议进行数据的传输，客户端启动iSCSIinitiator，服务端启动iSCSItarget。

下面分别介绍这 3种访问方式。

 

1.  librbd

 

RBD块存储设备基于 librbd 的访问方式，按照所对接的客户端组件不同，又可进一步细分为 QEMU+librbd、SPDK+librbd以及 NBD+librbd三种。

（1） QEMU+librbd

QEMU是一款开源的虚机模拟处理器（VMM），其与Linux内核中的KVM模块配合使用，可实现硬件级别的虚机加速效果，QEMU-KVM加速是目前云计算/虚拟化领域使用最为广泛的方案。QEMU通过 librbd可实现对 Ceph集群块存储服务的完美支持，其架构如图 3-1所示。

该模式也是 Ceph对接 OpenStack，作为虚机云盘后端存储的常见用法。

（2） SPDK+librbd

SPDK 最初是由英特尔开发的高性能用户态存储栈开发工具库，通过绕过内核、I/O轮询等技术，极大提升了应用层对高速存储设备的存取速度。SPDK在bdev层增加RBD驱动， 通过 librbd 实现对Ceph 集群块存储服务的访问，其架构如图3-2所示。

 

图 3-1   QEMU连接Ceph示意

图 3-2  SPOK连接Ceph示意

 

（3） NBD+librbd

NBD（NetworkBlockDevice）是 Linux平台下实现的一种块设备， 由 Client端和Server端组成，Client端已经集成在 Linux内核中，Ceph社区提供了 rbd-nbd工具作为Server端，通过 librbd实现对 Ceph集群块存储服务的访问，其挂载流程如图 3-3所示。

图 3-3CephNBO挂载流程

 

2.  KRBD

 

KRBD运行在客户端节点操作系统内核中，提供了对 Ceph集群块存储服务进行访问的机制。在功能、特性支持方面，KRBD远远落后于 Ceph的librbd方式，很多高级特性均不支持，如 KRBD模式下，挂载的逻辑卷仅支持 stripping及layering特性，但正因为如此，相较于librbd方式，KRBD模式I/O路径逻辑更加简洁，在性能方面占有一定优势， 其挂载流程如图 3-4所示。

图 3-4CephKRBO挂载流程

 

KRBD与 NBD+librbd方式常用于 Ceph存储集群对接容器使用场景，kubernetes的CS（I ContainerStorageInterface）组件默认支持rbd与rbd-nbd两种方式进行Ceph的

RBD逻辑卷管理。

 

3.  iSCSI

 

除 OpenStack使用的KVM 虚拟化技术外，其他虚拟化平台（如 WindowsHyper-V、VMware等）无法直接通过 librbd或者 KRBD方式使用 CephRBD作为后端块存储，故 标准的 iSCSI接口就成为跨平台使用 CephRBD的最优方案。

在通过iSCSI方式使用块存储设备时，往往会提及VMwareVAA（I ThevStorageAPIs

forArrayIntegration）以及 WindowsODX 等高级存储特性，下面简要对它们进行介绍。

（1）  VMwareVAAI

VMware 的 VAAI 被称为硬件加速 API，是一组用于 VMwareESXi 主机与后端存储设备通信的 API。若后端存储支持 VAAI特性，则 VMwareESXi主机可将部分存储相关操作卸载到后端存储集群执行，从而减少对VMwareESXi主机的 CPU、内存及网络等资源的开销，可大大提升 VMware虚拟化平台的工作效率。

 

VMwareVAAI主要包含如下功能。

◆  FullCopy

针对虚机克隆和文件复制等场景，把数据复制工作下沉到后端存储中，避免VMwareESXi主机参与大量数据的读取和写回操作，可有效节省CPU和带宽资源。

◆  BlockZeroing

针对创建虚拟磁盘格式化清零场景，VMwareESXi主机通过下发一个标准 SCSI的WRITESAME   命令来进行虚拟磁盘格式化，该命令携带待格式化的数据范围和格式化数据模板，避免了大量的写零操作。

◆  Hardware-AssistedLocking（ATS）

VMFS（VirtualMachineFileSystem）作为多主机共享的集群文件系统，需要通过加锁来避免冲突。该特性主要用到了 ATS锁，与 PR锁相比，ATS 是一种粒度更小的锁机制，它只针对写的单个数据块加锁。VMwareESXi使用 SCSI的 CompareAndWrite命令来对LUN中的数据块进行加锁和解锁，保证块区域修改的原子性，提高了VMFS的 I/O并发能力。

◆  ThinProvisioning（UNMAP）

针对存储精简配置场景，VMwareESXi主机向后端存储发出一个 SCSI的UNMAP命令，后端存储即可将执行范围内的空间进行回收，以减少存储空间使用。

（2） WindowsODX

WindowsODX（OffloadedDataTransfer）由微软公司提出， 是在 Windows8及WindowsServer2012中新增的功能，同 VAAI 设计目标一样，期望通过该功能把数据复制操作卸载到后端存储设备中执行，以此降低 Windows虚拟化服务器的 CPU、内存和网络等资源开销，ODX 功能相对简单，与 VMwareVAAI中的FullCopy 功能类似。