Ceph块存储介绍

1. 块存储是什么

块存储简称RBD(RADOS Block Device),是一种有序的字节序块,也是在Ceph三大存储类型中最为常用的存储方式 ,Ceph的块存储是基于RADOS的,因此它也借助RADOS的快照、复制和一致性等特性提供了快照、克隆和备份等操作。Ceph的块设备是一种精简置备模式,可以拓展块存储的大小且存储的数据以条带化的方式存储到Ceph集群中的多个OSD中。

2. 访问块存储的方式

访问块存储的方式有两种,分别是KRBD的方式和librbd的方式。

2.1 KRBD方式

KRBD是Kernel RADOS Block Device的简称,它是通过Kernel模块中的RBD模块来实现访问后端存储的,在使用前需要先使用modprobe命令将内核中RBD模块进行加载,同时对内核版本也是有要求的,需要内核的版本不低于3.10,因为比这个版本低的内核还没将RBD模块集成到内核中,因此如果是CentOS6.x的一般需要先升下内核版本。

KRBD访问后端存储的方式一般适用于为物理主机提供的块设备,这种方式是基于内核模块驱动的,可以使用Linux自带的页缓存来提高性能。

以下是通过KRBD模块访问Ceph后端块设备的一些命令操作。

modprobe rbd     # 加载RBD内核模块

modinfo rbd        # 查看rbd模块信息

rbd create image_name --size 10240   # 创建一个10G大小的名为image_name的块设备

rbd list   # 列出存储池中的所有块设备,没有指定存储池,默认使用rbd存储池,可以使用-p选项来指定存储池

rbd info image_name  # 显示出image_name块设备的信息

rbd map image_name  # 将image_name块设备映射到系统中

rbd showmapped   # 查看系统中已经映射的块设备

rbd unmap /dev/xxx   # 取消掉块设备的映射

2.2 librbd方式

librbd是一个访问rbd块存储的库,它是基于librados库进行的更高一层的封装,所以librbd是通过librados库来与块存储的数据进行交互的。

使用librbd访问块存储的方式适用于为虚拟机提供块设备的方式,可以使用RBD缓存来提高性能,比如在qemu+kvm虚拟框架中提供的虚拟机,qemu可以通过librbd来访问后端存储,以下是访问的模型图:

Ceph块存储介绍

要通过qemu来将块设备提供给客户机,也就是我们说的虚拟机,需要指定存储池名和映像名

命令格式类似如下:

qemu-img {command} [options] rbd:{pool-name}/{image-name}[@snapshot-name][:option1=value1][:option2=value2...]

举例:

qemu-img {command} [options] rbd:glance-pool/maipo:id=glance:conf=/etc/ceph/ceph.conf

举例:

qemu -m 1024 -drive format=raw,file=rbd:data/squeeze:rbd_cache=true,cache=writeback

3. RBD的一些常用操作和命令

有关存储池的操作:

部署好Ceph集群后,默认都会生成一个名为rbd的存储池

ceph osd lspools     # 来查看当前存储的存储池

ceph osd pool create {pool-name} {pg-num} {pgp-num}     # 创建存储池

ceph df     # 查看存储池统计信息

ceph osd pool set {pool-name} {key} {value}     # 调整存储池的选项值

有关image创建和查看的操作:

rbd create pool/image1 --size 1024 --image-format 2     # 在pool存储池中创建1GB大小的image

rbd ls pool-name     # 查看pool-name存储池中的image

rbd info pool-name/image1     # 查看image1的详细信息

rbd rm pool-name/image1     # 删除image1

有关快照的操作:

rbd snap create pool-name/image1@image1_snap     # 创建image1的快照

rbd snap list pool-name/image1     # 列出image1的所有快照

rbd info pool-name/image1@image1_snap     # 查看快照的详细信息

有关克隆的操作:

在克隆前,快照必须处于被保护的状态才能够被克隆。

rbd snap protect pool-name/image1@image1_snap     # 将快照置于保护状态

rbd clone pool-name/image1@image1_snap pool-name/image2     # 将快照克隆成一个image2

image2是依赖于image1的快照的,可以称image2是image1_snap的children
rbd children pool-name/image1@image1_snap     # 查看该快照的children

要是想要让image2不再依赖于image1_snap,则需要使用如下命令将分层的image2变为扁平的没有层级的image

rbd flatten pool-name/image2

有关备份和恢复的操作:

rbd export pool-name/image1 image1_export     # 导出image1

rbd import image1_export pool-name/image3 --image-format  2   # 导入备份的文件保存为image3

4. qemu-kvm如何访问块存储

这里介绍的是通过LIBRBD的方式访问RBD块存储。

(1)检测操作系统的KVM虚拟化是否支持RBD块存储

使用命令:

qemu-img --help |grep rbd

如果输出的内容中出现了rbd关键词,则说明当前qemu-kvm或者qemu-system-x86_64支持RBD块存储。

(2)使用块存储

把/etc/ceph/ceph.conf文件拷贝到目的节点相同的路径位置,这样该节点的qemu-img工具就会使用该文件作为默认配置文件。

如果ceph集群开启了cephx认证,则需要创建客户端访问权限,在我的ceph配置为openstack的后端存储中有说明如何创建这个权限,还有生成秘钥并导入libvirt也有说明:配置Ceph集群为OpenStack后端存储

最后会生成一个xml格式的文件,里面定义了需要访问块存储的各种信息,由libvirt来将其转换为对应的命令行以使得qemu-kvm进程可以访问块存储,从而虚拟机可以访问块存储。

上一篇:标准误(Standard Error)


下一篇:腾讯云存储专家深度解读基于Ceph对象存储的混合云机制