3.2.3       I/O路径

RGW是 RADOSGateway， 顾名思义是 RADOS对象存储系统上层的一个网关服务，根据网关的功能定义，网关负责完成不同协议的转换和对接。在Ceph场景中，RGW即完成类似的功能：接收用户 S3/Swift接口规则的数据存取请求，然后将其转化为后端RADOS能够处理的操作。

RGW 的请求处理经历了3 个阶段：

（1）  Web框架主要负责接收用户请求，RGW中常用的 Web框架包括 CivetWeb、Apache、Beast等；

（2）   根据用户请求类型，分别选择不同的RESTMgr（针对不同的Resource）、 Handler、RGWOp来处理用户的具体业务，梳理出用户的请求数据；

（3）   将用户的业务请求转换为对 RADOS层数据读写请求的封装， 具体操作由RGWRados完成。

RGW的业务架构示意如图 3-29所示。请求到达 RGW网关后，在 RGWFrontend层做相应转发，请求到达RGWRESTMgr层，RGWRESTMgr依照请求资源类型，对请求做相应的 RGWHandler层的资源实例化工作。

在 RGWHandler层中实例化后的请求，首先进行前置处理，完成基本信息的校验等工作，在校验完成后，调用相关的业务接口RGWOp完成 Bucket和 Object的请求处理， 并在 RGWOp中，调用终极接口 RGWRados，完成 RGW数据的最终落盘（RGWRados是 RGW网关模块和后端的 RADOS底层存储系统交互的窗口）。RGW请求处理流程见图 3-30。

图3-29    RGw 业务架构示意

图3-30    RGw 请求处理流程

 

对应上述业务处理过程，RGW中会有 3个重要的数据结构：RGWFrontend、RGWRESTMgr及 RGWHandler。

 

◆  RGWFrontend：RGWFrontend是 RGW的 WEB前端类的封装，用于处理 HTTP(s)相关的请求，完成RGW业务逻辑中的 WEB 框架接收用户请求的功能。目前最新的 WEB框架是 Beast。

◆  RGWRESTMgr：RGWRESTMgr负责RGW 处理的资源类型区分，RGWRESTMgr包含了多种不同类型的路径和资源，并可根据请求资源类型的不同，将请求“路由”到不同的业务逻辑来进行处理（请求的实例化工作）。

◆  RGWHandler：RGWHandler负责具体的用户请求处理，如客户使用 S3规范进行业务请求，该层中会调用S3相关的 RGWHandler，后续操作如下。

（1） RGWHandler_REST_Service_S3

负责处理S3 用户类型请求，包括获取用户的统计信息、用户的桶列表、S3账户访问权限设置等。

（2） RGWHandler_REST_Bucket_S3

负责处理S3桶类型请求，包括桶的ACL权限列表、生命周期规则以及具体的创建/删除桶等操作。

（3） RGWHandler_REST_Obj_S3

负责处理 S3Object类型请求， 包括 Object的 ACL权限列表、Tagging及具体的Object数据操作（简单上传、分块上传、删除）等。

3.2.4   元数据/数据布局

前面提到过，CephRGW将数据组织分为 3种类型：Metadata、bucketindex及data。Metadata是对象的元数据， 包含 user、bucket、bucket.instance、OTP等信息；bucketindex 是对象的索引，严格意义上，也可以将其归类到元数据范畴内；data是对象的数据，每个 RGW对象（rgw-object）都会保存在一个或多个 RADOS对象（system-object）里。

CephRADOS层中的对象（system-object），通常以下列3种形式进行组织。

◆  RADOS对象 Data；

◆  RADOS对象扩展属性 xattr；

◆  RADOS 对象 OMAP。

 

1.  RGW Metadata

 

CephRGW 的元数据包含以下信息。

 

◆  user：用来保存用户信息。

◆  bucket：用来维护 bucketname和bucketinstanceID的映射。

◆  bucket.instance：用来保存 bucketinstance信息。

◆ OPT（One-timePassword mechanism）：Ceph  N 版新增特性，可以根据虚拟或硬件MFA（Multi-factorAuthentication）设备，基于 OTP算法生成一个密码。

可以使用如下命令查看当前 RGW元数据的类别。

# ./bin/radosgw-admin metadata list[

"bucket""bucket.instance"

"otp”

"user"

]

 

（1） User元数据

通过以下命令查看某个用户的元数据。

#./bin/radosgw-adminmetadata getuser:john

{

"key": "user:john""ver": {

"tag": "_l1Bbi640q1-AJVYHHiY_mJk""ver": 1

}

"mtime":"2020-08-30T08:14:09.884832Z"

"data": {

"user_id": "john""display_name”:“john”

"email":""

"suspended":0

"max_buckets":1000

"subusers":[]

"keys": [

{

"user": "john""access_key": "john""secret_key":"john"

}

 

 

]

"swift_keys":[]

"caps":[]

"op_mask": "read write delete""default_placement": """default_storage_class": """placement_tags": []"bucket_quota":{

"enabled": false"check_on_raw": false"max_size":-1

"max_size_kb":0

"max_objects":-1

}

"user_quota": {"enabled": false"check_on_raw": false"max_size":-1

"max_size_kb":0

"max_objects":-1

}

"temp_url_keys": []"type": "rgw”

"mfa_ids":[]

"attrs":[]

}

}

 

这些 user信息存储在存储池 {zone}.rgw.meta的 users:{field}命名空间里，field字段当前有 keys、swift、email、uid，分别对应用户的 S3密钥对、Swift密钥对、邮箱、用户 ID等信息。

例如，users.uid命名空间里，包含了用户john对应的两个 RADOS对象 {uid} 和 {uid}.bucket（如john和john.bucket），john对象里存储着用户基本信息数据，john.buckets则以 OMAP形式保存着用户的存储桶信息。通过 RADOS命令可以查看。

 

#./bin/rados ls-p default.rgw.meta --namespace=users.uid| grep john

john.bucketsjohn

 

{user_id}.buckets以 OMAP形式保存。OMAPKey为用户拥有的存储桶名，当用户需要列出自己的桶列表时，就对OMAPKey遍历来获取。OMAPValue为桶的基本信息，如桶名、桶 ID、桶内对象大小、对象数量、桶创建时间等。

可以通过以下命令查看。

####使⽤ RADOS命令查看⽤户john拥有的存储桶

#./bin/radoslistomapkeys-pdefault.rgw.meta--namespace=users.uidjohn.buckets

john-bkt1

#### 获得 OMAPValue，然后解析出内容

#./bin/radosgetomapval-pdefault.rgw.meta--namespace=users.uid john.

buckets john-bkt1 john-bkt1.txtWritingto john-bkt1.txt

 

# ./bin/ceph-dencoder import john-bkt1.txt type cls_user_bucket_entry decodedump_json

{

"bucket": {

"name":"john-bkt1"

"marker":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1"

"bucket_id":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1"

}

"size":6775

"size_rounded":8192

"creation_time":"2020-08-30T08:21:57.057841Z"

"count": 1

"user_stats_sync":"true"

}

 

（2） Bucket/BucketInstance元数据

使用以下命令获得 bucket的元数据信息。

#./bin/radosgw-adminmetadatagetbucket:john-bkt1

{

"key": "bucket:john-bkt1""ver": {

"tag": "_d4u-u5S_CzORuXmXK-O280O""ver": 1

}

"mtime":"2020-08-30T08:21:56.996327Z"

"data": {

"bucket": {

"name":"john-bkt1"

"marker":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1"

 

 

"bucket_id":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1"

"tenant":""

"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""

}

}

"owner":"john"

"creation_time":"2020-08-30T08:21:56.873461Z"

"linked":"true"

"has_bucket_info":"false"

}

}

 

使用以下命令获得 bucketinstance元数据信息。

 

 

# ./bin/radosgw-admin metadata get bucket.instance:john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1

{

"key":"bucket.instance:john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""ver": {

"tag": "_xo05nh_v_OZBNq8zkM20Yuz""ver": 1

}

"mtime":"2020-08-30T08:21:56.981329Z"

"data": {

"bucket_info":{

"bucket": {

"name":"john-bkt1"

"marker": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""bucket_id": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""tenant":""

"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""

}

}

"creation_time":"2020-08-30T08:21:56.873461Z"

"owner":"john"

"flags": 0

"zonegroup":"fddc0981-34db-49f1-b6c7-aea8d36dda1c"

 

 

"placement_rule": "default-placement""has_instance_obj":"false"

"quota": {

"enabled": false"check_on_raw": false"max_size":-1

"max_size_kb":0

"max_objects":-1

}

"num_shards":11

"bi_shard_hash_type": 0"requester_pays": "false""has_website": "false""swift_versioning": "false""swift_ver_location": """index_type": 0"mdsearch_config": []"reshard_status": 0"new_bucket_instance_id":""

}

"attrs": [

{

"key":"user.rgw.acl"

"val": "AgJ7AAAAAwIQAAAABAAAAGpvaG4EAAAAam9obgQDXwAAAAEBAAAABAAAAGpvaG4PAAAAAQAAAAQAAABqb2huBQM0AAAAAgIEAAAAAAAAAAQAAABqb2huAAAAAAAAAAACAgQAAAAPAAAABAAAAGpvaG4AAAAAAAAAAAAAAAAAAAAA"

}

]

}

}

 

bucket/bucketinstance元数据信息都存储在存储池 {zone}.rgw.meta的 root命名空间里。

#./bin/rados ls -pdefault.rgw.meta --namespace=root | grepjohn

john-bkt1

.bucket.meta.john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1

 

其中，{bucket}对象作为数据存储，记录了bucketinstance和它的 owner的信息。

.bucket.meta.{tenant}.{bucket}:{marker}对象存储了存储桶元数据信息，其 xattr里记录了访问该桶的授权信息。

 

 

#### 解析 bucketmeta信息

# ./bin/rados get -p default.rgw.meta --namespace=root .bucket.meta.john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1john-bkt1.instance.txt#./bin/ceph-dencoderimportjohn-bkt1.instance.txttypeRGWBucketInfodecodedump_json

{

"bucket": {

"name":"john-bkt1"

"marker": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""bucket_id": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""tenant":""

"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""

}

}

"creation_time":"2020-08-30T08:21:56.873461Z"

"owner":"john"

"flags": 0

"zonegroup": "fddc0981-34db-49f1-b6c7-aea8d36dda1c""placement_rule": "default-placement""has_instance_obj":"false"

"quota": {

"enabled": false"check_on_raw": false"max_size":-1

"max_size_kb":0

"max_objects":-1

}

"num_shards":11

"bi_shard_hash_type": 0"requester_pays": "false""has_website": "false""swift_versioning": "false""swift_ver_location": """index_type": 0"mdsearch_config": []"reshard_status": 0"new_bucket_instance_id":""

}

 

#### 解析 bucketACL信息

#./bin/radoslistxattr-pdefault.rgw.meta--namespace=root.bucket.meta.

john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1

ceph.objclass.version

user.rgw.acl

 

# ./bin/rados getxattr -p default.rgw.meta --namespace=root .bucket.meta.john-bkt1:54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1 user.rgw.acl > john-bkt1.acl.txt

 

#./bin/ceph-dencoderimportjohn-bkt1.acl.txttypeRGWAccessControlPolicydecodedump_json

{

"acl": {

"acl_user_map": [          # ⽤户 ACL信息

{

"user": "john""acl":15

}

]

"acl_group_map": []        # 预定义组的授权信息

"grant_map": [             # 授权⽤户ACL信息

{

"id":"john"

"grant": {

"type": {

"type": 0

}

"id":"john"

"email":""

"permission": {"flags":15

}

"name": "john""group": 0"url_spec":""

}

}

]

}

"owner": {

"id":"john"

"display_name":"john"

}

}

 

 

 

（3） BucketIndex元数据

使用以下命令获得 bucket对应的 bucketindex信息。

 

 

# ./bin/radosgw-admin bi list --bucket john-bkt1[

{

"type":"plain"

"idx":"ceph.conf”

"entry": {

"name":"ceph.conf"

"instance":""

"ver": {

"pool": 7

"epoch":481480

}

"locator":""

"exists":"true"

"meta": {

"category":1

"size":6775

"mtime":"2020-08-30T08:22:04.626979Z"

"etag":"155e629efda9bd340ebf8494fed41ba4"

"storage_class": "STANDARD""owner": "john""owner_display_name": "john""content_type": "text/plain""accounted_size": 6775"user_data":"""appendable":"false"

}

"tag":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154109.3286743"

"flags": 0"pending_map": []"versioned_epoch":0

}

}

]

 

bucketindex信息存储在存储池 {zone}.rgw.buckets.index里， 命名格式为：.dir.

{bucket_id}.{shard_id}。

通过如下命令查看存储桶索引。

 

#./bin/rados-pdefault.rgw.buckets.index ls|grep 54dba15f-9c2e-40ea-8b87-

fc5f2eb01236.154118.1

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.6

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.1

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.4

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.2

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.5

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.7

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.10

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.0

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.8

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.9

.dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.3

Bucketindex维护着 bucket和 bucket里对象的映射信息， 这个映射信息存储在RADOS对象的 OMAP 里。如果存储桶开启了分片功能，这些映射关系会被切分，保存在多个 RADOS对象的 OMAP里。

OMAPKey为 RGW 对象名，当列出桶内对象时，实际上就是遍历这些存储桶索引的OMAP的所有 Key。

#./bin/radoslistomapkeys-pdefault.rgw.buckets.index.dir.54dba15f-9c2e-

40ea-8b87-fc5f2eb01236.154118.1.7

ceph.conf

OMAPValue 为对象的一些基本元数据信息。

# ./bin/rados getomapval -p default.rgw.buckets.index .dir.54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1.7ceph.conf ceph.conf.txt

Writingtoceph.conf.txt

# ./bin/ceph-dencoder import ceph.conf.txt type rgw_bucket_dir_entry decodedump_json

{

"name":"ceph.conf"

"instance":""

"ver": {

"pool": 7

"epoch":481480

}

 

 

"locator":""

"exists":"true"

"meta": {

"category":1

"size":6775

"mtime":"2020-08-30T08:22:04.626979Z"

"etag":"155e629efda9bd340ebf8494fed41ba4"

"storage_class": "STANDARD""owner": "john""owner_display_name": "john""content_type": "text/plain""accounted_size": 6775"user_data":"""appendable":"false"

}

"tag":"54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154109.3286743"

"flags": 0"pending_map": []"versioned_epoch":0

}

 

每个 OMAP都有 header 信息，里面包含了存储桶统计、对象数量、总大小等信息。获得某个 bucketindex对象对应的header信息， 里面包含了这个 index对象的

OMAPheader 对应的统计信息和分片信息。

 

 

#./bin/radosgetomapheader-pdefault.rgw.buckets.index.dir.54dba15f-9c2e-

40ea-8b87-fc5f2eb01236.154118.1.7 index-header.txtWritingto index-header.txt

#./bin/ceph-dencoderimportindex-header.txttypergw_bucket_dir_headerdecodedump_json

{

"ver": 2

"master_ver": 0

"stats": [

1

{

"total_size":6775

"total_size_rounded":8192

"num_entries":1

"actual_size":6775

}

]

"new_instance":{

 

 

"reshard_status": "not-resharding""new_bucket_instance_id": """num_shards":-1

}

}

 

（4） OTP元数据

CephM版本支持MFA。MFA（Multi-FactorAuthentication）即多重要素认证，是 AWSS3 提供的一个提高数据安全性的功能。它能够在用户名称和密码之外再额外增加一层保护，当用户启用 MFA功能后，在进行操作时，除了要提供用户名和密码外，还需要提供来自MFA设备的身份验证代码。

当前在 AWSS3中，MFA 主要应用于对启用版本控制功能的存储桶的数据删除场景。当前Ceph支持基于时间的一次性密码算法（TOTP）。

为用户配置了 MFA后，OTP 元数据通过以下命令查看。

#./bin/radosgw-admin metadatalist otp

[

"user:john"

]

 

相关元数据会存储在 {zone}.rgw.otp池里。

#./bin/rados ls -pdefault.rgw.otp

user:john

 

#./bin/radoslistomapkeys -pdefault.rgw.otpuser:john

header

 

OMAPKey的 header对应用户的 MFAID，otp/{totp-serial}对应用户相应的 MFA的配置。