2. RGWData
RGW对象数据存储在 {zone}.rgw.buckets.data池里，一个 RGW对象包含一个或多个 RADOS对象。
当 RGW收到写请求时，会基于 rgw_obj_stripe_size配置的值（默认为4MB）将数据切分为 stripe，并基于 rgw_max_chunk_size配置（默认为 4MB）将这些stripes划分为更小的 chunks，并将这些 chunks写入 RADOS集群。
第一个 chunk写入时会创建 Head对象，随后的 chunks作为tail 追加到对象后面写入。其中 Head对象包含了对象的一些元数据信息，如 ACL、manifest、etag等，作为 xattr保存。Head 对象本身可以包含 4MB 的数据。如果对象大于 4MB，就会生成tail 对象。
Head对象的 manifest 描述了对象的布局信息。查看对象的 xattr和 manifest，可使用如下命令。
# ./bin/rados listxattr -p default.rgw.buckets.data 54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1_ceph.conf
user.rgw.acluser.rgw.content_typeuser.rgw.etaguser.rgw.idtaguser.rgw.manifestuser.rgw.pg_veruser.rgw.source_zoneuser.rgw.storage_classuser.rgw.tail_tag
user.rgw.x-amz-content-sha256user.rgw.x-amz-date
user.rgw.x-amz-meta-s3cmd-attrs
#./bin/ceph-dencoderimportmanifest.txttypeRGWObjManifestdecodedump_json
{
"objs":[]
"obj_size": 6775"explicit_objs": "false""head_size":6775
"max_head_size":4194304
"prefix":".dhrTwsaLcBPQOYPeIx2bImXjxO_WCKk_"
"rules": [
{
"key": 0
"val": {
"start_part_num":0
"start_ofs":4194304
"part_size":0
"stripe_max_size":4194304
"override_prefix":""
}
}
]
"tail_instance": """tail_placement":{
"bucket": {
"name":"john-bkt1"
"marker": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""bucket_id": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""tenant":""
"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""
}
}
"placement_rule":"default-placement"
}
"begin_iter": {"part_ofs":0
"stripe_ofs":0
"ofs": 0
"stripe_size":6775
"cur_part_id":0
"cur_stripe": 0"cur_override_prefix": """location":{
"placement_rule":"default-placement"
"obj": {
"bucket": {
"name":"john-bkt1"
"marker": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""bucket_id": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""tenant":""
"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""
}
}
"key": {
"name":"ceph.conf"
"instance": ""
"ns": ""
}
}
"raw_obj":{
"pool": ""
"oid”: ""
"loc": ""
}
"is_raw":false
}
}
"end_iter": {"part_ofs":4194304
"stripe_ofs":0
"ofs":6775
"stripe_size":6775
"cur_part_id":0
"cur_stripe": 0"cur_override_prefix": """location":{
"placement_rule":"default-placement"
"obj": {
"bucket": {
"name":"john-bkt1"
"marker": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""bucket_id": "54dba15f-9c2e-40ea-8b87-fc5f2eb01236.154118.1""tenant":""
"explicit_placement": {"data_pool": """data_extra_pool": """index_pool":""
}
}
"key": {
"name":"ceph.conf"
"instance":""
"ns":""
}
}
"raw_obj":{
"pool":""
"oid":""
"loc":""
}
"is_raw":false
}
}
}
RGW中的对象对应RADOS对象（一对多关系），对象上传分整体上传和分段上传，不同的上传方式，对应 RADOS对象的方式不同。
首先介绍 3个概念。
◆ rgw_max_chunk_size
RGW下发至 RADOS集群的单个 I/O的大小， 同时也决定了应用对象分成多个RADOS对象时首对象的大小。
◆ rgw_obj_stripe_size
条带大小，也是 RADOS对象最大大小，如果大于rgw_max_chunk_size的对象文件，后续部分会根据这个参数切成多个RADOS对象。
◆ rgwobjectmanifest
管理应用对象和 RADOS 对象的对应关系。
基于以上概念，我们分别介绍普通上传以及分块上传。普通上传的流程如下。
（1） 当对象大小小于等于 rgw_max_chunk_size 时，用户上传的一个对象只对应一个RADOS对象，该RADOS 对象以对象名称命名，对象元数据也保存在该RADOS对象的扩展属性中。
（2） 当对象大小大于 rgw_max_chunk_size 时，对象被划分为一个大小等于分块大小的head以及多个大小等于 rgw_obj_stripe_size 的中间对象，和一个大小小于或等于 rgw_obj_stripe_size的 tail对象。head 以对象名称命名，该对象的数据部分保存了对象前 rgw_max_chunk_size字节的数据，扩展属性部分保存了对象的元数据信息和 manifest信息。中间对象和tail对象保存对象剩余的数据，对象名称为：''shadow_'+ '.' + '32bit随机字符串'
+ '_' + ' 条带编号'，其中条带编号从1开始。分块上传的流程如下。
（1） RGW根据条带大小 rgw_obj_stripe_size将对象的每一个分块分成多个 RADOS对象，每个分块的第一个 RADOS 对象名称为：'_multipart_'+ ' 用户上传对象名称 ' + ' 分块上传 ID' + ' 分段编号'，其余对象的名称为：'_shadow_' + ' 用户上传对象名称' + ' 分块上传 ID'+ ' 分段编号' + '_' + ' 条带编号'。
（2） 当所有的分块上传结束后，RGW会从 data_extra_pool 中的分块上传的临时对象中读取各个分段信息，将各分段的 manifest信息组成一个 manifest；然后生成一个新的RADOS对象，即 head 对象，用来保存分块上传的对象的元数据信息和 manifest信息。