3.2.1      对象存储和S3

 

1.  什么是对象存储

 

对象存储，也称为基于对象的存储，是一种采用扁平化数据组织的新型存储方式。对   象存储主要用于处理海量半结构化或者非结构化数据，常用于备份归档、静态网站托管、视频存储以及无纸化办公、网盘等场景。同时，根据具体应用场景和业务使用形态，对象   存储可进一步细分为多种不同存储类别，如标准存储、低频存储、归档存储等。在数据组   织形态上，文件数据通常会被分解为称为“对象”的离散单元，并保存在多个存储库中，而不是作为文件夹中的文件或服务器上的块来保存，这也是对象存储与传统文件存储、块   存储的本质区别。同时，其使用方式也与文件存储、块存储有着较大差异，对象存储主要   采用基于 HTTP(s) 的访问方式，只要网络可达，就可以便捷地使用对象存储服务，因此也通常将之称为云存储。

Ceph本身采用分层架构设计，其中底层架构核心之一的 RADOS本身就是一套分布式对象存储系统，主要通过开放librados库来提供对象接口访问底层 RADOS集群，但由于它只提供私有访问接口，无法提供基于 HTTP(s) 通用协议的访问方式，因而使用上十分受限。Ceph 其实还是一个真正意义上的软件定义统一存储解决方案，可同时提供块存储、对象存储以及文件存储访问能力，其主要是在接入层通过调用 librados接口实现了不同存储网关类型，如对象网关、块存储网关等。其中对象存储网关 RGW（RADOSGateWay）更是通过适配云存储领域中应用最为广泛的AmazonS3和 OpenStackSwift 接口协议，使得用户应用无须任何改造就可轻松接入 Ceph提供的对象存储系统中。上述的S3接口协议和Swift接口协议也已成为新型对象存储接口的事实标准。

在 Ceph 分层架构中，RGW 属于接口层，位于 RADOS 集群之上。RGW 通过对 S3 和Swift接口语义的实现，可提供基于用户（User）、存储桶（Bucket）、对象（Object）以及统计（Statistics）等多种不同业务、运维类型的接口操作。目前 Ceph  的  RGW  服务并没有完全兼容S3或者 Swift 接口，但是其功能也在快速完善过程中，同时也引入了更多新的功能特性，进一步丰富了业务使用场景。比如通过 librgw提供基于POSIX语义的使用 方式来访问对象存储，同时还可结合对象存储生命周期功能和存储类别（StorageClass），实现数据的分层迁移动作。其他更多功能特性，读者有兴趣也可以查阅官方文档。

2.  对象存储的应用领域

 

随着云计算、大数据等新技术的快速兴起，各行各业开始快速拥抱这些新兴技术，以   解决行业所面临的难题，实现业务转型。计算、存储、网络作为云数据中心 IaaS层的三大件，一直拥有无可撼动的地位。物联网、地理信息系统、视频监控存储、工业互联网 4.0、医疗PACS影像、虚拟化应用等每天都在催生海量数据（含结构化、半结构化以及非结构化数据），其中大部分为非结构化数据。如何有效应对并解决DT时代ZB 级非结构化数据的存储需求，接入层传统集中式存储面临着诸多挑战，已经显得力不从心。具体体现在如下几个方面。

（1）海量数据带来应用复杂性增长，数据的存放、管理、利用成为难题。

（2）云计算、大数据等场景下，要求存储架构弹性扩展、敏捷响应。

（3）传统存储部署复杂、资源浪费，数据难以共享，已经无法满足新的需求。

伴随着用户需求的变化和存储技术的变革，软件定义存储能够提供给客户更好的性能，更高的灵活性和开放性，更强的扩展性，更简单的管理以及更少的用户投入。为应对这种   海量非结构化数据的存储需求，采用扁平化数据存储组织方式的分布式对象存储技术成了   一颗冉冉升起的新星。

3.  RGW数据组织结构

 

在对象存储系统中，包含3个基本概念，即用户（User）、存储桶（Bucket）和对象

（Object）。为更好理解对象存储网关RGW的实现本质，下面就对这3个概念及其基本特征进行重点阐述。

（1）用户（User）

用户（User）指的是对象存储应用的使用者，可以是一个独立的个体，也可以是系统的一个角色（如一个应用）。只有创建了用户并赋予了相关权限之后，才允许访问存储   集群对应的存储池和数据。用户管理在 Ceph 集群中属于管理功能，可以通过管理员直接创建、更新、删除用户或者对用户赋予对应的caps 权限。同一个用户可以拥有一个或者多个存储桶，同时还可以为用户创建对应的子账户。

（2）  存储桶（Bucket）

存储桶（Bucket）是CephRGW 中存储对象的容器，是用户用来管理存储对象的逻辑存储空间。Ceph 对象存储服务提供了基于桶和对象的扁平化存储方式，桶中的所有对象都处于同一逻辑层级，去除了文件系统中的多层级树形目录结构。每个存储桶都有自己的访问权限、所属区域等属性，用户可以在不同区域创建不同存储类别和访问权限的桶，并配置更多高级属性来满足不同场景的存储诉求。

对象存储服务设置有多种桶存储类别，分别为标准存储、低频访问存储、归档存储类型，从而满足客户业务对存储性能、成本的不同诉求。创建桶时可以指定桶的存储类别，桶的   存储类别也可以在创建之后进行修改。在 Ceph中，同一个租户（tenant）命名空间下，桶名必须是全局唯一的且不能修改，即用户创建的桶不能与自己已创建的其他桶名称相同，   也不能与其他用户创建的桶名称相同。桶所属的区域在创建后也不能修改。每个桶在创建时都会生成默认的桶ACL（AccessControlList），桶ACL的每项包含了对被授权用户授予什么样的权限，如读取权限、写入权限等。用户只有对桶有相应的权限，才可以对桶进   行相应的操作，如创建、删除、显示、设置桶 ACL等。一个默认账号可创建1000个桶。每个桶中存放的对象的数量和大小总和默认没有限制，用户不需要考虑数据的可扩展性。   存储桶命名规则如下。

◆  只能包含小写字母，数字和短横线（-）；

◆  必须以小写字母或数字开头；

◆  长度必须在 3～63字节之间。

存储桶是用户管理对象的单位，所有对象都必须属于一个存储桶。存储桶具有一些属   性来控制区域，如对象访问控制、对象生命周期等。这些属性适用于存储桶下的所有对象，因此用户可以灵活地创建不同的存储桶，以完成不同的管理功能。

（3）  对象（Object）

对象（Object）是 Ceph对象存储服务中数据存储的基本单位（区别于 RADOS层的文件数据切片Object概念），一个对象实际是一个文件的数据及其相关属性信息（元数据）的集合体。用户上传至 Ceph 对象存储系统的数据都以对象的形式保存在存储桶（Bucket）中。一个对象一般包括键值（Key）、元数据（Metadata）、实体数据（Data）三部分。

Key    ：键值，即对象的名称。一个桶里的每个对象必须拥有唯一的对象键值。对象文件命名规则为经过 UTF-8编码的长度大于 0且不超过 1024 的字符序列，对象的名称对大小写敏感。

Metadata ：对象元数据，即对象的描述信息，包括系统元数据和用户元数据。这些元数据以键值对（Key-Value）的形式被上传到 Ceph中。

◆  系统元数据由Ceph自动生成，在处理对象数据时使用，包括Date、Content- length、Last-modify、Content-MD5等；

◆  用户元数据由用户在上传对象时指定，是用户自定义的对象描述信息。

Data：实体数据，即文件的数据内容。

通常情况下，人们将对象等同于文件来进行管理，但是由于 Ceph   RGW提供的是一种对象存储服务，并没有文件系统中的文件和文件夹概念。为了使用户更方便地进行数据   管理，CephRGW提供了一种方式来模拟文件夹层级。通过在对象的名称中增加“/”，例如采用“test/123.jpg”的命名方式，此时，“test”就被模拟成了一个文件夹，“123.jpg”则模拟成“test”文件夹下的文件名了，而实际上，对象名称（Key）仍然是“test/123..jpg”。上传对象时，可以指定对象的存储类别，若不指定，默认与桶的存储类别一致。