存储设备有三种使用类型，块存储、文件存储、对象存储。

Ceph对于上述3中类型的使用方式都支持，需要进行不同的服务端配置与客户端调用。

1、块存储

1.1服务端配置

创建pool

ceph osd pool create test 32

创建块设备

rbd create rbd_write --size 1024 --pool test

查看pool下面的块

rbd -p test ls

1.2客户端调用

客户端映射块

rbd map test/rbd_write

#同理，断开映射为

rbd unmap test/rbd_write

挂载后，如果报rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".的错，是因为当前OS的内核不支持某些feature。

解决方案：关闭某些扩展特性，然后重新映射。

rbd feature disable test/rbd_write exclusive-lock object-map fast-diff deep-flatten

rbd map test/rbd_write

映射后，对裸磁盘进行格式化。

mkfs.xfs /dev/rbd0
mkdir -p /mnt/ceph_rbd
mkdir /dmnt/ceph_rbd
mount /dev/rbd0 /mnt/ceph_rbd

可以进入/mnt/ceph_rbd目录，然后创建文件进行测试。

2、文件存储

2.1服务端配置

创建挂载目录

mkdir /cephfs

复制配置文件

将ceph配置文件ceph.conf从管理节点copy到client节点（10.1.30.43为管理节点）

rsync -e "ssh -p22" -avpgolr root@10.1.30.43:/etc/ceph/ceph.conf /etc/ceph/

 复制密钥

将ceph的ceph.client.admin.keyring从管理节点copy到client节点

rsync -e "ssh -p22" -avpgolr root@10.1.30.43:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

查看ceph授权

ceph auth list

installed auth entries:
mds.ceph-admin
    key: AQAZZxdbH6uAOBAABttpSmPt6BXNtTJwZDpSJg==
    caps: [mds] allow
    caps: [mon] allow profile mds
    caps: [osd] allow rwx
osd.0
    key: AQCuWBdbV3TlBBAA4xsAE4QsFQ6vAp+7pIFEHA==
    caps: [mon] allow profile osd
    caps: [osd] allow *
osd.1
    key: AQC6WBdbakBaMxAAsUllVWdttlLzEI5VNd/41w==
    caps: [mon] allow profile osd
    caps: [osd] allow *
osd.2
    key: AQDJWBdbz6zNNhAATwzL2FqPKNY1IvQDmzyOSg==
    caps: [mon] allow profile osd
    caps: [osd] allow *
client.admin
    key: AQCNWBdbf1QxAhAAkryP+OFy6wGnKR8lfYDkUA==
    caps: [mds] allow *
    caps: [mon] allow *
    caps: [osd] allow *
client.bootstrap-mds
    key: AQCNWBdbnjLILhAAT1hKtLEzkCrhDuTLjdCJig==
    caps: [mon] allow profile bootstrap-mds
client.bootstrap-mgr
    key: AQCOWBdbmxEANBAAiTMJeyEuSverXAyOrwodMQ==
    caps: [mon] allow profile bootstrap-mgr
client.bootstrap-osd
    key: AQCNWBdbiO1bERAARLZaYdY58KLMi4oyKmug4Q==
    caps: [mon] allow profile bootstrap-osd
client.bootstrap-rgw
    key: AQCNWBdboBLXIBAAVTsD2TPJhVSRY2E9G7eLzQ==
    caps: [mon] allow profile bootstrap-rgw

2.2客户端调用

客户端设备，安装ceph-fuse（这里直接用ceph-admin-10.1.30.43测试，如果需要在其他设备测试请注意yum源配置）

yum install -y ceph-fuse

将ceph集群存储挂载到客户机的/cephfs目录下

ceph-fuse -m 10.1.30.43:6789 /cephfs

2018-06-06 14:28:54.149796 7f8d5c256760 -1 init, newargv = 0x4273580 newargc=11
ceph-fuse[16107]: starting ceph client
ceph-fuse[16107]: starting fuse

df -h

Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_centos602-lv_root
                       50G  3.5G   44G   8% /
tmpfs                 1.9G     0  1.9G   0% /dev/shm
/dev/sda1             477M   41M  412M   9% /boot
/dev/mapper/vg_centos602-lv_home
                       45G   52M   43G   1% /home
/dev/vdb1              20G  5.1G   15G  26% /data/osd1
ceph-fuse              45G  100M   45G   1% /cephfs

由上面可知，已经成功挂载了ceph存储，三个osd节点，每个节点有15G（在节点上通过"lsblk"命令可以查看ceph data分区大小）,一共45G！

取消ceph存储的挂载

umount /cephfs

3、对象存储

3.1服务端配置

Ceph 对象存储使用 Ceph 对象网关守护进程（ radosgw ），它是个与 Ceph 存储集×××互的 FastCGI 模块。Ceph RGW的FastCGI支持多种Web服务器作为前端，而Ceph从v0.8开始，使用内嵌Civetweb作为WebServer，无需额外安装nginx或者apache作web服务。

修改yum文件，并且安装网关服务。

vi /etc/yum.repos.d/CentOS-Base.repo
[centosplus]
enabled=1

ceph-deploy install --rgw ceph-admin

创建网关实例

/home/cephuser/cluster

ceph-deploy rgw create testrgw

一旦网关开始运行，可以通过7480端口访问尝试

创建账号

radosgw-admin user create --uid="testuser" --display-name="First User"

自动返回如下

{
    "user_id": "testuser",
    "display_name": "First User",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "auid": 0,
    "subusers": [],
    "keys": [
        {
            "user": "testuser",
            "access_key": "EVAKP3SXQ5PX8EMEM9XK",
            "secret_key": "pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX"
        }
    ],
    "swift_keys": [],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "max_size_kb": -1,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "max_size_kb": -1,
        "max_objects": -1
    },
    "temp_url_keys": []
}

使用查看命令也能再次看到上述信息

radosgw-admin user info --uid=testuser

3.2客户端调用

客户端安装软件

yum install s3cmd

s3cmd --configure

Access Key:EVAKP3SXQ5PX8EMEM9XK
Secret Key:pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX
Default Region [US]:默认
S3 Endpoint [s3.amazonaws.com]: 10.1.30.43:7480
[%(bucket)s.s3.amazonaws.com]: %(bucket)s.10.1.30.43:7480
Use HTTPS protocol [Yes]: No
Test access with supplied credentials? [Y/n] Y
Retry configuration[Y/n]:n
Save settings? [y/N] y

其他选项直接回车即可，不要修改。设置完成后，运行

s3cmd ls

如果报错如下，则证明配置文件里面有问题

Invoked as: /usr/bin/s3cmd ls
Problem: error: [Errno 111] Connection refused

解决办法：

vi ~/.s3cfg

检查5个参数

access_key = EVAKP3SXQ5PX8EMEM9XK
cloudfront_host = ceph-admin:7480
host_base = ceph-admin:7480
host_bucket = %(*)s.ceph-admin:7480
secret_key = pr7WUkuEyTJS8obM0i75GgHTYlYSPluzViCJCCIX

然后重新s3cmd测试

s3cmd ls

创建名叫my_bucket的数据目录（类似创建文件夹，但是注意，bucket是对象存储的概念，不是文件夹）

s3cmd mb s3://my_bucket

put上传对象到具体目录

s3cmd put /var/log/messages s3://my_bucket/log/

查看对象

s3cmd ls s3://my_bucket/log/

get下载对象

s3cmd get s3://my_bucket/log/messages /tmp/

删除对象

s3cmd del s3://my_bucket/log/messages

删除bucket

s3cmd rb s3://my_bucket/log/