1. 在Ceph上为Kubernetes创建一个文件系统
# ceph osd pool create cephfs_data 128 # ceph osd pool create cephfs_metadata 128 # ceph fs new cephfs cephfs_metadata cephfs_data
2. CephFS配置Quotas
CephFS的mount方式分为内核态mount和用户态mount，内核态使用mount命令挂载，用户态使用ceph-fuse。内核态只有在kernel 4.17 + Ceph mimic以上的版本才支持Quotas，用户态则没有限制。
内核态mount：
# mount -t ceph 10.32.3.70:/k8s_test /mnt/cephfs/ -o name=admin,secret=AQCs2Q9bqAjCHRAAlQUF+hAiXhbErk4NdtvORQ==
用户态mount：
# ceph-fuse -r /k8s_test /mnt/cephfs/ --name client.admin
配置quota：
1) 首先在CephFS创建一个要限额的目录
# mkdir /mnt/cephfs # ceph-fuse /mnt/cephfs # mkdir /mnt/cephfs/k8s_test
2) 然后在目录上使用setfattr设置限额属性
# setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/cephfs/k8s_test
比如上面这条命令限制/k8s_test目录只能使用100MB大小的空间。
3) 挂载限额目录并测试
# mkdir /mnt/k8s_test # ceph-fuse -r /k8s_test /mnt/k8s_test/ --name client.admin --client-quota
由于使用的内核和Ceph版本比较低，只能在用户态测试。在Jewel及之前版本的ceph-fuse，挂载时要指定--client-quota参数，限额才会生效。而在Luminous之后的版本，则不支持这个参数了，会自动识别quota。由于我这里使用的是Jewel版本，所以指定了--client-quota参数。然后写入200MB数据测试一下：
# cd /mnt/k8s_test # dd if=/dev/zero of=test1.bin bs=1M count=200 dd: error writing ‘test1.bin’: Disk quota exceeded 129+0 records in 128+0 records out 134348800 bytes (134 MB) copied, 0.428233 s, 314 MB/s # df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 92M -64Y -36M 100% /mnt/cephfs
可以看到中途提示超出配额，但是写入了134MB数据，超过了指定的配额100MB。这是因为CephFS的Quotas不是严格的，按官方说法判断检测周期是10s。
再次写入数据，可以发现完全写不进去了：
# dd if=/dev/zero of=test2.bin bs=1M count=200 dd: error writing ‘test2.bin’: Disk quota exceeded 1+0 records in 0+0 records out 0 bytes (0 B) copied, 0.00162182 s, 0.0 kB/s
3. 更新k8s用户权限
# ceph auth caps client.k8s mon 'allow rwx' osd 'allow rwx pool=k8s, allow rw pool=cephfs_data' mds 'allow rwp'
如果还没有创建k8s用户，则使用下面的命令创建：
# ceph auth get-or-create client.k8s mon 'allow rwx' osd 'allow rwx pool=k8s, allow rw pool=cephfs_data' mds 'allow rwp' -o ceph.client.k8s.keyring
在Kubernets中创建访问Ceph的Secret的步骤见《Kubernetes配置Ceph RBD StorageClasses作为Persistent Volumes Claims后端》第3~5步。
4. Kubernetes Volume使用CephFS
Kubernetes Volume原生支持CephFS类型，使用方法：
# echo ‘apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs spec: containers: - name: nginx-test-cephfs image: registry.exmaple.com/base/nginx:v1.0 volumeMounts: - name: cephfs mountPath: "/data/" volumes: - name: cephfs cephfs: monitors: - 10.32.3.70:6789 - 10.32.3.71:6789 - 10.32.3.72:6789 path: /k8s_test user: k8s secretRef: name: ceph-k8s-secret readOnly: false’ | kubectl create -f -
进入容器查看：
# kubectl exec nginx-test-cephfs -it -- /bin/bash [root@nginx-test-cephfs ~]# df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/k8s_test 5.2T 1.1G 5.2T 1% /data
5. Kubernetes Persistent Volume使用CephFS
Kubernetes Persistent Volume原生支持CephFS类型，使用方法：
# echo 'apiVersion: v1 kind: PersistentVolume metadata: name: nginx-test-cephfs-pv-01 namespace: test spec: capacity: storage: 100Mi accessModes: - ReadWriteMany cephfs: monitors: - 10.32.3.70:6789 - 10.32.3.71:6789 - 10.32.3.72:6789 path: /k8s_test user: k8s secretRef: name: ceph-k8s-secret readOnly: false --- kind: PersistentVolumeClaim apiVersion: v1 metadata: name: nginx-test-cephfs-pvc-01 spec: accessModes: - ReadWriteMany resources: requests: storage: 50Mi --- apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs-01 spec: containers: - name: nginx-test-cephfs image: registry.exmaple.com/base/nginx:v1.0 volumeMounts: - name: cephfs-vol1 mountPath: "/data/" volumes: - name: cephfs-vol1 persistentVolumeClaim: claimName: nginx-test-cephfs-pvc-01' | kubectl create -f -
进入容器查看：
# kubectl exec nginx-test-cephfs -it -- /bin/bash [root@nginx-test-cephfs ~]# df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/k8s_test 5.2T 1.1G 5.2T 1% /data
6. Kubernetes StorageClass使用CephFS
Kubernetes StorageClass原生不支持CephFS，但是在社区的孵化项目External Storage中添加了CephFS类型的StorageClass。External Storage是对核心的Kubernetes controller manager的扩展，其中包含的每个external provisioner可以独立部署以支持扩展的StorageClass类型。
部署CephFS external provisioner：
1) 下载External Storage代码
# go get github.com/kubernetes-incubator/external-storage
同时要保证CephFS external provisioner依赖的package源码存在于$GOPATH/src目录下，如果有缺失，后面编译会报错，按照报错使用go get下载就行。
2) 编译、打包镜像、上传镜像
进入CephFS external provisioner的源码目录：
# cd $GOPATH/src/github.com/kubernetes-incubator/external-storage/ceph/cephfs
修改Makefile，将REGISTRY变量改成自己的镜像仓库地址，注意结尾要带/：
# vim Makefile ifeq ($(REGISTRY),) REGISTRY = registry.example.com/ endif
修改Dockerfile，指定CEPH_VERSION与自己Ceph Cluster的版本一致：
# vim Dockerfile ENV CEPH_VERSION "mimic"
编译，生成cephfs-provisioner二进制文件：
# make
打包docker镜像，并上传到镜像仓库：
# make push
3) 部署CephFS external provisioner
进入部署目录：
# cd $GOPATH/src/github.com/kubernetes-incubator/external-storage/ceph/cephfs/deploy
修改镜像地址：
# vim rbac/deployment.yaml image: "registry.example.com/cephfs-provisioner:latest"
修改希望部署到的namespace：
# NAMESPACE=kube-system # sed -r -i "s/namespace: [^ ]+/namespace: $NAMESPACE/g" ./rbac/*.yaml
部署：
# kubectl -n $NAMESPACE apply -f ./rbac
4) 创建cephfs StorageClass
# echo ‘apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cephfs provisioner: ceph.com/cephfs parameters: monitors: 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789 adminId: k8s adminSecretName: ceph-k8s-secret adminSecretNamespace: kube-system‘ | kubectl create -f -
5) 创建一个PersistentVolumeClaim
# echo ‘apiVersion: v1 kind: PersistentVolumeClaim metadata: name: nginx-test-cephfs-pvc-03 annotations: volume.beta.kubernetes.io/storage-class: "cephfs" spec: accessModes: - ReadWriteMany resources: requests: storage: 100Mi’ | kubectl create -f -
6) 创建使用PVC的Pod
# echo ‘apiVersion: v1 kind: Pod metadata: name: nginx-test-cephfs-03 spec: containers: - name: nginx-test-cephfs-03 image: registry.example.com/base/nginx:v1.0 volumeMounts: - name: pvc mountPath: "/data/" volumes: - name: pvc persistentVolumeClaim: claimName: nginx-test-cephfs-pvc-03’ | kubectl create -f -
7) 查看容器状态
# kubectl exec nginx-test-cephfs-03 -it -- /bin/bash # df -h Filesystem Size Used Avail Use% Mounted on 10.32.3.70:6789,10.32.3.71:6789,10.32.3.72:6789:/volumes/kubernetes/kubernetes-dynamic-pvc-6bfb0ff3-6980-11e8-aa58-5a90b87a7c36 5.2T 1.1G 5.2T 1% /data
7. 为CephFS StorageClass添加Quotas支持
注意容器中CephFS的挂载方式，使用的是内核态mount，挂载目录的容量并不是PVC声明的100MiB，而是整个CephFS的可用大小。
查看源码发现在Kubernetes 1.10之后的版本才会尝试用户态mount。而且目前使用的Kubernetes 1.10.4版本存在bug，ceph-fuse挂载时指定了-k参数，却没有指定-i或者-n参数，导致尝试使用ceph-fuse挂载会报错，最终后还是回退到内核态挂载。
另外目前CephFS external provisioner中创建目录时，并没有指定ceph.quota.max_bytes属性，为了添加配额限制，需要修改代码。
1) 修改CephFS external provisioner
CephFS external provisioner的结构比较简单，主要就是cephfs-provisioner.go和cephfs_provisioner.py两个文件。cephfs-provisioner.go是主程序，创建CephFS Provisioner。cephfs_provisioner.py 是对ceph_volume_client.CephFSVolumeClient的封装，方便调用。
修改思路就是在CephFS中创建目录时指定size参数，底层的CephFSVolumeClient.create_volume()判断size存在时会调用setattr设置ceph.quota.max_bytes属性。
具体修改内容可以参考这个PR。修改完后，重新执行第6步中的打包部署操作使之生效。
2) 修改Kubelet
由于1.10.4版本的kubelet存在bug，使用ceph-fuse挂载目录时指定了-k参数却没有指定-i或者-n参数，导致挂载报错。需要修改代码，加上-i参数。具体位置是kubernetes/pkg/volume/cephfs/cephfs.go的execFuseMount()函数，原来的mount参数：
func (cephfsMounter *cephfsMounter) checkFuseMount() bool { … mountArgs := []string{} mountArgs = append(mountArgs, "-k") mountArgs = append(mountArgs, keyring_file) mountArgs = append(mountArgs, "-m") mountArgs = append(mountArgs, src) mountArgs = append(mountArgs, mountpoint) mountArgs = append(mountArgs, "-r") mountArgs = append(mountArgs, cephfsVolume.path) … }
追加两行：
mountArgs = append(mountArgs, "--id") mountArgs = append(mountArgs, cephfsVolume.id)
如果使用的ceph-fuse版本低于Luminous，还要加上--client-quota参数：
mountArgs = append(mountArgs, "--client-quota")
然后重新编译kubelet，替换安装文件，重启服务生效。编译方法参考《编译Kubelet二进制文件》。
3) 验证Quota
重新使用第6步的配置创建一个Pod，进入容器查看：
# kubectl exec nginx-test-cephfs-03 -it -- /bin/bash root@nginx-test-cephfs-03:/# df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 100M 0 100M 0% /data
看到挂载方式是ceph-fuse，目录可用大小也是quota配置的100M。写入数据测试一下：
# dd if=/dev/zero of=/data/test.bin bs=1M count=200 dd: error writing '/data/test.bin': Disk quota exceeded 123+0 records in 122+0 records out 128421888 bytes (128 MB, 122 MiB) copied, 4.32033 s, 29.7 MB/s # df -h Filesystem Size Used Avail Use% Mounted on ceph-fuse 100M 100M 0 100% /data
Quota确实生效了。
参考资料
CephFS Admin Tips – Create a new user and share