kubernetes挂载ceph rbd和cephfs

目录


  • k8s挂载Ceph RBD

    • 创建secret

    • 创建StorageClass

    • 创建PVC

    • 创建secret

    • 创建PV

    • 创建PVC

    • 创建deployment挂载PVC

    • PV & PVC方式

    • StorageClass方式

  • k8s挂载Cephfs

k8s挂载Ceph RBD

k8s挂载Ceph RBD有两种方式,一种是传统的PV&PVC的方式,也就是说需要管理员先预先创建好相关PV和PVC,然后对应的deployment或者replication来挂载PVC使用。而在k8s 1.4以后,kubernetes提供了一种更加方便的动态创建PV的方式,即StorageClass。使用StorageClass时无需预先创建固定大小的PV来等待使用者创建PVC使用,而是直接创建PVC即可使用。

需要说明的是,要想让k8s的node节点执行挂载ceph rbd的指令,需要在所有节点上安装ceph-common包。直接通过yum安装即可。

PV & PVC方式

创建secret

#获取管理key并进行64位编码
ceph auth get-key client.admin | base64

创建ceph-secret.yml文件,内容如下:

apiVersion: v1
kind: Secret
metadata:
 name: ceph-secret
data:
#Please note this value is base64 encoded.
# echo "keystring"|base64
 key: QVFDaWtERlpzODcwQWhBQTdxMWRGODBWOFZxMWNGNnZtNmJHVGc9PQo=

创建PV

创建test.pv.yml文件,内容如下:

apiVersion: v1
kind: PersistentVolume
metadata:
 name: test-pv
spec:
 capacity:
   storage: 2Gi
 accessModes:
   - ReadWriteOnce
 rbd:
   #ceph的monitor节点
   monitors:      
     - 10.5.10.117:6789
     - 10.5.10.236:6789
     - 10.5.10.227:6789
   #ceph的存储池名字
   pool: data
   #在存储池里创建的image的名字
   image: data        
   user: admin
   secretRef:
     name: ceph-secret
   fsType: xfs
   readOnly: false
 persistentVolumeReclaimPolicy: Recycle
kubectl create -f test.pv.yml

创建PVC

创建test.pvc.yml文件,内容如下:

kind: PersistentVolumeClaim
apiVersion: extensions/v1beta1
metadata:
 name: test-pvc
spec:
 accessModes:
   - ReadWriteOnce
 resources:
   requests:
     storage: 2Gi
kubectl create -f test.pvc.yml

创建deployment挂载PVC

创建test.dm文件,内容如下:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: test
spec:
 replicas: 1
 template:
   metadata:
     labels:
       app: test
   spec:
     containers:
     - name: test
       image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
       ports:
       - containerPort: 80
       volumeMounts:
         - mountPath: "/data"
           name: data
     volumes:
       - name: data
         persistentVolumeClaim:
           claimName: test-pvc
kubectl create -f test.dm.yml

StorageClass方式

创建secret

由于StorageClass要求ceph的secret type必须为kubernetes.io/rbd,所以在上面PV & PVC方式中创建的secret无法使用,需要重新创建。如下:

# 其中key的部分为ceph原生的key,未使用base64重新编码
kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=kube-system
kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=default

创建StorageClass

创建test.sc.yml文件,内容如下:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: test-storageclass
provisioner: kubernetes.io/rbd
parameters:
 monitors: 192.168.1.11:6789,192.168.1.12:6789,192.168.1.13:6789
 # Ceph 客户端用户ID(非k8s的)
 adminId: admin
 adminSecretName: ceph-secret
 adminSecretNamespace: kube-system
 pool: data
 userId: admin
 userSecretName: ceph-secret

创建PVC

创建test.pvc.yml文件,内容如下:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
 name: test-sc-pvc
 annotations:
   volume.beta.kubernetes.io/storage-class: test-storageclass
spec:
 accessModes:
   - ReadWriteOnce
 resources:
   requests:
     storage: 2Gi
kubectl create -f test.pvc.yml

至于挂载,与PV & PVC的方式一致,不再重复说明

k8s挂载Cephfs

上面大致说明了使用k8s挂载ceph rbd块设备的方法。这里简单说下k8s挂载ceph 文件系统的方法。

首先secret可以直接与上面复用,不用再单独创建。也不需要再创建pv和pvc。直接在deployment中挂载即可,方法如下:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: test
spec:
 replicas: 1
 template:
   metadata:
     labels:
       app: test
   spec:
     containers:
     - name: test
       image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
       ports:
       - containerPort: 80
       volumeMounts:
         - mountPath: "/data"
           name: data
     volumes:
       - name: data
         cephfs:
           monitors:
             - 10.5.10.117:6789
             - 10.5.10.236:6789
             - 10.5.10.227:6789
           path: /data
           user: admin
           secretRef:
             name: ceph-secret


上一篇:一天一道CTF 第九天


下一篇:buuctf [护网杯 2018]easy_tornado