glusterfs+heketi为k8s提供共享存储

背景

近来在研究k8s,学习到pv、pvc 、storageclass的时候,自己捣腾的时候使用nfs手工提供pv的方式,看到官方文档大量文档都是使用storageclass来定义一个后端存储服务, 使用pvc来自动申请pv,

所以花了点时间研究了下glusterfs配合heketi如果为k8s动态提供存储。

环境

主机名 ip地址 角色 备注
master 192.168.16.10 k8s-master,glusterfs,heketi  heketi只需要一个节点部署就可以了。
node01 192.168.16.11 k8s-node,glusterfs  
node02 192.168.16.12 k8s-node,glusterfs  

gluster安装配置

gluster安装

下面操作需要在三个节点都需要执行。

# centos 需要安装下 centos-release-gluster5, 此包提供gluster相关的包

[root@master ~]# yum install centos-release-gluster5
[root@master ~]# yum install yum install glusterfs-server fuse glusterfs-client
# 开机自启
[root@master ~]# systemctl enable glusterd && systemctl restart glusterd && systemctl status glusterd

gluster配置

# 各个节点启动后, 需要使用peer探测各个节点
[root@master ~]# gluster peer probe node01
[root@master ~]# gluster peer probe node02
# 查看探测后的状态
[root@master ~]# gluster peer status
Number of Peers: Hostname: node01
Uuid: c7c12e58-a7de--b11f-52205e3b527c
State: Peer in Cluster (Connected) Hostname: node02
Uuid: 7af10306--424c-b1e7-85c4b22ec5c2
State: Peer in Cluster (Connected)

这一步骤确保集群的各个节点都是connected的。

heketi的安装和配置

heketi简介

我们这里使用heketi注意是给glusterfs提供rest的api服务, 这样就相当于给glusterfs和k8s之间架通了桥梁。我们的k8s就可以使用heketi提供的rest api完成对glusterfs的pv申请和管理。

heketi的安装

主节点安装heketi

[root@master ~]# yum install heketi

所有节点安装heketi-client

yum install heketi-client

heketi的配置

[root@master ~]# cd /etc/heketi/
[root@master heketi]# ll
total
-rw-r--r-- root root Sep : heketi.json
# 备份一下。
[root@master heketi]# cp heketi.json heketi.json.default
[root@master heketi]# vim heketi.json
# 修改如下配置
"port": "",
"use_auth": true,
"admin": {
"key": "admin"
},
"user": {
"key": "admin"
}
"executor": "ssh",
"sshexec": {
"keyfile": "/home/heketi/.ssh/id_rsa",
"user": "heketi",
"port": "",
"sudo": true,
"fstab": "/etc/fstab"
},

heketi有三种ececutor, 我们这里选择了生产环境中推荐的ssh方式, 由于大部分场景下root是禁止远程登录的 所以这里使用heketi用户来执行。

注意: 上面配置中的sudo是必须的, 否则会提示权限不足的。

准备用户和配置ssh免密码

#master节点
[root@master heketi]# id heketi
uid=(heketi) gid=(heketi) groups=(heketi)
# 原有的账户无home,无shell. 删除添加新的。
[root@master heketi]# userdel heketi
[root@master heketi]# useradd heketi
[root@master ~]# echo "heketi" |passwd --stdin heketi
# 切换到heketi生成key
[root@master heketi]# su - heketi
[heketi@master ~]$ ssh-keygen # node01节点
[root@node01 ~]# useradd heketi
[root@node01 ~]# echo "heketi" |passwd --stdin heketi
[root@node01 ~]# su - heketi
[heketi@node01 ~]$ ssh-keygen # node02节点
[root@node02 ~]# useradd heketi
[root@node02 ~]# echo "heketi" |passwd --stdin heketi
[root@node02 ~]# su - heketi
[heketi@node01 ~]$ ssh-keygen # ssh免密码信任
[heketi@master ~]$ ssh-copy-id master
[heketi@master ~]$ ssh-copy-id node01
[heketi@master ~]$ ssh-copy-id node02 # 给heketisudo权限
[root@master heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers
[root@node01 heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers
[root@node02 heketi]# echo "heketi    ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers

启动heketi和测试heketi

# 这一个步骤是必须的, 默认的yum安装后,这个目录的所有者都是root的。 但是安装提供的service文件的user又是heketi. 导致不修改权限就是启动不起来的,坑啊。
[root@master ~]# chown heketi:heketi /etc/heketi/ -R || chown heketi:heketi /var/lib/heketi -R
[root@master ~]# systemctl enable heketi  && systemctl start heketi && systemctl status heketi

# 测试下heketi接口问题
[root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json cluster create
{"id":"90f60d4e461bfb1dbd3fe3941740615c","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}
[root@master ~]#  heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  cluster delete 90f60d4e461bfb1dbd3fe3941740615c

创建集群

#创建集群
[root@master ~]#  heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json  cluster create 
{"id":"0c15099b0905cf490004ff3a4f0991e4","nodes":[],"volumes":[],"block":true,"file":true,"blockvolumes":[]}
# 节点管理(其中集群id为上面命令的返回值)
[root@master ~]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 --json node add --cluster "0c15099b0905cf490004ff3a4f0991e4" --management-host-name 192.168.16.10 --storage-host-name 192.168.16.10 --zone 1
[root@master ~]# heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.11 --storage-host-name 192.168.16.11 --zone 1
heketi-cli --user admin --secret admin --server htt05cf490004ff3a4f0991e4" --management-host-name 192.168.16.12 --storage-host-name 192.168.16.12 --zone 1 # 添加设备 [root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 node list
Id:179b08165b56df018a0ba295e2c78f22 Cluster:0c15099b0905cf490004ff3a4f0991e4
Id:a547a8327d3ba9fc51fe5e25d95236cb Cluster:0c15099b0905cf490004ff3a4f0991e4
Id:c65521c53de76c3f70d2ec828498a261 Cluster:0c15099b0905cf490004ff3a4f0991e4
[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node 179b08165b56df018a0ba295e2c78f22
Device added successfully
[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node a547a8327d3ba9fc51fe5e25d95236cb
Device added successfully
[root@master heketi]# heketi-cli --user admin --secret admin --server http://192.168.16.10:18080 device add --name "/dev/sdb" --node c65521c53de76c3f70d2ec828498a261
Device added successfully

也有直接使用拓扑文件load方式的。 具体可以参考: https://github.com/heketi/heketi/blob/master/docs/admin/topology.md

k8s使用glusterfs

k8s中使用glusterfs的时候, 会根据pvc的申请自动创建对应的pv, 然后绑定。 这样我们在pod里面就可以指定具体的pvc了。

创建storageclass

[root@master ~]# cat k8s.storageclass.yml
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
name: glusterfs
provisioner: kubernetes.io/glusterfs
parameters:
resturl: "http://192.16.10:18080"
clusterid: "0c15099b0905cf490004ff3a4f0991e4"
restauthenabled: "true"
restuser: "admin"
restuserkey: "admin"
gidMin: "40000"
gidMax: "50000"
volumetype: "replicate:2"

创建pvc

[root@master ~]# cat pvc.yml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: pvc1
namespace: default
annotations:
volume.beta.kubernetes.io/storage-class: "glusterfs"
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
[root@master ~]# kubectl apply -f pvc.yml
[root@master ~]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc1 Bound pvc-affe7efc-21fe-11e9-9d1f-000c2987cf81 2Gi RWX glusterfs 19s
上一篇:linux硬链接和软链接的区别


下一篇:python中的双向链表实现