容器服务kubernetes与堡垒机按应用人员设置权限

2023-09-27 20:34:40

1.前言：

aliyun 上采用容器服务 kubernetes 部署某业务的所有应用，每个应用有不同的Owner, 开发人员, 运维，需要根据应用分配不同的人访问权限。
需求：

运维人员(集群管理人员)---> 所有应用配置读写；
应用owner与运维 --> 所属应用的配置读写；
应用开发测试等人员 --> 只读访问应用的配置，并可以进入 POD 维护；
所有人员通过堡垒机运维线上系统，堡垒机审计功能记录运维人员的操作过程。
使用 Kubernetes RBAC 实现应用授权。
堡垒机运维 k8s 容器服务应用

2. 实现流程：

2.1 前置规约：

aliyun 购买堡垒机；
aliyun 上购买一台低配 ECS 作为堡垒机的跳板机；
堡垒机跳板机获取需要分配权限的 k8s 集群的Master 证书，用以制作子证书；
应用在 k8s 集群中按照namespace 分区部署。

2.2 k8s 集群授权：

2.2.1 用户证书生成：

堡垒机上建立应用操作用户，例如：{app_name}-dev, 命令如下：

## 堡垒机的跳板机上建立用户
useradd {USER_NAME}
## 为用户设置密码，该密码将用户堡垒机设置凭证登录
echo '{passwork}' | passwd --stdin {USER_NAME}
## 使用 Master 根证书 生成 用户证书
openssl genrsa -out ${USER_NAME}.key 2048
## generate user.csr
openssl req -new -key ${USER_NAME}.key -out ${USER_NAME}.csr -subj "/CN=${USER_NAME}/O=ProjectY"
## generate user.crt
openssl x509 -req -in ${USER_NAME}.csr -CA /root/cert/ca.crt -CAkey /root/cert/ca.key -CAcreateserial -out ${USER_NAME}.crt -days 356
## 建立用户证书存放目录
mkdir /home/${USER_NAME}/.cert
mv ${USER_NAME}.* /home/${USER_NAME}/.cert
chown ${USER_NAME}:${USER_NAME} /home/${USER_NAME}/.cert/${USER_NAME}.*
mkdir /home/${USER_NAME}/.kube
## 生成用户证书
kubectl config set-cluster kubernetes --certificate-authority=/home/admin/cert/${AREA}/ca.crt --embed-certs=true --server=${SERVER} --kubeconfig=/home/${USER_NAME}/.kube/config
kubectl config set-credentials ${USER_NAME} --client-certificate=/home/${USER_NAME}/.cert/${USER_NAME}.crt  --client-key=/home/${USER_NAME}/.cert/${USER_NAME}.key --kubeconfig=/home/${USER_NAME}/.kube/config
chown -R ${USER_NAME}:${USER_NAME} /home/${USER_NAME}/
## 设置证书context 切换到指定命名空间
kubectl config set-context ${USER_NAME}-context --cluster=kubernetes --namespace=${NAME_SPACE} --user=${USER_NAME} --kubeconfig=/home/${USER_NAME}/.kube/config

2.2.2 设置 k8s role与 rolebinding:

针对应用不同角色用户，设置 namespace 的不同操作权限，比如应用开发人员只读权限，生成 role 与 rolebinding 的 yaml 如下：

## role.yaml
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: '${ROLE_NAME}' 
  namespace: '${NAME_SPACE}' 
rules:
- apiGroups: 
  - ""
  resources: ## 只能访问 pod 和 pod 的日志
  - pods
  - pods/log
  verbs:  ## 只读权限
  - get
  - list
- apiGroups:
  - ""
  resources:
  - pods/exec
  verbs:
  - create

## rolebing.yaml, 指定该 role 只能访问指定 namespaces
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: '${USER_NAME}'
  namespace: '${NAME_SPACE}'
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: '${ROLE_NAME}'
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: '${USER_NAME}'

同理，你还可以设置其它角色的用户，授予相应权限；

生成 k8s 集群的 role 和 rolebinding:

# 生成 role与 rolebinding
kubectl create -f role-${ROLE_NAME}.yaml
kubectl create -f rolebind-${USER_NAME}.yaml

# 查看当前用户的 config
kubectl config view --cluster=kubernetes --namespace=${NAME_SPACE} --user=${USER_NAME} --kubeconfig=/home/${USER_NAME}/.kube/config
# 设置当前用户默认到该 namespace
kubectl config use-context ${USER_NAME}-context --cluster=kubernetes --namespace=${NAME_SPACE} --user=${USER_NAME} --kubeconfig=/home/${USER_NAME}/.kube/config
# 查看用户 config
kubectl config view --cluster=kubernetes --namespace=${NAME_SPACE} --user=${USER_NAME} --kubeconfig=/home/${USER_NAME}/.kube/config

至此，堡垒机访问 k8s 集群的跳板机上不同应用的设置完成，下面需要设置堡垒机访问。

2.3 堡垒机配置：

设置堡垒机资源的服务器，指向 k8s 访问的跳板机；
使用前文添加的证书和用户，设置每个应用在跳板机上用户的凭证；
建立授权组，授权相关用户指向授权组和服务器。

码农公寓