基于operator sdk轻松编写一个k8s自定义资源管理应用

2022-03-25 03:59:56

在说 operator 之前让我们先来了解下什么是 CRD （自定义资源描述，Custom Resource Definition）。

CRD

在 Kubernetes 中我们使用的 Deployment， DamenSet，StatefulSet, Service，Ingress, ConfigMap, Secret 这些都是资源，而对这些资源的创建、更新、删除的动作都会被成为为事件(Event)，Kubernetes 的 Controller Manager 负责事件监听，并触发相应的动作来满足期望（Spec），这种方式也就是声明式，即用户只需要关心应用程序的最终状态。当我们在使用中发现现有的这些资源不能满足我们的需求的时候，Kubernetes 提供了自定义资源（Custom Resource）和 opertor 为应用程序提供基于 kuberntes 扩展。
CRD 则是对自定义资源的描述(Custom Resource Definition)，也就是介绍这个资源有什么属性呀，这些属性的类型是什么，结构是怎样的这类。

我们看一个postgres-operator的CRD：

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: postgresqls.acid.zalan.do
  labels:
    app.kubernetes.io/name: postgres-operator
  annotations:
    "helm.sh/hook": crd-install
spec:
  group: acid.zalan.do
  names:
    kind: postgresql
    listKind: postgresqlList
    plural: postgresqls
    singular: postgresql
    shortNames:
    - pg
  additionalPrinterColumns:
  - name: Team
    type: string
    description: Team responsible for Postgres CLuster
    JSONPath: .spec.teamId
  - name: Version
    type: string
    description: PostgreSQL version
    JSONPath: .spec.postgresql.version
  - name: Pods
    type: integer
    description: Number of Pods per Postgres cluster
    JSONPath: .spec.numberOfInstances
  - name: Volume
    type: string
    description: Size of the bound volume
    JSONPath: .spec.volume.size
...

从上面的 CRD 文件可以看到 CRD 主要包括apiVersion、kind、metadata和spec四个部分。其中最关键的是apiVersion和kind，apiVersion表示资源所属组织和版本，apiVersion一般由APIGourp和Version组成，这里的 APIGourp 是apiextensions.k8s.io，Version 是v1beta1，相关信息可以通过kubectl api-resoures查看。kind 表示资源类型，这里是CustomResourceDefinition，表示是一个自定义的资源描述。

operator是什么

CoreOS 在 2016 年底提出了 Operator 的概念，当时的一段官方定义如下：

An Operator represents human operational knowledge in software, to reliably manage an application.

operator 是一种 kubernetes 的扩展形式，利用自定义资源对象（Custom Resource）来管理应用和组件，允许用户以 Kubernetes 的声明式 API 风格来管理应用及服务。operator 定义了一组在 Kubernetes 集群中打包和部署复杂业务应用的方法，operator主要是为解决特定应用或服务关于如何运行、部署及出现问题时如何处理提供的一种特定的自定义方式。比如：

按需部署应用服务（总不能用一大堆configmap来管理吧，也会很混乱~w(ﾟДﾟ)w）
实现应用状态的备份和还原，完成版本升级，比如
数据库 schema 或额外的配置设置的改动
为分布式应用进行master选举，例如etcd，或者master-slave架构的mysql集群。

operator SDK

operator SDK —— operator framework，是 CoreOS 公司开发和维护的用于快速创建 operator 的工具，可以帮助我们快速构建 operator 应用，类似的工具还有：

KUDO (Kubernetes 通用声明式 Operator)
kubebuilder，kubernetes SIG 在维护的一个项目
Metacontroller，可与 Webhook 结合使用，以实现自己的功能。

如果希望查看 Operator 生态，可以上 operatorhub.io ，也可以将自己创建的应用发布上去。

operator 安装

安装 operator sdk:

export RELEASE_VERSION=v0.13.0
curl -LO https://github.com/operator-framework/operator-sdk/releases/download/${RELEASE_VERSION}/operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu
chmod +x operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu && sudo mkdir -p /usr/local/bin/ && sudo cp operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu /usr/local/bin/operator-sdk && rm operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu

基于模板创建项目

用operator sdk 创建项目模板，这里用官方提供的一个sample-controller的模板：

operator-sdk new <controller-name> --repo github.com/kubernetes/sample-controller

项目结构目录创建完成，如下：

$ operator-sdk new test-controller --repo github.com/kubernetes/sample-controller
$ tree
.
├── build
│   ├── bin
│   │   ├── entrypoint
│   │   └── user_setup
│   └── Dockerfile
├── cmd
│   └── manager
│       └── main.go
├── deploy
│   ├── operator.yaml
│   ├── role_binding.yaml
│   ├── role.yaml
│   └── service_account.yaml
├── go.mod
├── go.sum
├── pkg
│   ├── apis
│   │   └── apis.go
│   └── controller
│       └── controller.go
├── tools.go
└── version
    └── version.go

创建CRD

创建CRD：

operator-sdk add api --api-version=<api的版本> --kind=<类型名称>

创建CRD后，多出来了文件夹：

$ operator-sdk add api --api-version=test.k8s.realibox.com/v1 --kind=Realibox

INFO[0000] Generating api version test.k8s.realibox.com/v1 for kind Realibox. 
INFO[0000] Created pkg/apis/test/group.go               
INFO[0002] Created pkg/apis/test/v1/realibox_types.go   
INFO[0002] Created pkg/apis/addtoscheme_test_v1.go      
INFO[0002] Created pkg/apis/test/v1/register.go         
INFO[0002] Created pkg/apis/test/v1/doc.go              
INFO[0002] Created deploy/crds/test.k8s.realibox.com_v1_realibox_cr.yaml 
INFO[0004] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
INFO[0004] Running deepcopy code-generation for Custom Resource group versions: [test:[v1], ] 
INFO[0014] Code-generation complete.                    
INFO[0014] Running CRD generation for Custom Resource group versions: [test:[v1], ] 
INFO[0014] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
INFO[0014] CRD generation complete.                     
INFO[0014] API generation complete.      

$ tree
...
├── pkg
│   ├── apis
│   │   ├── addtoscheme_test_v1.go
│   │   ├── apis.go
│   │   └── test
│   │       ├── group.go
│   │       └── v1
│   │           ├── doc.go
│   │           ├── realibox_types.go
│   │           ├── register.go
│   │           └── zz_generated.deepcopy.go
│   └── controller
│       └── controller.go
...

test 文件夹下面放得就是 CRD，我们通过pkg/apis/test/v1/*_types.go文件定义我们的CRD结构，主要是Spec和Status：

vim pkg/apis/test/v1/realibox_types.go
...
// RealiboxSpec defines the desired state of Realibox
type RealiboxSpec struct {
        // INSERT ADDITIONAL SPEC FIELDS - desired state of cluster
        // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
        // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
}

type RealiboxStatus struct {
    // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
    // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
    // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
}
...

这里我们只改Spec字段，将RealiboxSpec结构体改为：

type RealiboxSpec struct {
    Domain string `json:"domain,omitempty"`
    OSS string `json:"oss,omitempty"`
    Size    string `json:"size,omitempty"`
}

更新CRD文件：

operator-sdk generate k8s
operator-sdk generate crds

CRD本质是一种k8s的资源，因此要使用crd，需要在K8s集群上创建CRD：

kubectl apply -f deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml

查看集群CRD：

$ kubectl get crd
NAME                                      CREATED AT
clusterauthtokens.cluster.cattle.io       2020-08-29T06:41:42Z
clusteruserattributes.cluster.cattle.io   2020-08-29T06:41:42Z
realiboxes.test.k8s.realibox.com          2020-08-29T07:57:44Z

编写controller

创建好 CRD 后，我们可以编写 controller 了，先创建一个 controller 监听和核对新创建的realibox资源类型：

命令行说明:

operator-sdk add controller --api-version=<api的版本> --kind=<类型名称>

运行结果：

$ operator-sdk add controller --api-version=test.k8s.realibox.com/v1 --kind=Realibox

$ tree
...
├── pkg
│   ├── apis
│   │   ├── addtoscheme_test_v1.go
│   │   ├── apis.go
│   │   └── test
│   │       ├── group.go
│   │       └── v1
│   │           ├── doc.go
│   │           ├── realibox_types.go
│   │           ├── register.go
│   │           └── zz_generated.deepcopy.go
│   └── controller
│       ├── add_realibox.go
│       ├── controller.go
│       └── realibox
│           └── realibox_controller.go
...

在pkg/controller目录下生成了controller代码，在pkg/controller/realibox/realibox_controller.go编写代码逻辑即可，在这里，我将CR信息在创建pod之前打印到日志里：

...
func (r *ReconcileRealibox) Reconcile(request reconcile.Request) (reconcile.Result, error) {
  ...
    reqLogger.Info(fmt.Sprintf("Domain: %v created, oss info:%v, size: %v",instance.Spec.Domain,instance.Spec.OSS, instance.Spec.Size))
    // Define a new Pod object
    pod := newPodForCR(instance)

    ...
}
...

下面就可以运行 controller 了。

注：如果希望对集群进行更多地复杂操作，可以使用client-go来操作 Kubernetes 的资源，client-go是一个对 Kubernetes API 进行封装的库，由 Kubernetes 官方提供，还是十分好用的。

运行 controller

运行controller有两种方法，可以在本地直接运行controller，也可以打包到k8s运行。

本地运行controller

在本地运行controller直接go run就可以了：

export WATCH_NAMESPACE=default
go run cmd/manager/main.go

注意：不管是在本地运行还是远程运行都需要先在集群中创建CRD

运行好后我们可以编写一个CR资源，提交到k8s集群中：

apiVersion: test.k8s.realibox.com/v1
kind: Realibox
metadata:
  name: example-realibox
spec:
  domain: "realibox.com"
  oss: "aliyun.com"
  size: "3Gb"

通过kubectl提交到集群，可以看到controller程序已经收到CR注册内容打印出来了：

...
{"level":"info","ts":1598689291.273161,"logger":"controller_realibox","msg":"Domain: realibox.com created, oss info:aliyun.com, size: 3Gb","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598689291.2731829,"logger":"controller_realibox","msg":"Skip reconcile: Pod already exists","Request.Namespace":"default","Request.Name":"example-realibox","Pod.Namespace":"default","Pod.Name":"example-realibox-pod"}
...

打包提交到k8s运行

如果我们controller完成，我们可以将其打包放到k8s上运行：

打包镜像

这里用的阿里云镜像仓库：

operator-sdk build registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1  --image-builder docker

将打包好镜像上传镜像仓库：

docker login --username=shikanon@foxmail.com registry.cn-shenzhen.aliyuncs.com
docker push registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1

更改deploy/operator.yaml里面的镜像名称：

...
    spec:
      serviceAccountName: test-controller
      containers:
        - name: test-controller
          # Replace this with the built image name
          image: registry.cn-shenzhen.aliyuncs.com/shikanon/realibox-operator-test:v0.1
          command:
          - test-controller
          imagePullPolicy: Always
...

将deploy下的YAML文件提交到集群中

kubectl apply -f deploy/service_account.yaml
kubectl apply -f deploy/role.yaml
kubectl apply -f deploy/role_binding.yaml
kubectl apply -f deploy/operator.yaml

查看状态，确保全部成功：

$ kubectl get all
NAME                                   READY   STATUS    RESTARTS   AGE
pod/test-controller-75bf886d9c-whjdn   1/1     Running   0          23s

NAME                              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
service/kubernetes                ClusterIP   10.43.0.1       <none>        443/TCP             123m
service/test-controller-metrics   ClusterIP   10.43.100.251   <none>        8383/TCP,8686/TCP   12s

NAME                              READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/test-controller   1/1     1            1           23s

NAME                                         DESIRED   CURRENT   READY   AGE
replicaset.apps/test-controller-75bf886d9c   1         1         1       23s

提交CR

这和单机运行是一样的，编写一个CR提交到集群，然后可以通过controller的pod日志查看到变化：

$ kubectl logs -f test-controller-75bf886d9c-whjdn
...
{"level":"info","ts":1598690827.2699623,"logger":"controller_realibox","msg":"Reconciling Realibox","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598690827.270006,"logger":"controller_realibox","msg":"Domain: realibox.com created, oss info:aliyun.com, size: 3Gb","Request.Namespace":"default","Request.Name":"example-realibox"}
{"level":"info","ts":1598690827.2700245,"logger":"controller_realibox","msg":"Skip reconcile: Pod already exists","Request.Namespace":"default","Request.Name":"example-realibox","Pod.Namespace":"default","Pod.Name":"example-realibox-pod"}
...

码农公寓

基于operator sdk轻松编写一个k8s自定义资源管理应用

CRD

operator是什么

operator SDK

operator 安装

基于模板创建项目

创建CRD

编写controller

运行 controller

本地运行controller

打包提交到k8s运行

参考文献

码农公寓

CRD

operator是什么

operator SDK

operator 安装

基于模板创建项目

创建CRD

编写controller

运行 controller

本地运行controller

打包提交到k8s运行

参考文献

相关文章