k8s安装之node节点

2022-10-23 16:10:54

kubernetes node

安装kubelet

wget https://storage.googleapis.com/kubernetes-release/release/v1.11.0/kubernetes-server-linux-amd64.tar.gz
tar -xzvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes
tar -zxf kubernetes-src.tar.gz
scp kubernetes/server/bin/{kube-proxy,kubelet} k8s-node1:/usr/local/bin/
scp kubernetes/server/bin/{kube-proxy,kubelet} k8s-node2:/usr/local/bin/
##### 生成kubelet权限,下面这条命令只在master点执行一次即可

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
######说明
kubelet 启动时向 kube-apiserver 发送 TLS bootstrapping 请求，需要先将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予 system:node-bootstrapper 角色，然后 kubelet 才有权限创建认证请求
1.8版本之前.开启rbac后,apiserver默认绑定system:nodes组到system:node的clusterrole。v1.8之后,此绑定默认不存在,需要手工绑定,否则kubelet启动后会报认证错误，使用kubectl get nodes查看无法成为Ready状态。
kubectl create clusterrolebinding kubelet-node-clusterbinding --clusterrole=system:node --group=system:nodes
######创建启动文件

/usr/lib/systemd/system/kubelet.service
[Unit]
Description=Kubernetes Kubelet Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/usr/local/sbin/kubelet \
            --address=172.16.20.206 \
            --hostname-override=172.16.20.206 \
            --cluster-dns=10.254.0.2 \
            --network-plugin=cni \
            --cni-conf-dir=/etc/cni/net.d \
            --cni-bin-dir=/opt/cni/bin \
            --logtostderr=true \
            --v=2 \
            --allow-privileged=true \
            --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1 \
            --cgroups-per-qos \
            --cgroup-driver=cgroupfs \
            --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \
            --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
            --cert-dir=/etc/kubernetes/ssl --cluster-domain=cluster.local \
            --hairpin-mode promiscuous-bridge \
            --serialize-image-pulls=false \
            --runtime-cgroups=/systemd/system.slice \
            --kubelet-cgroups=/systemd/system.slice \
            --enforce-node-allocatable=pods \
            --kube-reserved=cpu=1,memory=2Gi,ephemeral-storage=5Gi \
            --system-reserved=cpu=1,memory=2Gi,ephemeral-storage=5Gi \
            --eviction-hard=memory.available<1Gi,nodefs.available<10%
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

#######说明
–address 是本机ip，不能设置为 127.0.0.1，否则后续 Pods 访问 kubelet 的 API 接口时会失败，因为 Pods 访问的 127.0.0.1 指向自己而不是 kubelet；
–hostname-override 也是本机IP；
–cgroup-driver 配置成 cgroupfs（保持docker和kubelet中的cgroup driver配置一致即可), docker默认的cgroup-driver为 cgrouopfs ;
–experimental-bootstrap-kubeconfig 指向 bootstrap kubeconfig 文件，kubelet 使用该文件中的用户名和 token 向 kube-apiserver 发送 TLS Bootstrapping 请求；
管理员通过了 CSR 请求后，kubelet 自动在 –cert-dir 目录创建证书和私钥文件(kubelet-client.crt 和 kubelet-client.key)，然后写入 –kubeconfig 文件(自动创建 –kubeconfig 指定的文件)；
建议在 –kubeconfig 配置文件中指定 kube-apiserver 地址，如果未指定 –api-servers 选项，则必须指定 –require-kubeconfig 选项后才从配置文件中读取 kue-apiserver 的地址，否则 kubelet 启动后将找不到 kube-apiserver (日志中提示未找到 API Server），kubectl get nodes 不会返回对应的 Node 信息;
–cluster-dns 指定 kubedns 的 Service IP(可以先分配，后续创建 kubedns 服务时指定该 IP)，–cluster-domain 指定域名后缀，这两个参数同时指定后才会生效；
kubelet 中的dns地址是cluster的IP也就是服务service的IP并不是pod的IP，要在--service-cluster-ip-range 这个IP段里
–cluster-domain 指定 pod 启动时 /etc/resolve.conf 文件中的 search domain ，起初我们将其配置成了 cluster.local.，这样在解析 service 的 DNS 名称时是正常的，可是在解析 headless service 中的 FQDN pod name 的时候却错误，因此我们将其修改为 cluster.local，去掉嘴后面的 ”点号“ 就可以解决该问题；
–kubeconfig=/etc/kubernetes/kubelet.kubeconfig中指定的kubelet.kubeconfig文件在第一次启动kubelet之前并不存在，请看下文，当通过CSR请求后会自动生成kubelet.kubeconfig文件，如果你的节点上已经生成了~/.kube/config文件，你可以将该文件拷贝到该路径下，并重命名为kubelet.kubeconfig，所有node节点可以共用同一个kubelet.kubeconfig文件，这样新添加的节点就不需要再创建CSR请求就能自动添加到kubernetes集群中。同样，在任意能够访问到kubernetes集群的主机上使用kubectl –kubeconfig命令操作集群时，只要使用~/.kube/config文件就可以通过权限认证，因为这里面已经有认证信息并认为你是admin用户，对集群拥有所有权限。

创建WorkingDirectory

mkdir /var/lib/kubelet

启动

swapoff -a
systemctl daemon-reload
systemctl start kubelet

去master节点通过kubelet的TLS证书请求

kubectl get csr
NAME                                                   AGE       REQUESTOR           CONDITION
node-csr-HSfbVhUD6BXSdM4jSRcyA5b_4IID_tzFfJQExkzd2NE   1m        kubelet-bootstrap   Pending
node-csr-mzWxGlRuf_6CBxr0pL8eDaPrrpLorcPwAVPKAkM4m3g   13m       kubelet-bootstrap   Pending

kubectl certificate approve node-csr-HSfbVhUD6BXSdM4jSRcyA5b_4IID_tzFfJQExkzd2NE node-csr-mzWxGlRuf_6CBxr0pL8eDaPrrpLorcPwAVPKAkM4m3g

验证

kubectl get nodes
NAME            STATUS    ROLES     AGE       VERSION
172.16.20.207   Ready     <none>    1m        v1.11.0
172.16.20.208   Ready     <none>    1m        v1.11.0

异常报错

此处如果查看没有节点加入，那么查看node节点message日志，报错没有权限，那么在master上执行赋权语句。

kube-proxy

启动文件

/usr/lib/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target

[Service]
ExecStart=/usr/local/bin/kube-proxy \
        --logtostderr=true \
        --v=2 \
        --master=172.16.100.1:8080 \
        --bind-address=172.16.20.206 \
        --hostname-override=172.16.20.206 \
        --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \
        --cluster-cidr=10.254.0.0/16
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

启动

systemctl daemon-reload
systemctl start kube-proxy

码农公寓