Kubernetes安装配置（包括master和node）

2022-02-06 00:02:27

部署Kubernetes云计算平台，至少准备两台服务器，此处为4台，包括一台Docker仓库:

Kubernetes Master节点：192.168.124.20

Kubernetes Node1节点：192.168.124.19

Kubernetes Node2节点：192.168.124.18

Docker私有库节点：192.168.124.17

每台服务器主机上都运行如下命令：

systemctl stop firewalld

systemctl disable firewalld
setenforce 0

yum -y install ntp

ntpdate pool.ntp.org

systemctl start ntpd

systemctl enable ntpd

一、etcd服务简介

1. ETCD是什么

ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统。该项目目前最新稳定版本为2.3.0. 具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目，授权协议为Apache。

提供配置共享和服务发现的系统比较多，其中最为大家熟知的是[Zookeeper]（后文简称ZK），而ETCD可以算得上是后起之秀了。在项目实现，一致性协议易理解性，运维，安全等多个维度上，ETCD相比Zookeeper都占据优势。

2. ETCD vs ZK

本文选取ZK作为典型代表与ETCD进行比较，而不考虑[Consul]项目作为比较对象，原因为Consul的可靠性和稳定性还需要时间来验证（项目发起方自身服务并未使用Consul, 自己都不用)。一致性协议： ETCD使用[Raft]协议， ZK使用ZAB（类PAXOS协议），前者容易理解，方便工程实现；运维方面：ETCD方便运维，ZK难以运维；项目活跃度：ETCD社区与开发活跃，ZK已经快死了； API：ETCD提供HTTP+JSON, gRPC接口，跨平台跨语言，ZK需要使用其客户端；访问安全方面：ETCD支持HTTPS访问，ZK在这方面缺失；

3. ETCD的使用场景

和ZK类似，ETCD有很多使用场景，包括：配置管理服务注册于发现选主应用调度分布式队列分布式锁 4. ETCD读写性能

按照官网给出的[Benchmark], 在2CPU，1.8G内存，SSD磁盘这样的配置下，单节点的写性能可以达到16K QPS, 而先写后读也能达到12K QPS。这个性能还是相当可观的。 5. ETCD工作原理

ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说，ETCD集群是一个分布式系统，由多个节点相互通信构成整体对外服务，每个节点都存储了完整的数据，并且通过Raft协议保证每个节点维护的数据是一致的。

4. ETCD读写性能

按照官网给出的[Benchmark], 在2CPU，1.8G内存，SSD磁盘这样的配置下，单节点的写性能可以达到16K QPS, 而先写后读也能达到12K QPS。这个性能还是相当可观的。

5. ETCD工作原理

如图所示，每个ETCD节点都维护了一个状态机，并且，任意时刻至多存在一个有效的主节点。主节点处理所有来自客户端写操作，通过Raft协议保证写操作对状态机的改动会可靠的同步到其他节点。ETCD工作原理核心部分在于Raft协议。

6. ETCD使用案例

据公开资料显示，至少有CoreOS, Google Kubernetes, Cloud Foundry, 以及在Github上超过500个项目在使用ETCD。

7. ETCD接口

ETCD提供HTTP协议，在最新版本中支持Google gRPC方式访问。具体支持接口情况如下： ETCD是一个高可靠的KV存储系统，支持PUT/GET/DELETE接口；为了支持服务注册与发现，支持WATCH接口（通过http long poll实现）；支持KEY持有TTL属性； CAS（compare and swap)操作; 支持多key的事务操作；支持目录操作

二、Kubernetes master安装与配置

1、安装etcd和Kubernetes、Flannel网络。

其中etcd可以独立部署在一台机器上，本次和master安装在同一台机器。

yum install kubernetes-master etcd flannel -y

2、修改/etc/etcd/etcd.conf配置文件，将localhost修改为本机IP地址，过滤#后完整配置如下：

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_CLIENT_URLS="http://192.168.124.17:2379,,http://127.0.0.1:2379"

ETCD_NAME="default"

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.124.17:2379"

3、修改/etc/kubernetes/config配置文件，完整代码如下（红色标注即修改的部分）：

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow-privileged=false"

KUBE_MASTER="--master=http://192.168.124.17:8080"

将Kubernetes的apiserver进程的服务地址告诉Kubernetes的controller-manager, scheduler,proxy进程。

4、修改/etc/kubernetes/apiserver配置文件，完整代码如下（红色标注即修改的部分）：

主要修改地方为，apiserver监听地址和端口，连接etcd地址和端口：
# kubernetes system config

#

# The following values are used to configure the kube-apiserver

#

# The address on the local server to listen to.

KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"

# The port on the local server to listen on.

KUBE_API_PORT="--port=8080"

# Port minions listen on

# KUBELET_PORT="--kubelet-port=10250"

# Comma separated list of nodes in the etcd cluster

KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.124.17:2379"

# Address range to use for services

KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"

# default admission control policies

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"

# Add your own!

KUBE_API_ARGS=""

5、启动Kubernetes Master节点上的etcd, apiserver, controller-manager和scheduler进程及状态；

for  I  in  etcd  kube-apiserver  kube-controller-manager kube-scheduler; do systemctl restart  $I ;done
service flanneld restart
iptables -P FORWARD ACCEPT

二、Kubernetes Node安装配置

1、在Kubernetes Node节点上安装flannel、docker和Kubernetes;

yum install kubernetes-node  docker flannel *rhsm* -y

2、配置文件/etc/kubernetes/config，完整代码如下（红色标注即修改的部分）：

###

# kubernetes system config

#

# The following values are used to configure various aspects of all

# kubernetes services, including

#

#   kube-apiserver.service

#   kube-controller-manager.service

#   kube-scheduler.service

#   kubelet.service

#   kube-proxy.service

# logging to stderr means we get it in the systemd journal

KUBE_LOGTOSTDERR="--logtostderr=true"

# journal message level, 0 is debug

KUBE_LOG_LEVEL="--v=0"

# Should this cluster be allowed to run privileged docker containers

KUBE_ALLOW_PRIV="--allow-privileged=false"

# How the controller-manager, scheduler, and proxy find the apiserver

KUBE_MASTER="--master=http://192.168.124.17:8080"

3、修改配置文件/etc/kubernetes/kubelet，完整代码如下（红色标注即修改的部分）：

###

# kubernetes kubelet (minion) config

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)

KUBELET_ADDRESS="--address=0.0.0.0"

# The port for the info server to serve on

# KUBELET_PORT="--port=10250"

# You may leave this blank to use the actual hostname

KUBELET_HOSTNAME="--hostname-override=192.168.124.18"

# location of the api-server

KUBELET_API_SERVER="--api-servers=http://192.168.124.17:8080"

# pod infrastructure container

KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest"

# Add your own!

KUBELET_ARGS=""

4、分别启动Kubernetes Node节点上kube-proxy、kubelet、docker、flanneld进程并查看其状态：

for  I  in  kube-proxy  kubelet  docker;do systemctl  restart  $I;done
service flanneld restart

iptables -P FORWARD ACCEPT

三、Kubernetes flanneld网络配置

1、Kubernetes整个集群所有服务器（Master、Minions）配置Flanneld,指定etcd地址，/etc/sysconfig/flanneld代码如下：

# Flanneld configuration options

# etcd url location.  Point this to the server where etcd runs

FLANNEL_ETCD_ENDPOINTS="http://192.168.124.17:2379"

# etcd config key.  This is the configuration key that flannel queries

# For address range assignment

FLANNEL_ETCD_PREFIX="/atomic.io/network"

# Any additional options that you want to pass

#FLANNEL_OPTIONS=""

2、在Master服务器，创建flannel网络配置。

etcdctl  mk  /atomic.io/network/config '{"Network":"172.17.0.0/16"}'

3、Kubernetes整个集群所有服务器（Master、Minions）重启flannel

service flanneld restart

4、可以输入如下代码查看flannel网络信息（互信ping，保证网络互通）：

etcdctl  member list

etcdctl cluster-health

etcdctl get /atomic.io/network/config    整个集群所在的大网段

etcdctl ls /atomic.io/network/subnets    列出分配node节点的子网段

etcdctl  rm   /atomic.io/network/   --recursive

Kubernetes的Node节点搭建和配置flannel网络，etcd中/atomic.io/network/config节点会被Node节点上的flannel用来创建Doker IP地址网段。

图 master的网络

图 node1的网卡信息

图 node2的网卡信息

四、Kubernetes Dashboard UI实战

Kubernetes实现的最重要的工作是对Docker容器集群统一的管理和调度，通常使用命令行来操作Kubernetes集群及各个节点，命令行操作非常不方便，如果使用UI界面来可视化操作，会更加方便的管理和维护。

如下为配置kubernetes dashboard完整过程，在Node节点提前导入两个列表镜像（从云盘下载即可）（或者pull更改镜像名）：

1）pod-infrastructure

2）kubernetes-dashboard-amd64

1、在node节点配置导入镜像

docker load < pod-infrastructure.tgz

docker tag $(docker images|grep none|awk '{print $3}') registry.access.redhat.com/rhel7/pod-infrastructure       将导入的pod镜像名称修改

docker load < kubernetes-dashboard-amd64.tgz

docker tag $(docker images|grep none|awk '{print $3}') bestwu/kubernetes-dashboard-amd64:v1.6.3                  将导入的pod镜像名称修改

2、然后在Master端，创建dashboard-controller.yaml，代码如下：

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: kubernetes-dashboard

  namespace: kube-system

  labels:

    k8s-app: kubernetes-dashboard

    kubernetes.io/cluster-service: "true"

spec:

  selector:

    matchLabels:

      k8s-app: kubernetes-dashboard

  template:

    metadata:

      labels:

        k8s-app: kubernetes-dashboard

      annotations:

        scheduler.alpha.kubernetes.io/critical-pod: ''

        scheduler.alpha.kubernetes.io/tolerations: '[{"key":"CriticalAddonsOnly", "operator":"Exists"}]'

    spec:

      containers:

      - name: kubernetes-dashboard

        image: bestwu/kubernetes-dashboard-amd64:v1.6.3

        resources:

          # keep request = limit to keep this container in guaranteed class

          limits:

            cpu: 100m

            memory: 50Mi

          requests:

            cpu: 100m

            memory: 50Mi

        ports:

        - containerPort:

        args:

          - --apiserver-host=http://10.6.191.181:8080

        livenessProbe:

          httpGet:

            path: /

            port:

          initialDelaySeconds:

          timeoutSeconds:

3、创建dashboard-service.yaml，代码如下：

apiVersion: v1

kind: Service

metadata:

  name: kubernetes-dashboard

  namespace: kube-system

  labels:

    k8s-app: kubernetes-dashboard

    kubernetes.io/cluster-service: "true"

spec:

  selector:

    k8s-app: kubernetes-dashboard

  ports:

  - port:

    targetPort:

4、创建dashboard dashborad pods模块：

kubectl create -f dashboard-controller.yaml

kubectl create -f dashboard-service.yaml

删除dashboard dashborad pods模块：

kubectl delete -f dashboard-controller.yaml

kubectl delete -f dashboard-service.yaml

5、创建完成后，查看Pods和Service的详细信息：

kubectl get services kubernetes-dashboard -n kube-system      #查看所有service

kubectl get deployment kubernetes-dashboard -n kube-system    #查看所有发布

kubectl get pods --all-namespaces                             #查看所有pod

kubectl get pods -o wide --all-namespaces                     #查看所有pod的IP及节点

kubectl get pods -n kube-system | grep dashboard

kubectl describe service/kubernetes-dashboard --namespace="kube-system"

kubectl describe pods/kubernetes-dashboard-349859023-g6q8c --namespace="kube-system" #指定类型查看

kubectl describe pod nginx-772ai                              #查看pod详细信息

kubectl scale rc nginx --replicas=                           # 动态伸缩

kubectl scale deployment redis-slave --replicas=5             #动态伸缩

kubectl scale --replicas= -f redis-slave-deployment.yaml     #动态伸缩

kubectl exec -it redis-master--q47hh /bin/bash      #进入容器

kubectl label nodes node1 zone=north                          #增加节点lable值 spec.nodeSelector: zone: north #指定pod在哪个节点

kubectl get nodes -lzone                                      #获取zone的节点

kubectl label pod redis-master--q47hh role=master   #增加lable值 [key]=[value]

kubectl label pod redis-master--q47hh role-         #删除lable值

kubectl label pod redis-master--q47hh role=backend --overwrite    #修改lable值

kubectl rolling-update redis-master -f redis-master-controller-v2.yaml      #配置文件滚动升级

kubectl rolling-update redis-master --image=redis-master:2.0                #命令升级

kubectl rolling-update redis-master --image=redis-master:1.0 --rollback     #pod版本回滚

6、报错信息

1）导入模板时报错

此时需要把apiserver监听端口改为0.0.0.0

2）创建模板后执行显示没有资源

查看系统日志/var/log/message

解决方法：修改apiserver配置文件vim /etc/kubernetes/apiserver

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota"

删除认证模块，修改为如下代码

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota"

重启apiserver。

service kube-apiserver restart

3、访问UI时报错

原因分析：连接远程服务器10.0.66.2的9090无法连接，应该属于网络的问题；

解决方法：

iptables -P FORWARD ACCEPT

码农公寓