服务器资源：
192.168.2.10 master01
192.168.2.11 master02
192.168.2.12 master03
192.168.2.20 node01
192.168.2.21 node02
192.168.2.16 k8svip
一、基础环境准备
1、修改服务器主机名、设置hosts本地解析主机名
分别修改5台服务器的/etc/hosts文件，内容如下：
2、关闭防火墙、修改selinux
在5台服务器上进行如下操纵：
systemctl stop firewalld && systemctl disable firewalld
setenforce 0 ; sed -i ‘s/SELINUX=.*/SELINUX=disabled/g‘ /etc/selinux/config #很重要，不然后续keeaplived会出现vip脑裂的现象
3、关闭swap分区
在5台服务器上进行如下操纵：
swapoff -a ; sed -i ‘/swap/ s/^/#/‘ /etc/fstab
4、服务器时间同步
在master01上搭建ntpd服务，作为时间同步服务器。其他服务器向master01进行时间同步
在5台服务器上，均执行：yum install ntp -y
修改master01服务器上ntp.conf文件，配置如下：
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 192.168.2.0 mask 255.255.255.0 modify notrap #允许192.168.2.0网段的服务器向自己进行时间同步
server 127.127.1.0 #当外部时间服务器不可用时，使用本地时间
fudge 127.127.1.0 stratum 11
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
disable monitor
在master01上启动时间服务器，systemctl start ntpd
启动后查询：
分别在master02、master03、node01、node02上执行ntpdate master01。结果如下：
二、haproxy+keepalived高可用搭建
1、安装haproxy、keepalived
在master01、master02、master03上，安装keepalived、haproxy，执行命令：yum install keepalived haproxy -y
安装完毕后，修改keepalived的配置文件如下：
[root@master02 ~]# cat /etc/keepalived/keepalived.conf
vrrp_script check_haproxy {
script "/etc/keepalived/check.sh" #执行检测haproxy健康状态的脚本，需要有x权限
interval 5
}
vrrp_instance VI_1 {
state BACKUP #master01上是MASTER，master02、master03上是BACKUP
interface ens33 #vip绑定的网卡名称，需保证master01、master02、master03网卡名称一致
virtual_router_id 51
priority 90 #master01上写成100，master02和master03上写成90。 这个值没有强制性要求，值越小vip调度到该服务器上的概率越小
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
check_haproxy
}
virtual_ipaddress {
192.168.2.16 #绑定的vip地址
}
}
将下面check.sh脚本分别放入到master01、master02、master03的/etc/keepalived/目录下，并执行chmod +x /etc/keepalived/check.sh
[root@master02 ~]# cat /etc/keepalived/check.sh
#!/bin/bash
vip="192.168.2.16"
ip_n=$(ip a|grep glo|grep ${vip}|wc -l)
###########################################
if [ ${ip_n} -eq 1 ];then
if [ $(ps -ef|grep haproxy|grep -v grep|wc -l) -eq 0 ];then
systemctl start haproxy
fi
else
if [ $(ps -ef|grep haproxy|grep -v grep|wc -l) -ge 1 ];then
systemctl stop haproxy
fi
fi
2、启动并验证
分别在master01、master02、master03上启动keepalived服务，执行：systemctl start keepalived
启动后，可以查看vip绑定情况。按照上述配置，应该优先绑定在master01上，并启动master01上的haproxy服务，实现负载均衡。可停止master上的keepalived服务，查看vip漂移及haproxy服务变动情况，此处略...
三、k8s安装
1、yum配置（5台服务器上均操作）
备份repo：
cd /etc/yum.repos.d/ ; rename *.repo *.repo.bak
配置阿里云yum源：
wget https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg #若无wget命令，可用原来的源安装下wget，或者是通过curl下载
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
rpm --import rpm-package-key.gpg
yum install -y yum-utils device-mapper-persistent-data lvm2
配置阿里云docker源：
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
配置阿里云k8s源：
tee /etc/yum.repos.d/kubernetes.repo <<-‘EOF‘
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2、安装docker-ce、kubelet、kubeadm服务（5台服务器上均操作)
yum install docker-ce kubelet kubeadm -y #默认是安装最新版本的，也可以选择需要的版本进行安装
systemctl start docker && systemctl enable docker
这个时候不要去启动kubelet，启动不来的
3、初始化集群
先在master01上，初始化k8s集群，后面再将master02、master03、node01、node02加入到集群中
master01上执行：kubeadm init --control-plane-endpoint 192.168.2.10:6443 --pod-network-cidr 10.10.0.0/16 --service-cidr 20.20.0.0/16 --image-repository registry.aliyuncs.com/google_containers #pod和service的ip可自行定义，image-repository改成国内的，不然下载不了镜像。此操作会自动pull镜像
此处可能有各种报错，看着解决。一般无非是镜像下载失败、cpu资源不够、kubelet和docker的驱动不一致之类的
在master01上执行：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
在node01、node02上执行以下命令，加入到集群中
kubeadm join 192.168.2.10:6443 --token h6hj6m.hx8casg7ew97gfxb --discovery-token-ca-cert-hash sha256:62a0e82cbdd856a3764453399e772d609112cb4c6823511cd24c2b6306415a2b
在master01上查看节点信息如下（此时网络插件未安装，coredns处于pending状态或者ImagePullBackOff，STATUS显示的是NotReady。）：
4、安装网络插件flannel
可以在gitlab上下载：https://github.com/flannel-io/flannel/blob/master/Documentation/kube-flannel.yml
将kube-flannel-aliyun.yml上传到master01上，修改128行，将Network网段修改成之前kubeadm时候设置的网段，我设置的是10.10.0.0/16 并执行：kubectl apply -f kube-flannel.yml
5、coredns镜像处理
在master01上kubectl get pods -A，状态显示为ImagePullBackOff。通过describe查看信息，发现coredns的镜像下载失败。
查看k8s组件需要的镜像信息：
通过上面信息可以看出，coredns需要的镜像是v1.8.0，而这个镜像在阿里云镜像仓库没有。可以在dockerhub中搜索coredns，下载1.8.0的，然后改下镜像名称（此操作建议在5台服务器上均操作）
此时再看pod信息，显示成功
6、master集群加入
在master02、master03上执行：mkdir /etc/kubernetes/pki/etcd -p
将master01上的证书信息发送到master02、master03
在master01上执行：
scp -r /etc/kubernetes/pki/{ca.*,front-*,sa*} master02:/etc/kubernetes/pki/ && scp -r /etc/kubernetes/pki/etcd/ca.* master02:/etc/kubernetes/pki/etcd/
scp -r /etc/kubernetes/pki/{ca.*,front-*,sa*} master03:/etc/kubernetes/pki/ && scp -r /etc/kubernetes/pki/etcd/ca.* master03:/etc/kubernetes/pki/etcd/
然后再master02、master03上执行join操作，加入到控制平面中
kubeadm join 192.168.2.10:6443 --token h6hj6m.hx8casg7ew97gfxb --discovery-token-ca-cert-hash sha256:62a0e82cbdd856a3764453399e772d609112cb4c6823511cd24c2b6306415a2b --control-plane
成功加入后，分别再master02、master03上执行：
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
分别在master01、master02、master03上执行kubectl get nodes、kubectl get pods -A，验证集群
至此，集群搭建结束。