文章目录
一、多master节点集群搭建示意图
我的虚拟机 IP地址规划：
Master节点
master01：192.168.100.128
master02：192.168.100.132
VIP 地址：192.168.100.100
Node节点
node01：192.168.100.131
node02：192.168.100.136
负载均衡
Nginx01：192.168.100.133 master
Nginx02：192.168.100.129 backup
Harbor私有仓库
192.168.100.134
- 本篇博客将在单master节点的K8s集群上搭建 多master节点集群 和 LB负载均衡服务器。
二、部署环境—单 master 节点的 k8s集群
部署步骤在之前的博客中已经介绍了。
三、添加 master2 多节点K8s集群
3.1、在master1上拷贝重要文件给master2
1、复制/opt/kubernetes/目录下的所有文件到master02节点上
[root@localhost kubeconfig]# scp -r /opt/kubernetes/ root@192.168.100.132:/opt
2、复制master1中三个组件的启动脚本：kube-apiserver.service、kube-controller-manager.service、kube-scheduler.service
[root@localhost kubeconfig]# scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.100.132:/usr/lib/systemd/system/
3.2、master2修改复制的配置文件
只有kube-apiserver文件里有IP地址，所以只需要修改这个文件即可。
[root@master2 ~]# cd /opt/kubernetes/cfg/
[root@master2 cfg]# ls
kube-apiserver kube-controller-manager kube-scheduler token.csv
[root@master2 cfg]# vi kube-apiserver
#修改两处：
3.3、制作master2 的ETCD证书
- master2节点与node节点之间的操作信息需要保存在ETCD集群中，所以 master 节点都必须有etcd证书，实现通信。
拷贝master1上已有的 etcd 证书给 master2 使用
[root@master1 ~]# scp -r /opt/etcd/ root@192.168.100.132:/opt/
root@192.168.100.132's password:
etcd 100% 523 326.2KB/s 00:00
etcd 100% 18MB 45.1MB/s 00:00
etcdctl 100% 15MB 33.0MB/s 00:00
ca-key.pem 100% 1679 160.2KB/s 00:00
ca.pem 100% 1265 592.6KB/s 00:00
server-key.pem 100% 1679 884.2KB/s 00:00
server.pem 100% 1338 768.5KB/s 00:00
3.4、启动 master2 的三个组件
//开启 apiserver 组件
[root@master2 cfg]# systemctl start kube-apiserver.service
[root@master2 cfg]# systemctl enable kube-apiserver.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-apiserver.service to /usr/lib/systemd/system/kube-apiserver.service.
////开启 controller-manager 组件
[root@master2 cfg]# systemctl start kube-controller-manager.service
[root@master2 cfg]# systemctl enable kube-controller-manager.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-controller-manager.service to /usr/lib/systemd/system/kube-controller-manager.service.
//开启 scheduler 组件
[root@master2 cfg]# systemctl start kube-scheduler.service
[root@master2 cfg]# systemctl enable kube-scheduler.service
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-scheduler.service to /usr/lib/systemd/system/kube-scheduler.service.
增加环境变量，优化kubectl命令
[root@master2 cfg]# vi /etc/profile
在末尾添加：
export PATH=$PATH:/opt/kubernetes/bin/
[root@master2 cfg]# source /etc/profile 使之生效
3.5、验证master2是否加入K8s集群
在master2 上查看node节点情况（和 master01一样即可）
[root@localhost cfg]# kubectl get node
四、搭建nginx负载均衡
准备两台虚拟机 搭建 nginx的高可用群集。
- 节点地址如下
Nginx01：192.168.100.133 master
Nginx02：192.168.100.129 backup
1、首先关闭防火墙
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# setenforce 0
2、建立本地yum官方nginx源
//编写repo文件
[root@localhost ~]# vim /etc/yum.repos.d/nginx.repo
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
[root@localhost ~]# yum list
[root@localhost ~]# yum install nginx -y //下载nginx
3、接下来在配置文件设置 nginx的四层负载均衡
[root@localhost ~]# vim /etc/nginx/nginx.conf
在events模块下添加以下内容：日志格式、日志存放位置、upstream模块
//检查配置文件是否有语法错误
[root@localhost ~]# nginx -t
[root@localhost ~]# systemctl start nginx //开启服务
//注意：查看端口6443必须在监听中，如下图。
[root@localhost ~]# netstat -natp | grep nginx
五、搭建 keepalived 高可用服务
5.1、搭建 nginx 的高可用
1、yum安装keepalived软件
[root@localhost ~]# yum install keepalived -y
2、修改 nginx1 和 nginx2 的配置文件
- nginx1节点作为master。
[root@nginx1 ~]# vi /etc/keepalived/keepalived.conf
//删除配置文件全部内容，添加以下内容：
! Configuration File for keepalived
global_defs {
# 接收邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 邮件发送地址
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER
}
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh" ##检测nginx脚本的路径，稍后会创建
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100 ##优先级
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.100.100/24 ##虚拟IP地址
}
track_script {
check_nginx
}
}
- nginx2 节点作为backup。
[root@nginx2 ~]# vi /etc/keepalived/keepalived.conf
//删除配置文件全部内容，添加以下内容：
! Configuration File for keepalived
global_defs {
# 接收邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 邮件发送地址
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER
}
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh" ##检测脚本的路径，稍后会创建
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90 ##优先级低于master
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.100.100/24 ##虚拟IP地址
}
track_script {
check_nginx
}
}
3、创建检测脚本
[root@localhost ~]# vim /etc/nginx/check_nginx.sh
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
[root@localhost ~]# chmod +x /etc/nginx/check_nginx.sh //授权
4、开启keepalived 服务
[root@localhost ~]# systemctl start keepalived.service
5、查看ip地址，可以看到高可用群集中的master节点上有漂移地址，backup节点上没有。
[root@localhost ~]# ip a
5.2、验证高可用功能
1、此时 虚拟ip在 nginx1 上，验证地址漂移，可以在 lb01 中使用 pkill nginx 停止nginx服务，再在 lb02 上使用 ip a 命令查看地址是否进行了漂移。
2、恢复操作：此时在 nginx02上，我们先启动 nginx服务，再启动 keepalived服务，再用 ip a命令查看，地址又漂移回来了，而 nginx02上没有虚拟ip。
六、node节点指向 LB 高可用群集
1、修改 两个node节点的配置文件，server ip 地址为统一的VIP地址（三个文件）
//修改内容：server: https://192.168.100.100:6443（都改成vip地址）
[root@localhost cfg]# vim /opt/kubernetes/cfg/bootstrap.kubeconfig
[root@localhost cfg]# vim /opt/kubernetes/cfg/kubelet.kubeconfig
[root@localhost cfg]# vim /opt/kubernetes/cfg/kube-proxy.kubeconfig
重启服务
[root@localhost cfg]# systemctl restart kubelet.service
[root@localhost cfg]# systemctl restart kube-proxy.service
2、检查修改内容
//确保必须在此路径下 grep 检查
[root@localhost ~]# cd /opt/kubernetes/cfg/
[root@localhost cfg]# grep 100 *
3、接下来在 nginx1 上查看 nginx 的 k8s日志：
[root@localhost ~]# tail /var/log/nginx/k8s-access.log
七、k8s多节点集群测试
//在 master1上操作，创建 Pod进行测试
[root@localhost kubeconfig]# kubectl run nginx --image=nginx
//查看 Pod 状态
[root@master1 ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-dbddb74b8-vj4wk 1/1 Running 0 16s
此时已经创建完成，正在运行中。
//查看刚刚创建的nginx日志
[root@master1 ~]# kubectl logs nginx-dbddb74b8-vj4wk
Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( pods/log nginx-dbddb74b8-vj4wk)
#出现 error 是由于权限不足，下面来授权解决一下这个问题。
解决办法（添加匿名用户授予权限）：
[root@master1 ~]# kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous
clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created
此时，再次查看日志，就不会出现报错，但是没有信息产生，因为没有访问容器。
//查看 Pod 网络
[root@localhost kubeconfig]# kubectl get pods -o wide
可以看出，这个在master1上创建的 pod 被分配到了node01上了。
我们可以在对应网络的node节点上操作就可以直接访问。
故在node01上操作：
[root@localhost cfg]# curl 172.17.14.3
我们在node节点之间部署了 flannel网络组件，实现node节点互通。所以在node1和node2的浏览器*问这个地址：172.17.14.3
因为flannel组件挂了，没有及时发现，我解决完这个问题后，flannel分配的IP地址发生变化，导致Pod的IP网段变了，但是node2节点是可以访问换这个Pod的，所以node2的效果图这里就不展示了。
建议大家的虚拟机用挂起状态，并且开机的时候，检查一下之前配置的服务状态是否正常。