项目环境搭建【Docker+k8s】五 || kubernetes集群部署

2024-01-03 16:45:22

项目环境搭建【Docker+k8s】五 || kubernetes集群部署

Kubernetes简称k8s，是Google开源的一个容器编排引擎，
它支持自动化部署、大规模可伸缩、应用容器化管理。
在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，
实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。

kubernetes特点：

可移植：支持共有云、私有云、混合云、多重云（多个公共云）
可扩展：模块化、插件化、可挂载、可组合
自动化：自动部署、自动重启、自动复制、自动伸缩/扩展

kubernetes服务：

kubectl：用于管理k8s集群的命令行工具。
kube-apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。
k8s master：集群主节点，主要由kub-apiserver、kube-scheduler、kube-controller-manager、etcd四个模块组成。
k8s node：集群子节点，主要由kubelet、kube-proxy、runtime三个模块组成。
Image Registry：镜像仓库。

kubernetes管理节点部署

部署k8s管理节点主机

YN100-22.host.com

初始化管理节点

导出配置文件

cd /usr/local/kubernetes/cluster
kubeadm config print init-defaults --kubeconfig ClusterConfiguration > kubeadm.yml

修改配置文件

advertiseAddress: 192.168.100.22 #修改为本机IP地址
imageRepository: registry.aliyuncs.com/google_containers #使用阿里云仓库
podSubnet: "10.244.0.0/16" #添加该行配置，pod所在网段为我们虚拟机不重叠的网段（这里用flannel默认网段）
kubernetesVersion: v1.15.4 #检查版本是否一致，更改为下载版本
#配置文件末尾添加以下配置，默认的调度方式改为ipvs模式
 ---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

查看所需安装的镜像

kubeadm config images list --config kubeadm.yml

各镜像作用

[root@yn100-22 cluster]# kubeadm config images list --config kubeadm.yml
registry.aliyuncs.com/google_containers/kube-apiserver:v1.15.4 #网关，提供restfull风格的api
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.15.4 #控制器管理，自动重启pod
registry.aliyuncs.com/google_containers/kube-scheduler:v1.15.4 #调度
registry.aliyuncs.com/google_containers/kube-proxy:v1.15.4 #代理
registry.aliyuncs.com/google_containers/pause:3.1 #暂停
registry.aliyuncs.com/google_containers/etcd:3.3.10 #服务注册与发现
registry.aliyuncs.com/google_containers/coredns:1.3.1 #域名解析服务器

拉取所需镜像

kubeadm config images pull --config kubeadm.yml

注意：镜像拉取速度较慢，作者已经提供下载好的镜像包，请关注公众号，发送关键字【k8s】或【kubernetes】获取镜像包下载地址，【QQ讨论群：883210148，作者微信：1136069753】

执行初始化命令，该命令指定了初始化时需要使用的配置文件，其中添加–experimental-upload-certs参数可以在后续执行加入节点时自动分发证书，追加的tee kubeadm-init.log用以输出日志。

kubeadm init --config=kubeadm.yml --experimental-upload-certs | tee kubeadm-init.log

注意： 如果没有提前下载镜像，
这条命令执行时会卡在[preflight] You can also perform this action in beforehand using ‘kubeadm config images pull’
大概需要2分钟，请耐心等待。安装k8s版本和下载的镜像版本不统一则会出现time out waiting for the condition错误，
中途失败或是想修改配置可以使用kubeadm reset命令重置配置，在初始化操作。
安装完后，会提示你输入如下命令，复制粘贴过来，执行即可。

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

上面kubeadm init执行成功后会返回给你node节点加入集群的命令，等会要在node节点上执行，可以在kubeadm-init.log日志中查询，或者可以使用如下命令获取。

kubeadm token create --print-join-command

查看是否初始化成功

kubectl get node

显示以上结果，说明初始化成功，当前状态为NotReady，因为未进行网络配置。

kubernetes工作节点部署

部署k8s工作节点主机

YN100-31.host.com
YN100-32.host.com

node节点加入集群

将master节点初始化后返回的加入集群命令在node节点中执行，命令如下（示例）：

kubeadm join 192.168.100.22:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:4d9b000b6e202da14ad9cefb0aec87fcced40442b51b6d6f22816d83bec2e2aa

在master中执行命令kubectl get node，查看node节点是否成功加入集群，返回结果如下：

网络配置

上文提到的k8s状态为NotReady，说明节点之间还没有产生通讯，所以要进行网络配置。
不同的容器平台都需要网络功能，它们之间的适配如果没有统一的标准，会有很大的工作量和重复劳动，
而CNI 就是这样一个标准，它旨在为容器平台提供网络的标准化。不同的容器平台能够通过相同的接口调用不同的网络组件。kubernetes中的CNI插件主要有以下：

Flannel
Calico
Canal
Weave

注意：网络插件选择一个进行安装，本教程对Flannel和Calico两个插件进行安装演示。

部署网络插件主机

YN100-22.host.com

安装网络插件Calico

下载calico.yaml配置文件，Calico官方文档

https://docs.projectcalico.org/manifests/calico.yaml

注意：如果因网速原因不能下载，请关注公众号，发送关键字【k8s】或【kubernetes】获取全套资料下载地址，【QQ讨论群：883210148，作者微信：1136069753】

找到配置文件中CALICO_IPV4POOL_CIDR，value值改为初始化kubernetes管理节点配置pod网段

name: CALICO_IPV4POOL_CIDR
  value: "192.168.0.0/16"
#修改-->
  value: "10.244.0.0/16"

对资源进行配置

kubectl apply -f calico.yaml

查看calico是否部署成功。只有全部STATUS为Running才算安装完成。

watch kubectl get pods --all-namespaces

此时，执行kubectl get node命名，所有节点状态为Ready。

[root@yn101-22 flannel]# kubectl get node
NAME                STATUS   ROLES    AGE     VERSION
yn100-22.host.com   Ready    master   30h     v1.15.4
yn100-31.host.com   Ready    <none>   2m40s   v1.15.4
yn100-32.host.com   Ready    <none>   2m35s   v1.15.4

安装网络插件Flannel

下载Flannel配置文件kube-flannel.yml，github地址如下：

https://github.com/coreos/flannel/blob/master/Documentation/kube-flannel.yml

对资源进行配置，flannel默认的pod网段为10.244.0.0/16，如果初始化设置为其他网段，同理进行更改。

kubectl apply -f kube-flannel.yml

查看Flannel是否部署成功。只有全部STATUS为Running才算安装完成。

watch kubectl get pods --all-namespaces
NAMESPACE     NAME                                        READY   STATUS     RESTARTS   AGE
kube-system   coredns-bccdc95cf-nxs29                     1/1     Running    0          29h
kube-system   coredns-bccdc95cf-ttngf                     1/1     Running    0          29h
kube-system   etcd-yn101-22.host.com                      1/1     Running    0          29h
kube-system   kube-apiserver-yn101-22.host.com            1/1     Running    0          29h
kube-system   kube-controller-manager-yn101-22.host.com   1/1     Running    0          29h
kube-system   kube-flannel-ds-amd64-p886d                 1/1     Running   0          28s
kube-system   kube-proxy-jx4fc                            1/1     Running    0          29h
kube-system   kube-scheduler-yn101-22.host.com            1/1     Running    0          29h

此时，执行kubectl get node命名，所有节点状态为Ready。

[root@yn101-22 flannel]# kubectl get node
NAME                STATUS   ROLES    AGE     VERSION
yn101-22.host.com   Ready    master   30h     v1.15.0
yn101-31.host.com   Ready    <none>   2m40s   v1.15.0
yn101-32.host.com   Ready    <none>   2m35s   v1.15.0

安装网络插件过程问题解决

查看所有pod，状态STATUS为pending、init、ImagePullBackOff

[root@yn101-22 flannel]# kubectl get pods -n kube-system | grep -v Running
NAME                                        READY   STATUS     RESTARTS   AGE
coredns-bccdc95cf-nxs29                     0/1     Pending    0          30h
coredns-bccdc95cf-ttngf                     0/1     Pending    0          30h
kube-flannel-ds-amd64-p886d                 0/1     Init:0/1   0          14m

根据NAME查看具体错误信息

kubectl describe pod <NAME> -n kube-system

在安装过程中大部门问题都是因为镜像下载失败导致，此时可以查看具体的镜像版本，使用docker拉取，检查是否为网络原因或没有对应的版本镜像。

注意：如果因网速原因不能下载镜像包，请关注公众号，发送关键字【k8s】或【kubernetes】获取全套资料下载地址，【QQ讨论群：883210148，作者微信：1136069753】

kubernetes各组件运行状态检查

检查组件运行状态

#1.16版本状态如下：
[root@kubernates-node-01 kubernetes]# kubectl get cs
NAME                 AGE
controller-manager   <unknown>
scheduler            <unknown>
etcd-0               <unknown>
#1.15版本状态如下：
[root@localhost cni]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok
controller-manager   Healthy   ok
etcd-0               Healthy   {"health":"true"}

正常情况下显示状态为Healthy，在1.16版本中显示unknown，似乎没有太大影响，在1.17版本中已经解决了该问题。

检查master状态

[root@yn101-22 kubernetes]# kubectl cluster-info
Kubernetes master is running at https://192.168.101.20:6443
KubeDNS is running at https://192.168.101.20:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

检查node状态

[root@yn101-22 kubernetes]# kubectl get nodes
NAME                 STATUS   ROLES    AGE     VERSION
kubernates-master    Ready    master   8h      v1.16.0
kubernates-node-01   Ready    <none>   6h13m   v1.16.0
kubernates-node-02   Ready    <none>   7h47m   v1.16.0

node节点中kubectl命令无法使用

[root@yn101-31 kubernetes]# kubectl get nodes
#报错信息如下
The connection to the server localhost:8080 was refused - did you specify the right host or port?

原因：出现这个问题的原因是kubectl命令需要使用kubernetes-admin来运行。

解决：将主节点中的【/etc/kubernetes/admin.conf】文件拷贝到从节点相同目录下，然后配置环境变量：

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
#立即生效
source ~/.bash_profile

kubernetes移除管理节点

#第一步：列出所有nodes
kubectl get node
#第二步：删除节点
kubectl delete node node3
#第三步：重重置配置
kubeadm reset
#第四步：重新加入集群

码农公寓

项目环境搭建【Docker+k8s】五 || kubernetes集群部署

项目环境搭建【Docker+k8s】五 || kubernetes集群部署

kubernetes管理节点部署

部署k8s管理节点主机

初始化管理节点

kubernetes工作节点部署

部署k8s工作节点主机

node节点加入集群

网络配置

部署网络插件主机

安装网络插件Calico

安装网络插件Flannel

安装网络插件过程问题解决

kubernetes各组件运行状态检查

检查组件运行状态

检查master状态

检查node状态

node节点中kubectl命令无法使用

kubernetes移除管理节点

关注微信公众号，免费获取文档及资源

学习交流QQ群【883210148】

码农公寓

项目环境搭建【Docker+k8s】五 || kubernetes集群部署

kubernetes管理节点部署

部署k8s管理节点主机

初始化管理节点

kubernetes工作节点部署

部署k8s工作节点主机

node节点加入集群

网络配置

部署网络插件主机

安装网络插件Calico

安装网络插件Flannel

安装网络插件过程问题解决

kubernetes各组件运行状态检查

检查组件运行状态

检查master状态

检查node状态

node节点中kubectl命令无法使用

kubernetes移除管理节点

关注微信公众号，免费获取文档及资源

学习交流QQ群【883210148】

相关文章