文章目录
一、Flannel简介
1、当一个k8s集群创建好后一般会存在三种IP，分别是：Pod IP、Node IP、Cluster IP
Cluster IP之下包含多个Node IP，而一个Node IP之下又包含多个Pod IP，同一个Pod包含多个容器（这些容器的网络都在同一个命名空间，因此可以*的通信），同一个Node包含多个Pod，这些Pod又通过veth pair技术与同一个cni网桥进行连接，通常这个cni网桥就是我们熟知的docker0网卡，这个是在你安装docker后就会创建在宿主机上的一个虚拟网卡，因此相同Node节点下的Pod又可以通过cni网桥进行通信。
但是不同Node节点下的Pod又是如何进行通信的，尤其是在成千上万个容器的情况下进行通信，就这需要用到flannel网络插件来解决这个问题。
2、Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。
3、在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。
4、Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。
二、Flannel网络概述
Overlay Network：
覆盖网络，在基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路连接起来
类似VPN隧道，原理为在物理网络上实现的逻辑网络
VXLAN：
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层包头进行封装，然后在以太网上传输，到达目的地后由隧道断电解封并将数据发给目标地址
Flannel：
是Overlay网络的一种，也是将源数据包封装在另一种网络包中进行路由转发和通信，目前已支持UDP、VXLAN、AWS VPN和GCE路由等数据转发方式
flannel原理简介：
容器10.1.15.2/24访问10.0.20.3/24，经过所在主机的docker0，也就相当于这个容器的网关，转发到flannel0虚拟网卡，经过flanneld进行处理，将源容器的ip和目的容器的ip封装成内部ip，将源物理网卡的网关和目的物理网卡的网关封装成外部ip，并同时封装其MAC地址，源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后进入目的节点flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，传递到对应ip的容器
三、部署
首先两个node节点需要先安装docker引擎
安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
设置阿里云镜像源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安装Docker-CE
vim /etc/selinux/config
SELINUX=disabled
yum install -y docker-ce
systemctl start docker.service
systemctl enable docker.service
镜像加速
搜索容器镜像服务
网络优化
echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf
sysctl -p
systemctl restart network
systemctl restart docker
master配置
需要在有证书的目录下使用此命令
写入分配的子网段到ETCD中，供flannel使用
[root@localhost ~]# cd k8s/etcd-cert/
[root@localhost ~]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.111.10:2379,https://192.168.111.30:2379,https://192.168.111.40:2379" set /coreos.com/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
拷贝到所有node节点（只需要部署在node节点即可）
[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.111.30:/root
[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.111.40:/root
所有node节点操作解压
[root@localhost ~]# tar zxvf flannel-v0.10.0-linux-amd64.tar.gz
flanneld
mk-docker-opts.sh
README.md
k8s工作目录
[root@localhost ~]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p
[root@localhost ~]# mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
编写flannel启动脚本
[root@localhost ~]# vim flannel.sh
#!/bin/bash
ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}
cat <<EOF >/opt/kubernetes/cfg/flanneld
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \
-etcd-cafile=/opt/etcd/ssl/ca.pem \
-etcd-certfile=/opt/etcd/ssl/server.pem \
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF
cat <<EOF >/usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld
开启flannel网络功能
[root@localhost ~]# bash flannel.sh https://192.168.111.10:2379,https://192.168.111.30:2379,https://192.168.111.40:2379
配置docker连接flannel
[root@localhost ~]# vim /usr/lib/systemd/system/docker.service
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
systemctl daemon-reload
systemctl restart docker
验证下docker网络和flannel网络是否在同一个网段
ifconfig
拉取镜像然后进入容器去ping另一个不同网段的容器
docker run -it centos:7 /bin/bash
yum -y install net-tools
ping 172.17.39.1
如果这里ping的时候出现卡住了需要这么解决
所有的node节点按顺序依次重启服务
systemctl restart flanneld.service
systemctl restart network
systemctl restart docker
然后再次进入容器去ping就可以了