在github里已经提供了一些常用的插件,CNI只专注解决容器网络连接和容器销毁时的资源释放,提供一套框架,所以CNI可以支持大量不同的网络模式,并且容易实现。
相对于k8s exec直接执行可执行程序,cni 插件是对执行程序的封装,规定了可执行程序的框架,当然最后还是和exec 插件一样,执行可执行程序。只不过exec 插件通过命令行数据读取参数,cni插件通过环境变量以及配置文件读入参数。
相对于exec 的4个 subcommand,cni 只有2 subcommand,执行CNI插件需要传入以下环境变量:
CNI_COMMAND=ADD/DEL
CNI_CONTAINERID=xxxxxxxxxxxxxxxxxxx
CNI_NETNS=/proc/4390/ns/net
CNI_ARGS=IgnoreUnknown=1;K8S_POD_NAMESPACE=default;K8S_POD_NAME=22-my-nginx-2523304718-7stgs;K8S_POD_INFRA_CONTAINER_ID=xxxxxxxxxxxxxxxx
CNI_IFNAME=eth0
CNI_PATH=/opt/cni/bin.
最终的执行是./plugin netconfpath 其中plugin是二进制可执行cni插件,netconf 是配置文件路径,一般配置文件文件夹在 /etc/cni/net.d/。
cni插件的开发可以模仿github上面的例子,主要实现两个函数:
funccmdAdd(args *skel.CmdArgs) 和funccmdDel(args *skel.CmdArgs)
下面bridge配置文件例子:
{
"cniVersion": "0.2.0",
"name": "mynet",
"type": "bridge", //使用的cni插件类型,cni根据这个调用相应二进制文件
"bridge": "cni0",
"isGateway": true, //其他配置信息比如IP地址等
"ipMasq": true,
"ipam": {
"type":"host-local",
"subnet":"10.22.0.0/16",
"routes": [
{ "dst":"0.0.0.0/0" }
]
}
}
下面calico配置文件例子:
{
"name":"k8s-pod-network",
"type": "calico",
"etcd_endpoints":"http://10.255.13.121:2379",
"etcd_key_file": "",
"etcd_cert_file": "",
"etcd_ca_cert_file":"",
"log_level": "info",
"ipam": {
"type":"calico-ipam"
},
"policy": {
"type": "k8s",
"k8s_api_root":"https://10.255.0.1:443",
"k8s_auth_token":"eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkZWZhdWx0LXRva2VuLTN4d2NjIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImRlZmF1bHQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiI3MGQ5Y2YyNS1jNzU2LTExZTYtYWVhNi1kMDBkYTBmNGQ0ZTIiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06ZGVmYXVsdCJ9.OqEBj0cofXDKvQiioRkt1RKuF5QSPRweYRsmKXsacDFq10jJmBzgJUZtiIysu5CDov-6OR4p2HzmBfjfWkNFuldvOMKdjZP4KmJ8C1ZAOJ20f7Rr0-hyiG3Hnem6RBK41QsIUz0dwB-SmGWR9Mx-HY3LHITFp6nn3UcaDVESIFuRLge3KSnWBlalTlI5zyxJJ5Bfuxh9J26hw8wCaZce53pkE9g2fcjxJkXdUPEzB1MZw8egu7FiQ6_WaiaYgu6uD9TQovjb8uewWR3Jq5aYvCOrwnegm2MxC8Ndt_3EUJRVNgYnf2yzaXmkDSqAtgR-PQQ2SmYWKu45MjPPiyJn3w"
},
"kubernetes": {
"kubeconfig":"/etc/cni/net.d/calico-kubeconfig"
}
}
Calico这边数据是从Calico服务端获取相应的网络信息。
像简单的插件,对于容器网络信息,比如容器应该分配的IP,可以直接从dnsmasq分配出来;如果更简单一些,可以直接从CNI_ARGS 环境变量传过来;复杂的插件,比如Calico,就需要从服务端传递数据过来。