K8S网络插件支持exec、CNI、kubenet 3种类型。插件满足K8S网络插件接口即可。
type NetworkPlugin interface{
Init(host Host, hairpinModecomponentconfig.HairpinMode) error
Event(name string,details map[string]interface{})
Name() string
Capabilities() utilsets.Int
SetUpPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error
TearDownPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error
GetPodNetworkStatus(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) (*PodNetworkStatus,error)
Status() error
}
exec 类型插件分别在初始化,pod创建,销毁,查询时调用可执行程序,由可执行程序完成pod的网络管理。
在初始化,pod创建,销毁,查询时,调用的subcommand分别为 "init","setup","teardown","status",所以要求可执行程序能解析上述subcommand 。
这里以一个简单的K8S插件为例子,介绍如何实现exec 类型的网络插件。
需求场景如下:
要求k8s创建pod 时,在pod内还会创建一个网络接口,该接口IP固定,该接口的另一端veth在ovs 网桥上,且有vlan tag,改tag 号可从pod name 取出。
该插件代码见:
https://github.com/liuliuzi/k8s-netplugin/tree/master/exec
更改权限为可执行,同时下载:
https://github.com/jpetazzo/pipework
更改pipework 权限为可执行,并移动到系统PATH路径下。
在每台worknode修改kebelet 启动参数,添加网络插件参数。
--network-plugin=myplugin \插件名
--network-plugin-dir=/root/kubplugin \插件位置
在每台worknode 下载安装OVS。
在K8S上创建pod:
kubectl run 22-my-nginx --image=busybox --replicas=2
77a11ec3-545a-42cc-bc7a-e3f54ff0c63b
Bridge"k8s_br"
Port"k8s_br"
Interface"k8s_br"
type:internal
Port"veth1pl29198"
tag: 22
Interface"veth1pl29198"
ovs_version:"2.5.0"
可见一个vlan tag22的IF已经创建,veth另一端在pod内。容器内有两张网络,一个是默认的K8S网络,另外一个通过OVS的vlan网络。这样就实现了一个容器多网络。对于这个插件实现原理,在init的时候,确保k8s_br 的ovs 网桥存在。在setup的时候,先通过pod获取vlan名字,然后通过pipework添加veth到容器内。
这里的场景非常简单,固定IP,而且vlan tag从pod name获取。在复杂的场景里,这里的IP和vlan tag可以从一个专门的服务获取,比如ETCD等。
在teardown的时候,删除veth,删除OVSport。
相对单独使用pipework,有一个缺点就是pipework创建的veth和port无法伴随容器的生命周期,比如容器销毁后veth仍旧存在。现在通过K8S的网络插件结构,插件通过pipework创建的veth 和port可以伴随POD的生命周期,包括POD的迁移。