解析 | K8S之网络插件exec

K8S网络插件支持exec、CNI、kubenet 3种类型。插件满足K8S网络插件接口即可。


type NetworkPlugin interface{

        Init(host Host, hairpinModecomponentconfig.HairpinMode) error

        Event(name string,details map[string]interface{})

        Name() string

        Capabilities() utilsets.Int

        SetUpPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error

        TearDownPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error

        GetPodNetworkStatus(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) (*PodNetworkStatus,error)

        Status() error

}


exec 类型插件分别在初始化,pod创建,销毁,查询时调用可执行程序,由可执行程序完成pod的网络管理。


在初始化,pod创建,销毁,查询时,调用的subcommand分别为 "init","setup","teardown","status",所以要求可执行程序能解析上述subcommand 。


这里以一个简单的K8S插件为例子,介绍如何实现exec 类型的网络插件。


需求场景如下:


要求k8s创建pod 时,在pod内还会创建一个网络接口,该接口IP固定,该接口的另一端veth在ovs 网桥上,且有vlan tag,改tag 号可从pod name 取出。

 

该插件代码见:


https://github.com/liuliuzi/k8s-netplugin/tree/master/exec


更改权限为可执行,同时下载:


https://github.com/jpetazzo/pipework


更改pipework 权限为可执行,并移动到系统PATH路径下。

 

在每台worknode修改kebelet 启动参数,添加网络插件参数。


 --network-plugin=myplugin   \插件名

  --network-plugin-dir=/root/kubplugin  \插件位置


在每台worknode 下载安装OVS。

 

在K8S上创建pod:


kubectl run 22-my-nginx --image=busybox --replicas=2


77a11ec3-545a-42cc-bc7a-e3f54ff0c63b

    Bridge"k8s_br"

        Port"k8s_br"

            Interface"k8s_br"

                type:internal

        Port"veth1pl29198"

            tag: 22

            Interface"veth1pl29198"

    ovs_version:"2.5.0"


可见一个vlan tag22的IF已经创建,veth另一端在pod内。容器内有两张网络,一个是默认的K8S网络,另外一个通过OVS的vlan网络。这样就实现了一个容器多网络。对于这个插件实现原理,在init的时候,确保k8s_br 的ovs 网桥存在。在setup的时候,先通过pod获取vlan名字,然后通过pipework添加veth到容器内。


这里的场景非常简单,固定IP,而且vlan tag从pod name获取。在复杂的场景里,这里的IP和vlan tag可以从一个专门的服务获取,比如ETCD等。


在teardown的时候,删除veth,删除OVSport。

 

相对单独使用pipework,有一个缺点就是pipework创建的veth和port无法伴随容器的生命周期,比如容器销毁后veth仍旧存在。现在通过K8S的网络插件结构,插件通过pipework创建的veth 和port可以伴随POD的生命周期,包括POD的迁移。


上一篇:DOCKER默认虚拟网卡IP地址与局域网冲突解决


下一篇:容器网络防火墙状态异常导致丢包排查记录