网络的高级知识,包括网络的启动和配置参数、DNS的使用配置、容器访问和端口映射的相关实现。
在一些具体场景中,Docker支持的网络定制配置,通过Linux命令来调整、补充、甚至替换Docker默认的网络配置。
网络启动与配置参数
Docker启动时会在主机上自动创建一个docker0虚拟网桥,实际上是一个Linux网桥,可以理解为一个软件交换机,它会在挂载其上的接口之间进行转发。
同时,Docker随机分配一个本地未占用的私有网段(在RFC1918中定义)中的一个地址给docker0接口。比如典型的172.17.42.1,掩码为255.255.0.0。此后启动的容器内的网口也会自动分配一个同一网段(172.17.0.0/16)的地址。
当创建一个Docker容器的时候,同时会创建了一对veth pair接口(当数据包发送到一个接口时,另外一个接口也可以收到相同的数据包)。这对接口一端在容器内,即eth0;另一端在本地并被挂载到docker0网桥,名称以veth开头(例如vethAQI2QT)。通过这种方式,主机可以跟容器通信,容器之间也可以相互通信。如此一来,Docker就创建了在主机和所有容器之间一个虚拟共享网络。
下面是跟Docker网络相关的命令参数。其中有些命令选项只有在Docker服务启动的时候才能配置,而且不能马上生效:
- -b BRIDGE or--bridge=BRIDGE——指定容器挂载的网桥;
- --bip=CIDR——定制docker0的掩码;
- -H SOCKET...or--host=SOCKET...——Docker服务端接收命令的通道;
- --icc=true|false——是否支持容器之间进行通信;
- --ip-forward=true|false——启用net.ipv4.ip_forward,即打开转发功能;
- --iptables=true|false——禁止Docker添加iptables规则;
- --mtu=BYTES——容器网络中的MTU。
下面2个命令选项既可以在启动服务时指定,也可以Docker容器启动(docker run)时候指定。在Docker服务启动的时候指定则会成为默认值,后续执行docker run时可以覆盖设置的默认值。
- --dns=IP_ADDRESS...——使用指定的DNS服务器;
- --dns-search=DOMAIN...——指定DNS搜索域。
最后这些选项只能在docker run执行时使用,因为它是针对容器的特性内容:
- -h HOSTNAME or--hostname=HOSTNAME——配置容器主机名;
- --link=CONTAINER_NAME:ALIAS——添加到另一个容器的连接;
- --net=bridge|none|container:NAME_or_ID|host|user_defined_network——配置容器的桥接模式;
- -p SPEC or--publish=SPEC——映射容器端口到宿主主机;
- -P or--publish-all=true|false——映射容器所有端口到宿主主机。
其中,--net选项支持五种模式,如下所示:
- --net=bridge——默认配置。为容器创建独立的网络命名空间,分配网卡、IP地址等网络配置,并通过veth接口对将容器挂载到一个虚拟网桥(默认为docker0)上;
- --net=none——为容器创建独立的网络命名空间,但不进行网络配置,即容器内没有创建网卡、IP地址等;
- --net=container:NAME_or_ID——意味着新创建的容器共享指定的已存在容器的网络命名空间,两个容器内的网络配置共享,但其他资源(进程空间、文件系统等)还是相互隔离的;
- --net=host——意味着不为容器创建独立的网络命名空间,容器内看到的网络配置(网卡信息、路由表、Iptables规则等)均与主机上保持一致。注意其他资源还是与主机隔离的;
- --net=user_defined_network——用户自行用network相关命令创建一个网络,同一个网络内的容器彼此可见,可以采用更多类型的网络插件。
配置容器DNS和主机名
Docker支持自定义容器的主机名和DNS配置。
1.相关配置文件
实际上,容器中主机名和DNS配置信息都是通过三个系统配置文件来维护的:/etc/resolv.conf、/etc/hostname和/etc/hosts。
启动一个容器,在容器中使用mount命令可以看到这三个文件挂载信息:
$ docker run -it ubuntu
root@75dbd6685305:/# mount
/etc/resolv.conf文件在创建容器时候,默认会与宿主机/etc/resolv.conf文件内容保持一致:
root@75dbd6685305:/# cat /etc/resolv.conf
/etc/hosts文件中默认只记录了容器自身的一些地址和名称:
root@75dbd6685305:/# cat /etc/hosts
/etc/hostname文件则记录了容器的主机名。
root@75dbd6685305:/# cat /etc/hostname
2.容器内修改配置文件
Docker 1.2.0开始支持在运行中的容器里直接编辑/etc/hosts,/etc/hostname和/etc/resolve.conf文件。
但是这些修改是临时的,只在运行的容器中保留,容器终止或重启后并不会被保存下来。也不会被docker commit提交。
3.通过参数指定
如果用户想要自定义容器的配置,可以在创建或启动容器时利用下面的参数指定:
- 指定主机名-h HOSTNAME或者--hostname=HOSTNAME。设定容器的主机名,它会被写到容器内的/etc/hostname和/etc/hosts。但这个主机名只有容器内能看到,在容器外部则看不到,既不会在docker ps中显示,也不会在其他的容器的/etc/hosts看到。
- 记录其他容器主机名--link=CONTAINER_NAME:ALIAS。选项会在创建容器的时候,添加一个所连接容器的主机名到容器内/etc/hosts文件中。这样,新创建容器可以直接使用主机名来与所连接容器通信。
- 指定DNS服务器--dns=IP_ADDRESS。添加DNS服务器到容器的/etc/resolv.conf中,容器会用指定的服务器来解析所有不在/etc/hosts中的主机名。
- 指定DNS搜索域--dns-search=DOMAIN。设定容器的搜索域,当设定搜索域为.example.com时,在搜索一个名为host的主机时,DNS不仅搜索host,还会搜索host.example.com。
容器访问控制
容器的访问控制主要通过Linux上的iptables防火墙软件来进行管理和实现。iptables是Linux系统流行的防火墙软件,在大部分发行版中都自带。
1.容器访问外部网络
我们知道容器默认指定了网关为docker0网桥上的docker0内部接口。docker0内部接口同时也是宿主机的一个本地接口。因此,容器默认情况下是可以访问到宿主机本地的。更进一步,容器要想通过宿主机访问到外部网络,需要宿主机进行转发。
在宿主机Linux系统中,检查转发是否打开:
$ sudo sysctl net.ipv4.ip_forward
如果为0,说明没有开启转发,则需要手动打开:
$ sudo sysctl -w net.ipv4.ip_forward=1
更简单的,在启动Docker服务的时候设定--ip-forward=true,Docker服务会自动打开宿主机系统的转发服务。
2.容器之间的访问
容器之间相互访问,需要两方面的支持:
- 网络拓扑是否已经连通。默认情况下,所有容器都会连接到docker0网桥上,这意味着默认情况下拓扑是互通的;
- 本地系统的防火墙软件iptables是否允许访问通过。这取决于防火墙的默认规则是允许(大部分情况)还是禁止。
下面分两种情况介绍容器之间的访问。
(1)访问所有端口
当启动Docker服务时候,默认会添加一条“允许”转发策略到iptables的FORWARD链上。通过配置--icc=true|false(默认值为true)参数可以控制默认的策略。
为了安全考虑,可以在Docker配置文件中配置DOCKER_OPTS=--icc=false来默认禁止容器之间的相互访问。
同时,如果启动Docker服务时手动指定--iptables=false参数则不会修改宿主机系统上的iptables规则。
(2)访问指定端口
在通过-icc=false禁止容器间相互访问后,仍可以通过--link=CONTAINER_NAME:ALIAS选项来允许访问指定容器的开放端口。
例如,在启动Docker服务时,可以同时使用icc=false--iptables=true参数来配置容器间禁止访问,并允许Docker自动修改系统中的iptables规则。
此时,系统中的iptables规则可能是类似如下规则,禁止所有转发流量:
$ sudo iptables -nL
...
Chain FORWARD (policy ACCEPT)
target prot opt source destination
DROP all -- 0.0.0.0/0 0.0.0.0/0
...
之后,启动容器(docker run)时使用--link=CONTAINER_NAME:ALIAS选项。Docker会在iptable中为两个互联容器分别添加一条ACCEPT规则,允许相互访问开放的端口(取决于Dockerfile中的EXPOSE行)。
此时,iptables的规则可能是类似如下规则:
$ sudo iptables -nL
...
Chain FORWARD (policy ACCEPT)
target prot opt source destination
ACCEPT tcp -- 172.17.0.2 172.17.0.3 tcp spt:80
ACCEPT tcp -- 172.17.0.3 172.17.0.2 tcp dpt:80
DROP all -- 0.0.0.0/0 0.0.0.0/0
--link=CONTAINER_NAME:ALIAS中的CONTAINER_NAME目前必须是Docker自动分配的容器名,或使用--name参数指定的名字。不能为容器-h参数配置的主机名。
映射容器端口到宿主主机的实现
默认情况下,容器可以主动访问到外部网络的连接,但是外部网络无法访问到容器。
1.容器访问外部实现
假设容器内部的网络地址为172.17.0.2,本地网络地址为10.0.2.2。容器要能访问外部网络,源地址不能为172.17.0.2,需要进行源地址映射(Source NAT,SNAT),修改为本地系统的IP地址10.0.2.2。映射是通过iptables的源地址伪装操作实现的。
查看主机nat表上POSTROUTING链的规则。该链负责网包要离开主机前,改写其源地址。
$ sudo iptables -t nat -nvL POSTROUTING
Chain POSTROUTING (policy ACCEPT 12 packets, 738 bytes)
pkts bytes target prot opt in out source destination
0 0 MASQUERADE all -- * !docker0 172.17.0.0/16 0.0.0.0/0
...
其中,上述规则将所有源地址在172.17.0.0/16网段,且不是从docker0接口发出的流量(即从容器中出来的流量),动态伪装为从系统网卡发出。MASQUERADE行动跟传统SNAT行动相比,好处是它能从网卡动态获取地址。
2.外部访问容器实现
容器允许外部访问,可以在docker run时候通过-p或-P参数来启用。
不管用那种办法,其实也是在本地的iptable的nat表中添加相应的规则,将访问外部IP地址的网包进行目标地址DNAT,将目标地址修改为容器的IP地址。
以一个开放80端口的Web容器为例,使用-P时,会自动映射本地49000~49900范文内的端口随机端口到容器的80端口:
$ iptables -t nat -nvL
...
Chain PREROUTING (policy ACCEPT 236 packets, 33317 bytes)
pkts bytes target prot opt in out source destination
567 30236 DOCKER all -- * * 0.0.0.0/0 0.0.0.0/0
ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0
tcp dpt:49153 to:172.17.0.2:80
...
可以看到,nat表中涉及两条链,PREROUTING链负责包到达网络接口时,改写其目的地址。其中规则将所有流量都扔到DOCKER链。而DOCKER链中将所有不是从docker0进来的网包(意味着不是本地主机产生),将目标端口为49153的,修改目标地址为172.17.0.2,目标端口修改为80。
使用-p 80:80时,与上面类似,只是本地端口也为80:
$ iptables -t nat -nvL
...
Chain PREROUTING (policy ACCEPT 236 packets, 33317 bytes)
pkts bytes target prot opt in out source destination
567 30236 DOCKER all -- * * 0.0.0.0/0 0.0.0.0/0
ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0
tcp dpt:80 to:172.17.0.2:80
...
有两点需要注意:
- 这里的规则映射了0.0.0.0,意味着将接受主机来自所有网络接口上的流量。用户可以通过-p IP:host_port:container_port或-p IP::port来指定绑定的外部网络接口,以制定更严格的访问规则;
- 如果希望映射永久绑定到某个固定的IP地址,可以在Docker配置文件/etc/default/docker中指定DOCKER_OPTS="--ip=IP_ADDRESS",之后重启Docker服务即可生效。
配置docker0网桥
Docker服务默认会创建一个名称为docker0的Linux网桥(其上有一个docker0内部接口),它在内核层连通了其他的物理或虚拟网卡,这就将所有容器和本地主机都放到同一个物理网络。用户使用Docker创建多个自定义网络时可能会出现多个容器网桥。
Docker默认指定了docker0接口的IP地址和子网掩码,让主机和容器之间可以通过网桥相互通信,它还给出了MTU(接口允许接收的最大传输单元),通常是1500字节,或宿主主机网络路由上支持的默认值。这些值都可以在服务启动的时候进行配置:
- --bip=CIDR——IP地址加掩码格式,例如192.168.1.5/24;
- --mtu=BYTES——覆盖默认的Docker mtu配置。
也可以在配置文件中配置DOCKER_OPTS,然后重启服务。
由于目前Docker网桥是Linux网桥,用户可以使用brctl show来查看网桥和端口连接信息:
$ sudo brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.3a1d7362b4ee no veth65f9 vethdda6
brctl命令如果系统中没有自带,可以使用sudo apt-get install bridge-utils来安装(Debian、Ubuntu系列系统)。
每次创建一个新容器的时候,Docker从可用的地址段中选择一个空闲的IP地址分配给容器的eth0端口。并且使用本地主机上docker0接口的IP作为容器的默认网关:
$ docker run -i -t --rm base /bin/bash
$ ip addr show eth0
24: eth0: <broadcast,up,lower_up>mtu 1500 qdisc pfifo_fast state UP group
default qlen 1000
link/ether 32:6f:e0:35:57:91 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.3/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::306f:e0ff:fe35:5791/64 scope link
valid_lft forever preferred_lft forever
$ ip route
default via 172.17.42.1 dev eth0
172.17.0.0/16 dev eth0 proto kernel scope link src 172.17.0.3
$ exit
目前,Docker不支持在启动容器时候指定IP地址。实际上,Linux网桥自身功能已经十分完备,也可以替换为OpenvSwitch等功能更强大的网桥实现。
自定义网桥
除了默认的docker0网桥,用户也可以指定网桥来连接各个容器。
在启动Docker服务的时候,使用-b BRIDGE或--bridge=BRIDGE来指定使用的网桥。
如果服务已经运行,那需要先停止服务,并删除旧的网桥:
$ sudo service docker stop
$ sudo ip link set dev docker0 down
$ sudo brctl delbr docker0
然后创建一个网桥bridge0:
$ sudo brctl addbr bridge0
$ sudo ip addr add 192.168.5.1/24 dev bridge0
$ sudo ip link set dev bridge0 up
查看确认网桥创建并启动:
$ ip addr show bridge0
4: bridge0: <broadcast,multicast>mtu 1500 qdisc noop state UP group default
link/ether 66:38:d0:0d:76:18 brd ff:ff:ff:ff:ff:ff
inet 192.168.5.1/24 scope global bridge0
valid_lft forever preferred_lft forever
配置Docker服务,默认桥接到创建的网桥上:
$ echo 'DOCKER_OPTS="-b=bridge0"' >> /etc/default/docker
$ sudo service docker start
启动Docker服务。新建一个容器,可以看到它已经桥接到了bridge0上。
可以继续用brctl show命令查看桥接的信息。另外,在容器中可以使用ip addr和ip route命令来查看IP地址配置和路由信息。
使用OpenvSwitch网桥
Docker默认使用的是Linux自带的网桥实现,实际上,OpenvSwitch项目作为一个成熟的虚拟交换机实现,具备更丰富的功能。将来会有越来越多的容器支持OpenvSwitch作为底层网桥实现。
1.环境
在Ubuntu 14.04系统中进行测试。操作流程也适用于RedHat/CentOS系列系统,但少数命令和配置文件可能略有差异。
2.安装Docker
安装最近版本的Docker并启动服务。默认情况下,Docker服务会创建一个名为docker0的Linux网桥,作为连接容器的本地网桥。
可以通过如下命令查看:
$ sudo brctl show
bridge name bridge id STP enabled interfaces
docker0 8000.000000000000 no
网桥docker0内部接口的默认地址可能为172.17.42.1。
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 56:84:7a:fe:97:99
inet addr:172.17.42.1 Bcast:0.0.0.0 Mask:255.255.0.0
BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
3.安装OpenvSwitch
通过如下命令安装OpenvSwitch:
$ sudo aptitude install openvswitch-switch
测试添加一个网桥br0并查看:
$ sudo ovs-vsctl add-br br0
$ sudo ovs-vsctl show
4.配置容器连接到OpenvSwitch网桥
目前OpenvSwitch网桥还不能直接支持挂载容器,需要手动在OpenvSwitch网桥上创建虚拟网口并挂载到容器中。
(1)创建无网口容器
启动一个ubuntu容器,并指定不创建网络,后面我们手动添加网络。较新版本的Docker默认不允许在容器内修改网络配置,需要在run的时候指定参数--privileged=true:
$ docker run --net=none --privileged=true -it ubuntu:14.04 bash
root@298bbb17c244:/#
记住这里容器的id为298bbb17c244。
此时在容器内查看网络信息,只能看到一个本地网卡lo:
root@298bbb17c244:/# ifconfig
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
(2)手动为容器添加网络
下载OpenvSwitch项目提供的支持Docker容器的辅助脚本ovs-docker:
$ wget https://github.com/openvswitch/ovs/raw/master/utilities/ovs-docker
$ sudo chmod a+x ovs-docker
为容器添加网卡,并挂载到br0上,命令为:
$ sudo ./ovs-docker add-port br0 eth0 298bbb17c244 --ipaddress=172.17.0.2/16
添加成功后,在容器内查看网络信息,多了一个新添加的网卡eth0,对应添加的IP地址:
root@298bbb17c244:/# ifconfig
eth0 Link encap:Ethernet HWaddr ae:3d:75:2c:18:ba
inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0
inet6 addr: fe80::ac3d:75ff:fe2c:18ba/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:187 errors:0 dropped:2 overruns:0 frame:0
TX packets:11 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:33840 (33.8 KB) TX bytes:1170 (1.1 KB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
在容器外,配置OpenvSwitch的网桥br0内部接口地址为172.17.42.2/16(只要与所挂载容器IP在同一个子网内即可):
$ sudo ifconfig br0 172.17.42.2/16
(3)测试连通
经过上面步骤,容器已经连接到了网桥br0上了,拓扑如下所示:
容器(172.17.0.2/16)<-->br0
网桥<-->br0
内部端口(172.17.42.2/16)
此时,在容器内就可以测试是否连通到网桥br0上了:
root@298bbb17c244:/# ping 172.17.42.2
在容器内也可以配置默认网关为br0接口地址:
root@298bbb17c244:/# route add default gw 172.17.42.2
另外,删除该接口的命令为:
$ sudo ./ovs-docker del-port br0 eth0<container_id>
实际上,Docker社区也已经讨论对OpenvSwitch进行原生支持了。在Docker原生支持OpenvSwitch之前,用户可以通过编写脚本或更高级的工具来让这一过程自动化。
创建一个点到点连接
默认情况下,Docker会将所有容器连接到由docker0提供的虚拟子网中。用户有时候需要两个容器之间可以直连通信,而不用通过主机网桥进行桥接。
解决办法很简单:创建一对peer接口,分别放到两个容器中,配置成点到点链路类型即可。
下面这个过程我们将手动执行Docker配置容器网络的大部分步骤。
首先启动两个容器:
$ docker run -i -t --rm --net=none base /bin/bash
$ docker run -i -t --rm --net=none base /bin/bash
找到进程号,然后创建网络命名空间的跟踪文件:
$ docker inspect -f '{{.State.Pid}}' 1f1f4c1f931a
2989
$ docker inspect -f '{{.State.Pid}}' 12e343489d2f
3004
$ sudo mkdir -p /var/run/netns
$ sudo ln -s /proc/2989/ns/net /var/run/netns/2989
$ sudo ln -s /proc/3004/ns/net /var/run/netns/3004
创建一对peer接口。
$ sudo ip link add A type veth peer name B
添加IP地址和路由信息:
$ sudo ip link set A netns 2989
$ sudo ip netns exec 2989 ip addr add 10.1.1.1/32 dev A
$ sudo ip netns exec 2989 ip link set A up
$ sudo ip netns exec 2989 ip route add 10.1.1.2/32 dev A
$ sudo ip link set B netns 3004
$ sudo ip netns exec 3004 ip addr add 10.1.1.2/32 dev B
$ sudo ip netns exec 3004 ip link set B up
$ sudo ip netns exec 3004 ip route add 10.1.1.1/32 dev B
现在这两个容器就可以相互ping通,并成功建立连接。点到点链路不需要子网和子网掩码。
此外,也可以不指定--net=none来创建点到点链路。这样容器还可以通过原先的网络来通信。
利用类似的办法,可以创建一个只跟主机通信的容器。但是一般情况下,更推荐使用--icc=false来关闭容器之间的通信。