docker容器网络配置

2024-01-20 14:54:16

Linux内核实现名称空间的创建

ip netns命令

可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。

注意：ip netns命令修改网络配置时需要 sudo 权限。

可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：

[root@localhostl ~]# ip netns help
Usage:    ip netns list
    ip netns add NAME
    ip netns attach NAME PID
    ip netns set NAME NETNSID
    ip [-all] netns delete [NAME]
    ip netns identify [PID]
    ip netns pids NAME
    ip [-all] netns exec [NAME] cmd ...
    ip netns monitor
    ip netns list-id
NETNSID := auto | POSITIVE-INT

默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。

创建Network Namespace

通过命令创建一个名为ns1的命名空间：

[root@localhost ~]# ip netns add ns1
[root@localhost ~]# ip netns list
ns1

新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报Cannot create namespace file "/var/run/netns/ns1": File exists的错误。

[root@localhost ~]# ls /var/run/netns/
ns1

[root@localhost ~]# ip netns add ns1
Cannot create namespace file "/var/run/netns/ns1": File exists

对于每个 Network Namespace 来说，它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。

操作Network Namespace

ip命令提供了ip netns exec子命令可以在对应的 Network Namespace 中执行命令。

查看新创建 Network Namespace 的网卡信息

[root@localhostl ~]# ip netns exec ns1 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

可以看到，新创建的Network Namespace中会默认创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去 ping 该lo回环网卡，会提示Network is unreachable

[root@localhostl ~]# ip netns exec ns1 ping 127.0.0.1
connect: Network is unreachable

通过下面的命令启用lo回环网卡：

[root@localhostl ~]# ip netns exec ns1 ip link set lo up
[root@localhostl ~]# ip netns exec ns1 ping 127.0.0.1
PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data.
64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.036 ms
64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.023 ms

转移设备

我们可以在不同的 Network Namespace 之间转移设备（如veth）。由于一个设备只能属于一个 Network Namespace ，所以转移后在这个 Network Namespace 内就看不到这个设备了。

其中，veth设备属于可转移设备，而很多其它设备（如lo、vxlan、ppp、bridge等）是不可以转移的。

veth pair

veth pair 全称是 Virtual Ethernet Pair，是一个成对的端口，所有从这对端口一端进入的数据包都将从另一端出来，反之也是一样。
引入veth pair是为了在不同的 Network Namespace 直接进行通信，利用它可以直接将两个 Network Namespace 连接起来。

创建veth pair

[root@localhostl ~]# ip link add type veth
[root@localhostl ~]# ip a
4: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether d6:d5:7e:3c:e5:1a brd ff:ff:ff:ff:ff:ff
5: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 42:ec:84:47:a6:82 brd ff:ff:ff:ff:ff:ff

可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于”未启用“状态。

实现Network Namespace间通信

下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为ns1的 Network Namespace，下面再创建一个信息Network Namespace，命名为ns2

[root@localhost ~]# ip netns add ns2
[root@localhost ~]# ip netns list
ns2
ns1

然后我们将veth0加入到ns1，将veth1加入到ns2

[root@localhostl ~]# ip link set veth0 netns ns1
[root@localhostl ~]# ip link set veth1 netns ns2

然后我们分别为这对veth pair配置上ip地址，并启用它们

[root@localhostl ~]# ip netns exec ns1 ip link set veth0 up
[root@localhostl ~]# ip netns exec ns1 ip addr add 1.1.1.1/8 dev veth0
[root@localhostl ~]# ip netns exec ns2 ip link set veth1 up
[root@localhostl ~]# ip netns exec ns2 ip addr add 1.1.1.2/8 dev veth1

查看这对veth pair的状态

[root@localhostl ~]# ip netns exec ns1 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
4: veth0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether d6:d5:7e:3c:e5:1a brd ff:ff:ff:ff:ff:ff link-netns ns2
    inet 1.1.1.1/8 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::d4d5:7eff:fe3c:e51a/64 scope link 
       valid_lft forever preferred_lft forever
[root@localhostl ~]# ip netns exec ns2 ip a
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
5: veth1@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 42:ec:84:47:a6:82 brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet 1.1.1.2/8 scope global veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::40ec:84ff:fe47:a682/64 scope link 
       valid_lft forever preferred_lft forever

从上面可以看出，我们已经成功启用了这个veth pair，并为每个veth设备分配了对应的ip地址。我们尝试在ns2中访问ns1中的ip地址：

[root@localhostl ~]# ip netns exec ns2 ping 1.1.1.1
PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
64 bytes from 1.1.1.1: icmp_seq=1 ttl=64 time=0.024 ms
64 bytes from 1.1.1.1: icmp_seq=2 ttl=64 time=0.024 ms

可以看到，veth pair成功实现了两个不同Network Namespace之间的网络交互。

veth设备重命名

[root@localhostl ~]# ip netns exec ns1 ip link set veth0 down
[root@localhostl ~]# ip netns exec ns1 ip link set dev veth0 name eth0
[root@localhostl ~]# ip netns exec ns1 ifconfig -a
eth0: flags=4098<BROADCAST,MULTICAST>  mtu 1500
        inet 1.1.1.1  netmask 255.0.0.0  broadcast 0.0.0.0
        ether d6:d5:7e:3c:e5:1a  txqueuelen 1000  (Ethernet)
        RX packets 17  bytes 1314 (1.2 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 17  bytes 1314 (1.2 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 4  bytes 336 (336.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 4  bytes 336 (336.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@localhostl ~]# ip netns exec ns1 ip link set eth0 up

使本地能跟名称空间通信

[root@localhostl ~]# ip link add type veth
[root@localhostl ~]# ip link set veth1 netns ns1
[root@localhostl ~]# ip netns exec ns1 ip link set veth1 up
[root@localhostl ~]# ip netns exec ns1 ip addr add 192.168.20.1/24 dev veth1
[root@localhostl ~]# ip link set veth0 up
[root@localhostl ~]# ip addr add 192.168.20.2/24 dev veth0
[root@localhostl ~]# ping 192.168.20.1
PING 192.168.20.1 (192.168.20.1) 56(84) bytes of data.
64 bytes from 192.168.20.1: icmp_seq=1 ttl=64 time=0.033 ms
64 bytes from 192.168.20.1: icmp_seq=2 ttl=64 time=0.031 ms

四种网络模式配置

bridge模式配置

[root@localhost ~]# docker run -it --name t1 --rm busybox
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:11 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:962 (962.0 B)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)


/ # exit
[root@localhost ~]# docker container ls -a


//在创建容器时添加--network bridge与不加--network选项效果是一致的
[root@localhost ~]# docker run -it --name t1 --network bridge --rm busybox    
/ # ifconfig
eth0      Link encap:Ethernet  HWaddr 02:42:AC:11:00:02  
          inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:8 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:696 (696.0 B)  TX bytes:0 (0.0 B)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

/ # exit

none模式配置

[root@localhostl ~]# docker run -it --network none --rm busybox
/ # ifconfig -a
lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

/ # exit

container模式配置

启动第一个容器

[root@localhostl ~]# docker run -it --name b1 --rm busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

启动第二个容器

[root@localhostl ~]# docker run -it --rm --name b2 busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

可以看到名为b2的容器IP地址是127.0.0.3，与第一个容器的IP地址不是一样的，也就是说并没有共享网络，此时如果我们将第二个容器的启动方式改变一下，就可以使名为b2的容器IP与b1容器IP一致，也即共享IP，但不共享文件系统。

[root@localhostl ~]# docker run -it --rm --name b2 --network container:b1 busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

此时我们在b1容器上创建一个目录

/ # mkdir /tmp/data
/ # ls /tmp
data

到b2容器上检查/tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，仅仅是共享了网络而已。

在b2容器上部署一个站点

/ # echo 'hello world' > /tmp/index.html
/ # httpd -h /tmp
/ # netstat -antl
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       
tcp        0      0 :::80                   :::*                    LISTEN

在b1容器上用本地地址去访问此站点

/ # wget -O - 127.0.0.1
Connecting to 127.0.0.1 (127.0.0.1:80)
writing to stdout
hello world
-                    100% |***********************************************|    12  0:00:00 ETA
written to stdout

由此可见，container模式下的容器间关系就相当于一台主机上的两个不同进程

host模式配置

启动容器时直接指明模式为host

[root@localhostl ~]# docker run -it --rm --network host busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel qlen 1000
    link/ether 00:0c:29:b5:30:0b brd ff:ff:ff:ff:ff:ff
    inet 192.168.44.128/24 brd 192.168.44.255 scope global dynamic eth0
       valid_lft 1012sec preferred_lft 1012sec
    inet6 fe80::3abf:3271:9b0e:fc06/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue 
    link/ether 02:42:3d:a1:71:ed brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:3dff:fea1:71ed/64 scope link 
       valid_lft forever preferred_lft forever
/ # exit

此时如果我们在这个容器中启动一个http站点，我们就可以直接用宿主机的IP直接在浏览器中访问这个容器中的站点了。

容器的常用操作

查看容器的主机名

[root@localhostl ~]# docker run -it --rm busybox
/ # hostname
959cf1050ee5

在容器启动时注入主机名

[root@localhostl ~]# docker run -it --hostname node1 --rm busybox
/ # hostname
node1
/ # cat /etc/hosts
127.0.0.1    localhost
::1    localhost ip6-localhost ip6-loopback
fe00::0    ip6-localnet
ff00::0    ip6-mcastprefix
ff02::1    ip6-allnodes
ff02::2    ip6-allrouters
172.17.0.2    node1           # 注入主机名时会自动创建主机名到IP的映射关系
/ # cat /etc/resolv.conf 
# Generated by NetworkManager
search localdomain
nameserver 192.168.44.2     # DNS也会自动配置为宿主机的DNS

手动指定容器要使用的DNS

[root@localhostl ~]# docker run -it --hostname node1 --dns 114.114.114.114 --rm busybox
/ # cat /etc/resolv.conf 
search localdomain
nameserver 114.114.114.114

手动往/etc/hosts文件中注入主机名到IP地址的映射

[root@localhostl ~]# docker run -it --rm busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
26: eth0@if27: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever
[root@localhostl ~]# docker run -it --hostname node1 --add-host node2:172.17.0.2 --rm busybox
/ # cat /etc/hosts
127.0.0.1    localhost
::1    localhost ip6-localhost ip6-loopback
fe00::0    ip6-localnet
ff00::0    ip6-mcastprefix
ff02::1    ip6-allnodes
ff02::2    ip6-allrouters
172.17.0.2    node2
172.17.0.3    node1

开放容器端口

执行docker run的时候有个-p选项，可以将容器中的应用端口映射到宿主机中，从而实现让外部主机可以通过访问宿主机的某端口来访问容器内应用的目的。

-p选项能够使用多次，其所能够暴露的端口必须是容器确实在监听的端口。

-p选项的使用格式：

-p <containerPort>
- 将指定的容器端口映射至主机所有地址的一个动态端口
-p <hostPort>:<containerPort>
- 将容器端口<containerPort>映射至指定的主机端口<hostPort>
-p <ip>::<containerPort>
- 将指定的容器端口<containerPort>映射至主机指定<ip>的动态端口
-p <ip>:<hostPort>:<containerPort>
- 将指定的容器端口<containerPort>映射至主机指定<ip>的端口<hostPort>

动态端口指的是随机端口

具体的映射结果可使用docker port+容器名称查看。

[root@localhostl ~]# docker run -itd --rm -p 80 httpd
[root@localhostl ~]# docker ps
CONTAINER ID   IMAGE     COMMAND              CREATED          STATUS          PORTS                   NAMES
079b8e52070a   httpd     "httpd-foreground"   55 seconds ago   Up 51 seconds   0.0.0.0:49153->8

由此可见，容器的80端口被暴露到了宿主机的49153端口上

将容器端口映射到指定IP的随机端口

[root@localhostl ~]# docker run -itd --rm -p 192.168.44.128::80 httpd
1eb54fd79719c6e3b821a8cf4853875873d68ae57ff81bcb05d1aeb48ae626a6
[root@localhostl ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED         STATUS         PORTS                          NAMES
1eb54fd79719   httpd     "httpd-foreground"   5 seconds ago   Up 4 seconds   192.168.44.128:49153->80/tcp   great_snyder

将容器端口映射到宿主机的指定端口

[root@localhostl ~]# docker run -itd --rm -p 80:80 httpd
2565cd9331d8b46ad6a9750453f92c326ea819c5d479245e271db043d6d8cfb4
[root@localhostl ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND              CREATED         STATUS         PORTS                NAMES
2565cd9331d8   httpd     "httpd-foreground"   4 seconds ago   Up 3 seconds   0.0.0.0:80->80/tcp   awesome_lumiere

[root@localhostl ~]# docker stop $(docker ps -q) //停掉所有在运行的容器

自定义docker0桥的网络属性信息

官方文档相关配置 https://docs.docker.com/network/bridge/

自定义docker0桥的网络属性信息需要修改/etc/docker/daemon.json配置文件

[root@localhostl ~]# vim /etc/docker/daemon.json
{
    "bip": "192.168.1.5/24",
    "fixed-cidr": "192.168.1.5/25",
    "fixed-cidr-v6": "2001:db8::/64",
    "mtu": 1500,
    "default-gateway": "10.20.1.1",
    "default-gateway-v6": "2001:db8:abcd::89",
    "dns": ["10.20.1.2","10.20.1.3"]
}

[root@localhostl ~]# systemctl daemon-reload
[root@localhostl ~]# systemctl restart docker

核心选项为bip，即bridge ip之意，用于指定docker0桥自身的IP地址；其它选项可通过此地址计算得出。

码农公寓