Proxmox VE + Ceph 超融合项目实战（第五部分：虚拟网络）

2023-11-07 21:51:22

参考：https://blog.51cto.com/u_14742102/3425275

五、虚拟网络

5.1 PVE虚拟网络拓扑

某某公司超融合项目的虚拟网络的核心架构是在PVE虚拟化平台上创建虚拟交换机（OVS类型）、创建虚拟主机，并与物理交换机、物理路由器一起，组建管理网以及业务网。虚拟主机通过接入到虚拟交换机中实现相互通信，虚拟交换机接入到物理交换机中，物理交换机接入到物理路由器中，组成虚拟网络与物理网络互联互通的混合网络，如图23所示。

图23. 虚拟网络与物理网络混合架构

5.2 PVE虚拟网络简介

Proxmox VE基于Debian Linux操作系统，Debian Linux操作系统支持原生的虚拟网络有Linux Bridge、Linux Bond及Linux VLAN三种类型。Proxmox VE同时集成了Open vSwitch（OVS）开放虚拟交换机组件，所以Proxmox VE的原生虚拟网络除了Linux Bridge、Linux Bond及Linux VLAN这三种类型之外，还包括Open vSwitch类型，如图24所示。

图24. Proxmox VE原生虚拟网络模型

根据Proxmox VE官网的wiki文档《Open vSwitch》介绍，Open vSwitch和Linux Bridge、Linux Bond或Linux VLAN不能混合使用。例如，不要尝试将Linux VLAN添加到OVS Bond，或将Linux Bond添加到OVS Bridge，反之亦然。Open vSwitch是专门为在虚拟化环境中运行而定制的，无需使用主机自带的Linux Bridge、Linux Bond或Linux VLAN等功能，如图25所示。

图25. Open vSwitch不能与Linux原生虚拟网络混用

在本项目中，Proxmox VE的虚拟网络使用Open vSwitch，不使用Linux原生虚拟网络，后续不再做声明。

5.3 节点1的PVE虚拟网络配置

如图20中的虚拟网络与物理网络的混合架构看起来非常复杂，以致于不得不删减了一些跟集群相关的虚拟网，为了方便进行配置，有必要对图22的网络架构进行解构，进行还原，节点1的PVE虚拟网络如图26所示。

图26. 节点1的PVE虚拟网络架构

5.3.1 管理网络配置

根据表2和表3，管理网络的VLAN ID是VLAN 255，包括节点1的PVE系统的管理以及节点1服务器的BMC接口都统一划分到VLAN 255，其中VLAN 255的虚拟IP地址在S5110V2-28P-SI上。注意，在Proxmox VE语境下，Bridge（网桥）等同于Switch（交换机），后续不再做声明。在做配置演示之前，我先把节点1的虚拟网络配置截图出来，大家有个大概了解，不至于蒙圈，如图27所示。

图27. 节点1的虚拟网络配置

好了，下面我们开始演示节点1的管理网络的配置，有了图27，相信大家很容易能理解下面这些步骤。

第一步：创建名称为“vmbr1”的OVS Bridge（虚拟交换机），并将“eno2”物理接口捆绑到虚拟交换机，如图28所示。

图28. 创建名称为vmbr1的虚拟交换机

注意：eno1和eno2的类型是“网络设备”，这表明是物理接口。当物理接口eno1和eno2被捆绑到虚拟交换机之后，eno1和eno2的类型就会变成“OVS Port”，也就是成为虚拟交换机上的接口，这个接口是可以使用物理网线直接连接的，仍然属于物理接口，只不过在虚拟交换机上，变了个称呼，叫“OVS Port”。

第二步：配置“eno2”的VLAN属性，VLAN属性与物理交换机相对应的接口保持一致，如图29所示。

OVS Port是物理接口“eno2”在虚拟交换机上的接口属性，本质上是一个物理接口，可以使用网线将“eno2”与物理交换机S5110V2-28P-SI的G1/0/12接口连接起来，所以“eno2”的VLAN属性与G1/0/12的VLAN属性要一致，才能进行通信。

图29. “eno2”的VLAN属性

第三步：创建名称为“br1mgnt”的OVS IntPort（虚拟接口），并将“br1mgnt”虚拟接口捆绑到虚拟交换机vmbr1上，如图30所示。

OVS IntPort与OVS Port的区别就是，OVS IntPort是一个虚拟接口，是OVS虚拟出来的一个接口，无法连接网线的，而OVS Port是可以的。OVS IntPort如果要与物理网络通信，需要与物理接口（OVS Port）比如说“eno2”捆绑到同一个虚拟交换机上，且该虚拟交换机不能直接配置IP地址。

图30. 创建名称为br1mgnt的虚拟接口

注意1，“br1mgnt”虚拟接口中填写了默认网关“10.129.255.1”，整个节点1的PVE虚拟网络只能有一个默认网关，类似于物理主机只能有一个默认网关，也就是说只能有一条八个零的路由，如图26所示，节点1的PVE虚拟网络只有“10.129.255.1”一个默认网关。

注意2，如果节点服务器的物理网卡数量多，也可以直接使用物理接口捆绑虚拟交换机，然后直接给虚拟交换机配置管理IP地址，而不需要使用IntPort接口。

本项目中，PVE虚拟网络只有二层交换，不涉及到IP路由，无需创建虚拟路由器，IP路由算法由物理网络设备负责。

5.3.2 业务网络配置

根据表2和表3，业务网络的VLAN ID是VLAN 250和VLAN 251，包括节点1的虚拟主机VM1~VM7划分到VLAN 251，节点2的虚拟机VM8~VM14划分到VLAN 250，节点3的虚拟机VM15~VM21划分到VLAN 250，其中VLAN 250和VLAN 251的虚拟IP地址在物理交换机S5110V2-28P-SI上。