Proxmox VE + Ceph 超融合项目实战（第四部分：物理网络）

2023-11-07 21:44:22

参考：https://blog.51cto.com/u_14742102/3425275

四、物理网络

本项目超融合平台主要由3个节点服务器集群组建，且使用Ceph搭建分布式存储，为保证平台可靠性要求，为保证性能要求，为保证虚拟机迁移速率等，强烈建立采用全万兆交换机部署。同时，IPMI网络单独部署交换机、业务网络单独部署交换机、管理网络单独部署交换机、存储网络单独部署交换机，但是由于客户预算有限，本项目只采用了1台三层全千兆交换机，同时在千兆交换机上划分不同VLAN以满足IPMI网络、业务网络、管理网络、存储网络的需求。

本项目主要是面向研发测试人员，除了对PVE超融合平台可靠性要求高之外，研发测试人员往往也比较关注PVE超融合平台的弹性化、自动化、分布式以及监控等问题。

4.1 物理网络拓扑

某某公司超融合项目中的物理网络设备主要包括S1724G交换机若干台，普联TL-ER3210G网关1台，既有服务器6台，PVE节点服务器3台、研发测试工位约40个。

本项目新建的研发测试超融合平台通过新增三层交换机S5110V2-28P-SI，直接接入到既有网络S1724G交换机，这样做是为了保持既有网络配置不变，而不是为了达到最优的网络性能。

由于客户现场网络环境受限，新增的三层交换机S5110V2-28P-SI只能接入到既有二层交换机S1724G，这种“核心”与“接入”倒挂的网络架构本身是不合理的，但是没有办法，客户现场网络环境只能如此组网。某某公司物理网络拓扑如图18所示。

图18. 某某公司物理网络拓扑

4.2 VLAN及IP规划

华三的三层交换机S5110V2-28P-SI以及既有网络设备、服务器主机以及虚拟机等的VLAN划分以及IP地址规划如表2所示。

表2. 网络设备的VLAN划分及IP分配

节点1~3服务器集群的VLAN划分以及IP地址规划如表3所示。

表3. 节点1~3服务器的VLAN划分及IP分配

子系统虚拟机的VLAN划分以及IP地址规划如表4所示。

表4. 虚拟机的VLAN划分及IP分配

4.3.网络配置

4.3.1 网关TL-ER3210G配置

某某公司既有网关TL-ER3210G的WAN口配置如图19所示：

图19. 网关TL-ER3210G的WAN口配置

某某公司既有网关TL-ER3210G的LAN口配置如图20所示：

图20. 网关TL-ER3210G的LAN口配置

网关TL-ER3210G的北向路由配置一条静态默认路由，实现与互联网互通，如图21所示。

图21. 网关TL-ER3210G的北向路由

网关TL-ER3210G的南向路由配置两条静态路由指向业务VLAN250、VLAN251，如图22所示。

图22. 网关TL-ER3210G的南向路由

4.3.2 交换机S5110V2-28P-SI配置

某某公司华三交换机S5110V2-28P-SI 的VLAN以及IP路由配置如下：

创建虚拟机VLAN250：

[H3C] vlan250
[H3C-vlan250] description service
[H3C-vlan250] quit

创建虚拟机VLAN251：

[H3C] vlan251
[H3C-vlan251] description service
[H3C-vlan251] quit

端口GigabitEthernet 1/0/17~ GigabitEthernet 1/0/19允许VLAN250~251通过：

[H3C] interface range GigabitEthernet 1/0/17 to GigabitEthernet 1/0/19
[H3C-if-range] port link-type trunk
[H3C-if-range] undo port trunk permit vlan 1
[H3C-if-range] port trunk permit vlan 250 to 251
[H3C-if-range] quit

创建Ceph存储VLAN：

[H3C] vlan252
[H3C-vlan252] description ceph
[H3C-vlan252] quit

创建Ceph存储集群VLAN：

[H3C] vlan253
[H3C-vlan253] description ceph-cluster
[H3C-vlan253] quit

创建Ceph存储公共VLAN：

[H3C] vlan254
[H3C-vlan254] description ceph-public
[H3C-vlan254] quit

创建管理VLAN：

[H3C] vlan255
[H3C-vlan255] description management
[H3C-vlan255] quit

端口GigabitEthernet 1/0/12~ GigabitEthernet 1/0/14允许VLAN252~255通过：

[H3C] interface range GigabitEthernet 1/0/12 to GigabitEthernet 1/0/14
[H3C-if-range] port link-type trunk
[H3C-if-range] undo port trunk permit vlan 1
[H3C-if-range] port trunk permit vlan 252 to 255
[H3C-if-range] quit

将端口GigabitEthernet 1/0/9~ GigabitEthernet 1/0/11加入VLAN255：

[H3C] interface range GigabitEthernet 1/0/9 to GigabitEthernet 1/0/11
[H3C-if-range] port access vlan 255
[H3C-if-range] quit

S5110V2-28P-SI 的北向路由配置：

S5110V2-28P-SI 的北向路由配置一条静态默认路由，实现业务VLAN250、VLAN251与互联网互通，如下所示：

[H3C] ip route-static 0.0.0.0 0 192.168.10.1

S5110V2-28P-SI 的南向路由配置：

S5110V2-28P-SI 的南向路由都是直连路由，业务VLAN250、VLAN251的终节点都在S5110V2-28P-SI，所以无需再配置南向静态路由。

4.3.3 研发测试终端路由设置

研发测试终端使用默认网关“192.168.10.1”上网，除此之外还需要访问VLAN250和VLAN251的虚拟机，需要增加三条路由：

route -p add 10.129.255.0 mask 255.255.255.0 192.168.10.253
route -p add 172.16.20.0 mask 255.255.255.0 192.168.10.253
route -p add 172.16.21.0 mask 255.255.255.0 192.168.10.253