系统启动后bond配置不生效问题定位

背景描述

为了适配新功能,裸金属服务的磁盘镜像中做了如下修改:

  1. dracut添加network, iscsi模块
  2. grub添加rd.iscsi.firmware=1参数
  3. 删除网卡配置文件/etc/sysconfig/network-scripts/ifcfg-*
  4. 禁止network服务开机启动,防止网络中断

修改镜像后,需对裸金属服务既有功能进行测试,包括初始化密码、重置密码、从卷创建、从备份创建、重新部署、网卡bond配置等等。

环境准备

基础网段:10.33.46.0/24

裸金属节点:72a651ba-f6e7-42a0-892d-62089769ceb1,bm-11

裸金属网卡组:

  • 模式:active-backup
  • 关联网卡:eth0、eth3
  • 所属节点:72a651ba-f6e7-42a0-892d-62089769ceb1
  • 关联vif:84a48aa9-bf77-40a5-a410-a94a052cd5a7,10.33.46.186

裸金属镜像:hikos-x86_64-baremetal-cloudinit

问题描述

裸金属节点启动后发现bond配置未生效,eth0不是bond0的从属网卡,而是通过dhcp获取了ip,如下图所示:

系统启动后bond配置不生效问题定位

问题排查

检查网卡配置文件,eth0、eth3、bond0的配置正常:

系统启动后bond配置不生效问题定位

手动重启NetworkManager服务,eth0依然通过dhcp获取ip。

尝试ifup eth0,不生效且无任何输出;尝试ifdown eth0后再ifup,发现eth0成功变为bond0的从属网卡。

系统启动后bond配置不生效问题定位

由于NetworkManager服务通过ifcfg-rh脚本来兼容/etc/sysconfig/network-scripts/目录下的网卡配置文件,本质上还是用ifup命令拉起各个网卡,因此推测在initrd阶段,eth3网卡就已经拿到ip,NetworkManager服务的启动不会对已拉起的eth3网卡做修改,才导致bond配置不生效。

测试重新制作initrd,将之前添加的network、iscsi模块忽略,重启系统后发现bond生效,因此原因应该是initrd阶段eth3网卡已拉起。

cat /etc/dracut.conf
# omit_dracutmodules+="network iscsi"
dracut -v -f -N /boot/initramfs-3.10.0-1160.49.1.el7.x86_64.img 3.10.0-1160.49.1.el7.x86_64
# 重启系统

重启后恢复initrd至原样。

解决方案

常规解决方案为在NetworkManager服务启动前刷新网卡ip,是NetworkManager能够根据网卡配置重新拉起网卡。

当裸金属从卷启动时,要求系统启动的过程中网络一直能联通,因此可以屏蔽从卷启动方式裸金属的网卡bond功能。在NetworkManager服务启动前判断是否是从卷启动,如果不为从卷启动,则刷新网卡,所使用到的命令如下:

# 搜索网卡中的iscsi配置,若搜索不到则报错
iscsiadm -m fw
# 刷新所有网卡的配置
ip addr flush scope global

最终决定在cloud-init的local阶段执行此命令,修改cloud-init的cmd/main.py文件,如下所示:

diff --git a/main.py b/main.py
index b562646..4f0d7a9 100644
--- a/test1
+++ b/test2
@@ -359,6 +359,7 @@ def main_init(name, args):
         # dhcp clients to advertize this hostname to any DDNS services
         # LP: #1746455.
         _maybe_set_hostname(init, stage='local', retry_stage='network')
+        _may_flush_ip_link()
     init.apply_network_config(bring_up=bool(mode != sources.DSMODE_LOCAL))

     if mode == sources.DSMODE_LOCAL:
@@ -712,6 +713,19 @@ def _maybe_set_hostname(init, stage, retry_stage):
                 'Failed setting hostname in %s stage. Will'
                 ' retry in %s stage. Error: %s.', stage, retry_stage, str(e))

+def _may_flush_ip_link():
+    LOG.debug("Cleaning up ip link address.")
+
+    ipsan_check_cmd = ['iscsiadm', '-m', 'fw']
+    ip_addr_cmd = ['ip', 'addr', 'flush', 'scope', 'global']
+
+    try:
+        util.subp(ipsan_check_cmd)
+
+    except Exception as e:
+        LOG.debug("iscsiadm failed to display nic iscsi info, will"
+        " flush ip link address. Error: %s", str(e))
+        util.subp(ip_addr_cmd)

 def main_features(name, args):
     sys.stdout.write('\n'.join(sorted(version.FEATURES)) + '\n')

附录

参考文档

dracut 054 (kernel.org)

# generated by dracut initrd

如果再次启动后发现仍未生效,查看网卡配置文件发现有# generated by dracut initrd的字样,这是由于dracut的ifcfg模块会写入根文件系统的网络配置,需忽略initrd的ifcfg模块。

上一篇:【MySQL复习】常用数据类型


下一篇:centos网卡做bond