LXD 2.0 系列（九）：实时迁移

2021-10-15 05:39:33

LXD 2.0 系列（九）：实时迁移

这是 LXD 2.0 系列介绍文章的第九篇。

  1. LXD 入门
  2. 安装与配置
  3. 你的第一个 LXD 容器
  4. 资源控制
  5. 镜像管理
  6. 远程主机及容器迁移
  7. LXD 中的 Docker
  8. LXD 中的 LXD

介绍

LXD 2.0 中的有一个尽管是实验性质的但非常令人兴奋的功能，那就是支持容器检查点和恢复。

简单地说，检查点/恢复意味着正在运行的容器状态可以被序列化到磁盘，要么可以作为同一主机上的有状态快照，要么放到另一主机上相当于实时迁移。

要求

要使用容器实时迁移和有状态快照，你需要以下条件：

  • 一个非常新的 Linux 内核，4.4 或更高版本。
  • CRIU 2.0，可能需要一些 cherry-pick 的提交，具体取决于你确切的内核配置。
  • 直接在主机上运行 LXD。 不能在容器嵌套下使用这些功能。
  • 对于迁移，目标主机必须至少实现源主机的指令集，目标主机内核必须至少提供与源主机相同的系统调用，并且在源主机上挂载的任何内核文件系统也必须可挂载到目标主机上。

Ubuntu 16.04 LTS 已经提供了所有需要的依赖，在这种情况下，您只需要安装 CRIU 本身：



  1. apt install criu 


使用 CRIU


有状态快照


一个普通的快照看上去像这样：




    

  1. stgraber@dakara:~$ lxc snapshot c1 first 
    2. 

  2. stgraber@dakara:~$ lxc info c1 | grep first 
    3. 

  3.  first (taken at 2016/04/25 19:35 UTC) (stateless) 
    4. 



一个有状态快照看上去像这样：




    

  1. stgraber@dakara:~$ lxc snapshot c1 second --stateful 
    2. 

  2. stgraber@dakara:~$ lxc info c1 | grep second 
    3. 

  3.  second (taken at 2016/04/25 19:36 UTC) (stateful) 
    4. 



这意味着所有容器运行时状态都被序列化到磁盘并且作为了快照的一部分。可以像你还原无状态快照那样还原一个有状态快照：




    

  1. stgraber@dakara:~$ lxc restore c1 second 
    2. 

  2. stgraber@dakara:~$ 
    3. 



有状态快照的停止/启动


比方说你由于升级内核或者其他类似的维护而需要重启机器。与其等待重启后启动所有的容器，你可以：




  1. stgraber@dakara:~$ lxc stop c1 --stateful 


容器状态将会写入到磁盘，会在下次启动时读取。


你甚至可以看到像下面那样的状态：




    

  1. root@dakara:~# tree /var/lib/lxd/containers/c1/rootfs/state/ 
    2. 

  2. /var/lib/lxd/containers/c1/rootfs/state/ 
    3. 

  3. ├── cgroup.img 
    4. 

  4. ├── core-101.img 
    5. 

  5. ├── core-102.img 
    6. 

  6. ├── core-107.img 
    7. 

  7. ├── core-108.img 
    8. 

  8. ├── core-109.img 
    9. 

  9. ├── core-113.img 
    10. 

  10. ├── core-114.img 
    11. 

  11. ├── core-122.img 
    12. 

  12. ├── core-125.img 
    13. 

  13. ├── core-126.img 
    14. 

  14. ├── core-127.img 
    15. 

  15. ├── core-183.img 
    16. 

  16. ├── core-1.img 
    17. 

  17. ├── core-245.img 
    18. 

  18. ├── core-246.img 
    19. 

  19. ├── core-50.img 
    20. 

  20. ├── core-52.img 
    21. 

  21. ├── core-95.img 
    22. 

  22. ├── core-96.img 
    23. 

  23. ├── core-97.img 
    24. 

  24. ├── core-98.img 
    25. 

  25. ├── dump.log 
    26. 

  26. ├── eventfd.img 
    27. 

  27. ├── eventpoll.img 
    28. 

  28. ├── fdinfo-10.img 
    29. 

  29. ├── fdinfo-11.img 
    30. 

  30. ├── fdinfo-12.img 
    31. 

  31. ├── fdinfo-13.img 
    32. 

  32. ├── fdinfo-14.img 
    33. 

  33. ├── fdinfo-2.img 
    34. 

  34. ├── fdinfo-3.img 
    35. 

  35. ├── fdinfo-4.img 
    36. 

  36. ├── fdinfo-5.img 
    37. 

  37. ├── fdinfo-6.img 
    38. 

  38. ├── fdinfo-7.img 
    39. 

  39. ├── fdinfo-8.img 
    40. 

  40. ├── fdinfo-9.img 
    41. 

  41. ├── fifo-data.img 
    42. 

  42. ├── fifo.img 
    43. 

  43. ├── filelocks.img 
    44. 

  44. ├── fs-101.img 
    45. 

  45. ├── fs-113.img 
    46. 

  46. ├── fs-122.img 
    47. 

  47. ├── fs-183.img 
    48. 

  48. ├── fs-1.img 
    49. 

  49. ├── fs-245.img 
    50. 

  50. ├── fs-246.img 
    51. 

  51. ├── fs-50.img 
    52. 

  52. ├── fs-52.img 
    53. 

  53. ├── fs-95.img 
    54. 

  54. ├── fs-96.img 
    55. 

  55. ├── fs-97.img 
    56. 

  56. ├── fs-98.img 
    57. 

  57. ├── ids-101.img 
    58. 

  58. ├── ids-113.img 
    59. 

  59. ├── ids-122.img 
    60. 

  60. ├── ids-183.img 
    61. 

  61. ├── ids-1.img 
    62. 

  62. ├── ids-245.img 
    63. 

  63. ├── ids-246.img 
    64. 

  64. ├── ids-50.img 
    65. 

  65. ├── ids-52.img 
    66. 

  66. ├── ids-95.img 
    67. 

  67. ├── ids-96.img 
    68. 

  68. ├── ids-97.img 
    69. 

  69. ├── ids-98.img 
    70. 

  70. ├── ifaddr-9.img 
    71. 

  71. ├── inetsk.img 
    72. 

  72. ├── inotify.img 
    73. 

  73. ├── inventory.img 
    74. 

  74. ├── ip6tables-9.img 
    75. 

  75. ├── ipcns-var-10.img 
    76. 

  76. ├── iptables-9.img 
    77. 

  77. ├── mm-101.img 
    78. 

  78. ├── mm-113.img 
    79. 

  79. ├── mm-122.img 
    80. 

  80. ├── mm-183.img 
    81. 

  81. ├── mm-1.img 
    82. 

  82. ├── mm-245.img 
    83. 

  83. ├── mm-246.img 
    84. 

  84. ├── mm-50.img 
    85. 

  85. ├── mm-52.img 
    86. 

  86. ├── mm-95.img 
    87. 

  87. ├── mm-96.img 
    88. 

  88. ├── mm-97.img 
    89. 

  89. ├── mm-98.img 
    90. 

  90. ├── mountpoints-12.img 
    91. 

  91. ├── netdev-9.img 
    92. 

  92. ├── netlinksk.img 
    93. 

  93. ├── netns-9.img 
    94. 

  94. ├── netns-ct-9.img 
    95. 

  95. ├── netns-exp-9.img 
    96. 

  96. ├── packetsk.img 
    97. 

  97. ├── pagemap-101.img 
    98. 

  98. ├── pagemap-113.img 
    99. 

  99. ├── pagemap-122.img 
    100. 

  100. ├── pagemap-183.img 
    101. 

  101. ├── pagemap-1.img 
    102. 

  102. ├── pagemap-245.img 
    103. 

  103. ├── pagemap-246.img 
    104. 

  104. ├── pagemap-50.img 
    105. 

  105. ├── pagemap-52.img 
    106. 

  106. ├── pagemap-95.img 
    107. 

  107. ├── pagemap-96.img 
    108. 

  108. ├── pagemap-97.img 
    109. 

  109. ├── pagemap-98.img 
    110. 

  110. ├── pages-10.img 
    111. 

  111. ├── pages-11.img 
    112. 

  112. ├── pages-12.img 
    113. 

  113. ├── pages-13.img 
    114. 

  114. ├── pages-1.img 
    115. 

  115. ├── pages-2.img 
    116. 

  116. ├── pages-3.img 
    117. 

  117. ├── pages-4.img 
    118. 

  118. ├── pages-5.img 
    119. 

  119. ├── pages-6.img 
    120. 

  120. ├── pages-7.img 
    121. 

  121. ├── pages-8.img 
    122. 

  122. ├── pages-9.img 
    123. 

  123. ├── pipes-data.img 
    124. 

  124. ├── pipes.img 
    125. 

  125. ├── pstree.img 
    126. 

  126. ├── reg-files.img 
    127. 

  127. ├── remap-fpath.img 
    128. 

  128. ├── route6-9.img 
    129. 

  129. ├── route-9.img 
    130. 

  130. ├── rule-9.img 
    131. 

  131. ├── seccomp.img 
    132. 

  132. ├── sigacts-101.img 
    133. 

  133. ├── sigacts-113.img 
    134. 

  134. ├── sigacts-122.img 
    135. 

  135. ├── sigacts-183.img 
    136. 

  136. ├── sigacts-1.img 
    137. 

  137. ├── sigacts-245.img 
    138. 

  138. ├── sigacts-246.img 
    139. 

  139. ├── sigacts-50.img 
    140. 

  140. ├── sigacts-52.img 
    141. 

  141. ├── sigacts-95.img 
    142. 

  142. ├── sigacts-96.img 
    143. 

  143. ├── sigacts-97.img 
    144. 

  144. ├── sigacts-98.img 
    145. 

  145. ├── signalfd.img 
    146. 

  146. ├── stats-dump 
    147. 

  147. ├── timerfd.img 
    148. 

  148. ├── tmpfs-dev-104.tar.gz.img 
    149. 

  149. ├── tmpfs-dev-109.tar.gz.img 
    150. 

  150. ├── tmpfs-dev-110.tar.gz.img 
    151. 

  151. ├── tmpfs-dev-112.tar.gz.img 
    152. 

  152. ├── tmpfs-dev-114.tar.gz.img 
    153. 

  153. ├── tty.info 
    154. 

  154. ├── unixsk.img 
    155. 

  155. ├── userns-13.img 
    156. 

  156. └── utsns-11.img 
    157. 

  157. 0 directories, 154 files 
    158. 



还原容器也很简单：




  1. stgraber@dakara:~$ lxc start c1 


实时迁移


实时迁移基本上与上面的有状态快照的停止/启动相同，除了容器目录和配置被移动到另一台机器上。




    

  1. stgraber@dakara:~$ lxc list c1 
    2. 

  2. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    3. 

  3. | NAME |  STATE  |          IPV4         |                     IPV6                     |    TYPE    | SNAPSHOTS | 
    4. 

  4. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    5. 

  5. | c1   | RUNNING | 10.178.150.197 (eth0) | 2001:470:b368:4242:216:3eff:fe19:27b0 (eth0) | PERSISTENT | 2         | 
    6. 

  6. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    7. 

  7. stgraber@dakara:~$ lxc list s-tollana: 
    8. 

  8. +------+-------+------+------+------+-----------+ 
    9. 

  9. | NAME | STATE | IPV4 | IPV6 | TYPE | SNAPSHOTS | 
    10. 

  10. +------+-------+------+------+------+-----------+ 
    11. 

  11. stgraber@dakara:~$ lxc move c1 s-tollana: 
    12. 

  12. stgraber@dakara:~$ lxc list c1 
    13. 

  13. +------+-------+------+------+------+-----------+ 
    14. 

  14. | NAME | STATE | IPV4 | IPV6 | TYPE | SNAPSHOTS | 
    15. 

  15. +------+-------+------+------+------+-----------+ 
    16. 

  16. stgraber@dakara:~$ lxc list s-tollana: 
    17. 

  17. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    18. 

  18. | NAME |  STATE  |          IPV4         |                     IPV6                     |    TYPE    | SNAPSHOTS | 
    19. 

  19. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    20. 

  20. | c1   | RUNNING | 10.178.150.197 (eth0) | 2001:470:b368:4242:216:3eff:fe19:27b0 (eth0) | PERSISTENT | 2         | 
    21. 

  21. +------+---------+-----------------------+----------------------------------------------+------------+-----------+ 
    22. 



限制


正如我之前说的，容器的检查点/恢复还是非常新的功能，我们还在努力地开发这个功能、修复已知的问题。我们确实需要更多的人来尝试这个功能，并给我们反馈，但我不建议在生产中使用这个功能。


我们跟踪的问题列表在 Launchpad上。


我们估计在带有 CRIU 的 Ubuntu 16.04 上带有几个服务的基本的 Ubuntu 容器能够正常工作。然而在更复杂的容器、使用了设备直通、复杂的网络服务或特殊的存储配置下可能会失败。


要是有问题，CRIU 会尽可能地在转储时失败，而不是在恢复时。在这种情况下，源容器将继续运行，快照或迁移将会失败，并生成一个日志文件用于调试。


在极少数情况下，CRIU 无法恢复容器，在这种情况下，源容器仍然存在但将被停止，并且必须手动重新启动。


发送 bug 报告


我们正在跟踪 Launchpad 上关于 CRIU Ubuntu 软件包的检查点/恢复相关的错误。大多数修复 bug 工作是在上游的 CRIU 或 Linux 内核上进行，但是这种方式我们更容易跟踪。


要提交新的 bug 报告，请看这里。


请务必包括：


    

  • 你运行的命令和显示给你的错误消息
    • 

  • lxc info 的输出(*)
    • 

  • lxc info <container name>的输出
    • 

  • lxc config show -expanded <container name> 的输出
    • 

  • dmesg(*)的输出
    • 

  • /proc/self/mountinfo 的输出(*)
    • 

  • lxc exec <container name> - cat /proc/self/mountinfo 的输出
    • 

  • uname -a(*)的输出
    • 

  • /var/log/lxd.log(*)的内容
    • 

  • /etc/default/lxd-bridge(*)的内容
    • 

  • /var/log/lxd/<container name>/ 的 tarball(*)
    • 



如果报告迁移错误，而不是状态快照或有状态停止的错误，请将上面所有含有(*)标记的源与目标主机的信息发来。






















作者：Stéphane Graber


来源：51CTO
上一篇：企业邮件部署详细步骤（EMOS）

下一篇：《企业级ios应用开发实战》一2.6 在模拟器上运行应用程序