5. 自动恢复场景演练

在分布式系统设计中有一种容错策略是故障恢复（failback），通过健康检查等机制，能在机器或者应用出现问题时自动的进行重新部署。我们利用Chaos进行故障演练，测试我们的系统是否具有这样的能力

1. 进行稳态假设。定义一个稳态指标，来评估系统的健康状态并且在实施混沌过程当中进行监控和处理。
   

我们将稳态定义为 能访问我们的frontend界面，并正常使用各种购物车、下单等功能。

1. 模拟真实事件。
   

2.1 切换回应用高可用服务控制台。在左侧导航栏中，单击我的空间。

2.2 在我的空间页面，在新建演练下拉列表中单击新建空白演练。

2.3 在演练配置页面，完成以下操作：

（1）设置演练名称。

（2）在演练对象配置向导中，演练应用选择frontend，应用分组选择frontend-group，机器列表选择任意一台机器，单击添加演练内容。

（3）在选择演练故障对话框中，选择JAVA应用>延迟>容器内Java延迟，单击确定。

（4）在演练配置页面，单击容器内Java延迟。

（5）在容器内Java延迟面板中，依次输入类的全限定名、方法名、进程关键字和目标容器名称，单击关闭。

• 类的全限定名：输入com.alibabacloud.hipstershop.web.HealthController。

• • 方法名：输入health。

• • • 进程关键字：输入java。
      
    • 目标容器名称：选择frontend。
      

（6）在演练内容区域中，单击保存。

（7）单击下一步。

（8）在全局配置的监控策略区域，单击新增策略。

（9）在新增策略对话框中，选择业务监控>业务状态观察（Http），单击确定。

（10）在业务状态观察（Http）面板中，请求类型选择get，URL输入http://<frontend的外部端点>/。

说明 ：

frontend的外部端点在容器服务ACK控制台frontend服务的访问方式页签中获取。

（11）在全局配置配置向导中，单击下一步。

（12）在成功对话框中，单击演练详情。

2.4 在演练详情页面，单击演练。

2.5 在开始执行演练对话框中，单击确认。

1. 检测实验影响。
   

3.1 在演练记录详情页面，查看业务状态观测（Http）时序图。您可以看到health接口的调用在遇到故障之后，先降低，然后马上自动恢复至正常状态，说明我们的设计奏效了。

3.2 切换回容器服务ACK控制台，在frontend服务页面，单击事件页签。

您可以看到frontend自动的进行了扩容。

1. 终止实验。
   

4.1 切换回应用高可用服务控制台。在演练记录详情页面中，单击终止。

4.2 在停止演练对话框中，单击确定。

4.3 等待演练场景终止之后，在结果反馈对话框中，单击确定。

6. 强弱依赖场景演练

在微服务架构中，各个服务之间存在许多依赖关系。但是当一个不重要的弱依赖宕机时，一个健壮的系统应该仍然能够正常的运行。我们利用Chaos进行故障演练，测试我们的系统处理强弱依赖的能力如何。

1. 进行稳态假设。
   

1.1 切换回容器服务ACK控制台，单击frontend的外部端点。

 1.2 在Hipster Shop页面，多次刷新页面。您可以看到页面商品的排序每一次都不一样。您可以理解为商品推荐服务会根据个性化进行推荐，使产品存在优先级。因此我们将稳态定义为，每次刷新页面，商品的排序不同。

1. 模拟真实事件。
   

2.1 切换回应用高可用服务控制台。在左侧导航栏，单击我的空间。

2.2 在我的空间页面，在新建演练下拉列表中单击新建空白演练。

2.3 在演练配置页面，完成以下操作：

（1）设置演练名称。

（2）在演练对象配置向导中，演练应用选择recommendationservice，应用分组选择recommendationservice-group，机器列表选择机器，单击添加演练内容。

（3）在选择演练故障对话框中，选择JAVA应用>延迟>容器内Java延迟，单击确定。

（4）在演练内容区域中，单击容器内Java延迟。

（5）在容器内Java延迟面板中，依次输入类的全限定名、方法名、进程关键字和目标容器名称，单击关闭。

• 类的全限定名：输入com.alibabacloud.hipstershop.recomendationservice.service.RecommendationServiceImpl。

• • 方法名：输入sortProduct。

• • • 进程关键字：输入java。
      
    • 目标容器名称：选择recommendationservice。
      

（6）在演练对象中，单击保存。

（7）单击下一步。

（8）在全局配置中，单击下一步。

（9）在成功对话框中，单击演练详情。

2.4 在演练详情页面，单击演练。

2.5 在开始执行演练对话框中，单击确认。

1. 检测实验影响。
   

3.1 切换回容器服务ACK控制台。在无状态页面，单击frontend。

3.2 在frontend页面，单击访问方式页签，然后单击frontend的外部端点。

3.3 在Hipster Shop页面，多次刷新页面。您可以发现每次刷新，产品顺序不会改变。说明推荐服务宕机，但并没有影响别的服务。

1. 终止实验。
   

4.1 切换至应用高可用服务控制台，在演练记录详情页面，单击终止。

4.2 在停止演练对话框中，单击确定。

4.3 在结果反馈对话框中，单击确定。

7. 失败重试场景演练

在微服务架构中，一个大系统被拆分成多个小服务，小服务之间存在大量RPC调用，经常可能因为网络抖动等原因导致RPC调用失败，这时候使用重试机制可以提高请求的最终成功率，减少故障影响，让系统运行更稳定。我们通过利用Chaos，给系统注入失败，看看系统失败重试的性能如何。

1. 进行稳态假设。
   

1.1 切换回容器服务ACK控制台，在无状态页面，单击cartservice。

1.2 在cartservice页面，单击伸缩。

1.3 在伸缩对话框中，将所需容器组数量更改为2，单击确定。

待状态变为Running，表示容器组扩容成功。

1.4 切换至Hispter Shop页面，单击购物车。

返回如下页面，表示购物车服务正常。因此我们将稳态定义为，能够正常使用frontend的购物车功能。

1. 模拟真实事件。
   

2.1 切换回应用高可用服务控制台，在左侧导航栏，单击我的空间。

2.2 在我的空间页面，在新建演练下拉列表中单击新建空白演练。

2.3 在演练配置页面，完成以下操作：

（1）设置演练名称。

（2）在演练对象中，演练应用选择cartservice，应用分组选择cartservice-group，机器列表选择任意一台机器，单击添加演练内容。

（3）在选择演练故障对话框中， 选择JAVA应用>抛异常>容器内Java延迟抛出自定义异常，单击确定。

（4）在演练内容区域中，单击容器内Java延迟抛出自定义异常。

（5）在容器内Java延迟抛出自定义异常面板中，依次输入方法名、类的全限定名、异常、进程关键字和目标容器名称，单击关闭。

• 方法名：输入viewCart。

• • 类的全限定名：输入com.alibabacloud.hipstershop.cartserviceprovider.service.CartServiceImpl。

• • • 异常：输入java.lang.Exception。
      
    • 进程关键字：输入java。
      
    • 目标容器名称：选择cartservice。
      

（6）在演练对象中，单击保存。

（7）单击下一步。

（8）在全局配置中，单击下一步。

（9）在成功对话框中，单击演练详情。

2.4 在演练详情页面，单击演练。

2.5 在开始执行演练对话框中，单击确认。

1. 检测实验影响。
   

3.1 切换至Hispter Shop页面，单击购物车。

返回如下页面，您发现无法访问购物车。这是因为流量并没有切换到没有宕机的那台机器，同时 说明我们的系统并没有失败重试的能力，或者是一开始就没有设计，或者是没有生效。通过这次故障注入，我们发现了系统的缺陷。

3.2 切换至应用高可用服务控制台，在演练记录详情页面，单击终止。

3.3 在停止演练对话框中，单击确定。

3.4 在结果反馈对话框中，单击确定。

返回如下页面，表示演练结束。

8. 微服务演练

在体验了上述三个场景演练之后，我们对混沌工程有了初步的了解，也掌握了应用高可用服务的基本功能。但是这样手动部署参数的过程还是比较繁琐的。接下来我们体验一下更为方便快捷的强弱依赖治理。

1. 切换至应用高可用服务控制台。在左侧导航栏中，单击微服务演练。
   

并选择强弱依赖治理页面。

1. 在强弱依赖治理页面中，单击创建治理方案。
   

1. 在创建治理方案的配置向导页面，完成以下操作。
   

3.1 在应用接入中，自定义方案名称，治理应用选择frontend，单击下一步。

3.2 在强弱依赖治理以30天为治理周期对话框中，单击确认。

3.3 在依赖分析中，等待分析完成，单击下一步。

3.4 在依赖预判中，自行选择依赖对象的强弱依赖预判，例如nacos-standalone和checkoutservice的强弱依赖预判可选择强依赖，其他依赖对象默认弱依赖，然后单击下一步。

3.5 在依赖验证中，选择任意用例进行验证。例如选择frontend与nacos-standalone强弱依赖验证用例，单击去验证。

3.6 在去验证前的参数确认对话框中，单击确定验证。

注意：

如果窗口没有跳转，请注意跳转是否被拦截，请手动解除

1. 在演练详情页面中，单击演练。
   

1. 在开始执行演练对话框中，单击确认。
   

1. 切换至Hipster Shop页面，单击网页的任意功能。您可以发现Hipster Shop网页和相关功能均可以正常访问，说明frontend服务与nacos-standalone服务是弱依赖关系。
   
2. 切换至应用高可用服务控制台，在演练记录详情页面，单击终止。
   

1. 在停止演练对话框中，单击确定。
   

1. 在结果反馈对话框中，结论选择不符合预期，验证结果选择弱依赖，单击确定，返回强弱依赖治理。
   

1. 在依赖验证中，您可以验证其他用例，验证完成后，单击方案归档。
   

1. 在您确定要归档此方案吗对话框中，单击确认归档。
   

返回如下页面，表示归档完毕。

您还可以通过使用MSHA快速体验异地、同城多活容灾。动手实验室地址：https://developer.aliyun.com/adc/scenario/998a993afe624e3eadcf5f8f6b791064