工程师团队最不愿碰到的便是大半夜被电话叫醒，开始紧张地查验问题，处理故障以及恢复服务。也许就是因为睡前的一个很小的变更，因某种未预料到的场景，引起蝴蝶效应，导致大面积的系统混乱、故障和服务中断，对客户的业务造成影响。特别是近几年，尽管有充分的监控告警和故障处理流程，这样的新闻在 IT 行业仍时有耳闻。问题的症结便在于，对投入生产的复杂系统有多少信心。监控告警和故障处理都是事后的响应与被动的应对，那有没有可能提前发现这些复杂系统的弱点呢?

　　混沌工程 Chaos Engineering

　　在分布式系统上进行由经验指导的受控实验，观察系统行为并发现系统弱点，以建立对系统在规模增大时因意外条件引发混乱的能力和信心。

　　混沌工程发展简介

　　2008年8月， Netflix 主要数据库的故障导致了三天的停机， DVD 租赁业务中断，多个国家的大量用户受此影响。之后 Netflix 工程师着手寻找替代架构，并在2011年起，逐步将系统迁移到 AWS 上，运行基于微服务的新型分布式架构。这种架构消除了单点故障，但也引入了新的复杂性类型，需要更加可靠和容错的系统。为此， Netflix 工程师创建了 Chaos Monkey ，会随机终止在生产环境中运行的 EC2 实例。工程师可以快速了解他们正在构建的服务是否健壮，有足够的弹性，可以容忍计划外的故障。至此，混沌工程开始兴起。

图1 – 混沌工程演进时间线

　　图1中展示了混沌工程从2010年演进发展的时间线：

　　2010年 Netflix 内部开发了 AWS 云上随机终止 EC2 实例的混沌实验工具： Chaos Monkey

　　2011年 Netflix 释出了其猴子军团工具集： Simian Army

　　2012年 Netflix 向社区开源由 Java 构建 Simian Army，其中包括 Chaos Monkey V1 版本

　　2014年 Netflix 开始正式公开招聘 Chaos Engineer

　　2014年 Netflix 提出了故障注入测试(FIT)，利用微服务架构的特性，控制混沌实验的爆炸半径

　　2015年 Netflix 释出 Chaos Kong ，模拟AWS区域(Region)中断的场景

　　2015年 Netflix 和社区正式提出混沌工程的指导思想 – Principles of Chaos Engineering

　　2016年 Kolton Andrus(前 Netflix 和 Amazon Chaos Engineer )创立了 Gremlin ，正式将混沌实验工具商用化

　　2017年 Netflix 开源 Chaos Monkey 由 Golang 重构的 V2 版本，必须集成 CD 工具 Spinnaker 来使用

　　2017年 Netflix 释出 ChAP (混沌实验自动平台)，可视为应用故障注入测试(FIT)的加强版

　　2017年 由Netflix 前混沌工程师撰写的新书“混沌工程”在网上出版

　　2017年 Russell Miles 创立了 ChaosIQ 公司，并开源了 chaostoolkit 混沌实验框架

　　今天，许多公司包括 FANG，都有自己的 Chaos Engineer ，使用某种形式的混沌工程实验，来提高现代架构的可靠性。由于混沌工程的目的是给复杂的分布式系统引入扰动，并观察系统行为，借此发现系统弱点。因此，混沌工程实验中涉及的可行性调研、实验场景和环境的设计与计划、工具的选型和配合方式、系统行为的观测方法、以及找到问题后如何改善系统架构和运维模式，都需要科学的分析和有经验的混沌工程专家指导。