• 0
• 0

混沌工程基本原理

技术分享 4个月前 (11-01) 0 999+

关注

1、诞生

先看下这个生动的图吧。

文字版

2008年之前，国际巨型视频网站Netflix的模式还是自建机房，自己维护，由于在全球有超1亿用户，所以流量特别大。有一天服务宕机，导致部分国家的不可用长达1天时间，于是他们决定将服务器迁移到AWS上，做了多节点分布式部署，同时增加对服务可用性、容错性、健壮性的实验，而这套实验方法就是混沌工程的前身。他们将这种实验方法和工具抽象剥离出来后，命名为Choas Monkey，寓意为上蹿下跳捣乱的猴子（看来猴子这个物种无论海内海外，都认为他们喜欢捣乱，想想大闹天宫的大圣）。

经过几年的发展，这种思想被业界争相效仿，来提升自己公司的产品。而就在这个时候，2014年Netflix宣布新增一个叫混沌工程师的职位，代表Netflix将混沌工程融入了自己的运维过程，这也直接激起了混沌工程的热度。

2015年，Netflix与社区正式提出了混沌工程原则，从此Choas Monkey不再是一种工具、一组方法，而是真正形成了一套理论。

2、定义与作用

定义

混沌工程（Chaos Engineering）是一种通过主动向系统中注入故障或异常条件，以验证系统在真实环境中的韧性、发现潜在弱点，并提升系统容错能力的技术实践。它旨在将不可预测的故障转化为可控实验，帮助构建高可用的分布式系统。-- 来自Deepseek

 

混沌工程是一种通过主动在系统中引入可控的故障和不确定性，来测试和验证系统韧性的实践方法。

其核心目标是：在系统发生意外故障（如服务器宕机、网络延迟、数据丢失等）前，主动发现潜在的脆弱点，从而提升系统在真实复杂环境中的稳定性、可靠性和容错能力。

简单来说，就像给系统“打疫苗”，通过模拟各种可能的“疾病”（故障），让系统提前适应并增强抵御风险的能力，减少实际运行中突发故障造成的损失。 -- 来自豆包

 

作用

1. 提前暴露潜在故障点，降低线上故障发生率与复发率
2. 验证故障恢复机制有效性
3. 构建系统自愈能力，提高故障应急效率
4. 提高系统架构的容错能力与健壮性

 

经典案例

• Netflix 的 Chaos Monkey：随机终止生产环境虚拟机，迫使服务实现自动化容错。
• NASA航天系统：在阿波罗计划中通过“故障注入”测试飞船的生存能力。
• 银行系统演练：定期模拟数据中心宕机，验证异地多活的切换时效。

再来个图，直观了解某银行应用混沌工程的案例：

几个好理解的场景

• 服务器宕机： 模拟某个服务器失效，观察系统是否能通过负载均衡快速恢复。
• 网络延时： 模拟高延迟或丢包场景，评估用户体验是否受到影响。
• 流量激增： 测试系统在突发流量下的响应能力，找到可能的性能瓶颈。

混动工程是一种主动发现问题的方式，而不是被动等待事故发生。就像 Netflix 最开始的Chaos Monkey工具（随机关闭生产环境中的服务，通过实践验证系统的健壮性）。

3、实施原则

Netflix首先提出的五大原则：

建立稳定状态的假设

当系统处于稳定状态时，可以通过一些指标来定义这一状态（如请求成功率、延迟百分位）。系统在混沌工程实验完成后，这些指标无法快速恢复，可以认为这个系统是不稳定的。

多样化真实事件

不能够凭空想像出一些事件来验证，而是引入那些真实存在的，频繁发生的，且影响重大的事件。给这些事件做混沌实验才有价值。如磁盘故障、网络延时、主机宕机等。

在生产环境中进行实验

尽量在生产或接近生产的环境中进行测试，生产环境的多样性是其它环境所不具备的。混沌工程的价值就是保证生产上的业务连续不中断。

持续运行自动化实验

实施混沌工程实验一般最开始是人工手动操作，当对业务有足够的信心时，要把混沌实验融入到持续集成过程。在版本升级、不断迭代的过程中，持续不断自动化地做验证，最大程度保证业务的连续性验证。

最小化影响范围

做混沌工程的意义就是保证生产上的业务，在实施混沌实验时也必须保证对线上业务影响最小。在实施实验时，从小范围开始，不断扩大范围，避开高风险时段，如选择业务量最小的时段实施实验。

4、主流工具

1. Chaos Monkey （开源）/ˈkeɪɒs/

• 特点：由 Netflix 开发，用于随机终止生产环境中的服务实例，测试系统的恢复能力。
• 优势：简单易用，能够快速暴露系统中的单点故障。
• 适用场景：适合已经具备一定弹性和容错能力的大型分布式系统。

2. ChaosBlade （开源）

• 特点：阿里巴巴开源，支持多种故障注入场景，包括CPU、内存、网络、磁盘、进程、文件系统等。
• 优势：多环境支持（物理机、虚拟机、容器等），灵活的实验场景，轻量级且易于集成。
• 适用场景：适合混合云或复杂基础设施的企业。

3. Chaos Mesh（开源）

• 特点：PingCAP 开源，专注于K8S环境的混沌工程工具，支持 Pod 故障、网络故障、文件系统故障等20+实验类型，提供Chaos Dashboard管理界面。
• 优势：深度集成K8S，支持基于标签的精准故障注入。
• 适用场景：适合基于K8S的云原生系统，尤其是微服务架构和分布式数据库。

4. LitmusChaos （开源） /ˈlɪtməs/

• 特点：MayaData 开源，基于K8S的开源工具，专注于云原生环境下的韧性测试。
• 优势：与K8S生态紧密集成，能够针对容器、Pod、节点等不同层次进行故障模拟。
• 适用场景：适合云原生环境下的系统，尤其是基于K8S构建的微服务架构。

5. ChaosMeta （开源）/ˈmɛtə/

• 特点：专注于大规模分布式系统的故障注入和韧性测试，支持节点故障、网络分区、服务延迟等。
• 优势：支持实验编排和复杂故障链模拟，适合超大规模系统。
• 适用场景：适合需要测试大规模分布式系统韧性的企业，如大型互联网公司或金融科技公司。

6. Gremlin （商业） /ˈɡremlɪn/

• 特点：企业级混沌工程平台，支持100+故障场景（CPU满载、网络延迟、磁盘故障等），集成Prometheus等监控工具，具备可视化仪表盘和可靠性评分。
• 优势：提供更细粒度的故障模拟，能够模拟复杂的故障场景，并且有良好的用户界面和报告功能。
• 适用场景：适合需要精细控制实验的企业，尤其是对系统稳定性要求极高的行业，如金融、医疗等。

5、工具使用