Author SHA1 Message Date
CyC2018 ec27d4c4f8 Update 系统设计基础.md 2026-11-07 04:52:41 +08:00
+55
View File
@@ -116,6 +116,59 @@ I/O 多路复用用的是第二个原因:一个线程同时等待多个连接
存储服务器的冗余需要使用主从复制来实现,当主服务器故障时,需要提升从服务器为主服务器,这个过程称为故障转移(Failover)。故障转移有两个常见问题:异步复制下新的主服务器可能没有收到旧主服务器的全部写入,这部分写入通常会丢失;旧主服务器恢复后如果仍然认为自己是主服务器,就会出现两个主(脑裂),因此需要把它降级为从服务器。 存储服务器的冗余需要使用主从复制来实现,当主服务器故障时,需要提升从服务器为主服务器,这个过程称为故障转移(Failover)。故障转移有两个常见问题:异步复制下新的主服务器可能没有收到旧主服务器的全部写入,这部分写入通常会丢失;旧主服务器恢复后如果仍然认为自己是主服务器,就会出现两个主(脑裂),因此需要把它降级为从服务器。
### 异地多活与容灾
冗余的服务器都在同一个机房时,机房断电、断网或者整个城市受灾,所有副本会一起不可用,因此需要把副本放到不同的机房和城市。
#### 1. RTO 与 RPO
- RTO(恢复时间目标):从故障发生到服务恢复,最多允许中断多长时间;
- RPO(恢复点目标):最多允许丢失多长时间内的数据。
例如每天凌晨 3 点备份一次数据库,下午 3 点数据库损坏,只能恢复到凌晨 3 点,丢失 12 小时的写入;故障发生在下一次备份前时丢失接近 24 小时,所以这种方案的 RPO 是 24 小时。
#### 2. 容灾方案
按 RTO 从长到短,常见的方案有四种,越往后成本越高:
| 方案 | 做法 | RTO 与 RPO |
| :--- | :--- | :--- |
| 备份与恢复 | 定期把数据备份到另一个地域,故障后在那里重新部署服务并恢复数据 | 小时级 |
| 指示灯(Pilot Light) | 数据实时复制到另一个地域,数据库一直运行,应用服务器平时不运行,故障时再启动 | 几十分钟 |
| 温备(Warm Standby) | 另一个地域运行一套规模较小但完整可用的服务,故障时扩容并切换流量 | 分钟级 |
| 多活(Active/Active) | 多个地域同时对外提供服务,一个地域故障时把它的流量转到其它地域 | 接近实时 |
前三种平时只有一个地域处理请求,称为主备;多活的每个地域都处理请求。多活时一个地域故障,其它地域要接住它的全部流量,例如两个地域各承担一半流量,平时每个地域的利用率都要留出余量。
#### 3. 同城与异地
同城的几个机房相距几公里到几十公里,往返延迟通常在 1 ms 左右,可以使用同步复制,一次写入在两个机房都写成功后才返回,机房故障时不丢数据。但同城的机房可能同时受到同一场灾害的影响。
异地的距离更远,北京到上海直线距离约 1067 km,光在光纤中每毫秒约传播 200 km,往返至少约 10.7 ms,实际线路更长。每次写入都同步等待另一个城市会明显增加写入延迟,所以异地之间通常使用异步复制,这意味着 RPO 大于 0:故障时还没复制过去的写入会丢失,或者要等故障机房恢复后再补回。
常见的做法是同城双机房同步复制、异地异步复制,组合起来称为两地三中心。
#### 4. 多活的写入
多个地域都能写入时,同一条数据可能同时在两个地域被修改,复制过去后产生冲突。常见的写入方式有三种:
- 集中写:所有写入都发到一个主地域,其它地域只处理读请求。不会冲突,但离主地域远的用户写入延迟高,主地域故障时要把另一个地域提升为主;
- 本地写:每个地域都写本地,再异步复制到其它地域。同一条数据在两个地域都被修改时,常用最后写入者胜(LWW)按时间戳保留一个,另一个写入会被丢弃;
- 按用户分区写(单元化):按用户 ID 把每个用户分到一个地域(单元),这个用户的写入都发到该单元,再异步复制到其它单元作为备份。例如用户 1001 分到北京单元,他的订单只在北京写入,同一个用户同一时间只有一个单元写入,避免了冲突。
单元化的前提是大部分数据可以按用户划分。商品库存、用户名唯一性这类全局数据不属于某一个用户,通常仍然集中写在一个地域,接受跨地域的延迟。两个地域各自用自增 ID 生成主键也会重复,需要设置不同的起始值和相同的步长,或者使用全局的 ID 生成方式,见 [分布式 ID](分布式.md#八分布式-id)。
#### 5. 切换
北京单元故障时,把它的用户切到上海单元,需要注意:
- 先确认北京单元已经停止写入,再切换流量,否则同一个用户会同时在两个单元写入,出现冲突(类似脑裂)。用户的归属单元发生变化时,单元化同样可能产生冲突;
- 异步复制下,北京最后一段时间的写入可能还没有复制到上海,用户在上海可能看不到刚刚提交的数据。北京恢复后要把这部分写入和上海的数据对账,再补回或人工处理。
复制会把误删除和数据损坏一起复制到所有副本,例如一条写错条件的 DELETE 几秒内就会复制到所有地域,所以多活之后仍然需要备份,用来恢复到损坏发生之前的时间点。
切换流程要定期演练,例如真实地把一个单元的流量切走,检查容量、配置和数据是否都能支撑切换。
### 监控 ### 监控
对 CPU、内存、磁盘、网络等系统负载信息进行监控,当某个信息达到一定阈值时通知运维人员,从而在系统发生故障之前及时发现问题。除了资源的阈值,还要对错误率、延迟这类用户能感受到的指标告警:按时间计算,一年 3 次、每次 20 分钟的完全不可用就会超出 99.99% 的预算,发现和恢复得越快,可用性越高。 对 CPU、内存、磁盘、网络等系统负载信息进行监控,当某个信息达到一定阈值时通知运维人员,从而在系统发生故障之前及时发现问题。除了资源的阈值,还要对错误率、延迟这类用户能感受到的指标告警:按时间计算,一年 3 次、每次 20 分钟的完全不可用就会超出 99.99% 的预算,发现和恢复得越快,可用性越高。
@@ -2802,3 +2855,5 @@ A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5
- [Spring Cloud Gateway request_rate_limiter.lua](https://github.com/spring-cloud/spring-cloud-gateway/blob/4.1.x/spring-cloud-gateway-server/src/main/resources/META-INF/scripts/request_rate_limiter.lua) - [Spring Cloud Gateway request_rate_limiter.lua](https://github.com/spring-cloud/spring-cloud-gateway/blob/4.1.x/spring-cloud-gateway-server/src/main/resources/META-INF/scripts/request_rate_limiter.lua)
- [Sentinel:流量控制](https://sentinelguard.io/zh-cn/docs/flow-control.html) - [Sentinel:流量控制](https://sentinelguard.io/zh-cn/docs/flow-control.html)
- [RFC 6585: Additional HTTP Status Codes](https://www.rfc-editor.org/rfc/rfc6585) - [RFC 6585: Additional HTTP Status Codes](https://www.rfc-editor.org/rfc/rfc6585)
- [Business continuity plan (BCP)(Disaster Recovery of Workloads on AWS)](https://docs.aws.amazon.com/whitepapers/latest/disaster-recovery-workloads-on-aws/business-continuity-plan-bcp.html)
- [Disaster recovery options in the cloud(Disaster Recovery of Workloads on AWS)](https://docs.aws.amazon.com/whitepapers/latest/disaster-recovery-workloads-on-aws/disaster-recovery-options-in-the-cloud.html)