mirror of
https://github.com/CyC2018/Interview-Notebook.git
synced 2026-11-19 12:43:46 +00:00
Update 系统设计基础.md
调整 RateLimiter 两种情况的条件表述,补充压测中的闭环发压与协调遗漏(新增附录 A29)。
This commit is contained in:
+37
-2
@@ -152,7 +152,7 @@ I/O 多路复用用的是第二个原因:一个线程同时等待多个连接
|
||||
|
||||
<div align="center"> <img src="pics/rate-limit.png" width="640px"/> </div><br>
|
||||
|
||||
令牌桶不需要定时放入令牌,只要记下剩余的令牌数和上次更新的时间,请求到来时补上这段时间应放入的令牌,再判断够不够。Guava 的 RateLimiter 和 Spring Cloud Gateway 的 Redis 限流器都是这样实现的。RateLimiter 把当前请求欠下的令牌记到后面的请求上:没有尚未偿还的等待时间时,即使令牌不足也立即通过;前面的请求预支过时,acquire() 阻塞调用线程直到偿还完,无参的 tryAcquire() 则立即返回 false(Guava 33.4 实测,见[附录 A14](#a14-guava-的-ratelimiter))。
|
||||
令牌桶不需要定时放入令牌,只要记下剩余的令牌数和上次更新的时间,请求到来时补上这段时间应放入的令牌,再判断够不够。Guava 的 RateLimiter 和 Spring Cloud Gateway 的 Redis 限流器都是这样实现的。RateLimiter 把当前请求欠下的令牌记到后面的请求上:没有尚未偿还的等待时间时,即使令牌不足也立即通过;还有尚未偿还的等待时间时,acquire() 阻塞调用线程直到偿还完,无参的 tryAcquire() 则立即返回 false(Guava 33.4 实测,见[附录 A14](#a14-guava-的-ratelimiter))。
|
||||
|
||||
四种算法的对比:
|
||||
|
||||
@@ -796,7 +796,19 @@ WHERE sku_id = 1 AND slot = 3 AND stock > 0;
|
||||
- 压测客户端:客户端的 CPU、连接数和带宽要有余量,不能先于服务端成为瓶颈;
|
||||
- 持续时间:每个并发级别至少运行几分钟,时间太短看不到连接池耗尽、GC 和缓存过期这类随时间出现的问题。
|
||||
|
||||
JMeter、wrk、k6 等工具负责按设定的并发或速率发出请求,并统计延迟分布;同时要看服务端各层的监控。压测的结论应该是“哪一层先到达拐点、原因是什么”,而不只是一个 QPS 数字。
|
||||
JMeter、wrk、k6 等工具负责按设定的并发或速率发出请求,并统计延迟分布;同时要看服务端各层的监控。
|
||||
|
||||
需要注意的是,固定线程数、每个线程收到响应才发下一个请求的 JMeter 测试,以及默认的 wrk,都是闭环(closed-loop)发压:服务端变慢时,发出的请求也随之减少。
|
||||
|
||||
如果要模拟的是不管服务端快慢都会到来的用户请求,闭环会漏掉服务端变慢期间本该到达的请求和它们的排队时间,测出的延迟分位数偏乐观,这称为协调遗漏(Coordinated Omission, CO)。
|
||||
|
||||
例如服务端每个请求 4 ms、中途停顿 1 秒,1 个闭环用户测得 P99 为 4.0 ms;每秒固定发 200 个请求的开环(open-loop)发压下,停顿期间到达的请求都要排队,P99 为 885 ms(模型计算,见[附录 A29](#a29-闭环与开环发压))。
|
||||
|
||||
要按固定的到达速率施压,可以用 k6 的 constant-arrival-rate 执行器:它按固定速率启动迭代,要配置足够的虚拟用户(Virtual User, VU),每次迭代只发一个请求时,迭代的启动速率就是请求的速率。
|
||||
|
||||
也可以用 wrk2 的 -R 设置总的目标请求率,它从计划发送的时刻开始计算延迟,把推迟发送造成的等待也算进去。
|
||||
|
||||
压测的结论应该是“哪一层先到达拐点、原因是什么”,而不只是一个 QPS 数字。
|
||||
|
||||
大促前通常还要在生产环境做全链路压测,因为测试环境很难复现生产的规模和依赖关系。压测请求带上专门的标记(例如一个请求首部),每个服务识别这个标记并传给下游,传递方式与[链路追踪](微服务.md#八链路追踪)中的 traceId 相同,消息和异步任务中也要带上;带标记的请求写入影子库或影子表,不污染真实的订单和库存。压测安排在业务低峰期,并准备好随时停止压测的开关。
|
||||
|
||||
@@ -2762,6 +2774,29 @@ print(f"A P99 {pa:.1f} B P99 {pb:.1f} 平均 {(pa + pb) / 2:.1f} 合并后 P9
|
||||
A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5
|
||||
```
|
||||
|
||||
### A29 闭环与开环发压
|
||||
|
||||
用 Python 计算一个简化的模型(不是实测):服务端每个请求固定处理 4 ms,同时只处理一个;压测 60 秒,第 30~31 秒服务端停顿,期间到达的请求排队。闭环为 1 个用户,收到响应后立即发下一个;开环每 5 ms 发一个请求(每秒 200 个),不管之前的是否完成:
|
||||
|
||||
```python
|
||||
MS = 1000 # 时间用整数微秒表示,避免浮点误差
|
||||
def serve(arrive, free): # 返回完成时刻,free 为服务端空闲的时刻
|
||||
start = max(arrive, free)
|
||||
if 30_000 * MS <= start < 31_000 * MS: # 停顿期间不处理
|
||||
start = 31_000 * MS
|
||||
end = start + 4 * MS
|
||||
if start < 30_000 * MS < end: # 处理途中遇到停顿
|
||||
end += 1_000 * MS
|
||||
return end
|
||||
```
|
||||
|
||||
```text
|
||||
闭环 1 个用户:请求 14750 个,平均 4.1 ms,P99 4.0 ms,最大 1004 ms
|
||||
开环 200 次/秒:请求 12000 个,平均 45.7 ms,P99 885.0 ms,最大 1004 ms
|
||||
```
|
||||
|
||||
闭环只有一个请求经历了停顿,开环在停顿的 1 秒中到达了 200 个请求,之后的请求还要等前面的排完,所以 P99 相差两个数量级。
|
||||
|
||||
## 参考资料
|
||||
|
||||
- [Prometheus: Histograms and summaries](https://prometheus.io/docs/practices/histograms/)
|
||||
|
||||
Reference in New Issue
Block a user