From 52bf6fc05b948e22757d6e68bb3945390a997a1b Mon Sep 17 00:00:00 2001 From: CyC2018 Date: Tue, 10 Nov 2026 03:56:30 +0800 Subject: [PATCH] =?UTF-8?q?Update=20=E7=B3=BB=E7=BB=9F=E8=AE=BE=E8=AE=A1?= =?UTF-8?q?=E5=9F=BA=E7=A1=80.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 调整 RateLimiter 两种情况的条件表述,补充压测中的闭环发压与协调遗漏(新增附录 A29)。 --- notes/系统设计基础.md | 39 +++++++++++++++++++++++++++++++++++++-- 1 file changed, 37 insertions(+), 2 deletions(-) diff --git a/notes/系统设计基础.md b/notes/系统设计基础.md index 8e5e31ae..3d1a7040 100644 --- a/notes/系统设计基础.md +++ b/notes/系统设计基础.md @@ -152,7 +152,7 @@ I/O 多路复用用的是第二个原因:一个线程同时等待多个连接

-令牌桶不需要定时放入令牌,只要记下剩余的令牌数和上次更新的时间,请求到来时补上这段时间应放入的令牌,再判断够不够。Guava 的 RateLimiter 和 Spring Cloud Gateway 的 Redis 限流器都是这样实现的。RateLimiter 把当前请求欠下的令牌记到后面的请求上:没有尚未偿还的等待时间时,即使令牌不足也立即通过;前面的请求预支过时,acquire() 阻塞调用线程直到偿还完,无参的 tryAcquire() 则立即返回 false(Guava 33.4 实测,见[附录 A14](#a14-guava-的-ratelimiter))。 +令牌桶不需要定时放入令牌,只要记下剩余的令牌数和上次更新的时间,请求到来时补上这段时间应放入的令牌,再判断够不够。Guava 的 RateLimiter 和 Spring Cloud Gateway 的 Redis 限流器都是这样实现的。RateLimiter 把当前请求欠下的令牌记到后面的请求上:没有尚未偿还的等待时间时,即使令牌不足也立即通过;还有尚未偿还的等待时间时,acquire() 阻塞调用线程直到偿还完,无参的 tryAcquire() 则立即返回 false(Guava 33.4 实测,见[附录 A14](#a14-guava-的-ratelimiter))。 四种算法的对比: @@ -796,7 +796,19 @@ WHERE sku_id = 1 AND slot = 3 AND stock > 0; - 压测客户端:客户端的 CPU、连接数和带宽要有余量,不能先于服务端成为瓶颈; - 持续时间:每个并发级别至少运行几分钟,时间太短看不到连接池耗尽、GC 和缓存过期这类随时间出现的问题。 -JMeter、wrk、k6 等工具负责按设定的并发或速率发出请求,并统计延迟分布;同时要看服务端各层的监控。压测的结论应该是“哪一层先到达拐点、原因是什么”,而不只是一个 QPS 数字。 +JMeter、wrk、k6 等工具负责按设定的并发或速率发出请求,并统计延迟分布;同时要看服务端各层的监控。 + +需要注意的是,固定线程数、每个线程收到响应才发下一个请求的 JMeter 测试,以及默认的 wrk,都是闭环(closed-loop)发压:服务端变慢时,发出的请求也随之减少。 + +如果要模拟的是不管服务端快慢都会到来的用户请求,闭环会漏掉服务端变慢期间本该到达的请求和它们的排队时间,测出的延迟分位数偏乐观,这称为协调遗漏(Coordinated Omission, CO)。 + +例如服务端每个请求 4 ms、中途停顿 1 秒,1 个闭环用户测得 P99 为 4.0 ms;每秒固定发 200 个请求的开环(open-loop)发压下,停顿期间到达的请求都要排队,P99 为 885 ms(模型计算,见[附录 A29](#a29-闭环与开环发压))。 + +要按固定的到达速率施压,可以用 k6 的 constant-arrival-rate 执行器:它按固定速率启动迭代,要配置足够的虚拟用户(Virtual User, VU),每次迭代只发一个请求时,迭代的启动速率就是请求的速率。 + +也可以用 wrk2 的 -R 设置总的目标请求率,它从计划发送的时刻开始计算延迟,把推迟发送造成的等待也算进去。 + +压测的结论应该是“哪一层先到达拐点、原因是什么”,而不只是一个 QPS 数字。 大促前通常还要在生产环境做全链路压测,因为测试环境很难复现生产的规模和依赖关系。压测请求带上专门的标记(例如一个请求首部),每个服务识别这个标记并传给下游,传递方式与[链路追踪](微服务.md#八链路追踪)中的 traceId 相同,消息和异步任务中也要带上;带标记的请求写入影子库或影子表,不污染真实的订单和库存。压测安排在业务低峰期,并准备好随时停止压测的开关。 @@ -2762,6 +2774,29 @@ print(f"A P99 {pa:.1f} B P99 {pb:.1f} 平均 {(pa + pb) / 2:.1f} 合并后 P9 A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5 ``` +### A29 闭环与开环发压 + +用 Python 计算一个简化的模型(不是实测):服务端每个请求固定处理 4 ms,同时只处理一个;压测 60 秒,第 30~31 秒服务端停顿,期间到达的请求排队。闭环为 1 个用户,收到响应后立即发下一个;开环每 5 ms 发一个请求(每秒 200 个),不管之前的是否完成: + +```python +MS = 1000 # 时间用整数微秒表示,避免浮点误差 +def serve(arrive, free): # 返回完成时刻,free 为服务端空闲的时刻 + start = max(arrive, free) + if 30_000 * MS <= start < 31_000 * MS: # 停顿期间不处理 + start = 31_000 * MS + end = start + 4 * MS + if start < 30_000 * MS < end: # 处理途中遇到停顿 + end += 1_000 * MS + return end +``` + +```text +闭环 1 个用户:请求 14750 个,平均 4.1 ms,P99 4.0 ms,最大 1004 ms +开环 200 次/秒:请求 12000 个,平均 45.7 ms,P99 885.0 ms,最大 1004 ms +``` + +闭环只有一个请求经历了停顿,开环在停顿的 1 秒中到达了 200 个请求,之后的请求还要等前面的排完,所以 P99 相差两个数量级。 + ## 参考资料 - [Prometheus: Histograms and summaries](https://prometheus.io/docs/practices/histograms/)