diff --git a/notes/系统设计基础.md b/notes/系统设计基础.md index c326f242..c77d513c 100644 --- a/notes/系统设计基础.md +++ b/notes/系统设计基础.md @@ -1205,6 +1205,83 @@ COMMIT; 以点赞系统为例,写入约 1.7 万次/秒,分摊到按 user_id 划分的各个分片上,不够时增加分片;读取约 33 万次/秒,Redis 加分片可以分摊,但同一个爆款视频的点赞数只存在一个或几个键中,加分片分不走这部分读取,要在应用中再缓存 1 秒(点赞数本来允许延迟几秒)。线上突发流量的处理顺序见 [QPS 突增 10 倍时先做什么](#qps-突增-10-倍时先做什么)。 +### 库表设计 + +库表设计题(“订单表怎么设计”“评论表怎么设计”)考察的是能否从业务的读写出发确定表、主键和索引,而不是背范式。常用的顺序: + +1. 列出实体和关系:一对多在“多”的一方保存对方的 ID,多对多用关联表,例如[权限系统](#2-表结构)中的用户-角色表; +2. 列出主要的查询,每条查询对应一个索引,等值条件的列放在前面,排序的列放在后面(见[索引列的顺序](MySQL.md#3-索引列的顺序)); +3. 确定主键和唯一约束:业务上不能重复的组合用唯一索引兜底,例如点赞表的 (user_id, video_id); +4. 选字段类型,估算数据量,决定是否分库分表、按什么分片(见[水平切分](MySQL.md#水平切分))。 + +#### 1. 字段 + +- 金额用以分为单位的 BIGINT 或者 DECIMAL,不用 FLOAT、DOUBLE(见[浮点数](MySQL.md#浮点数)); +- 状态用 TINYINT,在列的注释中写明每个值的含义,例如订单状态 0 待支付、1 已支付; +- 每张表带上 created_at 和 updated_at,排查问题和对账时都要用; +- 列尽量 NOT NULL 并给默认值。 + +可以为 NULL 的列参与比较时,结果是未知(UNKNOWN),WHERE 只保留结果为真的行。例如订单的 coupon_id 有 5、7 和两个 NULL,coupon_id <> 5 只返回 1 行,两个没用券的订单被漏掉了;NOT IN 的子查询结果中有 NULL 时一行都不返回,改用 NOT EXISTS 才得到 3 行(MySQL 8.0 实测,见[附录 A28](#a28-库表设计))。没用券时存 0,或者查询中显式写上 OR coupon_id IS NULL。 + +#### 2. 范式与冗余 + +设计时先满足第三范式(见[范式](数据库系统原理.md#范式)),每个事实只存一份,修改时不会漏改。读多写少、要连接多张表才能拿到的字段,再有意冗余: + +- 订单明细保存下单时的商品名称和单价,商品后来改价,历史订单仍显示当时的价格,这些列本来就不应该随商品表变化; +- [点赞系统](#接口与数据模型)单独保存点赞数,显示时不必 COUNT(*)。 + +冗余的字段要说清由谁更新,更新失败时怎样对账。 + +#### 3. 例子:多级评论 + +```sql +CREATE TABLE comment ( + id BIGINT PRIMARY KEY AUTO_INCREMENT, + video_id BIGINT NOT NULL, + user_id BIGINT NOT NULL, + root_id BIGINT NOT NULL DEFAULT 0, -- 所属的一级评论,一级评论自己为 0 + parent_id BIGINT NOT NULL DEFAULT 0, -- 直接回复的那条评论 + reply_to_user BIGINT NOT NULL DEFAULT 0, -- 被回复的用户,用于显示“回复 @张三” + content VARCHAR(500) NOT NULL, + created_at DATETIME NOT NULL, + KEY idx_video_root_time (video_id, root_id, created_at) +); +``` + +页面上只展示两层:一级评论,以及它下面按时间排列的回复,回复的回复也平铺在同一层,靠 reply_to_user 显示回复了谁。一页评论只需要两条查询: + +```sql +-- 视频 1024 最新的 20 条一级评论 +SELECT id, user_id, content, created_at FROM comment +WHERE video_id = 1024 AND root_id = 0 ORDER BY created_at DESC LIMIT 20; +-- 这一页一级评论下的回复,一次取回 +SELECT id, root_id, parent_id, content FROM comment +WHERE video_id = 1024 AND root_id IN (200, 400, 600) ORDER BY root_id, created_at; +``` + +两条查询都只用 idx_video_root_time:第一条倒序读索引,不需要额外排序(Extra 为 Backward index scan);第二条是索引上的范围查询,同样没有排序(2 万条评论的表上实测,见附录 A28)。回复很多时,每条一级评论只先展示前几条,点开后再按 root_id 分页。如果按 parent_id 存成任意深度的树,取一条评论下的全部回复要逐层递归查询,层数越深查询越多。 + +#### 4. 例子:经常增加的属性 + +订单的扩展属性(发票类型、是否礼品包装等)经常增加,每次都 ALTER TABLE 加列不方便,可以放进一个 JSON 列: + +```sql +CREATE TABLE order_ext (order_id BIGINT PRIMARY KEY, attrs JSON NOT NULL); +-- attrs 例如 {"invoice_type": "company", "gift_wrap": true} +``` + +JSON 中的字段不能直接走索引,按 attrs->>'$.invoice_type' = 'company' 查询时扫描了全部 2 万行。需要按某个字段筛选时,为它加一个虚拟生成列并建索引: + +```sql +ALTER TABLE order_ext + ADD COLUMN invoice_type VARCHAR(16) AS (attrs->>'$.invoice_type') VIRTUAL, + ADD INDEX idx_invoice (invoice_type); +``` + +之后按 invoice_type 查询走 idx_invoice;查询中仍写 attrs->>'$.invoice_type' 时,表达式与生成列的定义一致,优化器也会改用这个索引(见附录 A28)。虚拟列的值不保存在行中,只保存在它的索引里。 + +JSON 列适合主要用于展示、只按少数字段筛选的属性;经常筛选、排序的字段还是做成普通列。另一种做法是属性表 (order_id, attr_name, attr_value),每个属性一行,但按多个属性筛选要多次自连接,值的类型也无法约束。 + ## 十四、即时通讯 即时通讯(Instant Messaging, IM)指的是聊天这类实时收发消息的系统,例如用户 1001 问用户 1002“订单 1024 到了吗”,1002 的手机要马上收到。它要解决三个问题:服务器要能主动把消息推给客户端;消息不能丢、不能重复,顺序不能乱;大量用户同时在线,每个用户都要保持一条连接。 @@ -2750,6 +2827,38 @@ print(f"A P99 {pa:.1f} B P99 {pb:.1f} 平均 {(pa + pb) / 2:.1f} 合并后 P9 A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5 ``` +### A28 库表设计 + +环境:MySQL 8.0.44,Apple M1 Pro,macOS,默认配置。脚本(省略了插入数据的部分:comment 表 2 万条,视频 1024~1073,id 为 4 的倍数的是一级评论,其后 3 条是它的回复;order_ext 表 2 万行,invoice_type 在 personal、company、none 中轮换): + +```sql +CREATE TABLE orders (id BIGINT PRIMARY KEY, coupon_id BIGINT NULL); +INSERT INTO orders VALUES (1024, 5), (1025, 7), (1026, NULL), (1027, NULL); +SELECT COUNT(*) FROM orders WHERE coupon_id <> 5; +CREATE TABLE used (coupon_id BIGINT NULL); INSERT INTO used VALUES (5), (NULL); +SELECT COUNT(*) FROM orders WHERE coupon_id NOT IN (SELECT coupon_id FROM used); +SELECT COUNT(*) FROM orders o WHERE NOT EXISTS (SELECT 1 FROM used u WHERE u.coupon_id = o.coupon_id); +``` + +```text +coupon_id <> 5 1 +NOT IN 含 NULL 0 +NOT EXISTS 3 +``` + +正文中两条评论查询和 JSON 查询的执行计划(只保留部分列): + +```text +查询 type key rows Extra +一级评论 root_id = 0 ORDER BY ... DESC ref idx_video_root_time 103 Backward index scan +回复 root_id IN (200, 400, 600) range idx_video_root_time 9 Using index condition +attrs->>'$.invoice_type'(加列前) ALL NULL 20200 Using where +invoice_type(加列后) ref idx_invoice 6667 Using index +attrs->>'$.invoice_type'(加列后) ref idx_invoice 6667 NULL +``` + +加列后 COUNT(*) WHERE invoice_type = 'company' 返回 6667,与 2 万行中三分之一的期望一致。 + ## 参考资料 - [Prometheus: Histograms and summaries](https://prometheus.io/docs/practices/histograms/) @@ -2802,3 +2911,6 @@ A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5 - [Spring Cloud Gateway request_rate_limiter.lua](https://github.com/spring-cloud/spring-cloud-gateway/blob/4.1.x/spring-cloud-gateway-server/src/main/resources/META-INF/scripts/request_rate_limiter.lua) - [Sentinel:流量控制](https://sentinelguard.io/zh-cn/docs/flow-control.html) - [RFC 6585: Additional HTTP Status Codes](https://www.rfc-editor.org/rfc/rfc6585) +- [Working with NULL Values(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/working-with-null.html) +- [Secondary Indexes and Generated Columns(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/create-table-secondary-indexes.html) +- [Optimizer Use of Generated Column Indexes(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/generated-column-index-optimizations.html)