mirror of
https://github.com/CyC2018/Interview-Notebook.git
synced 2026-11-21 21:43:42 +00:00
Compare commits
10
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
7741998b5c | ||
|
|
38fdc2fe09 | ||
|
|
8697481557 | ||
|
|
951969cbbd | ||
|
|
880f4998df | ||
|
|
67d01f337b | ||
|
|
05da67fc2a | ||
|
|
6acfcb7718 | ||
|
|
045c66376c | ||
|
|
378885d2ad |
+112
@@ -1205,6 +1205,83 @@ COMMIT;
|
||||
|
||||
以点赞系统为例,写入约 1.7 万次/秒,分摊到按 user_id 划分的各个分片上,不够时增加分片;读取约 33 万次/秒,Redis 加分片可以分摊,但同一个爆款视频的点赞数只存在一个或几个键中,加分片分不走这部分读取,要在应用中再缓存 1 秒(点赞数本来允许延迟几秒)。线上突发流量的处理顺序见 [QPS 突增 10 倍时先做什么](#qps-突增-10-倍时先做什么)。
|
||||
|
||||
### 库表设计
|
||||
|
||||
库表设计题(“订单表怎么设计”“评论表怎么设计”)考察的是能否从业务的读写出发确定表、主键和索引,而不是背范式。常用的顺序:
|
||||
|
||||
1. 列出实体和关系:一对多在“多”的一方保存对方的 ID,多对多用关联表,例如[权限系统](#2-表结构)中的用户-角色表;
|
||||
2. 列出主要的查询,每条查询对应一个索引,等值条件的列放在前面,排序的列放在后面(见[索引列的顺序](MySQL.md#3-索引列的顺序));
|
||||
3. 确定主键和唯一约束:业务上不能重复的组合用唯一索引兜底,例如点赞表的 (user_id, video_id);
|
||||
4. 选字段类型,估算数据量,决定是否分库分表、按什么分片(见[水平切分](MySQL.md#水平切分))。
|
||||
|
||||
#### 1. 字段
|
||||
|
||||
- 金额用以分为单位的 BIGINT 或者 DECIMAL,不用 FLOAT、DOUBLE(见[浮点数](MySQL.md#浮点数));
|
||||
- 状态用 TINYINT,在列的注释中写明每个值的含义,例如订单状态 0 待支付、1 已支付;
|
||||
- 每张表带上 created_at 和 updated_at,排查问题和对账时都要用;
|
||||
- 列尽量 NOT NULL 并给默认值。
|
||||
|
||||
可以为 NULL 的列参与比较时,结果是未知(UNKNOWN),WHERE 只保留结果为真的行。例如订单的 coupon_id 有 5、7 和两个 NULL,coupon_id <> 5 只返回 1 行,两个没用券的订单被漏掉了;NOT IN 的子查询结果中有 NULL 时一行都不返回,改用 NOT EXISTS 才得到 3 行(MySQL 8.0 实测,见[附录 A28](#a28-库表设计))。没用券时存 0,或者查询中显式写上 OR coupon_id IS NULL。
|
||||
|
||||
#### 2. 范式与冗余
|
||||
|
||||
设计时先满足第三范式(见[范式](数据库系统原理.md#范式)),每个事实只存一份,修改时不会漏改。读多写少、要连接多张表才能拿到的字段,再有意冗余:
|
||||
|
||||
- 订单明细保存下单时的商品名称和单价,商品后来改价,历史订单仍显示当时的价格,这些列本来就不应该随商品表变化;
|
||||
- [点赞系统](#接口与数据模型)单独保存点赞数,显示时不必 COUNT(*)。
|
||||
|
||||
冗余的字段要说清由谁更新,更新失败时怎样对账。
|
||||
|
||||
#### 3. 例子:多级评论
|
||||
|
||||
```sql
|
||||
CREATE TABLE comment (
|
||||
id BIGINT PRIMARY KEY AUTO_INCREMENT,
|
||||
video_id BIGINT NOT NULL,
|
||||
user_id BIGINT NOT NULL,
|
||||
root_id BIGINT NOT NULL DEFAULT 0, -- 所属的一级评论,一级评论自己为 0
|
||||
parent_id BIGINT NOT NULL DEFAULT 0, -- 直接回复的那条评论
|
||||
reply_to_user BIGINT NOT NULL DEFAULT 0, -- 被回复的用户,用于显示“回复 @张三”
|
||||
content VARCHAR(500) NOT NULL,
|
||||
created_at DATETIME NOT NULL,
|
||||
KEY idx_video_root_time (video_id, root_id, created_at)
|
||||
);
|
||||
```
|
||||
|
||||
页面上只展示两层:一级评论,以及它下面按时间排列的回复,回复的回复也平铺在同一层,靠 reply_to_user 显示回复了谁。一页评论只需要两条查询:
|
||||
|
||||
```sql
|
||||
-- 视频 1024 最新的 20 条一级评论
|
||||
SELECT id, user_id, content, created_at FROM comment
|
||||
WHERE video_id = 1024 AND root_id = 0 ORDER BY created_at DESC LIMIT 20;
|
||||
-- 这一页一级评论下的回复,一次取回
|
||||
SELECT id, root_id, parent_id, content FROM comment
|
||||
WHERE video_id = 1024 AND root_id IN (200, 400, 600) ORDER BY root_id, created_at;
|
||||
```
|
||||
|
||||
两条查询都只用 idx_video_root_time:第一条倒序读索引,不需要额外排序(Extra 为 Backward index scan);第二条是索引上的范围查询,同样没有排序(2 万条评论的表上实测,见附录 A28)。回复很多时,每条一级评论只先展示前几条,点开后再按 root_id 分页。如果按 parent_id 存成任意深度的树,取一条评论下的全部回复要逐层递归查询,层数越深查询越多。
|
||||
|
||||
#### 4. 例子:经常增加的属性
|
||||
|
||||
订单的扩展属性(发票类型、是否礼品包装等)经常增加,每次都 ALTER TABLE 加列不方便,可以放进一个 JSON 列:
|
||||
|
||||
```sql
|
||||
CREATE TABLE order_ext (order_id BIGINT PRIMARY KEY, attrs JSON NOT NULL);
|
||||
-- attrs 例如 {"invoice_type": "company", "gift_wrap": true}
|
||||
```
|
||||
|
||||
JSON 中的字段不能直接走索引,按 attrs->>'$.invoice_type' = 'company' 查询时扫描了全部 2 万行。需要按某个字段筛选时,为它加一个虚拟生成列并建索引:
|
||||
|
||||
```sql
|
||||
ALTER TABLE order_ext
|
||||
ADD COLUMN invoice_type VARCHAR(16) AS (attrs->>'$.invoice_type') VIRTUAL,
|
||||
ADD INDEX idx_invoice (invoice_type);
|
||||
```
|
||||
|
||||
之后按 invoice_type 查询走 idx_invoice;查询中仍写 attrs->>'$.invoice_type' 时,表达式与生成列的定义一致,优化器也会改用这个索引(见附录 A28)。虚拟列的值不保存在行中,只保存在它的索引里。
|
||||
|
||||
JSON 列适合主要用于展示、只按少数字段筛选的属性;经常筛选、排序的字段还是做成普通列。另一种做法是属性表 (order_id, attr_name, attr_value),每个属性一行,但按多个属性筛选要多次自连接,值的类型也无法约束。
|
||||
|
||||
## 十四、即时通讯
|
||||
|
||||
即时通讯(Instant Messaging, IM)指的是聊天这类实时收发消息的系统,例如用户 1001 问用户 1002“订单 1024 到了吗”,1002 的手机要马上收到。它要解决三个问题:服务器要能主动把消息推给客户端;消息不能丢、不能重复,顺序不能乱;大量用户同时在线,每个用户都要保持一条连接。
|
||||
@@ -2750,6 +2827,38 @@ print(f"A P99 {pa:.1f} B P99 {pb:.1f} 平均 {(pa + pb) / 2:.1f} 合并后 P9
|
||||
A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5
|
||||
```
|
||||
|
||||
### A28 库表设计
|
||||
|
||||
环境:MySQL 8.0.44,Apple M1 Pro,macOS,默认配置。脚本(省略了插入数据的部分:comment 表 2 万条,视频 1024~1073,id 为 4 的倍数的是一级评论,其后 3 条是它的回复;order_ext 表 2 万行,invoice_type 在 personal、company、none 中轮换):
|
||||
|
||||
```sql
|
||||
CREATE TABLE orders (id BIGINT PRIMARY KEY, coupon_id BIGINT NULL);
|
||||
INSERT INTO orders VALUES (1024, 5), (1025, 7), (1026, NULL), (1027, NULL);
|
||||
SELECT COUNT(*) FROM orders WHERE coupon_id <> 5;
|
||||
CREATE TABLE used (coupon_id BIGINT NULL); INSERT INTO used VALUES (5), (NULL);
|
||||
SELECT COUNT(*) FROM orders WHERE coupon_id NOT IN (SELECT coupon_id FROM used);
|
||||
SELECT COUNT(*) FROM orders o WHERE NOT EXISTS (SELECT 1 FROM used u WHERE u.coupon_id = o.coupon_id);
|
||||
```
|
||||
|
||||
```text
|
||||
coupon_id <> 5 1
|
||||
NOT IN 含 NULL 0
|
||||
NOT EXISTS 3
|
||||
```
|
||||
|
||||
正文中两条评论查询和 JSON 查询的执行计划(只保留部分列):
|
||||
|
||||
```text
|
||||
查询 type key rows Extra
|
||||
一级评论 root_id = 0 ORDER BY ... DESC ref idx_video_root_time 103 Backward index scan
|
||||
回复 root_id IN (200, 400, 600) range idx_video_root_time 9 Using index condition
|
||||
attrs->>'$.invoice_type'(加列前) ALL NULL 20200 Using where
|
||||
invoice_type(加列后) ref idx_invoice 6667 Using index
|
||||
attrs->>'$.invoice_type'(加列后) ref idx_invoice 6667 NULL
|
||||
```
|
||||
|
||||
加列后 COUNT(*) WHERE invoice_type = 'company' 返回 6667,与 2 万行中三分之一的期望一致。
|
||||
|
||||
## 参考资料
|
||||
|
||||
- [Prometheus: Histograms and summaries](https://prometheus.io/docs/practices/histograms/)
|
||||
@@ -2802,3 +2911,6 @@ A P99 29.9 B P99 866.8 平均 448.3 合并后 P99 51.5
|
||||
- [Spring Cloud Gateway request_rate_limiter.lua](https://github.com/spring-cloud/spring-cloud-gateway/blob/4.1.x/spring-cloud-gateway-server/src/main/resources/META-INF/scripts/request_rate_limiter.lua)
|
||||
- [Sentinel:流量控制](https://sentinelguard.io/zh-cn/docs/flow-control.html)
|
||||
- [RFC 6585: Additional HTTP Status Codes](https://www.rfc-editor.org/rfc/rfc6585)
|
||||
- [Working with NULL Values(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/working-with-null.html)
|
||||
- [Secondary Indexes and Generated Columns(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/create-table-secondary-indexes.html)
|
||||
- [Optimizer Use of Generated Column Indexes(MySQL 8.0 参考手册)](https://dev.mysql.com/doc/refman/8.0/en/generated-column-index-optimizations.html)
|
||||
|
||||
@@ -94,6 +94,34 @@ const natural = { documents: [
|
||||
assert.equal(search(natural, '什么情况索引会失效?')[0].id, 'invalid', '整句的问法按词组的相关度找到小节');
|
||||
assert.equal(search(natural, '平时是怎么用协程的')[0].id, 'co', '问法中的“平时”“用”这类词不影响');
|
||||
assert.equal(search(natural, '主从复制')[0].id, 'repl', '短的搜索词仍按完整匹配排序');
|
||||
const asking = { documents: [
|
||||
{ title: 'Java 虚拟机', path: '/notes/Java 虚拟机', sections: [
|
||||
{ title: '堆', id: 'heap', text: '所有对象都在这里分配内存,是垃圾收集的主要区域' },
|
||||
{ title: '虚拟机栈', id: 'stack', text: '每个 Java 方法在执行的同时会创建一个栈帧' },
|
||||
{ title: '堆和栈的区别', id: 'diff', text: '堆存放对象,线程共享;栈存放局部变量,线程私有' },
|
||||
] },
|
||||
{ title: 'Java 并发', path: '/notes/Java 并发', sections: [{ title: '七、J.U.C - AQS', id: 'aqs', text: 'java.util.concurrent 大大提高了并发性能' }] },
|
||||
{ title: '算法', path: '/notes/算法', sections: [{ title: '跳表', id: 'skip', text: '多层有序链表' }] },
|
||||
] };
|
||||
assert.equal(search(asking, '堆和栈的区别是什么?')[0].id, 'diff', '去掉问句的开头结尾后正好是小节标题');
|
||||
assert.equal(search(asking, '了解juc吗?')[0].id, 'aqs', 'JUC 与 J.U.C 互通');
|
||||
assert.equal(search(asking, '跳跃表')[0].id, 'skip', '跳跃表与跳表互通');
|
||||
const skiplist = { documents: [
|
||||
{ title: 'Redis', path: '/notes/Redis', sections: [{ title: '跳跃表', id: 'skip', text: '有序集合的底层实现之一,插入时随机决定节点的层数' }] },
|
||||
{ title: '攻击技术', path: '/notes/攻击技术', sections: [
|
||||
{ title: '设置 Cookie 为 HttpOnly', id: 'cookie', text: '设置后脚本无法读取 Cookie' },
|
||||
{ title: '设置 Cookie 的 SameSite 属性', id: 'samesite', text: '设置为 Strict 时跨站请求不携带 Cookie' },
|
||||
] },
|
||||
{ title: 'Linux', path: '/notes/Linux', sections: [{ title: '环境变量', id: 'env', text: '在配置文件中设置' }] },
|
||||
{ title: 'MySQL', path: '/notes/MySQL', sections: [{ title: '参数', id: 'param', text: '设置缓冲池大小' }] },
|
||||
] };
|
||||
assert.equal(search(skiplist, '跳表的层高怎么设置')[0].id, 'skip', '整句里的“跳表”也能匹配标题“跳跃表”');
|
||||
const camel = { documents: [
|
||||
{ title: '微服务', path: '/notes/微服务', sections: [{ title: '二、Spring Cloud', id: 'sc', text: 'Spring Cloud Alibaba 提供 Nacos、Sentinel 等组件' }] },
|
||||
{ title: '缓存', path: '/notes/缓存', sections: [{ title: '七、LRU', id: 'lru', text: '下面是基于 LinkedHashMap 实现的 LRU Cache' }] },
|
||||
] };
|
||||
assert.equal(search(camel, 'SpringCloudAlibaba')[0].id, 'sc', '驼峰连写按拆开的写法也能搜到');
|
||||
assert.equal(search(camel, 'LRUCache')[0].id, 'lru', '连续大写后接单词时在单词前拆开');
|
||||
const versions = { documents: [{ title: 'HTTP', path: '/notes/HTTP', sections: [
|
||||
{ title: '八、HTTP/2.0', id: 'h2', text: '二进制分帧、多路复用、首部压缩' },
|
||||
{ title: '七、HTTP/1.1 新特性', id: 'h11', text: '默认长连接' },
|
||||
|
||||
@@ -60,7 +60,8 @@
|
||||
var SYNONYMS = [
|
||||
['垃圾收集', '垃圾回收'], ['i/o', 'io'], ['哈希', '散列', 'hash'], ['新生代', '年轻代'], ['重排序', '指令重排'],
|
||||
['首部', '头部'], ['幻读', '幻影读'], ['脏读', '读脏数据'], ['b+tree', 'b+树', 'b+ 树'], ['多路复用', 'i/o 复用', '复用'],
|
||||
['多版本并发控制', 'mvcc'], ['java 虚拟机', 'jvm'], ['检索增强生成', 'rag'], ['集群', 'cluster'], ['跨站脚本', 'xss'], ['跨站请求伪造', 'csrf'], ['运行时数据区域', '内存区域', '内存结构']
|
||||
['多版本并发控制', 'mvcc'], ['java 虚拟机', 'jvm'], ['检索增强生成', 'rag'], ['集群', 'cluster'], ['跨站脚本', 'xss'], ['跨站请求伪造', 'csrf'], ['运行时数据区域', '内存区域', '内存结构'],
|
||||
['跳跃表', '跳表'], ['j.u.c', 'juc'], ['左外连接', '左连接', 'left join'], ['右外连接', '右连接', 'right join'], ['循环', 'loop']
|
||||
];
|
||||
// 中英文混写的术语(“b+ 树”“i/o 复用”)在切词前换成一个整体,否则会被切成“b+”和“树”两个词分别匹配
|
||||
var MIXED = [];
|
||||
@@ -78,8 +79,18 @@
|
||||
return query;
|
||||
}
|
||||
// 词中含有另一种说法时也替换,例如“散列冲突”同时按“哈希冲突”搜索
|
||||
// 驼峰连写的英文(SpringCloudAlibaba、LRUCache)在笔记中常分开写,每次搜索时从原文算出拆开的写法
|
||||
var camelForms = {};
|
||||
function camelSplit(query) {
|
||||
camelForms = {};
|
||||
(String(query).normalize('NFKC').match(/[A-Za-z][A-Za-z0-9]*/g) || []).forEach(function (word) {
|
||||
var split = word.replace(/([a-z0-9])([A-Z])/g, '$1 $2').replace(/([A-Z]+)([A-Z][a-z])/g, '$1 $2');
|
||||
if (split !== word) camelForms[word.toLowerCase()] = split.toLowerCase();
|
||||
});
|
||||
}
|
||||
function alternatives(term) {
|
||||
var result = [term];
|
||||
if (camelForms[term]) result.push(camelForms[term]);
|
||||
// “单例模式”“观察者模式”:正文常只写“单例”“观察者”
|
||||
if (/^[㐀-鿿]{2,}模式$/.test(term) && term !== '设计模式') result.push(term.slice(0, -2));
|
||||
SYNONYMS.forEach(function (group) {
|
||||
@@ -117,7 +128,9 @@
|
||||
}
|
||||
|
||||
// 整句的问法:先去掉“什么是”“为什么”这类词再搜(“什么是幂等”按“幂等”搜)
|
||||
var QUESTION = /什么是|是什么|为什么要|为什么|为啥|怎么样|怎么|如何|有哪些|哪些|有什么|区别是|作用是|原理是|的区别|区别|对比|比较|异同|和|与|跟|及|吗|呢|么|的|了|?|\?/g;
|
||||
var QUESTION = /简单讲讲|讲一讲|讲讲|说一说|说说|说下|聊聊|谈谈|了解过|了解|知道|什么是|是什么|为什么要|为什么|为啥|怎么样|怎么|如何|有哪些|哪些|有什么|区别是|作用是|原理是|的区别|区别|对比|比较|异同|和|与|跟|及|吗|呢|么|的|了|?|\?/g;
|
||||
// 只去掉问句的开头和结尾,保留“和”“的区别”:“堆和栈的区别是什么”中的“堆”“栈”单独去搜没有意义,标题正是“堆和栈的区别”
|
||||
var ASKING = /^(?:简单讲讲|讲一讲|讲讲|说一说|说说|说下|聊聊|谈谈|了解过|了解|知道|什么是)|(?:是什么|是怎样|是啥|吗|呢|么|?|\?)+$/g;
|
||||
function stripQuestion(query) {
|
||||
// 去掉后剩下的单个汉字或单个字母没有意义(“和为 S”去掉“和”只剩“为”和“s”),这时不用去掉后的版本
|
||||
var terms = splitTerms(normalize(query.replace(QUESTION, ' '))).filter(function (term) { return term.length > 1; });
|
||||
@@ -161,7 +174,7 @@
|
||||
normalize(text.replace(QUESTION, ' ')).split(' ').forEach(function (word) {
|
||||
(word.match(/[㐀-鿿豈-]+|[^㐀-鿿豈-]+/g) || []).forEach(function (part) {
|
||||
if (CJK.test(part)) {
|
||||
for (var i = 0; i + 1 < part.length; i++) if (!FUNCTION_CHARS.test(part.slice(i, i + 2))) units.push([part.slice(i, i + 2)]);
|
||||
for (var i = 0; i + 1 < part.length; i++) if (!FUNCTION_CHARS.test(part.slice(i, i + 2))) units.push(alternatives(part.slice(i, i + 2)));
|
||||
} else {
|
||||
// 英文和数字按词切开,标点(“、”“,”)不算词的一部分:“http/1.0、2.0”是两个词
|
||||
(part.match(/[a-z0-9][a-z0-9+#./_-]*/g) || []).forEach(function (token) {
|
||||
@@ -206,6 +219,7 @@
|
||||
function search(index, query, limit) {
|
||||
var normalizedQuery = normalize(query).slice(0, 120);
|
||||
if (!normalizedQuery) return [];
|
||||
camelSplit(query);
|
||||
var entries = prepareIndex(index), results = [], fuzzy = false, used = [];
|
||||
var seen = {};
|
||||
function collect(scoreOf) {
|
||||
@@ -230,6 +244,8 @@
|
||||
// 去掉问法后的结果合并进来:“死锁的必要条件”原文只出现在学习路线中,正文的小节标题是“必要条件”
|
||||
var stripped = stripQuestion(normalizedQuery);
|
||||
if (stripped && stripped !== normalizedQuery) exact(stripped);
|
||||
var asked = normalize(normalizedQuery.replace(ASKING, ''));
|
||||
if (asked && asked !== normalizedQuery && asked !== stripped && splitTerms(asked).length === 1) exact(asked);
|
||||
// “原理”“机制”这类泛泛的词正文中不一定出现(“synchronized 原理”),去掉后再搜一次;结果比带着这些词命中的少一个词的分
|
||||
var core = stripGeneric(stripped || normalizedQuery);
|
||||
if (core && core !== normalizedQuery && core !== stripped) exact(core);
|
||||
|
||||
Reference in New Issue
Block a user