mirror of
https://github.com/CyC2018/Interview-Notebook.git
synced 2026-11-19 12:33:46 +00:00
Update 数据库系统原理.md
undo log 的内容、不可重复读与幻读的区别、mysqldump 与全局读锁、主属性、传递函数依赖的条件等调整,附录用时与实测一致,补充小节间的链接。
This commit is contained in:
+22
-22
@@ -94,7 +94,7 @@
|
||||
|
||||
在 InnoDB 中,这四个特性分别这样实现:
|
||||
|
||||
- 原子性:回滚日志(undo log)记录每次修改之前的值,回滚时用它恢复;
|
||||
- 原子性:回滚日志(undo log)记录撤销每次修改所需的信息(插入记下主键,更新和删除记下旧版本),回滚时按它从后往前撤销;
|
||||
- 持久性:数据页写回磁盘之前,先把记录数据页修改的重做日志(redo log)写到磁盘(预写日志),默认配置下事务提交时把 redo log 刷到磁盘,崩溃后重放 redo log 恢复已提交的修改,见 [MySQL 的日志](MySQL.md#七日志);
|
||||
- 隔离性:写操作加锁,普通的读操作通过 MVCC 读取快照,见 [多版本并发控制](#五多版本并发控制);
|
||||
- 一致性:由以上三者和数据库的约束(主键、唯一索引、外键)共同保证,业务规则还需要应用自己维护。
|
||||
@@ -103,7 +103,7 @@
|
||||
|
||||
### AUTOCOMMIT
|
||||
|
||||
MySQL 默认采用自动提交模式。也就是说,如果不显式使用 START TRANSACTION 或 BEGIN 开始一个事务,那么每条语句都会被当做一个事务并自动提交。
|
||||
MySQL 默认采用自动提交模式:如果不显式使用 START TRANSACTION 或 BEGIN 开始一个事务,每条语句都会被当做一个事务并自动提交。
|
||||
|
||||
## 二、并发一致性问题 🔥
|
||||
|
||||
@@ -115,7 +115,7 @@ MySQL 默认采用自动提交模式。也就是说,如果不显式使用 STAR
|
||||
|
||||
<div align="center"> <img src="pics/txn-lost-update.png" width="780px"/> </div><br>
|
||||
|
||||
InnoDB 在可串行化以下的隔离级别都不会自动避免这种先读后写的丢失修改(附录 A1 中两个会话都是可重复读),常用的做法有三种:
|
||||
InnoDB 在可串行化以下的[隔离级别](#四隔离级别)都不会自动避免这种先读后写的丢失修改(附录 A1 中两个会话都是可重复读),常用的做法有三种:
|
||||
|
||||
- 在 UPDATE 中直接计算(`SET balance = balance - 30`),第二个 UPDATE 会等待第一个的行锁,再基于 70 计算;
|
||||
- 先用 SELECT ... FOR UPDATE 加锁读取,第二个事务的读取要等第一个提交;
|
||||
@@ -135,7 +135,7 @@ InnoDB 在可串行化以下的隔离级别都不会自动避免这种先读后
|
||||
|
||||
### 幻读
|
||||
|
||||
幻读本质上也属于不可重复读的情况:T<sub>2</sub> 读取某个范围的数据,T<sub>1</sub> 在这个范围内插入新的数据,T<sub>2</sub> 再次读取这个范围的数据时,多出了新插入的行。不可重复读针对的是同一行被修改,幻读针对的是范围内的行数变化。
|
||||
幻读本质上也属于不可重复读的情况:T<sub>2</sub> 读取某个范围的数据,T<sub>1</sub> 在这个范围内插入新的数据,T<sub>2</sub> 再次读取这个范围的数据时,多出了新插入的行。不可重复读针对的是同一行被修改或删除,幻读针对的是范围内多出了新的行。
|
||||
|
||||
<div align="center"> <img src="pics/txn-phantom.png" width="780px"/> </div><br>
|
||||
|
||||
@@ -143,7 +143,7 @@ InnoDB 在可串行化以下的隔离级别都不会自动避免这种先读后
|
||||
|
||||
----
|
||||
|
||||
产生并发不一致性问题的主要原因是破坏了事务的隔离性,解决方法是通过并发控制来保证隔离性。并发控制可以通过封锁来实现,但是封锁操作需要用户自己控制,相当复杂。数据库管理系统提供了事务的隔离级别,让用户以一种更轻松的方式处理并发一致性问题。
|
||||
产生并发不一致性问题的主要原因是破坏了事务的隔离性,解决方法是通过并发控制来保证隔离性。并发控制可以通过封锁来实现,但是封锁操作需要用户自己控制,相当复杂。数据库管理系统提供了事务的隔离级别,让用户以一种更轻松的方式处理并发一致性问题,各隔离级别能避免哪些问题见 [四、隔离级别](#四隔离级别)。
|
||||
|
||||
## 三、封锁
|
||||
|
||||
@@ -275,7 +275,7 @@ SELECT ... FOR UPDATE;
|
||||
| 表 | 自增锁(AUTO-INC) | 分配自增值,MySQL 8.0 默认的 innodb_autoinc_lock_mode = 2 下插入语句不再使用 |
|
||||
| 行 | 记录锁、间隙锁、Next-Key Lock、插入意向锁 | InnoDB 的行锁,加在索引上,见 [六、Next-Key Locks](#六next-key-locks) |
|
||||
|
||||
InnoDB 的表备份时不需要全局读锁:mysqldump --single-transaction 在一个可重复读的事务中导出,读到的是开始时的快照,不阻塞其它读写。InnoDB 也不会把大量行锁升级为表锁,“锁表”通常是因为条件列没有索引,扫描过的每一行都被锁住了,见 [六、Next-Key Locks](#六next-key-locks) 的末尾。
|
||||
InnoDB 的表备份时,一致性快照本身不需要全局读锁:mysqldump --single-transaction 在一个可重复读的事务中导出,读到的是开始时的快照,不阻塞其它读写。需要注意的是,同时加 --source-data 或 --flush-logs,或者开启了 GTID 且 --set-gtid-purged 不为 OFF(8.0.32 起)时,开始时仍会短暂加全局读锁,遇到正在执行的长查询要等它结束。InnoDB 也不会把大量行锁升级为表锁,“锁表”通常是因为条件列没有索引,扫描过的每一行都被锁住了,见 [六、Next-Key Locks](#六next-key-locks) 的末尾。
|
||||
|
||||
#### 1. 元数据锁
|
||||
|
||||
@@ -294,7 +294,7 @@ C 只是一条普通的查询,也被阻塞了。这是因为 B 在等待 MDL
|
||||
|
||||
#### 2. 间隙锁带来的问题
|
||||
|
||||
间隙锁之间互不冲突:两个事务可以同时锁住同一个间隙,间隙锁只阻止插入。并发写入多时这会带来两个问题:插入被其它事务的间隙锁阻塞;两个事务先锁住同一个间隙再各自插入,会互相等待对方的间隙锁而死锁,常见于“先查有没有,没有再插入”,例子见 [MySQL 死锁](计算机操作系统%20-%20死锁.md#2-mysql-死锁)。可以直接依赖唯一索引插入并处理重复键错误,或者改用不加间隙锁的提交读。
|
||||
[间隙锁](#gap-locks)之间互不冲突:两个事务可以同时锁住同一个间隙,间隙锁只阻止插入。并发写入多时这会带来两个问题:插入被其它事务的间隙锁阻塞;两个事务先锁住同一个间隙再各自插入,会互相等待对方的间隙锁而死锁,常见于“先查有没有,没有再插入”,例子见 [MySQL 死锁](计算机操作系统%20-%20死锁.md#2-mysql-死锁)。可以直接依赖唯一索引插入并处理重复键错误,或者改用不加间隙锁的提交读。
|
||||
|
||||
以上都是悲观锁。数据库中的乐观锁一般用版本号实现:读取时不加锁,更新时用 `WHERE version = ?` 检查版本有没有变化,影响 0 行表示被别人改过,需要重试,见 [乐观锁与悲观锁](Java%20并发.md#4-乐观锁与悲观锁)。
|
||||
|
||||
@@ -318,7 +318,7 @@ InnoDB 在提交读下不加间隙锁(只在检查外键和唯一键时使用
|
||||
|
||||
保证并发执行的结果与某种串行执行的结果相同,不会出现并发一致性问题。
|
||||
|
||||
InnoDB 的实现方式是在显式开始的事务中(BEGIN,或者关闭了自动提交),把普通的 SELECT 都变成加共享锁的 SELECT ... FOR SHARE,读和写会互相阻塞,并发度最低:可串行化的事务读过的行,另一个事务要修改就得等它结束。自动提交的单条 SELECT 仍然是快照读,不加锁(见[附录 A2](#a2-可串行化与快照读))。
|
||||
InnoDB 的实现方式是在显式开始的事务中(BEGIN,或者关闭了自动提交),把普通的 SELECT 都变成加共享锁的 SELECT ... FOR SHARE,读和写会互相阻塞,并发度最低:可串行化的事务读过的行,另一个事务要修改就得等它结束。自动提交的单条 SELECT 仍然是[快照读](#快照读与当前读),不加锁(见[附录 A2](#a2-可串行化与快照读))。
|
||||
|
||||
有了可重复读仍然需要可串行化,是因为“先读、再按读到的结果写”的事务仍会出错:除了[丢失修改](#丢失修改),还有写偏差(Write Skew),即两个事务读同一批数据、各自修改不同的行,合起来违反业务规则。
|
||||
|
||||
@@ -343,7 +343,7 @@ InnoDB 的实现方式是在显式开始的事务中(BEGIN,或者关闭了
|
||||
|
||||
MySQL 默认使用可重复读与 binlog 有关:提交读不加间隙锁,按语句重放时从库可能得到与主库不同的结果,所以 InnoDB 的提交读只能按行记录 binlog;而 MySQL 5.1.4 及以前,binlog 只有记录语句的 STATEMENT 格式。
|
||||
|
||||
InnoDB 用 MVCC 和锁实现这四种隔离级别:
|
||||
InnoDB 用 MVCC 和锁实现这四种隔离级别(ReadView 见 [ReadView](#readview)):
|
||||
|
||||
| 隔离级别 | 普通 SELECT | 加锁读、UPDATE、DELETE |
|
||||
| --- | --- | --- |
|
||||
@@ -414,7 +414,7 @@ MVCC 维护了一个 ReadView 结构,主要包含了创建 ReadView 时系统
|
||||
|
||||
在数据行快照不可使用的情况下,需要沿着 undo log 的回滚指针 ROLL_PTR 找到下一个快照,再进行上面的判断。
|
||||
|
||||
接着上面的例子,假设事务 103 修改了 x 但还没有提交,另一个事务这时开始读取这一行(系统中修改其它行的事务 104 已提交、105 未提交):
|
||||
接着上面的例子,假设把 x 改为 "c" 的那条 UPDATE 放在 BEGIN 开始的事务中执行,事务 103 修改了 x 但还没有提交,另一个事务这时开始读取这一行(系统中修改其它行的事务 104 已提交、105 未提交):
|
||||
|
||||
<div align="center"> <img src="pics/mvcc-readview.png" width="760px"/> </div><br>
|
||||
|
||||
@@ -461,7 +461,7 @@ Next-Key Locks 是 MySQL 的 InnoDB 存储引擎的一种锁实现。
|
||||
|
||||
锁定一个记录上的索引,而不是记录本身。
|
||||
|
||||
通过二级索引执行 FOR UPDATE、UPDATE 时,除了二级索引上的记录,回表找到的主键索引记录也会加记录锁,所以其它事务按主键修改这一行同样要等待(见[附录 A5](#a5-next-key-locks-的加锁范围) 中的 PRIMARY X,REC_NOT_GAP)。
|
||||
通过[二级索引](MySQL.md#1-btree-索引)执行 FOR UPDATE、UPDATE 时,除了二级索引上的记录,回表找到的主键索引记录也会加记录锁,所以其它事务按主键修改这一行同样要等待(见[附录 A5](#a5-next-key-locks-的加锁范围) 中的 PRIMARY X,REC_NOT_GAP)。
|
||||
|
||||
没有定义主键的表也有聚簇索引(用非空唯一索引或隐藏的 6 字节行 ID,见 [B+Tree 索引](MySQL.md#1-btree-索引)),因此 Record Locks 依然可以使用。
|
||||
|
||||
@@ -487,9 +487,9 @@ SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
|
||||
(20, +∞)
|
||||
```
|
||||
|
||||
最后一个区间锁在 supremum 伪记录上,实际只锁住 20 之后的间隙。
|
||||
最后一个区间锁在 supremum 伪记录(索引中比所有实际值都大的一条虚拟记录)上,实际只锁住 20 之后的间隙。
|
||||
|
||||
以表 t(id, c) 为例,c 上有普通索引,有 c 为 10、11、13、20 的四行。在可重复读下执行两种加锁读,实际加的锁和对插入的影响如下(从 performance_schema.data_locks 中查看,见[附录 A5](#a5-next-key-locks-的加锁范围)):
|
||||
以表 t(id, c) 为例,c 上有普通索引,有 (id, c) 为 (1, 10)、(2, 11)、(3, 13)、(4, 20) 的四行。在可重复读下执行两种加锁读,实际加的锁和对插入的影响如下(从 performance_schema.data_locks 中查看,见[附录 A5](#a5-next-key-locks-的加锁范围)):
|
||||
|
||||
<div align="center"> <img src="pics/next-key-locks-v2.png" width="760px"/> </div><br>
|
||||
|
||||
@@ -497,7 +497,7 @@ SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
|
||||
|
||||
需要注意的是,二级索引的记录按(c, 主键)排序,间隙的边界也是这样的二元组,所以插入 c 等于边界值的行会不会被阻塞,要看主键落在哪一侧。上面按 c = 11 加锁后,锁住的范围是 (10, id 1) 到 (13, id 3) 之间:插入 c = 10、id = 5 的行会阻塞,c = 10、id = 0 的行不会;插入 c = 13、id = 0 的行会阻塞,c = 13、id = 5 的行不会(见[附录 A5](#a5-next-key-locks-的加锁范围))。
|
||||
|
||||
当前读的条件列没有索引时,InnoDB 只能扫描整个聚簇索引,扫描过的每一行都要加锁。例如表 t_nl 有 5 行,d 列没有索引,执行 UPDATE t_nl SET d = d + 1 WHERE d = 30 只修改 1 行:在可重复读下锁住了全部 5 行和最后的间隙,其它事务插入新行、修改 id 为 5 的行都要等待,效果相当于锁住了整张表;在提交读下只锁住 1 行,插入和修改都不受影响(MySQL 8.0 实测,见[附录 A6](#a6-没有索引时的加锁))。所以 UPDATE、DELETE 的条件列要建索引。
|
||||
当前读的条件列没有索引时,InnoDB 只能扫描整个聚簇索引,扫描过的每一行都要加锁。例如表 t_nl 有 5 行,d 列没有索引,执行 UPDATE t_nl SET d = d + 1 WHERE d = 30 只修改 1 行:在可重复读下每一行都加了 Next-Key Lock,锁住了全部 5 行和所有间隙,其它事务插入新行、修改 id 为 5 的行都要等待,效果相当于锁住了整张表;在提交读下只锁住 1 行,插入和修改都不受影响(MySQL 8.0 实测,见[附录 A6](#a6-没有索引时的加锁))。所以 UPDATE、DELETE 的条件列要建索引。
|
||||
|
||||
## 七、关系数据库设计理论
|
||||
|
||||
@@ -505,15 +505,15 @@ SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
|
||||
|
||||
记 A-\>B 表示 A 函数决定 B,也可以说 B 函数依赖于 A。
|
||||
|
||||
如果 {A1,A2,... ,An} 是关系的一个或多个属性的集合,该集合函数决定了关系的其它所有属性并且是最小的,那么该集合就称为键码。
|
||||
如果 {A1,A2,... ,An} 是关系的一个或多个属性的集合,该集合函数决定了关系的其它所有属性并且是最小的,那么该集合就称为键码。包含在某个键码中的属性称为主属性,其它属性称为非主属性。
|
||||
|
||||
对于 A-\>B,如果能找到 A 的真子集 A',使得 A'-\> B,那么 A-\>B 就是部分函数依赖,否则就是完全函数依赖。
|
||||
|
||||
对于 A-\>B,B-\>C,则 A-\>C 是一个传递函数依赖。
|
||||
对于 A-\>B,B-\>C,如果 B 不包含于 A、B 不函数决定 A,C 也不包含于 B,则 A-\>C 是一个传递函数依赖。
|
||||
|
||||
### 异常
|
||||
|
||||
以下的学生课程关系的函数依赖为 {Sno, Cname} -\> {Sname, Sdept, Mname, Grade},键码为 {Sno, Cname}。也就是说,确定学生和课程之后,就能确定其它信息。
|
||||
以下的学生课程关系的函数依赖为 {Sno, Cname} -\> {Sname, Sdept, Mname, Grade},键码为 {Sno, Cname},即确定学生和课程之后,就能确定其它信息。
|
||||
|
||||
| Sno | Sname | Sdept | Mname | Cname | Grade |
|
||||
| :---: | :---: | :---: | :---: | :---: |:---:|
|
||||
@@ -522,7 +522,7 @@ SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
|
||||
| 2 | 学生-2 | 学院-2 | 院长-2 | 课程-1 | 100 |
|
||||
| 3 | 学生-3 | 学院-2 | 院长-2 | 课程-2 | 95 |
|
||||
|
||||
不符合范式的关系,会产生很多异常,主要有以下四种异常:
|
||||
不符合[范式](#范式)的关系,会产生很多异常,主要有以下四种异常:
|
||||
|
||||
- 冗余数据:例如 `学生-2` 出现了两次;
|
||||
- 修改异常:修改了一个记录中的信息,但是另一个记录中相同的信息却没有被修改,例如学院-2 换了院长,只改了第二行;
|
||||
@@ -562,7 +562,7 @@ SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
|
||||
|
||||
Grade 完全函数依赖于键码,它没有任何冗余数据,每个学生的每门课都有特定的成绩。
|
||||
|
||||
Sname, Sdept 和 Mname 都部分依赖于键码,当一个学生选修了多门课时,这些数据就会出现多次,造成大量冗余数据。
|
||||
Sname、Sdept 只依赖于 Sno,Mname 经 Sdept 传递依赖于 Sno,它们都部分依赖于键码,当一个学生选修了多门课时,这些数据就会出现多次,造成大量冗余数据。
|
||||
|
||||
分解后:
|
||||
|
||||
@@ -859,9 +859,9 @@ metadata_locks EXCLUSIVE PENDING B
|
||||
metadata_locks SHARED_READ PENDING C
|
||||
```
|
||||
|
||||
A 在第 5 秒提交后,B 用时 5.02 s 完成,C 用时 4.02 s 完成。
|
||||
A 在第 5 秒提交后,B 用时 4.02 s 完成,C 用时 3.02 s 完成。
|
||||
|
||||
B 先执行 SET SESSION lock_wait_timeout = 3 时:B 在 3.02 s 后报错 ERROR 1205 Lock wait timeout exceeded,C 随即返回(用时 1.79 s),此时 A 仍未提交。
|
||||
B 先执行 SET SESSION lock_wait_timeout = 3 时:B 在 3.01 s 后报错 ERROR 1205 Lock wait timeout exceeded,C 随即返回(用时 2.00 s),此时 A 仍未提交。
|
||||
|
||||
### A8 长事务与版本链
|
||||
|
||||
@@ -930,7 +930,7 @@ ERROR 3819 (HY000): Check constraint 'account_chk_1' is violated.
|
||||
- Abraham Silberschatz, Henry F. Korth, S. Sudarshan, 等. 数据库系统概念 [M]. 机械工业出版社, 2006.
|
||||
- 施瓦茨. 高性能 MySQL(第 3 版) [M]. 电子工业出版社, 2013.
|
||||
- 史嘉权. 数据库系统概论 [M]. 清华大学出版社有限公司, 2006.
|
||||
- [The InnoDB Storage Engine](https://dev.mysql.com/doc/refman/5.7/en/innodb-storage-engine.html)
|
||||
- [MySQL 8.0: The InnoDB Storage Engine](https://dev.mysql.com/doc/refman/8.0/en/innodb-storage-engine.html)
|
||||
- [MySQL 8.0: Transaction Isolation Levels](https://dev.mysql.com/doc/refman/8.0/en/innodb-transaction-isolation-levels.html)
|
||||
- [MySQL 8.0: InnoDB Locking](https://dev.mysql.com/doc/refman/8.0/en/innodb-locking.html)
|
||||
- [MySQL 8.0: Locks Set by Different SQL Statements in InnoDB](https://dev.mysql.com/doc/refman/8.0/en/innodb-locks-set.html)
|
||||
|
||||
Reference in New Issue
Block a user