diff --git a/notes/大模型应用 - 进阶.md b/notes/大模型应用 - 进阶.md index f0eca90a..d6bd6608 100644 --- a/notes/大模型应用 - 进阶.md +++ b/notes/大模型应用 - 进阶.md @@ -59,7 +59,7 @@ class MHA(nn.Module):

-FlashAttention 把计算分块:每次把一块 Q 和一块 K、V 读入 SRAM,算出这一块的分数后直接累积到输出中,n × n 的矩阵从不写回显存。难点在于 softmax 要除以全部分数的指数和,只看到一部分 K 时还不知道这个和。解决方法是在线 softmax:对每个查询维护目前为止的最大分数 m、指数和 l 以及未归一化的输出 o,读入新的一块后,如果最大值变大了,就把之前的 l 和 o 乘以 em旧 − m新 再累加。例如一个查询与 4 个 Token 的分数为 2、1、3、0,对应的 V 为 10、20、30、40,每块 2 个 Token: +FlashAttention 把计算分块:每次把一块 Q 和一块 K、V 读入 SRAM,算出这一块的分数后直接累积到输出中,n × n 的矩阵从不写回显存。难点在于 softmax 要除以全部分数的指数和,只看到一部分 K 时还不知道这个和。解决方法是在线 softmax:对每个查询维护目前为止的最大分数 m、指数和 l 以及未归一化的输出 o,取指数前各分数先减去 m,避免溢出,读入新的一块后,如果最大值变大了,就把之前的 l 和 o 乘以 em旧 − m新 再累加。例如一个查询与 4 个 Token 的分数为 2、1、3、0,对应的 V 为 10、20、30、40,每块 2 个 Token: ```text 第 1 块(分数 2、1) m = 2 l = e^0 + e^-1 = 1.368 @@ -70,11 +70,11 @@ FlashAttention 把计算分块:每次把一块 Q 和一块 K、V 读入 SRAM 输出 o / l = 24.711,与一次性做 softmax 的结果相同 ``` -所以 FlashAttention 是精确计算,而不是近似(numpy 实测,见[附录 A2](#a2-在线-softmax-与注意力的计算量))。反向传播时也不保存分数矩阵,只保存 m 和 l,需要时重新计算分数,多做了一些计算,但显存的读写更少,整体仍然更快。论文在 A100 上计算 GPT-2 medium 的注意力(序列长度 1024),浮点运算量从 66.6 G 增加到 75.2 G,显存读写却从 40.3 GB 降到 4.4 GB,运行时间从 41.7 毫秒降到 7.3 毫秒。FlashAttention-2 进一步减少了矩阵乘法以外的运算,并沿序列长度的方向并行,速度又提高了约 1 倍。 +所以 FlashAttention 是精确计算,而不是近似(numpy 实测,见[附录 A2](#a2-在线-softmax-与注意力的计算量))。反向传播时也不保存分数矩阵,只保存 m 和 l,需要时重新计算分数,多做了一些计算,但显存的读写更少,整体仍然更快。论文在 A100 上计算 GPT-2 medium 注意力的前向和反向(序列长度 1024),浮点运算量从 66.6 G 增加到 75.2 G,显存读写却从 40.3 GB 降到 4.4 GB,运行时间从 41.7 毫秒降到 7.3 毫秒。FlashAttention-2 进一步减少了矩阵乘法以外的运算,并沿序列长度的方向并行,速度又提高了约 1 倍。 #### 3. 旋转位置编码与长度外推 -主线见[大模型应用 · 注意力机制](大模型应用.md#注意力机制)。以 Qwen2.5-7B 为例,每个头 128 维分成 64 组,base = 106,各组的波长(转一圈需要的 Token 数)从 6.28 到约 506 万。按训练长度 32768,64 组分成三类(见[附录 A4](#a4-rope-的相对位置与频率)): +主线见[大模型应用 · 注意力机制](大模型应用.md#注意力机制)。以 Qwen2.5-7B 为例,每个头 128 维分成 64 组,base = 106,各组的波长(转一圈需要的 Token 数)从 6.28 到约 506 万。按训练长度 32768,64 组分成三类(界限取自下文的 YaRN,见[附录 A4](#a4-rope-的相对位置与频率)): - 24 组转了 32 圈以上,各种角度在训练中都出现过; - 24 组转不满一圈; @@ -82,7 +82,7 @@ FlashAttention 把计算分块:每次把一块 Q 和一块 K、V 读入 SRAM

-直接输入更长的文本时,问题出在转不满一圈的组:例如最慢的一组在训练中最多转到 0.041 弧度,位置 131071 要转到 0.163 弧度,模型从没见过这样的角度,困惑度迅速上升。 +直接输入更长的文本时,问题出在转不满一圈的组:例如最慢的一组在训练中最多转到 0.041 弧度,位置 131071 要转到 0.163 弧度,模型从没见过这样的角度,[困惑度](大模型应用.md#1-怎样量化)迅速上升。 位置插值(Position Interpolation, PI)把所有位置按比例压缩,例如扩展 4 倍时把位置 131071 当作 32767.8 计算,角度都落回训练过的范围,论文用它把 LLaMA 扩展到 32768,微调不到 1000 步。缺点是转得快的组也被压缩了,相邻 Token 在第 0 组的角度差从 1 弧度变成 0.25 弧度,近处的 Token 更难区分。 @@ -111,7 +111,7 @@ o = (q_new @ k.transpose(-2, -1) / dk ** 0.5).softmax(-1) @ v # 新 Token 可 主线见[大模型应用 · 自回归生成与 KV Cache](大模型应用.md#自回归生成与-kv-cache)中减少 KV Cache 的方法。 -MLA 只缓存每个 Token 压缩后的低维潜在向量,计算时用矩阵还原出各个头的 K、V。推理时这些还原矩阵可以合并到 Q 和输出的矩阵中,不必真的算出每个头的 K、V。RoPE 会妨碍这种合并,所以另用一个所有头共享的小向量携带位置信息。DeepSeek-V3 每层每个 Token 只缓存 512 维的潜在向量和 64 维的位置向量,共 576 个数,61 层共 68.6 KB;同样的 128 个头如果用 MHA,每个 Token 要 4.77 MB(按 config.json 计算,见[附录 A3](#a3-zero-的显存与-mla-的-kv-cache))。DeepSeek-V2 论文中 MLA 的缓存量只相当于 2.25 组的 GQA,效果却好于 MHA。 +MLA 只缓存每个 Token 压缩后的低维潜在向量,计算时用矩阵还原出各个头的 K、V。推理时这些还原矩阵可以合并到 Q 和输出的矩阵中,不必真的算出每个头的 K、V。RoPE 会妨碍这种合并:旋转矩阵随位置变化,夹在 Q 的矩阵和 K 的还原矩阵之间,两者无法事先相乘,所以另用一个所有头共享的小向量携带位置信息。DeepSeek-V3 每层每个 Token 只缓存 512 维的潜在向量和 64 维的位置向量,共 576 个数,61 层共 68.6 KB;同样的 128 个头如果用 MHA,每个 Token 要 4.77 MB(按 config.json 计算,见[附录 A3](#a3-zero-的显存与-mla-的-kv-cache))。DeepSeek-V2 论文中 MLA 的缓存量只相当于 2.25 组的 GQA,效果却好于 MHA。 ### 训练过程 @@ -119,9 +119,9 @@ MLA 只缓存每个 Token 压缩后的低维潜在向量,计算时用矩阵还 主线见[大模型应用 · RLHF 与 PPO](大模型应用.md#2-rlhf-与-ppo),这里展开 PPO 中每个 Token 的优势怎样计算。 -把生成过程看作强化学习:状态是提示词和已经生成的 Token,动作是下一个 Token,奖励模型的分数在回答结束时才给出。每个 Token 的优势用广义优势估计(Generalized Advantage Estimation, GAE)计算:先算每一步的时序差分误差 δt = rt + γV(st+1) − V(st),即走完这一步后价值模型的估计比之前高了多少,优势是之后各步 δ 的加权和 Σ (γλ)k δt+k。 +把生成过程看作强化学习:状态是提示词和已经生成的 Token,动作是下一个 Token,奖励模型的分数在回答结束时才给出。每个 Token 的优势用广义优势估计(Generalized Advantage Estimation, GAE)计算:先算每一步的时序差分误差 δt = rt + γV(st+1) − V(st),即走完这一步后价值模型的估计比之前高了多少,优势是之后各步 δ 的加权和 Σ (γλ)k δt+k,其中 γ 是折扣因子,小于 1 时越靠后的奖励权重越小,等于 1 时不折扣;λ 让后面各步的 δ 再额外衰减。 -λ = 0 时只看一步,依赖价值模型的估计,方差小但有偏差;λ = 1 时等于之后各步奖励的折扣和减去 V(st),没有偏差但方差大;λ 取两者之间的值来折中。例如一个 3 个 Token 的回答在结尾得到奖励 1,取 RLHF 中常用的 γ = 1,暂不考虑 KL 惩罚,价值模型对三个状态的估计依次为 0.5、0.6、0.8: +λ = 0 时只看一步,依赖价值模型的估计,方差小但有偏差;λ = 1 时等于之后各步奖励的折扣和减去 V(st),没有偏差但方差大;λ 取两者之间的值来折中。例如一个 3 个 Token 的回答在结尾得到奖励 1,取 RLHF 中常用的 γ = 1,暂不考虑 KL 惩罚,价值模型对三个状态的估计依次为 0.5、0.6、0.8,回答结束后的状态价值为 0: ```text 三步的 δ 0 + 0.6 − 0.5 = 0.1 0 + 0.8 − 0.6 = 0.2 1 + 0 − 0.8 = 0.2 @@ -150,7 +150,7 @@ DAPO 还去掉了 KL 项,理由是训练长推理时模型本来就要远离 主线见[大模型应用 · QLoRA 与全参数微调](大模型应用.md#4-qlora-与全参数微调),这里展开全参数微调时怎样把模型状态分到多张卡上。 -普通的数据并行在每张卡上保存完整的模型状态,增加卡数并不能减少每张卡的显存。DeepSpeed 的 ZeRO 把模型状态切分到各张卡上,按切分的内容分为三个阶段。以 Qwen2.5-7B 在 8 张卡上训练为例,只算模型状态,不含激活(见[附录 A3](#a3-zero-的显存与-mla-的-kv-cache)): +普通的数据并行在每张卡上保存完整的模型状态,增加卡数并不能减少每张卡的显存。DeepSpeed 的 ZeRO 把模型状态切分到各张卡上,按切分的内容分为三个阶段。以 Qwen2.5-7B 在 8 张卡上训练为例,只算模型状态,即每个参数 16 字节:BF16 的参数和梯度各 2 字节,FP32 的参数副本和 Adam 的两个状态共 12 字节(ZeRO 把这 12 字节都算作优化器状态),不含激活(见[附录 A3](#a3-zero-的显存与-mla-的-kv-cache)): | 阶段 | 切分的内容 | 每张卡的显存 | | --- | --- | --- | @@ -167,7 +167,7 @@ DAPO 还去掉了 KL 项,理由是训练长推理时模型本来就要远离 主线见[大模型应用 · GPTQ 与 AWQ](大模型应用.md#3-gptq-与-awq),这里展开两种方法的具体做法。 -GPTQ 逐层量化,每层按列逐个量化权重:每量化一列,就根据校准数据算出的二阶信息(输入的 XXT),调整还没有量化的那些列,抵消这一列产生的输出误差。论文中 175B 的模型在一张显卡上约 4 小时就能量化到 3~4 位。 +GPTQ 逐层量化,每层按列逐个量化权重:每量化一列,就根据校准数据算出的二阶信息,调整还没有量化的那些列,抵消这一列产生的输出误差。这里的二阶信息是输出的平方误差对一行权重的 Hessian 矩阵 H = 2XXT,X 是校准数据在这一层的输入。论文中 175B 的模型在一张显卡上约 4 小时就能量化到 3~4 位。 AWQ(Activation-aware Weight Quantization)基于这样的观察:权重的重要程度不同,与较大的激活相乘的那部分权重对输出影响最大,只保护其中 1% 就能明显减小误差。但为个别通道保留 FP16 会形成混合精度,硬件上效率不高。AWQ 的做法是: