diff --git a/notes/学习路线 - 大模型应用开发.md b/notes/学习路线 - 大模型应用开发.md index f5b98454..d1f6c03a 100644 --- a/notes/学习路线 - 大模型应用开发.md +++ b/notes/学习路线 - 大模型应用开发.md @@ -130,7 +130,7 @@ Token 是模型处理文本的单位,也是计费和上下文长度的单位 1. 公式为 softmax(QKT / √d) V:Q 与各 K 点积得到分数,softmax 成权重后对 V 加权求和;分量独立、均值 0、方差 1 时点积的方差为 d,维度大时 softmax 几乎集中到一个 Token 上,梯度接近 0;除以 √d 使方差恢复为 1。 2. 单头注意力中每个 Token 只有一组权重,只能按一种标准挑选信息;多头把 Q、K、V 切成 h 份分别计算,拼接后乘 WO,不同的头可以关注指代、相邻词等不同关系;每头维度为 d / h,计算量与单头基本相同。 -3. 标准注意力的计算量为 O(n2d),n × n 的分数矩阵占 O(n2) 显存,长上下文时显存读写成为瓶颈;FlashAttention 分块在 GPU 片上缓存中计算,分数矩阵不写回显存,用在线 softmax 逐块累积;结果与标准注意力完全相同,省的是显存读写而不是计算量。 +3. 标准注意力的计算量为 O(n2d),n × n 的分数矩阵占 O(n2) 显存,长上下文时显存读写成为瓶颈;FlashAttention 分块在 GPU 片上缓存中计算,分数矩阵不写回显存,用在线 softmax 逐块累积;结果在数学上与标准注意力相同,不是近似,省的是显存读写而不是计算量。