Update 学习路线 - 大模型应用开发.md

更新 FlashAttention 一题的参考答案。

notes/学习路线 - 大模型应用开发.md

@@ -130,7 +130,7 @@ Token 是模型处理文本的单位，也是计费和上下文长度的单位
 
 1. 公式为 softmax(QK<sup>T</sup> / √d) V：Q 与各 K 点积得到分数，softmax 成权重后对 V 加权求和；分量独立、均值 0、方差 1 时点积的方差为 d，维度大时 softmax 几乎集中到一个 Token 上，梯度接近 0；除以 √d 使方差恢复为 1。
 2. 单头注意力中每个 Token 只有一组权重，只能按一种标准挑选信息；多头把 Q、K、V 切成 h 份分别计算，拼接后乘 W<sub>O</sub>，不同的头可以关注指代、相邻词等不同关系；每头维度为 d / h，计算量与单头基本相同。
-3. 标准注意力的计算量为 O(n<sup>2</sup>d)，n × n 的分数矩阵占 O(n<sup>2</sup>) 显存，长上下文时显存读写成为瓶颈；FlashAttention 分块在 GPU 片上缓存中计算，分数矩阵不写回显存，用在线 softmax 逐块累积；结果与标准注意力完全相同，省的是显存读写而不是计算量。
+3. 标准注意力的计算量为 O(n<sup>2</sup>d)，n × n 的分数矩阵占 O(n<sup>2</sup>) 显存，长上下文时显存读写成为瓶颈；FlashAttention 分块在 GPU 片上缓存中计算，分数矩阵不写回显存，用在线 softmax 逐块累积；结果在数学上与标准注意力相同，不是近似，省的是显存读写而不是计算量。
 
 </details>