From d330bf7f85328da4b37b215a941cffb96269c624 Mon Sep 17 00:00:00 2001 From: CyC2018 Date: Sat, 31 Oct 2026 00:23:19 +0800 Subject: [PATCH] =?UTF-8?q?Update=20=E5=AD=A6=E4=B9=A0=E8=B7=AF=E7=BA=BF?= =?UTF-8?q?=20-=20=E5=A4=A7=E6=A8=A1=E5=9E=8B=E5=BA=94=E7=94=A8=E5=BC=80?= =?UTF-8?q?=E5=8F=91.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 更新 FlashAttention 一题的参考答案。 --- notes/学习路线 - 大模型应用开发.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/notes/学习路线 - 大模型应用开发.md b/notes/学习路线 - 大模型应用开发.md index f5b98454..d1f6c03a 100644 --- a/notes/学习路线 - 大模型应用开发.md +++ b/notes/学习路线 - 大模型应用开发.md @@ -130,7 +130,7 @@ Token 是模型处理文本的单位，也是计费和上下文长度的单位 1. 公式为 softmax(QKT / √d) V：Q 与各 K 点积得到分数，softmax 成权重后对 V 加权求和；分量独立、均值 0、方差 1 时点积的方差为 d，维度大时 softmax 几乎集中到一个 Token 上，梯度接近 0；除以 √d 使方差恢复为 1。 2. 单头注意力中每个 Token 只有一组权重，只能按一种标准挑选信息；多头把 Q、K、V 切成 h 份分别计算，拼接后乘 WO，不同的头可以关注指代、相邻词等不同关系；每头维度为 d / h，计算量与单头基本相同。 -3. 标准注意力的计算量为 O(n2d)，n × n 的分数矩阵占 O(n2) 显存，长上下文时显存读写成为瓶颈；FlashAttention 分块在 GPU 片上缓存中计算，分数矩阵不写回显存，用在线 softmax 逐块累积；结果与标准注意力完全相同，省的是显存读写而不是计算量。 +3. 标准注意力的计算量为 O(n2d)，n × n 的分数矩阵占 O(n2) 显存，长上下文时显存读写成为瓶颈；FlashAttention 分块在 GPU 片上缓存中计算，分数矩阵不写回显存，用在线 softmax 逐块累积；结果在数学上与标准注意力相同，不是近似，省的是显存读写而不是计算量。