e· Explain3DAI 原理课堂 / 03

ONE QUERY · A WEIGHTED MIXTURE

注意力，怎样汇成一个结果？

从匹配分数，到可见信息的加权和。

手写 Q/K/V · 单头单行 · 未运行语言模型
六个步骤 · 从查询到加权和00:00 / 00:48

SCALED DOT-PRODUCT ATTENTION

权重和内容，是两件事。

本页计算因果自注意力的一行：当前位置 C（从 0 开始索引 2），可以参考 A/B/C，不能参考未来的 D。Q、K、V 在真实网络中由输入表示经过学习到的线性投影得到；本页直接给定这些参数，不演示投影、训练、多头、位置编码、输出投影、残差或下一词采样。

q = [√2 × α, 0]；α ∈ {−1, 0, 1}
K = [ [−1,0], [0,0], [1,0], [2,0] ]
V = [0, 10, 20, 未来值]
s = qKᵀ / √2 = [−α, 0, α, 2α]
s（遮罩后）= [−α, 0, α, −∞]
pⱼ = exp(sⱼ) / Σ exp(sₖ)
o = Σ pⱼVⱼ

V 为一维，只为看清乘法与求和。真实 V 通常是向量，逐分量使用同一组权重。因果遮罩包含当前位置自身，先应用遮罩再做 Softmax。没有 dropout。本页色彩只标识位置 A/B/C/D；卡片宽度不编码数值。概率条宽度表示权重，最终彩色条长度表示各项贡献（总长对应输出，刻度 0…20）。连接线表示依赖关系，不表示网络真实空间或耗时。

手写数字与符号 A/B/C/D 不代表任何真实语言模型或自然语言词义。本页的注意力权重也不是“解释模型推理”的充分证据。查询归零时，可见位置均分权重，输出为 (0+10+20)/3 = 10，未来值仍被排除。

原论文 §3.2 ↗ · PyTorch 官方公式与因果遮罩实现 ↗

PREDICT · TRY · EXPLAIN

查询归零，输出会是多少？

q = [0,0]，可见位置 A/B/C 的 V 为 0/10/20；未来 D 的 V 为 1000。因果遮罩仍然启用。