THE MAKING OF A TOKEN
从分数到概率,再到一次选择。
the cat sat on the …
FOLLOW THE NUMBERS
这 4 个候选构成完整的教学词表;分数由示例设定,未调用真实语言模型。每个候选按一个教学 Token 处理。现实模型的词表与分词方式更复杂。
A SMALL, COMPLETE EXPLANATION
这节课从模型已经给出候选分数的位置开始,演示温度缩放、指数运算、概率归一化与随机采样。图形只表达这些数学关系。
输入固定为 the cat sat on the …,4 个教学候选为 mat、floor、bed、sofa,原始分数为 3、2、1、0。这里只完成一次选择,不把结果接回上下文继续生成。
温度改变分布的集中程度;较高温度不意味着答案更正确。抽样使用可复现的均匀随机数,游标移动用来展示已确定的落点。重复抽样也可能选中同一个词。
本版保留上一版参考 Anatomy 的细线、浅色阶与轻立体风格,重新绘制数学图形,没有复用轮盘主体。查看视觉参考 ↗
浏览器内实时计算 · SVG 矢量绘制 · 支持减少动态效果 · 本版讲解为同步文字气泡,无语音
PREDICT · TRY · EXPLAIN
固定分数 [3, 2, 1, 0] 和随机数 u = 0.6219。T = 0.8 时选中了 mat。现在把温度提高到 2.0,这次会选中哪个候选?
检验的是分布与随机数的关系;一次选择不会因为温度高就自动更正确。