e· Explain3DAI 原理课堂 / 05

THE MAKING OF A TOKEN

一个词,是怎样被选出来的?

从分数到概率,再到一次选择。

01 / 06 · 候选分数T = 0.80
固定输入 · 教学示例

the cat sat on the …

4 个教学候选 · 原始分数固定
六个步骤 · 一条因果关系00:00 / 00:50

FOLLOW THE NUMBERS

跟着同一个词,走完计算。

候选原始分数 zz / T指数权重概率

这 4 个候选构成完整的教学词表;分数由示例设定,未调用真实语言模型。每个候选按一个教学 Token 处理。现实模型的词表与分词方式更复杂。

A SMALL, COMPLETE EXPLANATION

看清一次选择是怎么发生的。

这节课从模型已经给出候选分数的位置开始,演示温度缩放、指数运算、概率归一化与随机采样。图形只表达这些数学关系。

输入固定为 the cat sat on the …,4 个教学候选为 mat、floor、bed、sofa,原始分数为 3、2、1、0。这里只完成一次选择,不把结果接回上下文继续生成。

温度改变分布的集中程度;较高温度不意味着答案更正确。抽样使用可复现的均匀随机数,游标移动用来展示已确定的落点。重复抽样也可能选中同一个词。

本版保留上一版参考 Anatomy 的细线、浅色阶与轻立体风格,重新绘制数学图形,没有复用轮盘主体。查看视觉参考 ↗

浏览器内实时计算 · SVG 矢量绘制 · 支持减少动态效果 · 本版讲解为同步文字气泡,无语音

PREDICT · TRY · EXPLAIN

先预测,再看发生了什么。

固定分数 [3, 2, 1, 0] 和随机数 u = 0.6219。T = 0.8 时选中了 mat。现在把温度提高到 2.0,这次会选中哪个候选?

检验的是分布与随机数的关系;一次选择不会因为温度高就自动更正确。