FROM TEXT TO TOKEN IDS
看见片段的边界，再查到对应编号。
A SMALL BPE TOKENIZER
本页实现一个字符级 BPE 教学分词器。三条已确定的合并规则按优先顺序应用：u + g → ug；u + n → un；h + ug → hug。没有匹配的相邻片段时，该规则不产生变化。
规则顺序参考 Hugging Face 的小型 BPE 教学示例。原示例通过语料频率学习规则，本页仅演示已有规则的应用，不演示训练。滑块切换的是教学分词器的规则版本，不表示真实模型每次输入都重新训练。
本页只接受五个预设英文词，不处理空格、中文、特殊 Token、Unicode 归一化或未知字符。真实 tokenizer 可能使用字节级 BPE、WordPiece、Unigram 等方法。这里的分词结果与 ID 不能当作 ChatGPT、Claude 或其他模型的真实结果。
算法与示例来源 ↗
分词的输出是编号序列；它不等于理解词义，也不等于生成下一个 Token。
PREDICT · TRY · EXPLAIN
启用全部三条规则，输入 unhug。按照 u+g、u+n、h+ug 的顺序，它会得到几个 Token？