词元与缩放定律

模型读的是词元

语言模型的输入是一串编号。每个编号代表一个词元：一个常见的词，一个词的一段，一个标点，或者几个字节。GPT-4o 的分词器有 200,019 个编号；英文的“All human beings are born free and equal in dignity and rights.”在它那里是 13 个词元。

轨上每块瓷片是一个词元。词前面的空格算在词里，所以“ human”和“human”是两个不同的编号。

GPT-4o 分词器（o200k_base）· 63 个字符 → 13 个词元

最常见的一对

字节对编码从单个字节开始：每个字母一个字节，一个汉字三个字节。数一遍训练文字里所有相邻的两个片段，把出现最多的那一对合成一个新片段，记下这条规则；再数，再合，重复几万次。

这台分词器是本页刚刚在你的浏览器里学的，用的是《爱丽丝漫游奇境》的前两章。第 1 条规则是空格加 t（614 次），第 2 条是 h 加 e（559 次），第 8 条把“ t”和“he”合成“ the”。龙门架每压一下，就是执行一条规则。

数相邻的对 → 合并最常见的一对 → 记下规则 → 重复

规则越多，句子越短

这两章共 22,182 个字符，22,791 个字节。学了 100 条规则，它变成 12,044 个词元；250 条，9,340 个；500 条，7,672 个，平均每个词元 2.9 个字符。

规则多了，词表大，句子短，模型每次能读进更多内容；可每个编号都要在模型里占一行数，罕见的编号也学得少。GPT-2 的词表有 50,257 个编号，GPT-4 的 100,277 个，GPT-4o 的 200,019 个。

本页分词器：0 条 22,791 · 100 条 12,044 · 250 条 9,340 · 500 条 7,672 个词元

strawberry 里有几个 r

问 GPT-4o 的分词器“How many r’s are in strawberry?”，它得到 8 个词元，其中“ strawberry”（连着前面的空格）是一整个编号。模型拿到的是这个编号，不是 s、t、r、a、w……这十个字母。

同一个词放在句首、没有空格时，会被切成 st、raw、berry 三段；GPT-4 的分词器切成 str、aw、berry。要数字母，模型得记住每个编号是怎么拼的。这常被拿来解释为什么模型数不清字母，但它只是原因之一。

“ strawberry” → 1 个词元 · “strawberry” → st | raw | berry（GPT-2、GPT-4o）

同一句话的价钱

《世界人权宣言》第一条，英文 170 个字符，在 GPT-2、GPT-4、GPT-4o 的分词器里都是 33 个词元。中文版 43 个字，GPT-2 要 86 个词元，GPT-4 要 50 个，GPT-4o 要 35 个。日文版 84 个字，依次是 116、92、71 个。

GPT-2 的分词器主要从英文网页学来，很多汉字没有自己的编号，只能按 UTF-8 字节拆成两三块。本页这台只读过《爱丽丝》的分词器更极端：中文一个字都没合并，每个字三个词元。词元数决定能读多长、算多少、按词元计费时付多少。

第一条 · 英 33 / 33 / 33 · 中 86 / 50 / 35 · 日 116 / 92 / 71 个词元（GPT-2 / GPT-4 / GPT-4o）

误差按幂律下降

2020 年，OpenAI 的 Kaplan 等人训练了从 768 个到 15 亿个参数（不算词表）的语言模型。测试误差随参数 N、数据 D、算力 C 的增长，各自落在一条幂律上：L(N) = (8.8 × 10¹³ / N)^0.076，L(D) = (5.4 × 10¹³ / D)^0.095。参数多十倍，误差乘以 0.84。

后面这排机器是本页自己的实验：11 种大小，从 2 万到 1000 万个参数。每档算力下最好的那一台，误差从 4.27 降到 3.26（每个词元多少奈特，越低越好）。算力每多十倍，最好的误差乘以 0.87。这只是一个很小的范围；Kaplan 也写明，这些趋势最终必须变平，因为语言本身有不可约的不确定性。

每档算力最好的误差 · 10¹² 4.27 · 3 × 10¹² 3.99 · 10¹³ 3.70 · 3 × 10¹³ 3.46 · 10¹⁴ 3.26 奈特

算力 ≈ 6 × 参数 × 词元

训练一个模型的计算量，可以近似写成 C ≈ 6ND：每个参数、每个词元，正向 2 次浮点运算，反向 4 次（见“神经网络怎样学习”一页）。左后方的拨杆选一档算力，五档从 10¹² 到 10¹⁴ 次。

同一档算力，参数多一倍，能读的词元就少一半。Chinchilla 是 700 亿个参数读 1.4 万亿个词元，约 5.9 × 10²³ 次；本页最大的一档 10¹⁴，相当于它的六十亿分之一。

C ≈ 6 · N · D · 正向 2 + 反向 4 次 / 参数 / 词元

同样的算力，怎么分

拨杆停在 3 × 10¹³。每台机器的料斗里，是它在这档算力下能读的词元：最小的一台读 3019 万个，最大的只读 49 万个。它们同时开始，同时读完；液管里的墨柱是它在没见过的四本书上的误差。

太小的机器学不下，太大的机器没读够，最低的在中间：43 万个参数、1152 万个词元，3.46 奈特。红线是穿过附近几根管顶的抛物线，它的最低点约 41 万个参数。这是 Hoffmann 等人 2022 年用来定 Chinchilla 的第二种办法。

等算力曲线 · 3 × 10¹³ 次 · 最低 43 万参数 / 1152 万词元

一比二十

DeepMind 的 Hoffmann 等人训练了 400 多个模型，从 7000 万到 160 多亿个参数，读 50 亿到 5000 亿个词元。三种办法都得出：算力多了，参数和词元应该按差不多相同的比例一起加，每多一倍参数，就多一倍数据。他们的表 3 里，10 亿参数配 202 亿词元，100 亿配 2051 亿，约 20 个词元一个参数。

用 Gopher 的算力，他们训练了 700 亿参数、1.4 万亿词元的 Chinchilla，对照 2800 亿参数、3000 亿词元的 Gopher。Chinchilla 在大量任务上更好，MMLU 平均 67.5%，比 Gopher 高 7 个百分点以上，推理也更便宜。本页的小模型在最优处是每个参数 25 到 80 个词元，算力越大，比例越低；这么小的模型不该和 20 直接比。

Gopher 2800 亿参数 × 3000 亿词元 · Chinchilla 700 亿 × 1.4 万亿 · 同样的算力

剖开一台

最大的那台剖开来，是 8 圈，每圈一层 Transformer，宽 320。一层的权重约 12d² 个：注意力 4d²（铜黄的薄盘），前馈网络 8d²（紫铜的厚盘）。注意力和前馈网络怎样计算，见“Transformer 的注意力”一页。

它还有一张 1024 行的词表：输入时查表，输出时用同一张表给每个编号打分。小模型里这张表占了大半参数，最小的一台 2 万个参数里有 1.6 万个在词表上。Kaplan 只数层里的参数，Hoffmann 数全部参数，这一点后来被认为是两份结论不同的主要原因之一。

一层 ≈ 12d² · 注意力 4d² · 前馈 8d² · 词表 1024 × d

两条定律的分歧

Kaplan 的结论是算力多了，参数应该涨得比数据快：N_opt ∝ C^0.73。Hoffmann 的是一样快：∝ C^0.50。按前者，GPT-3 这一代模型偏大、读得太少；按后者，它们严重“欠训练”。

2024 年的几篇复核给出了原因：Kaplan 只数非嵌入参数、实验规模小（Pearce 与 Song）；最后一层的计算、学习率预热和随规模调的优化器设置（Porian 等）。Epoch AI 重新拟合 Chinchilla 的数据，发现论文里第三种办法的参数和前两种不一致，改正后也约 20 个词元一个参数。本页的小模型族得出 N_opt ∝ C^0.63，更像 Kaplan：规模这么小时，词表占比大，结论偏向他那边。

N_opt ∝ C^a · Kaplan 0.73 · Chinchilla 0.50 / 0.49 / 0.46 · 本页 0.63

数据会用完吗

幂律只说明给多少就涨多少，不保证有那么多可给。Villalobos 等人估计，公开的人类文字有效存量约 3 × 10¹⁴ 个词元（90% 区间 1 到 10 × 10¹⁴）；照现在的趋势，训练集大约在 2026 到 2032 年之间追上它。

数据不够时可以重复读。Muennighoff 等人发现，同一份数据读 4 遍，和读 4 份新数据差别很小；读到 16 遍左右，再加算力几乎不再有用。本页的模型大多只读了数据的一部分，读得最多的一台读了 1.09 遍。

有效存量 ≈ 3 × 10¹⁴ 词元 · 重复 4 遍 ≈ 新数据 · 约 16 遍后收益趋零

把算力留到回答时

算力也可以花在回答的时候：让模型多想几步、多写几个答案再挑。Snell 等人 2024 年在数学题上比较：基础模型本来有一定把握的题，多花推理算力，能胜过参数大 14 倍的模型；最难的题上，还是加训练更划算。

训练的缩放定律是在固定的测试文字上量误差；推理时算力的收益随题目难度变化很大，还没有一条同样稳定的曲线。

推理时算力 · 中等难度可抵 14 倍参数 · 最难的题仍靠训练

拆开来看

一台引擎由底座、层叠的环、顶上的料斗和工作灯组成；前面的分词轨上有龙门架和压头，旁边是液管台和算力拨杆。每个部件都可以单独托出来看。