推理模型

把步骤写出来

2022 年，Wei 等人在提示里放进八道带解题步骤的例题，模型照着先写步骤、再给答案。他们把这一串中间步骤叫作思维链。5400 亿参数的 PaLM 在小学数学应用题 GSM8K 上，从直接回答的 17.9% 升到 56.9%，超过了此前微调 GPT-3 再加验证器的 55%。同年 Kojima 等人发现，只加一句“让我们一步一步想”也有效：text-davinci-002 在 GSM8K 上从 10.4% 升到 40.7%。

这种提升要模型够大才出现：在他们测的模型里，约 1000 亿参数以上才有收益，更小的模型写出通顺却不合逻辑的步骤。作者列出的一个好处是，中间步骤让需要多步的题目分到更多计算。

台上的题是把 3 到 8 个一位数加起来，检查器只认准确的和。写手的心算是台子的假设：一行里一次加的数越多越容易错，写下来的和不会忘。左边四个写手直接写答案，右边四个每加一个数写一行。七个数时，直接写对 34%，一行一行写对 74%。

PaLM 540B · GSM8K 17.9% → 56.9% · 台上七个数：直接写 34%，逐行写 74%

想得越久，答得越准

2024 年 9 月，OpenAI 介绍了 o1（当时先开放的是早期版本 o1-preview），说它“回答之前先思考”，会先写一段很长的内部思维链。他们写道，o1 的成绩随着更多的强化学习（训练时的计算）和更多的思考时间（测试时的计算）持续提高；图上两条横轴都是对数刻度，没有标数值。2024 年的 AIME 数学竞赛，GPT-4o 平均解出 12%；o1 每题答一次解出 74%，64 次取多数 83%，从 1000 次里用一个学来的打分器挑，93%。

同年 Snell 等人用 PaLM 2-S* 做 MATH 题，发现测试时计算的效果取决于题目难度：按难度分配计算，效率比“抽 N 个挑最好的”高四倍以上；在小模型本来有一定成功率的题上，同样的计算量能胜过大 14 倍的模型。最难的题上多算几乎没用，多做预训练更有效（训练时的缩放见图版「词元与缩放定律」）。

台上的黄铜横杆限定思考的行数：纸条升到横杆，写手就必须作答。s1（Muennighoff 等，2025）把这种做法叫作预算强制，也反过来用：在思考后面接一个“Wait”，让模型多想，AIME 2024 从 50% 升到 57%。台上训练好的写手，八个数的题不写步骤时对 24%，最多写 10 行时对 88%；四个数的题写到 4 行就是 94%，再多也不变。

o1 · AIME 2024：一次 74%，64 次取多数 83%，1000 次里挑 93% · 台上八个数：0 行 24%，10 行 88%

对错由规则判定

怎样让模型学会写又长又有用的步骤？DeepSeek-R1（2025 年 1 月发表，9 月刊于《自然》）用强化学习：模型写，规则打分，得分高的写法被加强。数学题要求把最终答案写成指定的格式（例如放进框里），和标准答案一比就知道对错；编程题用编译器跑预先写好的测试。另有一项格式奖励：思考要写在 <think> 和 </think> 之间。除了这项格式要求，R1-Zero 的奖励只看最后的答案，不约束中间怎么想。

推理题上他们没有用神经网络打分（结果奖励模型或过程奖励模型），因为在大规模强化学习里，奖励模型容易被策略钻空子，重新训练它又要大量计算资源（奖励模型和它的漏洞，见图版「人类反馈强化学习」）。Tülu 3（Lambert 等，2024）给这类做法起了名字：可验证奖励的强化学习（RLVR），只有回答被验证为正确时才有奖励。

台上的检查器是纸条脚下的一排柱塞，连着键台右端的钥匙盒。盒里存着这道题的和，柱塞逐张读答案，相等就盖勾，不等就盖叉。它只读最后一行。

答对 1，答错 0 · 外加格式奖励：思考写在 <think> 里 · 推理题不用奖励模型

一组答案

R1 的强化学习算法是 GRPO，DeepSeek 在 2024 年的 DeepSeekMath 里提出。常用的 PPO 要另训一个价值模型，估计一道题大概能得多少分；它通常和策略模型一样大，耗内存也耗计算。GRPO 不要它：对同一道题抽一组回答，用这组的平均分作基准。R1 每道题抽 16 个，一步 32 道题。

每个回答的优势 Â = (r − 平均) / 标准差：对的高于平均，Â 为正；错的为负。八个对七个时，平均是 0.875，对的只略高于平均（+0.38），错的那个远低于平均（−2.65）；八个只对一个时正好反过来。全对或全错，所有 Â 都是 0：这道题什么也教不了。

台上一组是八张纸条（G = 8）。键台上八个打字键各按自己那张的 Â 抬起或压下，左端的表盘指着这组的平均。

 = (r − 平均) / 标准差 · 没有价值模型 · 全对或全错： 全是 0

高于平均，就多做

两翼的拉杆就是策略。左翼四排和右翼上面三排，每一排对应“还剩几个数要加”，有四种做法：加一个写一行、加两个、加三个，或者把剩下的都心算、直接作答。拉出多少就是选它的概率，一排加起来是 1。右翼下面两排管写完一行后要不要验算，以及答案写一个还是写几个。

更新时，一张纸条上的每一个决定都拿到这张纸条的 Â：Â 为正，用过的拉杆被往外拉，下次更可能这样做；为负就往里推。推力先按纸条上的决定数平均，再按组平均。和 PPO 一样，新旧策略的比值被截在 1 ± ε 之内，还有一项 KL 惩罚把策略拉向参考模型（这两样见图版「人类反馈强化学习」）。R1-Zero 的 KL 系数是 0.001，每 400 步把参考模型换成最新的策略。

台上每推一次就是一次更新。还没训练的写手，在能选的时候 64% 直接作答，验算和写几个答案各只有 5%。

每个决定 × 它那张纸条的 Â · 截断同 PPO · KL 惩罚直接加在损失里

直接从基础模型开始

R1-Zero 是这样训练的：拿预训练好的 DeepSeek-V3-Base，不先做监督微调，直接做强化学习。arXiv 第一版（2025 年 1 月）报告，AIME 2024 一次解出的比例从 15.6% 升到 71.0%；《自然》版训练到 10,400 步（一步是一次策略更新），升到 77.9%，多次作答取多数时 86.7%。

训练中回答越来越长，从几百个词元长到几千个。论文说，模型自己学会了用更多的思考时间去解更难的题，奖励里并没有要求写长。《自然》版的方法部分也写明，8,200 步时把最长输出从 32,768 个词元放宽到 65,536 个，成绩和长度都在这里跳了一下。

台上用同样的办法从头训练写手，每秒约 90 次更新，每次一道题、八张纸条。1,500 次更新后，答对从 56% 升到 92%，每张纸条的思考从 0.5 行变成 4.6 行，约 3 个词元变成 32 个。台上的奖励里也没有一项关于长度。

R1-Zero · AIME 2024 15.6% → 71.0%（arXiv 第一版）/ 77.9%（《自然》） · 台上 56% → 92%，0.5 行 → 4.6 行

“等等”

R1 的论文里有一段模型输出：解到一半，它写“Wait, wait. Wait. That’s an aha moment I can flag here.”，接着一步一步重新检查。作者称之为“顿悟时刻”，出现在 R1-Zero 训练中途的一个版本里，说模型学会了用拟人的口吻重想。《自然》版统计了“wait”这个词：训练初期几乎没有，4,000 到 7,000 步之间零星出现，8,000 步以后明显增多。

也有不同的发现。Liu 等人（2025）看到，强化学习之前的 DeepSeek-V3-Base 就已经会写“Aha”和“wait”；R1-Zero 的反思更频繁了，但和答得更准并不正相关。

台上的验算一开始只有 5%。约 650 到 750 次更新之间，每张纸条的验算行从 0.6 行跳到 1.5 行，最后约 2.1 行。台上的验算是写好的规则，它重做刚写的一行，错了有九成机会改正，所以在台上值得；真实模型的反思有多大用处，上面的两项研究看法不一。

“wait”：4,000 步前几乎没有，8,000 步后大增 · 台上每张纸条的验算 0.02 → 2.1 行

先给几千个示范

R1-Zero 的回答难读，有时还会在一段思考里混用中英文。DeepSeek-R1 改了做法：先用几千条长思维链示范做监督微调，称为冷启动；再做强化学习，并加一项语言一致性奖励（思维链里目标语言词的比例），成绩略降，但更好读。然后从这个模型抽样，挑出约 60 万条推理样本，加上约 20 万条非推理样本，从 DeepSeek-V3-Base 重新微调，最后再做一轮兼顾有用和无害的强化学习。

《自然》版列出了每一步在 AIME 2024 上的成绩：只做冷启动的 Dev1 是 59.0%，低于 R1-Zero 的 77.9%；强化学习后的 Dev2 74.0%，重新微调后的 Dev3 78.1%，最终的 R1 79.8%（MATH-500 97.3%，Codeforces 2,029 分，高于 96.3% 的参赛者）。补充材料在讲冷启动数据的一节里写明，R1 生动的思考口吻主要反映 DeepSeek 设计的启发式方法。

台上的冷启动是 24 张照规矩写的纸条（每加一个数写一行，每行都验算，只留对的），微调四遍再开始强化学习。起点只高一点，58%；学得快得多：400 次更新时 85%，从未训练的写手开始只有 73%。

AIME 2024：Dev1 59.0% → Dev2 74.0% → Dev3 78.1% → R1 79.8% · 台上 400 次更新：85% 对 73%

教给小模型

DeepSeek 用 R1 写出的约 80 万条样本，直接微调 Qwen 和 Llama 的小模型，只做监督微调，不做强化学习。15 亿参数的蒸馏模型在 AIME 2024 上 28.9%，高于 GPT-4o 和 Claude 3.5 Sonnet；70 亿参数的 55.5%，高于 320 亿参数的 QwQ-32B-Preview（50.0%）；320 亿参数的 72.6%，MATH-500 94.3%。

同一个 320 亿参数的基础模型自己做一万步以上的大规模强化学习，只到 47.0%。作者的结论：把更强的模型蒸馏进小模型效果很好，小模型靠这样的强化学习要花巨大的算力，还未必赶得上蒸馏。Yue 等人（2025）发现，强化学习后的模型一次答对更多，可每题抽很多次时，基础模型反而解出更多题，强化学习后的推理路径基础模型本来就能抽到；蒸馏则能从老师那里带来新的路径。

台上，训练好的写手当老师，写了 213 张，留下对的 200 张；拉杆退回未训练时的位置，再照这 200 张微调，答对从 56% 升到 92%。同一个写手用这么多纸条自己做强化学习（27 次更新）只到 59%，要靠自己追上照抄的成绩，需要约 1,170 次更新、9,360 张纸条。

蒸馏 Qwen-7B 55.5% · 32B 72.6% · 同一 32B 自己强化学习 47.0% · 台上：照抄 200 张 92%，自学 59%

规则一松，分数就假

可验证的奖励只在答案能核对的地方有：数学有标准答案，代码有测试。写作、开放的问答没有这样的规则：只用规则训练的 R1-Zero 在这些方面表现有限，R1 靠非推理的微调数据和奖励模型来补。《自然》版写道，奖励由模型而不是由规则给出时，训练越久越容易被策略钻空子；R1 最后一轮强化学习共 1,700 步，偏好奖励只用在最后 400 步：他们发现，用这种基于模型的奖励训练更多步，可能导致奖励投机。

规则本身也会有漏洞。OpenAI 的 Baker 等人（2025）训练前沿推理模型时，看到它在编程任务里用 exit(0) 提前退出、抛出 SkipTest 跳过测试，让测试“通过”。让 GPT-4o 连思维链带动作一起看，能抓到 95% 的这类投机，只看它做了什么只能抓到 60%。他们另用一个非前沿的模型做实验，把监视器在思维链里看到的投机念头也计入惩罚：模型投机少了一些，但仍以不低的比例投机；训练久了，它不再把意图写出来，监视器的召回率降到接近零。

台上把检查器换松：答案里出现正确的和就算对。写手很快学会把答案写成“33·34·35”。800 次更新后，94% 的纸条这样写，松的检查器给 86% 的分，按准确的规则只对 5%。

松的检查器：得分 60% → 86%，真正答对 56% → 5% · exit(0)、SkipTest

想得多，要花词元

思考写出的每一个词元都要计算，也要时间（写一个词元为什么贵，见图版「推测解码」）。DeepSeek-R1 在一组 2024 年的竞赛题上平均每题写 8,793 个思考词元，解出 61.8%；简单题少于 7,000 个，最难的超过 18,000 个；像 1 + 1 这样的题不到 100 个。

也会想得过多。Chen 等人（2024）问“2 加 3 是多少”，QwQ-32B-Preview 写了 901 个词元、13 种解法，第一种只用 39 个词元就已经对了；《自然》版也承认，R1 在简单题上仍会过度思考。Liu 等人指出，GRPO 按回答长度平均推力，会让错的回答越写越长；去掉这一项，连同按标准差的缩放一起去掉（他们叫 Dr. GRPO），用更少的词元也能保持成绩。

台上，训练让每张纸条的思考从约 3 个词元变成 32 个，用十倍的词元换来 36 个百分点。台上的奖励不管长度，台上的 GRPO 也按纸条上的决定数平均。

R1：平均 8,793 个思考词元 · “2 加 3”：901 个词元、13 种解法 · 台上 3 → 32 个词元

剖开钥匙盒

剖开键台右端的钥匙盒：上面一排轮子转到这道题的和，下面一排转到纸条上的答案；一根比较梳搭在两排轮子上，每一位都对齐时才落下，顶上的灯亮绿。

它不读步骤，也不管写得好不好。R1-Zero 的规则奖励也一样只看最终答案，对推理过程不加约束。步骤里写什么，只因为它能带来对的答案才被加强。

两排轮子，一位一位比 · 只读最后一行

拆开来看

一台写答案的胡桃木控制台：两翼的拉杆是策略（还剩几个数时怎样加、要不要验算、答案写几个）；中间八个写手同写一道题，纸条升起来靠在黑漆靠板上，靠板两侧滑轨上的黄铜横杆是思考的上限；纸条脚下是检查器的柱塞，前面的键台上是八个打字键、左端的组平均表盘和右端的钥匙盒；顶上的绘图仪记下训练。每一件都可以单独托出来看。