先背答案，再学会规律

钟点加法

晚上 8 点，再过 7 个小时是凌晨 3 点：在 24 小时制的钟上，20 + 7 = 3。数学家把这叫作“模 24 的加法”，它是最简单的规则之一。这类题目全都放得进一张 24 × 24 的板子：竖着一个钟点，横着一个钟点，答案写在两者相交的格子里。按答案给每格涂上颜色，板子上就排满了斜斜的彩色条纹。

2022 年，OpenAI 的研究者拿这样的表格训练小型神经网络，只给它们看一部分格子，想知道它们会找到规律，还是只会记住答案。这里，一个比他们的小得多的网络做同样的事，就在你的浏览器里，在你读的时候。

钟点加法的全部 576 道题 · 后面的钟盘显示每个钟点在网络里存放的位置

死记硬背

网络一开始只是一堆随机的数：每个钟点 8 个，另外还有约 2600 个把它们连起来，中间是 64 个“神经元”。给它看板子的一半，288 格；另一半标着浅色小圈，留着考它。答错的格子颜色暗下来。

大约一百步训练之后，练习的格子它全答对了。留着考它的那些，它答对的比例和瞎猜差不多。它把答案背了下来，就像一个学生背熟了去年考卷的答案，却没弄懂这门课。

一步步往下走

它到底是怎么学的？每做一轮，用一个数给它打分，看错得有多厉害。训练会算出，它的 2776 个数里，每一个往哪边轻轻挪一点能让这个分数变小，然后把它们都朝那边挪一点。好比一个人在雾里下山，用脚探着坡往下走：每一步训练，就是往下迈一步。旁边的图记录着全过程：橙色线是练习题，蓝色线是留着考它的题。

还有一条规矩，叫“权重衰减”：每一步，每个数都会被往零的方向缩一点，数越大，代价越大。图上的虚线是网络所有数加起来有多大。背答案的时候，它一直在变大。

突然跳上去

训练继续。练习题已经全对，几乎没什么可学了，留着考它的格子在大约一千步里一直是错的。然后，在短短几百步里，它们几乎全部变对，板子上排满了整齐的条纹。

OpenAI 团队把这种现象叫作“grokking”。在他们的一个实验里，网络答对没见过的题，要比背熟练习题多花一千倍的训练步数。我们这个网络快得多：练习题大约 100 步就全对了，没见过的题大约在 1400 步时学会。

里面长出了钟

变化发生在哪里？每个钟点在网络里存成一串 8 个数；后面的钟盘把它们压平，只留它们变化最大的两个方向。一开始，钟点在盘面上乱撒一气。到跳上去的时候，它们已经沿着圆圈排开，间隔均匀，像钟面上的刻度。每个钟盘上，钟点每加一，指针就转过同样大的一格，两个钟盘转的格子大小不同。

要把两个钟点相加，网络实际上是把它们的角度相加，就像钟的指针转两次，答案就在指针停下的地方。2023 年，尼尔·南达等人在一个学模 113 加法的小型 Transformer 里发现了同样的办法；安德烈·格罗莫夫则亲手写出了这类网络需要的波形。没有人告诉网络钟是什么，是训练找到了它们。

为什么要等这么久

死记答案需要很多、很大的数，每一道练习题各占一块。几只钟用更少、更小的数就能完成，而且对每一道题都管用。权重衰减一直在为“大”收费，所以哪怕练习题早已全对，训练还在一点点滑向这个更省的解。钟在跳上去之前很久就在慢慢成形；所谓跳上去，是它们终于占了上风。之后，网络甩掉了用来死记的那些数，虚线随之回落。

把权重衰减关掉，同一个网络在这次训练里始终答不对没见过的题（红色点线）。南达的团队在他们的 Transformer 里也看到了这一点，不过别的网络在没有权重衰减时也出现过顿悟。2024 年，一个团队把训练每一步里缓慢、稳定的那部分放大，让顿悟快了 50 倍以上。