从噪声里长出来的图

每幅画都从雪花点开始

一张照片，其实是一长串数字：每个像素的红、绿、蓝各一个。一张小小的 256×256 照片，就有将近二十万个数。把这些数当成坐标，每张照片就是一个有二十万个方向的空间里的一个点。

这样的空间没法画出来，所以这里把它缩小到三个方向：每个亮点是一幅“画”，只有三个数。我们想要的“好画”，都落在一个打了结的环上。现在，这些点只是一团随机的噪声。

每个亮点是一幅只有三个数的“画” · 想要的画都在那个结上

毁掉一幅画很容易

先拿 1000 幅好画当作练习的例子，也就是结上的 1000 个点。往每个点上加一点随机的噪声，再加一点，再加一点。

每一步都只是轻轻一推，可推得多了，结就散了，最后只剩一团圆圆的云，看不出原来是什么。这一半是现成的数学，用不着学。

学会倒着走

难的是反过来。2020 年，伯克利的研究者训练一个神经网络做一件小事：给它一个加过噪声的点，再告诉它噪声加到了第几步，让它猜加进去的噪声是什么。

然后从全新的噪声出发，一步步减去它猜的那一小份噪声。这里用的是一个只有两层、每层 96 个神经元的小网络，走 100 步。看，乱点一点点聚拢，凝成了那个结。

完美的学生只会抄

如果把“猜噪声”做到完美，会怎样？对一组有限的例子，最好的猜法可以直接算出来。这里用它，只给 64 个例子（铜色的小珠）。

结果几乎每个亮点都一头扎到某一颗珠子上，没有画出新东西。完美地学会这些例子，就等于把它们背下来。2024 年的一篇论文把这个矛盾说得很直白：按理论，最好的模型只能把例子原样画出来，真实的模型却能画出新东西。

两个网络，同一个新答案

2024 年的一项研究做了一个巧妙的实验：训练两个网络，给它们两组完全不同的例子，再让它们从同一团噪声出发。这里也这样做，琥珀色和青色各是一个网络，细线连着从同一个起点出发的两个点。

先只给每个网络 8 个例子：一个网络的是铜色珠子，另一个的是青灰色珠子。它们各自背下自己的例子，成对的点落得很远。再给每个网络 1000 个例子：这回两个网络几乎落到同一批点上，可它们谁也没见过对方的例子。它们学到的不再是例子本身，而是那个结。在那项研究里，两个网络各用 10 万张不同的人脸照片训练，从同一团噪声出发，画出了几乎一模一样的脸。