混合专家

参数多，计算少

2024 年底发布的 DeepSeek-V3 有 6710 亿个参数，处理每个词元时只用到其中 370 亿个，约 5.5%。Mixtral 8x7B 共有 467 亿个参数，每个词元用到 129 亿个。

台上的模型小得多：16 个专家，共 53,030 个参数，每个字母只用到 8,902 个，约 17%。没被选中的专家停着，灯是暗的。

本页模型：16 个专家 · 每个字母选 2 个 · 用到 8,902 / 53,030 个参数

路由器只开两条线

每个字母先停在中间的转盘上。路由器是一张 48 × 16 的表：字母的 48 个数和它相乘，得到 16 个分数，经过 softmax 变成 16 个概率。转盘边上 16 根针的高度，就是这些概率。

只留下最高的两个分数，对它们再做一次 softmax，得到两个加起来等于 1 的权重。字母被送去这两个专家，回来时两份结果按权重相加。这是 Mixtral 的做法；2017 年提出的稀疏门控还在分数上加一点可学的噪声，2021 年的 Switch Transformer 只选一个。

分数 = 字母 × 路由表 → 留下最高的 k 个 → 权重 = 这 k 个分数的 softmax

其余的都不动

没被选中的专家，这一步什么也不算。所以每个字母的计算量只取决于选几个、一个专家有多大，与专家一共有多少无关。

Mixtral 每层有 8 个专家，每个词元选 2 个。467 亿个参数里，每个词元用到 129 亿个：注意力层和词表人人共用，专家只用到四分之一。

Mixtral 8x7B：8 选 2 · 共 467 亿 · 每个词元 129 亿

专家越多，猜得越准

同样的训练，每个字母都只算两个专家。把专家从 4 个加到 8 个、16 个、32 个，每个字母的计算几乎不变，参数从 1.5 万涨到 10 万。在训练时没见过的 10 万个字母上，猜下一个字母的平均代价（交叉熵，越低越好）从 2.47 比特降到 2.20 比特。

对照是一块普通的前馈网络，宽度是一个专家的两倍，计算量和两个专家相同：2.60 比特，猜中 45.7%；16 个专家猜中 50.6%。2021 年的 Switch-Base 有 70 亿个参数，每段文字的计算量和 2 亿参数的 T5-Base 相同；论文报告，64 个专家的版本用七分之一的时间达到同样的效果。

交叉熵：普通网络 2.60 · 4 个专家 2.47 · 8 个 2.36 · 16 个 2.27 · 32 个 2.20 比特

专家里面是什么

剖开任何一个专家，里面是一块普通的前馈网络：48 个数变成 32 个，负数变成 0，再变回 48 个。柜子里的 32 片钢片就是这 32 个中间值；被点亮的钢片升起多高，就是这个字母此刻的值。

Transformer 的每一层本来就有这样一块前馈网络（见“注意力”一页）。混合专家把它换成许多块并排，只让其中几块工作；注意力照旧共用。2020 年的 GShard 每隔一层换一次。

一个专家：48 → 32（ReLU）→ 48 · 3,152 个参数

越用越偏

路由器和专家一起训练。2017 年提出稀疏门控的论文写道，门控网络往往收敛到总给同样几个专家大权重；这种不平衡会自我强化，因为被偏爱的专家训练得更快，于是更常被选中。

本页训练了一个不加任何平衡措施的版本。在 10 万个字母上，1 号专家接了 18.3% 的活，9 号一次也没被选中，它的 3,152 个参数白白占着位置。柜门旁的玻璃管，记的是每 32 个字母里各个专家接到多少。

不加平衡：最忙的专家 18.3% · 有一个 0% · 变异系数 0.61

一项小小的惩罚

常用的办法是在训练目标里加一项。Switch Transformer 写作 α · N · Σ fᵢ · Pᵢ：fᵢ 是实际派给第 i 个专家的比例，Pᵢ 是路由器给它的平均概率。派得越平均，这一项越小。论文取 α = 0.01。

台上的 16 专家模型加的就是这一项。最忙的专家接 10.4%，最闲的 3.7%，变异系数 0.30。猜字的效果几乎不变：两个版本都是 2.27 比特。

α · N · Σ fᵢPᵢ，α = 0.01 · 最忙 10.4% · 最闲 3.7% · 变异系数 0.30

满了就退回

在许多芯片上并行时，每个专家一批能收多少要事先定好，叫容量：这一批的词元数除以专家数，乘以每个词元选几个，再乘一个容量系数。超出容量的词元在这一层得不到处理，只沿着残差连接原样往下走，叫被丢弃。

这里每 32 个字母算一批，系数 1.0 时每个专家能收 4 个，红环就是这条线。系数 1.0 时，五分之一的派送被退回；1.25 时约十分之一；2.0 时只剩 0.4%，可每个专家要多留一倍的空位。Switch Transformer 的实验里，被丢弃的通常不到 1%；DeepSeek-V3 靠平衡做到训练和推理都不丢弃。

32 个字母一批 · 系数 1.0：容量 4，退回 19.8% · 1.25：10.2% · 2.0：0.4%

专家到底管什么

名字叫“专家”，容易让人想成一个管数学、一个管历史。实际平淡得多。Mixtral 的论文比较了 arXiv 论文、生物学摘要和哲学文章，各个专家被选中的比例几乎一样，看不出按话题分工；看得到的是语法上的规律，比如 Python 里的 self、代码的缩进，常常交给同一个专家。

台上的小模型也是这样，分工落在字母的形状上。10 号和 14 号专家接到的字母，八成以上紧跟在空格后面，也就是一个词的开头；2 号接的多在元音之后，其中一半是 a；13 号最常接 t 后面的那个字母。

10 号：88.6% 在空格之后 · 2 号：82.4% 在元音之后 · 按 10 万个字母统计

共享专家与偏置

DeepSeek-V3 把专家切得更细：每层 256 个路由专家，每个只有 2048 个中间值，每个词元选 8 个；另有 1 个共享专家，所有词元都经过它，装大家都要用的那部分。61 层里，前 3 层不用专家。

它几乎不靠惩罚项，而是给每个专家一个偏置，只在挑选时加到分数上，不进入权重。每训练一步，过忙的专家偏置减去 γ，过闲的加上 γ（γ = 0.001）。台上照这个办法训练的版本，16 个专家的份额都在 5.8% 到 6.8% 之间，变异系数 0.035，猜字效果和加惩罚的一样。

DeepSeek-V3：1 个共享 + 256 选 8 · 偏置平衡 · 本页：份额 5.8%–6.8%

省下的只是计算

所有专家都得待在内存里，随时等着被选。Mixtral 的论文说，它的内存开销和 470 亿个参数成正比：按每个参数 2 字节算约 93 GB，而每个词元的计算只相当于一个 129 亿参数的模型。

专家一多，就要分到许多芯片上，词元得在芯片之间来回发送。GShard 用 2048 个 TPU 核训练每层 2048 个专家的模型；DeepSeek-V3 规定每个词元最多发往 4 台机器，以压低通信。训练也更容易不稳：Switch Transformer 把路由器的计算改用 32 位浮点，并把初始权重缩小到十分之一。

内存按全部参数 · 计算按用到的参数 · 跨芯片通信 · 路由不稳

拆开来看

转盘就是路由器。一台专家柜由柜体、顶盖、工作灯、进料滚筒和负载管组成；每个部件都可以单独托出来看。