视频扩散模型

能做到什么

2024 年 2 月，OpenAI 发布 Sora 的技术报告：它能生成长达一分钟的高清视频，横屏 1920 × 1080、竖屏 1080 × 1920 都可以。报告说了做法——把视频压缩，切成“时空小块”，交给一个扩散 Transformer——但写明不公开模型和实现的细节。

开源的模型把细节写进了论文。腾讯的 HunyuanVideo（2024 年 12 月）有 130 多亿个参数，默认一次生成 720 × 1280、129 帧。阿里的 Wan2.1（2025 年）有 140 亿和 13 亿参数两种，默认 81 帧、每秒 16 帧，约 5 秒。2025 年的 Veo 3 把声音和画面一起生成；2025 年 7 月，它在 Gemini API 里一次是 8 秒、720p、每秒 24 帧。

台上按这些开源模型共同的做法，做了一个能看清每一步的小样：一段 17 帧的视频，一个红球在木桌上弹跳。

Sora：最长一分钟（2024）· HunyuanVideo：130 亿参数 · Wan2.1：140 亿 / 13 亿参数 · Veo 3：8 秒，带声音（Gemini API，2025 年 7 月）

一段视频是一块

视频是一张张画面按时间排起来。台上这一段每秒 16 帧，共 17 帧，从第 0 帧到第 16 帧正好一秒。每块玻璃是一帧，时间沿导轨从左往右走。

把所有帧叠在一起，就是一块有长、有宽、还有时间的方块。红球在每一帧里的位置连起来，在玻璃里画出一条弧：既是球在空间里走的路，也是它在时间里走的路。

生成视频的模型面对的就是这样一整块。Sora 的报告说，图片也一样处理：“图片就是只有一帧的视频”。

17 帧 · 每秒 16 帧 · 1 秒 · 时间沿导轨从左往右

先压缩

直接在像素上生成太贵，所以先用一个视频自编码器（VAE）把这一块压小。HunyuanVideo 和 Wan2.1 的 VAE 都在时间上压 4 倍、长和宽各压 8 倍，每个位置留下 16 个数，叫 16 个通道。之后的生成全在这个压缩过的“潜空间”里进行。

它是“因果”的：第 0 帧单独压成一个潜帧，往后每 4 帧压成一个，后面的帧不影响前面的。Wan 的论文写：第一帧只在空间上压缩，这样图片和视频能共用一个 VAE。台上的 17 帧因此变成 5 个潜帧，玻璃换成了五块夹层玻璃，侧面的 16 层代表 16 个通道。

台上的视频是 17 × 144 × 256 个像素、每个像素 3 个数，共 1,880,064 个数；压缩后是 5 × 18 × 32 × 16 = 46,080 个，少了约 41 倍。Wan2.1 生成 720p、81 帧时，少了约 46 倍。

时间 4 倍 · 长宽各 8 倍 · 16 个通道 · 第 0 帧单独一个潜帧 · 17 帧 → 5 个潜帧

切成时空小块

潜变量再切成小块：时间上 1 个潜帧，高和宽各 2 格。HunyuanVideo 和 Wan2.1 都这样切。每一块是 Transformer 的一个“词元”，相当于大语言模型里的一个字词；Sora 的报告把它们叫“时空小块”。

台上 5 个潜帧，每个切成 9 × 16 块，一共 720 个词元。被托起来的这一块，在时间上管 4 帧，在画面上管 16 × 16 个像素；里面是 2 × 2 格、每格 16 个数，共 64 个数。模型先用一层线性变换把它变成一串更长的数：Wan2.1 的 13 亿参数模型里是 1,536 个，140 亿参数模型里是 5,120 个。

词元的多少随画面大小和时长变。DiT 的论文把图片切成边长 p 的小块，p 减半，词元数变成 4 倍。Sora 的报告说，生成时把随机的小块排成多大的格子，视频就有多大。

1 × 2 × 2 的小块 · 5 × 9 × 16 = 720 个词元 · 每个 64 个数

加噪声

训练时，先给真实视频的潜变量加上噪声，再让模型学着把它去掉。这一类模型叫扩散模型。Wan2.1、HunyuanVideo、Movie Gen、Open-Sora 2.0 用的是其中一种叫“流匹配”的训练法：在视频和噪声之间连一条直线，x_t = (1 − t)·x₀ + t·ε。t = 1 时全是噪声，t = 0 时是原来的视频。

旋钮转到哪里，玻璃上就是这条直线上的哪一点：画面淡出，颗粒淡入。噪声加在潜变量上，每一格、每一个潜帧都是独立的高斯随机数。

更早的扩散模型 DDPM（2020 年）分 1,000 步加噪，路径不是直线，网络学的是猜出加进去的噪声。直线的走法来自 2022 年的两篇论文，“整流”（rectified flow）和“流匹配”；Stable Diffusion 3 把它用在大型 Transformer 上。本页的 t 按 Stable Diffusion 3 的写法，t = 1 是噪声；Wan 的论文把方向反过来写。

x_t = (1 − t)·x₀ + t·ε · t = 1 全是噪声 · t = 0 原来的视频 · DDPM：1,000 步

一步步去噪

生成时反着走：从一块全是噪声的潜变量出发，Transformer 每一步看一眼整块，估计该往哪个方向走（流匹配里叫“速度”），再走一小步。Wan2.1 和 HunyuanVideo 默认走 50 步。所有帧在同一步里一起变清楚，不是一帧接一帧画出来的。

台上的去噪器是个小样：它只认得 8 段弹跳的球，每一步算出最好的猜测，也就是这 8 段按权重的平均。右上角的柱子就是这 8 个权重。开始时 8 段一样可能，玻璃上是一片淡淡的球；越往后权重越集中，最后只剩一段。换一块初始的噪声，可能落到另一段。

真正的模型是训练出来的网络，不是公式，也不只是复制见过的视频。Wan2.1 每一步跑两遍网络，一遍带提示词、一遍不带，再按 5.0 的引导系数合起来，所以 50 步要跑 100 遍。

默认 50 步（Wan2.1、HunyuanVideo）· 所有帧一起去噪 · 台上：8 段视频的精确去噪器

在时空里互相看

Transformer 里，每个词元都会去“看”别的词元，按相关程度取用它们的信息：这就是注意力（怎么算，见图版“Transformer 的注意力”）。在视频里，一个词元既可以看同一时刻的别处，也可以看别的时刻。

早些的视频扩散模型把这两件事拆开：先在同一帧里看，再沿时间看同一个位置，省计算。2022 年的 Video Diffusion Models、2024 年的 Latte 都这样做。后来的 CogVideoX、Movie Gen、HunyuanVideo、Wan2.1 改用“全注意力”：每个词元直接看所有时刻、所有位置的词元。CogVideoX 的论文说，拆开的做法很难让大幅运动的物体前后一致。

台上的细线从被选中的词元出发——它里面有球——连向它看得最多的词元，大多是别的时刻里装着球的那几块。这是本页按“内容相近”算的玩具注意力，不是哪个模型学到的权重；实验台可以改成只看同一时刻，或只看同一位置。

全注意力：CogVideoX · Movie Gen · HunyuanVideo · Wan2.1 · 拆开的时空注意力：VDM（2022）· Latte（2024）

提示词怎样进来

提示词先由一个语言模型变成一串向量。Wan2.1 用 umT5，中文和英文都能读，最多 512 个词元；它在每一个 Transformer 块里加一层“交叉注意力”，让视频的词元去看文字的词元。HunyuanVideo 用的是一个多模态大语言模型，并把文字和视频的词元接成一串，放进同一个注意力里。

去噪走到了哪一步，也要告诉网络。DiT 用它去调每一层的缩放和偏移（adaLN）；HunyuanVideo 还把 CLIP 算出的整句向量加了进去。训练时偶尔把提示词拿掉，生成时同一步算两遍，一遍有提示词、一遍没有，再把两者的差放大：这叫无分类器引导。Sora 的报告说，它用一个能写详细描述的模型给训练视频重写字幕，并用 GPT 把用户的短提示扩写成长描述。

台上，铭牌上的三组词连向各自的词元：“红球”连向装着球的块，“木桌”连向画面底下那一行，“弹跳”连向各个时刻的球。这是示意。实验台上换一个提示词，台上的去噪器就只在对应的 8 段视频里挑。

Wan2.1：umT5 + 交叉注意力 · HunyuanVideo：多模态大模型，文字和视频接成一串 · 无分类器引导

解码回像素

去噪结束时，得到的仍是潜变量。VAE 的解码器把 5 个潜帧变回 17 帧画面；它只在最后用一次，不在每一步里用。

解码要补回压缩时丢掉的细节，这也是 VAE 的上限：重建得再好，也不是原样。长视频一次放不进显存：HunyuanVideo 把视频切成相互重叠的小块，分别编码、解码再拼起来；Wan 的 VAE 每次只处理 4 帧，缓存前面的特征，论文说能这样处理任意长的视频。

台上，五块夹层玻璃散回 17 块玻璃，粗格子又变成清楚的球。

5 个潜帧 → 17 帧 · 解码只做一次

代价

词元数和帧数、像素数成正比。Wan2.1 生成 480p、81 帧是 32,760 个词元，720p 是 75,600 个；HunyuanVideo 的 720p、129 帧是 118,800 个。台上这一小段只有 720 个。

全注意力要把每个词元和每个词元比一遍，对数是词元数的平方：720p 的 Wan2.1，每一层的每个注意力头约 5.7 × 10⁹ 对，HunyuanVideo 约 1.4 × 10¹⁰ 对。Wan 的论文写道，注意力的计算量随词元数平方增长，序列长到 100 万个词元时，注意力最多能占训练时间的 95 %。

所以生成很慢。Wan2.1 的 140 亿参数模型，在一块 H800 / H100 上生成一段 720p 视频要 1,837.9 秒，约 31 分⁠钟。13 亿参数的模型在一块 RTX 4090 上生成 480p 视频约 4.4 分⁠钟，显存 8.19 GB（要把一部分模型和文字编码器移到内存里）。

词元 ∝ 帧数 × 像素 · 注意力 ∝ 词元² · Wan2.1 720p：75,600 个词元，约 31 分⁠钟（一块 H800 / H100）

物理还会出错

Sora 的报告自己写：它不能准确模拟许多基本的物理作用，比如玻璃碎裂；吃东西不一定改变物体的样子；长视频里前后会不一致，物体会凭空出现。2025 年的 Sora 2 说自己“更守物理定律”，也说它“远不完美”。

Physics-IQ（2025）让模型续写真实拍摄的物理场景，以两次实拍之间的差别为 100 分：测过的 2024 年前后的模型里最高 29.5 分，Sora（从一张图生成）10.0 分。作者的结论是，画面逼真不等于懂物理。VideoPhy（2024）测了 12 个模型，最好的 CogVideoX-5B 只有 39.6 % 的视频既合提示词又合物理常识，其余都不到 20 %。

Kang 等人（2024）用二维的小球视频，从头训练参数最多 3.1 亿的视频模型：训练范围内几乎完美，超出范围就出错。模型更像是去找最像的训练样本，而不是学到定律；参照样本时的先后是颜色 > 大小 > 速度 > 形状。

台上画了两类有记录的错误：球第一次落地时陷进了桌面（Physics-IQ 记录过“物体穿过别的物体”），第 10 帧起凭空多出一个球（Sora 报告里的“物体凭空出现”）。这是本页画的，不是哪个模型的输出。

Physics-IQ：最高 29.5 / 100 · VideoPhy：最好 39.6 % · Kang 等：颜色 > 大小 > 速度 > 形状

拆开来看

把台子拆开：17 块玻璃、导轨、两个铝框、两根梳条、噪声旋钮和提示词铭牌。指针停在哪一件，哪一件就被托出来并写上名字。