# 视频扩散模型

拉普拉斯的迷你世界 · 图版 F41 · 人工智能

> 一段视频，是一摞叠在时间里的画面。生成它的模型从一团噪声开始，一步一步，让所有帧同时清楚起来。

- 可交互的模型：https://world.lapla.si/zh/videodit/
- 嵌入页：https://world.lapla.si/embed/zh/videodit/
- English：https://world.lapla.si/en/videodit/
- 更新于：2026-10-24

## 01 能做到什么

2024 年 2 月，OpenAI 发布 Sora 的技术报告：它能生成长达一分钟的高清视频，横屏 1920 × 1080、竖屏 1080 × 1920 都可以。报告说了做法——把视频压缩，切成“时空小块”，交给一个扩散 Transformer——但写明不公开模型和实现的细节。

开源的模型把细节写进了论文。腾讯的 HunyuanVideo（2024 年 12 月）有 130 多亿个参数，默认一次生成 720 × 1280、129 帧。阿里的 Wan2.1（2025 年）有 140 亿和 13 亿参数两种，默认 81 帧、每秒 16 帧，约 5 秒。2025 年的 Veo 3 把声音和画面一起生成；2025 年 7 月，它在 Gemini API 里一次是 8 秒、720p、每秒 24 帧。

台上按这些开源模型共同的做法，做了一个能看清每一步的小样：一段 17 帧的视频，一个红球在木桌上弹跳。

*Sora：最长一分钟（2024）· HunyuanVideo：130 亿参数 · Wan2.1：140 亿 / 13 亿参数 · Veo 3：8 秒，带声音（Gemini API，2025 年 7 月）*

## 02 一段视频是一块

视频是一张张画面按时间排起来。台上这一段每秒 16 帧，共 17 帧，从第 0 帧到第 16 帧正好一秒。每块玻璃是一帧，时间沿导轨从左往右走。

把所有帧叠在一起，就是一块有长、有宽、还有时间的方块。红球在每一帧里的位置连起来，在玻璃里画出一条弧：既是球在空间里走的路，也是它在时间里走的路。

生成视频的模型面对的就是这样一整块。Sora 的报告说，图片也一样处理：“图片就是只有一帧的视频”。

*17 帧 · 每秒 16 帧 · 1 秒 · 时间沿导轨从左往右*

## 03 先压缩

直接在像素上生成太贵，所以先用一个视频自编码器（VAE）把这一块压小。HunyuanVideo 和 Wan2.1 的 VAE 都在时间上压 4 倍、长和宽各压 8 倍，每个位置留下 16 个数，叫 16 个通道。之后的生成全在这个压缩过的“潜空间”里进行。

它是“因果”的：第 0 帧单独压成一个潜帧，往后每 4 帧压成一个，后面的帧不影响前面的。Wan 的论文写：第一帧只在空间上压缩，这样图片和视频能共用一个 VAE。台上的 17 帧因此变成 5 个潜帧，玻璃换成了五块夹层玻璃，侧面的 16 层代表 16 个通道。

台上的视频是 17 × 144 × 256 个像素、每个像素 3 个数，共 1,880,064 个数；压缩后是 5 × 18 × 32 × 16 = 46,080 个，少了约 41 倍。Wan2.1 生成 720p、81 帧时，少了约 46 倍。

*时间 4 倍 · 长宽各 8 倍 · 16 个通道 · 第 0 帧单独一个潜帧 · 17 帧 → 5 个潜帧*

## 04 切成时空小块

潜变量再切成小块：时间上 1 个潜帧，高和宽各 2 格。HunyuanVideo 和 Wan2.1 都这样切。每一块是 Transformer 的一个“词元”，相当于大语言模型里的一个字词；Sora 的报告把它们叫“时空小块”。

台上 5 个潜帧，每个切成 9 × 16 块，一共 720 个词元。被托起来的这一块，在时间上管 4 帧，在画面上管 16 × 16 个像素；里面是 2 × 2 格、每格 16 个数，共 64 个数。模型先用一层线性变换把它变成一串更长的数：Wan2.1 的 13 亿参数模型里是 1,536 个，140 亿参数模型里是 5,120 个。

词元的多少随画面大小和时长变。DiT 的论文把图片切成边长 p 的小块，p 减半，词元数变成 4 倍。Sora 的报告说，生成时把随机的小块排成多大的格子，视频就有多大。

*1 × 2 × 2 的小块 · 5 × 9 × 16 = 720 个词元 · 每个 64 个数*

## 05 加噪声

训练时，先给真实视频的潜变量加上噪声，再让模型学着把它去掉。这一类模型叫扩散模型。Wan2.1、HunyuanVideo、Movie Gen、Open-Sora 2.0 用的是其中一种叫“流匹配”的训练法：在视频和噪声之间连一条直线，x\_t = (1 − t)·x₀ + t·ε。t = 1 时全是噪声，t = 0 时是原来的视频。

旋钮转到哪里，玻璃上就是这条直线上的哪一点：画面淡出，颗粒淡入。噪声加在潜变量上，每一格、每一个潜帧都是独立的高斯随机数。

更早的扩散模型 DDPM（2020 年）分 1,000 步加噪，路径不是直线，网络学的是猜出加进去的噪声。直线的走法来自 2022 年的两篇论文，“整流”（rectified flow）和“流匹配”；Stable Diffusion 3 把它用在大型 Transformer 上。本页的 t 按 Stable Diffusion 3 的写法，t = 1 是噪声；Wan 的论文把方向反过来写。

*x\_t = (1 − t)·x₀ + t·ε · t = 1 全是噪声 · t = 0 原来的视频 · DDPM：1,000 步*

## 06 一步步去噪

生成时反着走：从一块全是噪声的潜变量出发，Transformer 每一步看一眼整块，估计该往哪个方向走（流匹配里叫“速度”），再走一小步。Wan2.1 和 HunyuanVideo 默认走 50 步。所有帧在同一步里一起变清楚，不是一帧接一帧画出来的。

台上的去噪器是个小样：它只认得 8 段弹跳的球，每一步算出最好的猜测，也就是这 8 段按权重的平均。右上角的柱子就是这 8 个权重。开始时 8 段一样可能，玻璃上是一片淡淡的球；越往后权重越集中，最后只剩一段。换一块初始的噪声，可能落到另一段。

真正的模型是训练出来的网络，不是公式，也不只是复制见过的视频。Wan2.1 每一步跑两遍网络，一遍带提示词、一遍不带，再按 5.0 的引导系数合起来，所以 50 步要跑 100 遍。

*默认 50 步（Wan2.1、HunyuanVideo）· 所有帧一起去噪 · 台上：8 段视频的精确去噪器*

## 07 在时空里互相看

Transformer 里，每个词元都会去“看”别的词元，按相关程度取用它们的信息：这就是注意力（怎么算，见图版“Transformer 的注意力”）。在视频里，一个词元既可以看同一时刻的别处，也可以看别的时刻。

早些的视频扩散模型把这两件事拆开：先在同一帧里看，再沿时间看同一个位置，省计算。2022 年的 Video Diffusion Models、2024 年的 Latte 都这样做。后来的 CogVideoX、Movie Gen、HunyuanVideo、Wan2.1 改用“全注意力”：每个词元直接看所有时刻、所有位置的词元。CogVideoX 的论文说，拆开的做法很难让大幅运动的物体前后一致。

台上的细线从被选中的词元出发——它里面有球——连向它看得最多的词元，大多是别的时刻里装着球的那几块。这是本页按“内容相近”算的玩具注意力，不是哪个模型学到的权重；实验台可以改成只看同一时刻，或只看同一位置。

*全注意力：CogVideoX · Movie Gen · HunyuanVideo · Wan2.1 · 拆开的时空注意力：VDM（2022）· Latte（2024）*

## 08 提示词怎样进来

提示词先由一个语言模型变成一串向量。Wan2.1 用 umT5，中文和英文都能读，最多 512 个词元；它在每一个 Transformer 块里加一层“交叉注意力”，让视频的词元去看文字的词元。HunyuanVideo 用的是一个多模态大语言模型，并把文字和视频的词元接成一串，放进同一个注意力里。

去噪走到了哪一步，也要告诉网络。DiT 用它去调每一层的缩放和偏移（adaLN）；HunyuanVideo 还把 CLIP 算出的整句向量加了进去。训练时偶尔把提示词拿掉，生成时同一步算两遍，一遍有提示词、一遍没有，再把两者的差放大：这叫无分类器引导。Sora 的报告说，它用一个能写详细描述的模型给训练视频重写字幕，并用 GPT 把用户的短提示扩写成长描述。

台上，铭牌上的三组词连向各自的词元：“红球”连向装着球的块，“木桌”连向画面底下那一行，“弹跳”连向各个时刻的球。这是示意。实验台上换一个提示词，台上的去噪器就只在对应的 8 段视频里挑。

*Wan2.1：umT5 + 交叉注意力 · HunyuanVideo：多模态大模型，文字和视频接成一串 · 无分类器引导*

## 09 解码回像素

去噪结束时，得到的仍是潜变量。VAE 的解码器把 5 个潜帧变回 17 帧画面；它只在最后用一次，不在每一步里用。

解码要补回压缩时丢掉的细节，这也是 VAE 的上限：重建得再好，也不是原样。长视频一次放不进显存：HunyuanVideo 把视频切成相互重叠的小块，分别编码、解码再拼起来；Wan 的 VAE 每次只处理 4 帧，缓存前面的特征，论文说能这样处理任意长的视频。

台上，五块夹层玻璃散回 17 块玻璃，粗格子又变成清楚的球。

*5 个潜帧 → 17 帧 · 解码只做一次*

## 10 代价

词元数和帧数、像素数成正比。Wan2.1 生成 480p、81 帧是 32,760 个词元，720p 是 75,600 个；HunyuanVideo 的 720p、129 帧是 118,800 个。台上这一小段只有 720 个。

全注意力要把每个词元和每个词元比一遍，对数是词元数的平方：720p 的 Wan2.1，每一层的每个注意力头约 5.7 × 10⁹ 对，HunyuanVideo 约 1.4 × 10¹⁰ 对。Wan 的论文写道，注意力的计算量随词元数平方增长，序列长到 100 万个词元时，注意力最多能占训练时间的 95 %。

所以生成很慢。Wan2.1 的 140 亿参数模型，在一块 H800 / H100 上生成一段 720p 视频要 1,837.9 秒，约 31 分⁠钟。13 亿参数的模型在一块 RTX 4090 上生成 480p 视频约 4.4 分⁠钟，显存 8.19 GB（要把一部分模型和文字编码器移到内存里）。

*词元 ∝ 帧数 × 像素 · 注意力 ∝ 词元² · Wan2.1 720p：75,600 个词元，约 31 分⁠钟（一块 H800 / H100）*

## 11 物理还会出错

Sora 的报告自己写：它不能准确模拟许多基本的物理作用，比如玻璃碎裂；吃东西不一定改变物体的样子；长视频里前后会不一致，物体会凭空出现。2025 年的 Sora 2 说自己“更守物理定律”，也说它“远不完美”。

Physics-IQ（2025）让模型续写真实拍摄的物理场景，以两次实拍之间的差别为 100 分：测过的 2024 年前后的模型里最高 29.5 分，Sora（从一张图生成）10.0 分。作者的结论是，画面逼真不等于懂物理。VideoPhy（2024）测了 12 个模型，最好的 CogVideoX-5B 只有 39.6 % 的视频既合提示词又合物理常识，其余都不到 20 %。

Kang 等人（2024）用二维的小球视频，从头训练参数最多 3.1 亿的视频模型：训练范围内几乎完美，超出范围就出错。模型更像是去找最像的训练样本，而不是学到定律；参照样本时的先后是颜色 > 大小 > 速度 > 形状。

台上画了两类有记录的错误：球第一次落地时陷进了桌面（Physics-IQ 记录过“物体穿过别的物体”），第 10 帧起凭空多出一个球（Sora 报告里的“物体凭空出现”）。这是本页画的，不是哪个模型的输出。

*Physics-IQ：最高 29.5 / 100 · VideoPhy：最好 39.6 % · Kang 等：颜色 > 大小 > 速度 > 形状*

## 12 拆开来看

把台子拆开：17 块玻璃、导轨、两个铝框、两根梳条、噪声旋钮和提示词铭牌。指针停在哪一件，哪一件就被托出来并写上名字。

## 13 实验台

拉杆就是噪声 t：1 是全噪声，0 是视频。提示词有三种，弹跳、滚动、落下，每种 8 段；换一种，或者再采样一次，去噪器就从 t = 1 重新走到 0。帧数和分辨率决定词元数和注意力要比较的对数。注意力可以换成全部、只看同一时刻、只看同一位置。

**试一试**：把帧数调到 33、分辨率调到 512 × 288：词元多了几倍？注意力要比较的对数又多了几倍？

## 模型省略了什么

台上的视频是本页画的：17 帧、256 × 144 像⁠素，一个球、一张桌子。封面上的颗粒画在像素上，是为了看得见；真实模型的噪声加在潜变量上（加噪和去噪两章画在夹层玻璃上）。潜变量画成了粗格子的图，真实的潜变量每格是 16 个数，不是颜色；夹层玻璃侧面的 16 层只代表 16 个通道。去噪器是 8 段视频的精确去噪器（按公式算出的后验平均），只会从这 8 段里挑一段；真实的模型是训练出来的网络。注意力的细线按“内容相近”算，提示词的细线是示意。词元数按 HunyuanVideo、Wan2.1 写明的压缩比和切块算。

## 几个容易误会的地方

Sora 和 Veo 的内部结构没有公开，本页讲的结构来自开源模型的论文，不能直接套到它们身上。所有帧是一起去噪的，不是一帧接一帧画出来。流匹配走直线，不等于一步就能生成：这些视频模型默认仍走 50 步。物理测试测的是 2024 年前后的模型；Kang 等人用的是小模型和二维小球视频，结论是关于这类模型怎样泛化，不是对 Sora 或 Veo 的测量。Sora 在 Physics-IQ 上的 10.0 分，部分是因为它常常切换镜头而被扣分，这是作者自己说明的。

## 常见问题

### 视频扩散模型是一帧一帧生成视频的吗？

所有帧在同一步里一起变清楚，不是一帧接一帧画出来的。

见：[06 一步步去噪](https://world.lapla.si/zh/videodit/#denoise)

### 视频生成模型为什么要先压缩视频？

直接在像素上生成太贵，所以先用一个视频自编码器（VAE）把这一块压小。HunyuanVideo 和 Wan2.1 的 VAE 都在时间上压 4 倍、长和宽各压 8 倍，每个位置留下 16 个数，叫 16 个通道。

见：[03 先压缩](https://world.lapla.si/zh/videodit/#vae)

### 生成一段 720p 视频要多久？

Wan2.1 的 140 亿参数模型，在一块 H800 / H100 上生成一段 720p 视频要 1,837.9 秒，约 31 分⁠钟。

见：[10 代价](https://world.lapla.si/zh/videodit/#cost)

### AI 生成的视频懂物理吗？

Sora 的报告自己写：它不能准确模拟许多基本的物理作用，比如玻璃碎裂；吃东西不一定改变物体的样子；长视频里前后会不一致，物体会凭空出现。

见：[11 物理还会出错](https://world.lapla.si/zh/videodit/#limits)

## 资料来源

1. [Peebles、Xie（2023）：Scalable Diffusion Models with Transformers（DiT），ICCV 2023](https://arxiv.org/abs/2212.09748)
2. [OpenAI（2024）：Video generation models as world simulators（Sora 技术报告）](https://openai.com/index/video-generation-models-as-world-simulators/)
3. [OpenAI（2024）：Sora 发布页（互联网档案馆存档，2024-02-15）](https://web.archive.org/web/20240215190600/https://openai.com/sora)
4. [OpenAI（2025）：Sora 2 is here](https://openai.com/index/sora-2/)
5. [OpenAI（2025）：Sora 2 System Card](https://cdn.openai.com/pdf/50d5973c-c4ff-4c2d-986f-c72b5d0ff069/sora_2_system_card.pdf)
6. [Google DeepMind（2025）：Veo 3 Tech Report](https://storage.googleapis.com/deepmind-media/veo/Veo-3-Tech-Report.pdf)
7. [Google DeepMind（2025）：Veo 3 Model Card](https://storage.googleapis.com/deepmind-media/Model-Cards/Veo-3-Model-Card.pdf)
8. [Google：Gemini API 文档 Generate videos with Veo（2025-07-21 版，互联网档案馆存档）](https://web.archive.org/web/20250725000000/https://ai.google.dev/gemini-api/docs/video)
9. [Kong 等（2024）：HunyuanVideo: A Systematic Framework For Large Video Generative Models](https://arxiv.org/abs/2412.03603)
10. [HunyuanVideo 代码（Tencent Hunyuan Community License）](https://github.com/Tencent/HunyuanVideo)
11. [Wan Team（2025）：Wan: Open and Advanced Large-Scale Video Generative Models](https://arxiv.org/abs/2503.20314)
12. [Wan2.1 代码（Apache 2.0）](https://github.com/Wan-Video/Wan2.1)
13. [Polyak 等（2024）：Movie Gen: A Cast of Media Foundation Models](https://arxiv.org/abs/2410.13720)
14. [Yang 等（2024）：CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer，ICLR 2025](https://arxiv.org/abs/2408.06072)
15. [Zheng 等（2025）：Open-Sora 2.0](https://arxiv.org/abs/2503.09642)
16. [Ho 等（2022）：Video Diffusion Models](https://arxiv.org/abs/2204.03458)
17. [Ma 等（2024）：Latte: Latent Diffusion Transformer for Video Generation](https://arxiv.org/abs/2401.03048)
18. [Ho、Jain、Abbeel（2020）：Denoising Diffusion Probabilistic Models](https://arxiv.org/abs/2006.11239)
19. [Liu、Gong、Liu（2022）：Flow Straight and Fast（rectified flow）](https://arxiv.org/abs/2209.03003)
20. [Lipman 等（2022）：Flow Matching for Generative Modeling](https://arxiv.org/abs/2210.02747)
21. [Esser 等（2024）：Scaling Rectified Flow Transformers for High-Resolution Image Synthesis（Stable Diffusion 3）](https://arxiv.org/abs/2403.03206)
22. [Ho、Salimans（2022）：Classifier-Free Diffusion Guidance](https://arxiv.org/abs/2207.12598)
23. [Kang 等（2024）：How Far is Video Generation from World Model: A Physical Law Perspective，ICML 2025](https://arxiv.org/abs/2411.02385)
24. [Motamed 等（2025）：Do generative video models understand physical principles?（Physics-IQ）](https://arxiv.org/abs/2501.09038)
25. [Bansal 等（2024）：VideoPhy: Evaluating Physical Commonsense for Video Generation](https://arxiv.org/abs/2406.03520)

## 数据

The clip on the glass (a ball on a table, 17 frames at 16 per second), its noise, its latent and its tokens are computed by this page (src/topics/videodit/science.js). The denoiser is the exact one for eight short clips, the attention threads come from a toy score, and the two errors in the limits chapter are drawn by the page; none of it is the output of a trained model. The latent and token arithmetic follows what HunyuanVideo and Wan2.1 publish (a causal video VAE, 4× in time, 8× in space, 16 channels; patches of 1 × 2 × 2). Sora’s and Veo’s internals are not public; the page says nothing about them beyond their reports. Material presets, parts and the softbox studio of the site’s model kit are ported from AirsupHQ/machine-skill (MIT, © 2026 Air Supply Technologies Inc.).

## 许可 CC BY-NC 4.0

本页的文字、图片和模型采用 CC BY-NC 4.0 许可：可以免费用于教学和其他非商业用途，可以修改，请注明出自 world.lapla.si。上面列出的第三方素材仍按各自的许可。

https://creativecommons.org/licenses/by-nc/4.0/deed.zh-hans

## 引用这幅图版

拉普拉斯的迷你世界，图版 F41《视频扩散模型》，https://world.lapla.si/zh/videodit/，CC BY-NC 4.0，2026-10-24 更新。