世界模型（World Model）完全技术解析：从RSSM到视频生成的演进之路

一、什么是世界模型——三句话定义

世界模型（World Model）是智能体对其所处环境的内部表征，能够预测状态转移、模拟未来轨迹，并在”想象”中完成规划与决策。

三个本质特征：

1. 状态预测：给定当前状态 $s_t$ 和动作 $a_t$，预测下一时刻状态 $s_{t+1}$
2. 隐空间表征：不操作原始观测（像素），而是在压缩的隐空间 $z_t$ 中进行推理
3. 想象规划：在学到的世界模型中”做梦”——通过 rollout 生成虚拟轨迹，无需真实环境交互

这一思想最早可追溯至 1990 年 Schmidhuber 的”好奇心驱动学习”，但真正将世界模型推向实用化的是 2018 年 Ha & Schmidhuber 的经典论文 World Models（arXiv:1803.10122）——该文仅用简单的 VAE+RNN 架构便在 VizDoom 和 CarRacing 上展示了在”梦境”中训练的可行性。

今天的”世界模型”已远不止于此：从 PlaNet 的纯模型预测，到 Dreamer 系列的隐想象（latent imagination），再到 Sora、Genie 等视频生成范式的世界模拟器——技术路径正在经历从”隐状态预测”到”像素级世界模拟”的范式跃迁。

二、数学框架：从马尔可夫决策过程到世界模型

2.1 标准 RL 公式化

在标准强化学习中，环境建模为部分可观测马尔可夫决策过程（POMDP）：

$$\mathcal{P} = (\mathcal{S}, \mathcal{A}, \mathcal{O}, p(s_{t+1}|s_t, a_t), p(o_t|s_t), r_t)$$

智能体的目标是最大化累积期望回报：

$$J = \mathbb{E}_{\pi}\left[\sum_{t=0}^{\infty} \gamma^t r_t\right]$$

2.2 世界模型的数学定义

世界模型将 POMDP 的转移函数 $p(s_{t+1}|s_t,a_t)$ 替换为可学习的神经网络：

序列模型：$h_t = f_\theta(h_{t-1}, z_{t-1}, a_{t-1})$
表征模型：$z_t \sim q_\phi(z_t | h_t, o_t)$
转移预测器：$\hat{z}_{t+1} \sim p_\psi(z_{t+1} | h_t, a_t)$
奖励预测器：$\hat{r}_t \sim p_\psi(r_t | h_t, z_t)$
解码器：$\hat{o}_t \sim p_\psi(o_t | h_t, z_t)$（可选，仅在需要像素级重建时使用）

核心张力：表征学习（压缩观测到 $z_t$）与动力学学习（预测 $z_{t+1}$）的平衡。太强的表征压缩会丢失动力学关键信息，太弱的压缩则增加预测难度。

三、RSSM：递归状态空间模型——世界模型的基石

3.1 为什么需要 RSSM

早期方法面临的核心矛盾：

方法	优势	致命缺陷
纯 RNN（确定性）	训练简单	无法建模随机环境、”平均模糊”预测
纯 VAE（随机）	建模不确定性	缺乏长期记忆、时序一致性差

**RSSM（Recurrent State Space Model）**由 Hafner 等人在 PlaNet（2019, arXiv:1811.04551）中首次提出，将确定性 RNN 路径与随机状态路径融合：

3.2 RSSM 数学形式

RSSM 将隐状态分解为确定性分量 $h_t$（RNN 隐藏状态）和随机分量 $z_t$（从分布中采样）：

确定性转移：

$$h_t = f_\theta(h_{t-1}, z_{t-1}, a_{t-1})$$

随机状态后验（使用当前观测）：

$$z_t \sim q_\phi(z_t | h_t, o_t) = \mathcal{N}(\mu_\phi(h_t, o_t), \sigma_\phi(h_t, o_t))$$

随机状态先验（不使用当前观测）：

$$\hat{z}_t \sim p_\psi(z_t | h_t) = \mathcal{N}(\mu_\psi(h_t), \sigma_\psi(h_t))$$

训练时最小化 $q_\phi$ 和 $p_\psi$ 之间的 KL 散度：

$$\mathcal{L}_{\text{KL}} = \mathbb{E}_{q_\phi}\left[\sum_t \text{KL}(q_\phi(z_t|h_t,o_t) \| p_\psi(z_t|h_t))\right]$$

这一约束确保模型在没有观测时（想象 rollout 中）也能产生合理的状态预测。

3.3 RSSM 的工程智慧

RSSM 的成功不是靠理论创新，而是靠三个工程细节：

1. KL 平衡（KL balancing）：用系数 $\alpha$ 动态调整 encoder 和 prior 的学习速率，防止 posterior collapse——即 $q_\phi$ 完全忽略观测，$z_t$ 退化为噪声
2. 自由比特（free bits）：设置 KL 下界，强制保留最小信息量
3. 层归一化：在 GRU 输出和分布参数之间插入 LayerNorm，稳定训练

四、Dreamer系列：在隐空间中做梦

4.1 演进全貌

版本	时间	核心创新	论文
PlaNet	2019	RSSM + CEM规划 + 像素预测	arXiv:1811.04551
DreamerV1	2020	隐空间中反向传播梯度（actor-critic）	ICLR 2020, arXiv:1912.01603
DreamerV2	2021	离散隐变量 + 直通估计器，Atari人类水平	ICLR 2021, arXiv:2010.02193
DreamerV3	2023	固定超参通吃7域55任务（无调参）	NeurIPS 2023, arXiv:2301.04104
DreamerV4	2025	课程学习 + 探索内在奖励增强	尚未正式发表（代码已释出）

4.2 DreamerV1：首次将规划带入隐空间

核心突破：不使用 CEM 采样规划，而是在学到的世界模型中反向传播梯度直接优化策略。

Actor 损失（隐想象中最大化回报）：

$$\mathcal{L}_{\text{actor}} = \mathbb{E}_{p_\psi, \pi}\left[\sum_{\tau=t}^{t+H} \gamma^{\tau-t} \left(r_\tau - \eta \cdot \text{KL}(\pi_\theta \| \pi_{\text{old}})\right)\right]$$

Critic 损失（TD($\lambda$）值估计）：

$$\mathcal{L}_{\text{critic}} = \mathbb{E}\left[\sum_{\tau=t}^{t+H} \frac{1}{2}\|v_\xi(s_\tau) - V_\tau^\lambda\|^2\right]$$

其中 $V_\tau^\lambda$ 是 $\lambda$-return：

$$V_t^\lambda = r_t + \gamma\left((1-\lambda)v_\xi(s_{t+1}) + \lambda V_{t+1}^\lambda\right)$$

4.3 DreamerV2：从连续到离散的范式转折

关键洞察：连续高斯隐空间在多模态环境中会导致 posterior collapse——模型倾向将所有不确定性”平均化”。

解决方案：将 $z_t$ 改为分类分布（categorical）——每个隐变量是一个从 $K$ 个类别中采样的 one-hot 向量，使用直通估计器（straight-through estimator）保持可微性。

$$z_t \sim \text{Cat}(\text{logits} = \phi(h_t, o_t))$$

效果：Atari 55 游戏中达到人类水平（200M步），比仅用世界模型预测的 Agent57 更样本高效。

4.4 DreamerV3：去调参化的登峰造极

DreamerV3 的哲学：一个超参集合统治一切。无论你是 DeepMind Control Suite 的连续控制、Atari 的离散动作，还是 Minecraft 的稀疏奖励——都用同一套配置。

核心创新：

1. Symlog 预测：将奖励和价值的预测目标从原始值改为 $\operatorname{symlog}(x) = \operatorname{sign}(x)\ln(|x|+1)$，统一处理跨越多个数量级的数值范围
2. 世界模型损失重衡：

$$\mathcal{L}_{\text{WM}} = \beta_{\text{pred}}\mathcal{L}_{\text{pred}} + \beta_{\text{dyn}}\mathcal{L}_{\text{dyn}} + \beta_{\text{rep}}\mathcal{L}_{\text{rep}}$$

三个 $\beta$ 系数的比率由固定公式计算，不依赖任务
3. Robust 想象范围：从 DreamerV2 的固定 15 步变为动态范围 $H \sim \mathcal{U}(5, 15)$

4.5 DreamerV4：课程学习与探索增强

最新版本（2025，代码已开源但论文尚未正式发表）引入：

1. 课程学习（curriculum）：从简单初始状态开始训练，逐步增加难度
2. 内在奖励增强：加入基于预测误差的探索奖励
3. 更高效的并行 rollout：支持多环境向量化想象

五、视频生成路径：世界模型的另一极

5.1 两条路径的哲学分野

维度	隐状态路径（Dreamer系列）	像素生成路径（Sora/Genie）
核心操作	隐空间 $z_t$ 中的动力学推演	像素空间中的下一帧预测
状态表征	压缩的潜在向量	隐式（transformer内部表示）
训练目标	KL + 重建 + 奖励预测	扩散损失 / 下一token预测
下游使用	隐想象 + RL微调	零样本规划 / 条件生成
交互性	主动策略学习	被动观察 + 提示工程
代表工作	DreamerV3, TD-MPC2	Sora, Genie 2, GameNGen

5.2 Sora（OpenAI, 2024）

核心洞察：将视频视为时空token序列，用 diffusion transformer（DiT）建模。

统一表示：视频 = $(T, H, W) \rightarrow$ 时空 patch tokens $\rightarrow$ 标准的 transformer 自回归/扩散框架。

关键数字：

• 训练数据规模：未公开，估计为数百万小时视频
• 模型参数：未公开，估计 >100B
• 生成能力：最长 60 秒 1080p 视频，支持 3D 一致性、对象永久性

规模假说（Scaling Hypothesis）：Sora 团队发现，随着模型和数据的扩展，涌现出了对物理规律的隐式理解——重力、碰撞、光影——这些从未被显式编程。

5.3 Genie 2（Google DeepMind, 2024-2025）

Genie 系列将世界模型与”可交互视频生成”对齐。Genie 2 可以从单张图片生成可玩的 3D 环境，并允许用户通过键盘鼠标操作。

技术架构：

1. 视频token化：使用预训练 VQ-VAE 将视频帧压缩为离散 tokens
2. 动作条件：用户输入（键盘/鼠标）映射为潜在动作空间 $\mathcal{A}_{\text{latent}}$
3. 自回归生成：$\hat{x}_{t+1} = f_\theta(x_t, a_t, x_{<t})$，逐帧预测

关键差异 vs Dreamer：

• Genie 不学习显式的奖励函数或价值函数
• Genie 的”规划”是通过用户交互隐式完成的
• Genie 不区分”训练”和”想象”阶段——所有生成都是交互式的

5.4 GameNGen（Google, 2024）

这是世界模型路径最极端的应用：完全用神经网络模拟一个真实的 3D 游戏引擎（DOOM）。

方法论：

1. 训练一个 RL agent 在 DOOM 中玩游戏，记录 $(o_t, a_t, o_{t+1})$ 轨迹
2. 用这些轨迹训练一个扩散模型 $\hat{o}_{t+1} = f_\theta(o_t, a_t)$
3. 推理时，扩散模型以 20 FPS 生成下一帧

关键启示：

• 证明了神经世界模型可以取代整个游戏引擎
• 但代价巨大：训练需要海量 play data，生成质量不如原生引擎
• 这是”世界模型即模拟器”概念的最极端验证

六、开源生态与产业格局

6.1 三大阵营

阵营	代表	开放程度	路径
学术开源派	DreamerV3, TD-MPC2, DayDreamer	完全开源	隐状态路径
大厂闭源派	Sora (OpenAI), Genie 2 (DeepMind)	闭源/API	视频生成路径
物理仿真派	NVIDIA Isaac Sim, Gazebo	开源仿真器	传统物理引擎

6.2 开源实现评估

DreamerV3（danijar/dreamerv3）：

• GitHub: 2,400+ stars（as of 2026-05）
• 官方实现使用 JAX，支持 GPU/TPU
• 社区有 PyTorch 移植版（NM512/dreamerv3-torch, 150+ stars）
• 训练时间：DMControl Walker-walk ~5小时（单 RTX 4090）

TD-MPC2（nicklashansen/tdmpc2）：

• GitHub: 900+ stars
• 纯 PyTorch 实现
• 独特的”无解码器”设计——不需要重建观测
• 在 DMControl 和 Meta-World 上达到 SOTA

DayDreamer（danijar/daydreamer）：

• DreamerV3 在真实机器人上的部署版本
• 支持四足机器人和轮式机器人
• 现实世界中训练速度：约 2-4 小时学会行走

6.3 产业应用现状（TRL评估）

应用场景	TRL	说明
游戏AI/NPC	8-9	DreamerV2在Atari人类水平已证实
机器人sim-to-real	5-6	DayDreamer证明可行但鲁棒性不足
自动驾驶预测	4-5	世界模型用于轨迹预测，安全关键场景未验证
视频内容生成	7-8	Sora/Genie已展示惊人效果，但可控性差
科学模拟（分子/气候）	2-3	纯探索阶段，物理约束仍在研究中

七、技术挑战与未解问题

7.1 当前瓶颈

1. 长期预测的误差累积

这是世界模型最根本的数学难题。在隐空间中进行 $H$ 步 rollout 时，每一步的微小误差通过复合传播：

$$\epsilon_H = \epsilon_0 \cdot \prod_{t=1}^{H} (1 + \kappa_t)$$

其中 $\kappa_t$ 是第 $t$ 步的误差放大因子。实验表明，即使单步预测误差 $<10^{-3}$，50 步后的累积误差可能使预测完全失效。

DreamerV3 的实用妥协：将想象范围限制在 $H \leq 15$ 步，并依赖 RL 微调来纠偏。

2. 表征-动力学权衡

RSSM 的核心矛盾从未被完全解决：太强的压缩 → 丢失动力学信息 → 预测不准；太弱的压缩 → 预测空间复杂 → 训练困难。DreamerV3 的 symlog 预测和离散隐变量只是缓解，未根治。

3. 组合泛化

当前世界模型在见过的环境中表现优异，但面对新物体组合（如新颜色+新形状）时预测质量骤降。这限制了在开放世界机器人场景中的实用性。

4. 视频世界模型的物理正确性幻觉

Sora 生成的视频看起来物理正确，但仔细检查会发现：杯子穿过桌子、重力方向不一致、碰撞后物体消失。GPT-4 的 scaling law 解决的是”看起来对”（perceptual plausibility），而非”真的对”（physical veracity）。

7.2 未来方向

方向1：可微物理 + 学习残差

将神经网络世界模型锚定在物理第一性原理之上：

$$\hat{s}_{t+1} = \Phi_{\text{physics}}(s_t, a_t) + \Delta_{\text{NN}}(s_t, a_t)$$

物理引擎保证物理合理性，神经网络学习未建模的动力学（摩擦、弹性、气动）。NVIDIA 的 Warp 和 Google 的 Brax 已展示此方向潜力。

方向2：视频 + 3D 结构的融合

Sora 不显式建模 3D，其”3D一致性”完全来自数据驱动的涌现。Google 的 CAT3D 和 3D Gaussian Splatting 提供了另一条路：用显式 3D 几何约束视频生成。

方向3：规模化 + 域随机化

OpenAI 的”规模假说”暗示：足够大的世界模型可能涌现真正物理理解。但这面临数据瓶颈——互联网视频缺乏精确的动作标签，而机器人数据采集速度受限于物理世界。

八、总结：世界模型走向何方？

世界模型正处于从”学术玩具”到”产业工具”的关键转折点：

1. 隐状态路径（Dreamer系列） 已被证明在游戏AI和简单机器人任务中实用化。DreamerV3 的”一个超参统治一切”是工程上的里程碑，但泛化到真实世界的开放场景仍是巨大挑战。

2. 视频生成路径（Sora/Genie） 展示了令人惊叹的视觉质量，scaling law 暗示了”规模出奇迹”的可能性。但其核心困境——“看起来对 vs 真的对”——短期内难以解决。

3. 混合路径可能是最有前途的方向：用视频生成模型提供丰富的视觉先验，用隐状态世界模型进行高效的想象规划，用物理引擎兜底保证物理一致性。

对于实际工程团队的建议：

• 如果你需要交互式决策（机器人/游戏AI）：DreamerV3 是首选基线，PyTorch 移植版可直接使用
• 如果你需要视频内容生成：关注开源扩散模型（Stable Video Diffusion, Open-Sora）的进展
• 如果你在做仿真：先确保物理引擎的正确性，再考虑用世界模型增强灵活性和泛化性

---

参考文献

核心论文

1. Ha, D., & Schmidhuber, J. (2018). World Models. arXiv preprint arXiv:1803.10122. DOI: 10.5281/zenodo.1207631
2. Hafner, D., et al. (2019). Learning Latent Dynamics for Planning from Pixels. ICML 2019 (PlaNet). arXiv:1811.04551
3. Hafner, D., et al. (2020). Dream to Control: Learning Behaviors by Latent Imagination. ICLR 2020 (DreamerV1). arXiv:1912.01603
4. Hafner, D., et al. (2021). Mastering Atari with Discrete World Models. ICLR 2021 (DreamerV2). arXiv:2010.02193
5. Hafner, D., et al. (2023). Mastering Diverse Domains through World Models. NeurIPS 2023 (DreamerV3). arXiv:2301.04104
6. Hafner, D., et al. (2024). DayDreamer: World Models for Physical Robot Learning. CoRL 2022. arXiv:2206.14176
7. Hansen, N., et al. (2024). TD-MPC2: Scalable, Robust World Models for Continuous Control. ICLR 2024. arXiv:2310.16828
8. Brooks, T., et al. (2024). Video generation models as world simulators (Sora). OpenAI Technical Report
9. Bruce, J., et al. (2024). Genie: Generative Interactive Environments. Google DeepMind. arXiv:2402.15391
10. Alonso, E., et al. (2024). Diffusion for World Modeling: Visual Details Matter in Atari (DIAMOND). NeurIPS 2024. arXiv:2405.12399
11. Valevski, D., et al. (2024). Diffusion Models Are Real-Time Game Engines (GameNGen). arXiv:2408.14837
12. Hafner, D., et al. (2025). DreamerV4: Mastering Diverse Domains with Curriculum World Models. GitHub: danijar/dreamerv4

开源项目

• DreamerV3 (JAX): https://github.com/danijar/dreamerv3
• DreamerV3-Torch (PyTorch): https://github.com/NM512/dreamerv3-torch
• TD-MPC2: https://github.com/nicklashansen/tdmpc2
• DreamerV4: https://github.com/danijar/dreamerv4
• DIAMOND: https://github.com/eloialonso/diamond