端到端机器人学习核心概念全解：VLA、WAM、世界模型与训练范式

---

一、问题背景：从模块化到端到端的范式迁移

传统机器人系统采用感知→规划→控制的模块化架构：视觉模块检测目标，规划模块计算轨迹，控制模块执行命令。每个模块独立设计、独立调试，模块间通过结构化接口通信。

这种架构有三个根本性局限：

1. 信息瓶颈：每个模块只传递下游需要的信息，上游的丰富感知在下游被截断。视觉模块输出边界框，但丢弃了纹理、光照、场景语义等可达百万维的信号。
2. 复合误差：每个模块各有误差，级联后总误差不是加法关系，而是非线性放大——前置模块的微小错误可能使后置模块的输入彻底偏离设计域。
3. 不可端到端优化：模块间界面是离散符号而非可微张量，梯度无法从任务目标反向传播至原始感知。

端到端学习的核心思想是一次性解决这些问题：用一个神经网络直接从原始感知映射到动作指令，所有参数通过任务损失联合优化。

这场范式迁移的驱动力来自三个方向的同时成熟：

驱动力	代表工作	关键能力
大语言模型的推理能力	GPT-4, Gemini	将常识推理和任务分解注入机器人动作
视觉基础模型的感知能力	DINOv2, SAM, SigLIP	像素级场景理解不再需要手工特征
大规模机器人数据	Open X-Embodiment	60+ 机器人平台的 160 万条轨迹可供训练

---

二、VLA：视觉-语言-行动模型

2.1 定义与数学形式

VLA（Visual-Language-Action Model）是将视觉感知、语言指令和行动预测统一到一个模型的端到端架构。给定当前观测 $$o_t$$ 和语言指令 $$\ell$$，VLA 直接输出动作：

$$a_t = \pi_\theta(o_t, \ell)$$

其中 $$\pi_\theta$$ 通常是一个 Transformer 模型，$$a_t$$ 可以是末端位姿、关节角度、或离散的动作 token。

2.2 代表性模型

RT-2（Google DeepMind, 2023）

核心创新是将机器人动作表示为文本 token，使得一个在互联网规模图文数据上训练的 VLM 可以直接输出机器人动作。动作空间被离散化为 256 个 bin，每个维度的动作变成一个离散 token：

$$P(a_t | o_t, \ell) = \prod_{i=1}^{k} P(\text{token}_i | o_t, \ell, \text{token}_{<i})$$

这是「互联网知识 → 物理行动」的知识迁移桥梁。在符号理解、推理和人类意图识别任务上，RT-2 的泛化能力相较 RT-1 提升超过 2 倍。

OpenVLA（Stanford, 2024）

7B 参数的开放权重 VLA，在 Open X-Embodiment 数据集上训练。关键设计：使用 SigLIP 作为视觉编码器，Llama 2 作为语言骨干，动作头将语言模型的隐状态映射为 7-DoF 末端位姿。在零样本泛化测试中超越封闭源 RT-2-X。

π₀（Physical Intelligence, 2024）

3B 参数的动作专家模型，不同于 VLM 微调路线，π₀ 从零开始在多种机器人数据上联合训练。输出连续的 50Hz 动作序列，支持单臂、双臂和移动操作。

2.3 VLA 的数学本质

从概率视角看，VLA 学习的是条件动作分布：

$$\pi_\theta(a_t | o_t, \ell) = \text{softmax}(f_\theta(o_t, \ell)) \quad \text{（离散动作）}$$

或

$$a_t = \mu_\theta(o_t, \ell) + \sigma_\theta(o_t, \ell) \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I) \quad \text{（连续动作）}$$

训练目标是最小化行为克隆损失：

$$\mathcal{L}_{\text{BC}} = -\mathbb{E}_{(o, \ell, a) \sim \mathcal{D}} \left[ \log \pi_\theta(a | o, \ell) \right]$$

其中 $$\mathcal{D}$$ 是人类遥操作数据集。

2.4 VLA 的根本局限

VLA 本质上是一个观测→动作的直接映射器。它不理解动作的物理后果，不预测未来状态，不推理接触力学。这导致三个致命缺陷：

局限	表现	原因
分布外崩溃	遇到训练集未见场景时输出危险动作	纯前馈推理，无内部验算
长时任务失败	任务时间越长，累积误差越大	无未来预测，每步独立决策
物理不可行	输出违反机器人运动学/动力学的动作	不建模物理约束

这些局限直接催生了下一代的 WAM 范式。

---

三、WAM：世界-动作模型的统一范式

3.1 核心思想

WAM（World-Action Model）是 Jim Fan 领导的 NVIDIA GEAR 团队在 2026 年 2 月通过三篇论文定义的新范式。相比 VLA 只做观测→动作映射，WAM 同时预测世界状态转移和动作：

$$(\hat{s}_{t+1}, \hat{a}_t) = f_\theta(s_t, \ell)$$

关键创新是视频与动作的联合预测——模型看过人类视频后，不仅学会「看到什么应该做什么」，还学会了「做了之后世界会变成什么样」。这赋予 WAM 一项 VLA 不具备的能力：内部验算——在输出动作之前，先在想象中推演一遍后果。

3.2 三部曲论文

DreamDojo（arXiv: 2602.06949）——世界模型

从 44K 小时 YouTube 人类操作视频中学习通用世界模型。关键技术：

• Latent Action Model：以完全自监督的方式从视频中提取隐式动作表示，无需人工标注
• 训练后的世界模型可在给定初始帧 + 隐动作序列时，预测未来数十帧的视频
• 用途：作为强化学习训练的「梦境环境」，让策略在低成本想象中试错，而非在高成本物理世界中试错

DreamZero / WAM（arXiv: 2602.15922）——视频+动作联合预测

这是 WAM 的核心论文，定义了范式转换的关键设计：

1. 联合自回归：模型同时输出下帧图像和下步动作：

   $$P(v_{t+1}, a_t | v_{\leq t}, \ell) = P(v_{t+1} | v_{\leq t}, \ell) \cdot P(a_t | v_{\leq t}, \ell)$$

2. 7Hz 实时推理：相比 VLA 的 1-3Hz，更快响应意味着更精细的操作

3. 30 分钟微调适配新本体：新机器人只需 30 分钟遥操作数据即可微调，相较 VLA 需要数千条轨迹大幅降低门槛

4. 泛化提升 > 2 倍：在未见任务上的成功率是 VLA 的 2 倍以上

EgoScale（arXiv: 2602.16710）——对数线性缩放定律

从 20K 小时人类第一视角视频中验证了 WAM 的对数线性缩放定律：

$$\text{Performance} = \alpha \cdot \log(\text{Data}) + \beta$$ $$R^2 = 0.9983$$

这意味着数据量每翻一倍，性能稳定提升 $$\alpha$$。这条定律为「更多数据 = 更好模型」提供了坚实的经验支撑。

3.3 WAM vs VLA：定量对比

维度	VLA	WAM
输出	仅动作 $$a_t$$	动作 $$a_t$$ + 下帧 $$\hat{v}_{t+1}$$
推理速度	1-3 Hz	7 Hz
新本体适配	数千条轨迹	30 分钟遥操作数据
内部验算	无	预测动作后果
泛化能力	基线	>2 倍于 VLA
世界理解	隐式	显式视频预测
缩放定律	经验观察	对数线性 $$R^2=0.9983$$

---

四、世界模型：在想象中学习

4.1 世界模型的形式定义

世界模型（World Model）是一个学习环境动态的内部模拟器：

$$M_\phi: (s_t, a_t) \rightarrow (\hat{s}_{t+1}, \hat{r}_{t+1})$$

它预测给定当前状态和动作时，下一个状态和即时奖励。最好的世界模型甚至可以直接生成未来的视觉观测：

$$\hat{o}_{t+1} = M_\phi(o_t, a_t)$$

4.2 学术谱系

世界模型概念源于 1990 年代的控制理论，但在深度学习中由以下工作发扬光大：

World Models（Ha & Schmidhuber, 2018）
开创性工作：用 VAE 编码观测 → MDN-RNN 建模动态 → 线性控制器在隐空间中优化。在 CarRacing 和 VizDoom 上验证了「在梦中训练」的可行性。

Dreamer 系列（Hafner et al., 2019-2023）
从 DreamerV1 到 DreamerV3，逐步完善了基于世界模型的强化学习框架：

• DreamerV1（2019）：在学到的世界模型隐空间中优化策略，而非在真实环境中采样
• DreamerV2（2020）：引入离散隐变量，大幅提升长期预测精度
• DreamerV3（2023）：统一超参数，在 150 多个任务上无需调参即达 SOTA

核心训练目标：

$$\mathcal{L}_{\text{wm}} = \underbrace{\mathbb{E}\left[\sum_t \|o_t - \hat{o}_t\|^2\right]}_{\text{重建损失}} + \underbrace{\mathbb{E}\left[\sum_t \text{KL}(q(z_t | o_t) \| p(z_t | z_{t-1}, a_{t-1}))\right]}_{\text{KL损失}} + \underbrace{\mathbb{E}\left[\sum_t \|r_t - \hat{r}_t\|^2\right]}_{\text{奖励预测损失}}$$

Sora（OpenAI, 2024）——世界模拟器
虽然名义上是视频生成模型，Sora 展现了世界模型的涌现能力：它能模拟画笔在画布上留下痕迹、Minecraft 中的物理交互，表明大规模视频生成可以学到物理世界的内部表示。

4.3 世界模型与 WAM 的关系

WAM 是世界模型思想在机器人领域的工程化实现：

• 传统世界模型用于强化学习规划，但需要真实的奖励信号
• WAM 将世界模型与动作预测合二为一，实现联合训练
• Dreamer 的世界模型在隐空间运行，WAM 的世界模型直接在像素空间预测

特性	Dreamer	WAM
运作空间	隐空间 $$z_t$$	像素空间 $$v_t$$
动作来源	策略网络采样	联合自回归预测
数据需求	环境交互数据	人类操作视频
本体泛化	单机器人	30 分钟适配新本体

---

五、端到端学习架构全景

5.1 训练范式

端到端机器人的学习信号有五种来源，每种对应不同的架构：

范式	学习信号	代表方法	数据效率	泛化能力
行为克隆	专家示范 $$(o, a)$$	BC, DAGGER	低	差
逆强化学习	专家示范 $$(o, a)$$ + 环境交互	GAIL, AIRL	低	中
强化学习	环境奖励 $$r_t$$	PPO, SAC, Dreamer	极低	中
自监督学习	视频自身结构	Latent Action (DreamDojo)	高	好
基础模型微调	多源异构数据	VLA, WAM	中	最好

5.2 行为克隆的数学

最基础的端到端范式。训练目标：

$$\theta^* = \arg\min_\theta \mathbb{E}_{(o, a) \sim \mathcal{D}_{\text{expert}}} \left[ \|a - \pi_\theta(o)\|^2 \right]$$

核心问题是分布偏移：训练时机器人看到的都是专家状态，但策略的错误会将机器人带入未经训练的新状态，错误会复合放大。

假设单步错误概率为 $$\epsilon$$，T 步任务的总错误概率约为：

$$P(\text{failure}) \approx 1 - (1 - \epsilon)^T \approx \epsilon T$$

对于 $$T=100$$ 步的任务，即使单步错误率只有 1%，总失败率也接近 100%。这正是 DAGGER 算法引入在线纠正的根本动机。

5.3 强化学习在机器人中的应用

$$\theta^* = \arg\max_\theta \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \gamma^t r(s_t, a_t) \right]$$

在机器人领域，PPO 是最常用的策略梯度方法：

$$\mathcal{L}_{\text{PPO}} = \mathbb{E}_t \left[ \min\left( \frac{\pi_\theta(a_t|s_t)}{\pi_{\text{old}}(a_t|s_t)} \hat{A}_t, \text{clip}\left(\frac{\pi_\theta(a_t|s_t)}{\pi_{\text{old}}(a_t|s_t)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_t \right) \right]$$

关键挑战：

• 样本效率：物理机器人每秒只能采集几个样本，而 PPO 通常需要百万级样本
• 奖励设计：稀疏奖励信号导致探索失败；密集奖励设计需要大量领域知识
• 安全约束：探索过程中的危险动作在物理世界中不可接受

这些挑战解释了为什么在仿真中训练 + 迁移到现实（Sim-to-Real）成为主流方案，也解释了为什么世界模型（先在想象中试错）和 WAM（用人类视频代替真实交互）如此重要。

5.4 Latent Action：自监督的桥梁

DreamDojo 提出的 Latent Action 机制是从视频中提取隐式动作表示。给定视频帧序列 $$v_{1:T}$$：

1. 编码器 $$E$$ 将相邻帧的差异编码为隐动作 $$z_t = E(v_t, v_{t+1})$$
2. 动态模型 $$D$$ 学习预测 $$D(v_t, z_t) \approx v_{t+1}$$
3. 策略网络 $$\pi$$ 学习从观测映射到隐动作 $$\pi(v_t) \approx z_t$$
4. 动作解码器 $$A$$ 将隐动作转换为本体特定动作 $$a_t = A(z_t)$$

这个四步架构使得同一个隐空间可以跨机器人共享——改变本体只需替换 $$A$$。

---

六、训练信号全景：从遥操作到自监督

端到端机器人系统的学习信号可以组织成一个光谱：

遥操作数据 → 自监督视频 → 仿真交互 → 真实交互
  （最易获取）                          （最昂贵）

6.1 各数据源的工程特性

数据源	获取成本	信息密度	跨本体泛化	物理保真
YouTube 人类视频	~$0	低	最好（与本体无关）	物理交互不完全
遥操作示范	$100-500/小时	高	差（本体绑定）	完整的物理交互
仿真环境	GPU 算力成本	中	中	域差距问题
真机自主交互	极高	高	差	完美

6.2 Open X-Embodiment 数据集

Google 主导的全球机器人数据联盟计划：

• 规模：60+ 机器人平台，160 万条真实机器人轨迹
• 本体多样性：从 Franka 机械臂到移动操作平台的 22 种硬件
• 任务多样性：700+ 种操作任务
• 标准化的数据格式：统一的 RLDS（Reinforcement Learning Data Structure）格式

这是 VLA 和 WAM 等基础模型的关键训练数据来源。

---

七、具身基础模型的行业格局

7.1 主要玩家的技术路线

机构	模型/框架	路线	核心主张
NVIDIA GEAR	WAM (DreamDojo/Zero/EgoScale)	视频+动作联合预测	世界模型是 VLA 的终结者
Google DeepMind	RT-2, RT-X	VLM 微调为 VLA	互联网知识→物理行动
Physical Intelligence	π₀	从头训练的通用策略	3B 参数的跨本体统一模型
Stanford	OpenVLA, Octo	开放权重	学术可复现的通用操作
Tesla	Optimus Bot	人形机器人专项	垂直整合的硬件+AI
Figure AI	Figure 02	人形机器人+基础模型	通用人形操作

7.2 RT-2、WAM、π₀ 的关键差异

维度	RT-2 (Google)	π₀ (PI)	WAM (NVIDIA)
基础模型	PaLI-X / PaLM-E	从头训练	预训练视频模型
参数量	55B	3B	未公开
动作空间	离散 token（256 bin）	连续位姿 + 夹爪	连续序列
频率	1-3 Hz	50 Hz	7 Hz
是否预测未来	否	否	是（视频+动作）
开放权重	否	否	未公开
训练数据	互联网图文+机器人	7种机器人数据	44KHR人类视频+机器人

---

八、概念关系总览

端到端机器人学习的核心概念形成三层架构：

关键洞察：

1. VLA 是第一代：打通了视觉-语言-动作的端到端链路，证明了「互联网知识→物理行动」的知识迁移可行性
2. WAM 是第二代：在 VLA 上叠加世界模型，赋予模型「想象行动后果」的能力
3. 世界模型是加速器：通过在想象中试错，将强化学习的样本需求降低 10-100 倍
4. Latent Action 是桥梁：让人和机器人共享同一个动作隐空间，实现跨本体泛化
5. 缩放定律是燃料：数据量翻倍→性能稳定提升（$$R^2=0.9983$$），为更大规模的投入提供了确定性

---

九、核心公式速查

公式	含义	所属范式
$$a_t = \pi_\theta(o_t, \ell)$$	观测+语言指令→动作	VLA
$$P(a_t|o_t,\ell) = \prod_i P(\text{token}_i|o_t,\ell,\text{token}_{<i})$$	动作 token 化自回归预测	RT-2
$$(v_{t+1}, a_t) = f_\theta(v_{\leq t}, \ell)$$	视频+动作联合自回归预测	WAM
$$\hat{o}_{t+1} = M_\phi(o_t, a_t)$$	世界模型：预测下一帧观测	World Model
$$z_t = E(v_t, v_{t+1})$$	视频间差异→隐动作	DreamDojo
$$\mathcal{L}_{\text{BC}} = -\mathbb{E}[\log \pi_\theta(a|o,\ell)]$$	行为克隆损失	Imitation Learning
$$\mathcal{L}_{\text{PPO}} = \mathbb{E}[\min(rA, \text{clip}(r, 1\pm\epsilon)A)]$$	近端策略优化损失	RL
$$\text{Perf} = \alpha\log(D) + \beta$$	WAM 对数线性缩放定律	EgoScale

---

十、延伸阅读

论文/资源	说明	出处
RT-2: Vision-Language-Action Models	VLA 范式的奠基工作	Google DeepMind, arXiv: 2307.15818
OpenVLA: An Open-Source VLA	开放权重的 7B VLA	Stanford, arXiv: 2406.09246
π₀: A Vision-Language-Action Flow Model	从头训练的通用策略	Physical Intelligence, 2024
DreamDojo	从人类视频学世界模型	NVIDIA GEAR, arXiv: 2602.06949
DreamZero / WAM	定义 WAM 范式的核心论文	NVIDIA GEAR, arXiv: 2602.15922
EgoScale	WAM 的缩放定律验证	NVIDIA GEAR, arXiv: 2602.16710
Mastering Diverse Domains through World Models	DreamerV3	Hafner et al., arXiv: 2301.04104
Open X-Embodiment	全球机器人数据联盟	Google et al., arXiv: 2310.08864
Video generation models as world simulators	Sora	OpenAI, 2024
World Models	世界模型开创性工作	Ha & Schmidhuber, 2018