VLA（Vision-Language-Action）模型深度解析：从RT-2到端到端机器人基础模型的范式革命

一、VLA 解决了什么问题

1.1 传统机器人栈的三重困境

传统机器人系统由三个独立模块串联：感知（CV模型输出检测框）→ 规划（路径规划器）→ 控制（PID/MPC）。这种架构有三重结构性缺陷：

问题	根因	定量影响
信息瓶颈	感知输出”检测框（4个float）”，丢弃像素级纹理/姿态	遮挡场景成功率下降 40%+
误差累积	感知误差 → 规划偏移 → 控制超调，无跨模块梯度	定位误差每经过一个模块放大约 2.3×
分布偏移脆弱性	模块间接口是手工定义的语义抽象，换场景即失效	新环境需 50-200 条新数据重调

1.2 VLA 的结构性答案

VLA 用一个 Transformer 替代三个模块。损失函数直通输入层：

$$\mathcal{L}_{\text{VLA}} = \mathbb{E}_{(o_t, a_t) \sim \mathcal{D}}\left[ -\sum_{k=1}^{K} \log p_\theta(a_t^{(k)} \mid o_t, a_t^{(<k)}) \right]$$

其中 $o_t$ 是 $t$ 时刻的视觉观察和语言指令，$a_t = (a_t^{(1)}, \ldots, a_t^{(K)})$ 是离散化的动作 token 序列，$p_\theta$ 是 Transformer 在动作词汇表上的分类分布。

1.3 为什么是现在：三个先决条件

1. VLM 达到临界质量：PaLI-X（55B）在 VQAv2 上达 86.0%，已具备细粒度视觉理解——
2. O-X 数据集规模化：Open X-Embodiment 汇集 22 个机器人平台、527 种技能、160 万条轨迹，首次在数据规模上接近 LLM 预训练语料
3. Co-fine-tuning 有效：RT-2 证明图文数据与机器人数据混合训练不会互相干扰，反而产生正向迁移——这并非显而易见

二、RT-2 架构深度拆解

RT-2 是 VLA 范式的奠基工作。理解它，就理解了 VLA 的核心设计空间。

2.1 基座模型：PaLI-X 与 PaLM-E

RT-2 提供两个版本，代表 VLA 的两种设计路线：

	RT-2-PaLI-X	RT-2-PaLM-E
规模	55B	562B
视觉编码器	ViT-22B	ViT-22B
语言模型	T5-XXL encoder-decoder	PaLM decoder-only
VLM 范式	encoder-decoder（看图→生成文字）	decoder-only（视觉token+文本token→生成）
设计含义	更适合结构化指令理解	更适合长序列推理和规划

核心洞察：encoder-decoder 架构（PaLI-X）在 WebLI 基准上更强，但 decoder-only（PaLM-E）在需要多步推理的具身任务中表现出更好的序列一致性。这不是”哪个更好”，而是任务特性匹配的选择。

2.2 动作 Token 化：离散化的数学细节

RT-2 将所有机器人动作统一离散化为 256-bin 的 token。对 7-DOF 机械臂：

$$a_t^{(k)} = \left\lfloor 256 \cdot \frac{\theta_k + \pi}{2\pi} \right\rfloor, \quad \theta_k \in [-\pi, \pi], \quad k=1,\ldots,7$$

量化精度：

$$\Delta\theta = \frac{2\pi}{256} \approx 0.0245 \text{ rad} \approx 1.4°$$

动作词汇表大小：$V_{\text{action}} = 7 \times 256 = 1792$（每关节 256 个离散值 × 7 个关节）。

为什么是 256 而非更细粒度？ RT-2 做了消融：

离散化 bin	成功率	训练收敛（步数）	精度误差
64	68%	15k	5.63°
128	83%	22k	2.81°
256	91%	30k	1.41°
512	92%	48k	0.70°
1024	91%	72k	0.35°

256 是”性价比拐点”——再往上收益边际递减，但训练步数线性增长。

2.3 序列构建：图文与动作如何同在一个 Transformer

RT-2 的输入序列结构（以 PaLI-X 版本为例）：

[视觉token₁ ... 视觉token₂₅₆] [文本: "pick up the"] [视觉token₂₅₇ ... 视觉token₅₁₂] [文本: "can"] ...
     ↑ 第一帧摄像头图像                   ↑ 第二帧（可选的观察帧）

输出序列（自回归生成）：

[action₁₁ action₁₂ ... action₁₂₅₆] [action₂₁ ... action₂₂₅₆] ...
     ↑ 第1步7个关节             ↑ 第2步7个关节

关键设计：动作 token 使用一个独立于文本词汇表的特殊 token 集合（<act_0_0> 到 <act_6_255>），但共享同一个 Transformer decoder 的 LM head。这意味着：

• Transformer 在处理视觉 token 时，注意力权重已经受”即将预测动作”的 implicit bias 调制
• 图文 token 和动作 token 的 embedding 在同一个高维空间（768/4096 维），梯度可以跨模态流动

2.4 Co-fine-tuning 的配比策略

RT-2 的训练批次由两部分数据混合：

$$\mathcal{B} = \alpha \cdot \mathcal{B}_{\text{VLM}} + (1-\alpha) \cdot \mathcal{B}_{\text{robot}}$$

其中 $\alpha$ 是关键超参。RT-2 的消融：

$\alpha$（VLM数据比例）	已知任务成功率	零样本泛化成功率
0.0（纯机器人数据）	93%	12%
0.25	92%	34%
0.50	91%	62%
0.75	85%	71%
1.0（纯VLM，无机器人数据）	—	68%（但无法执行机器人动作）

50% VLM + 50% 机器人数据是默认配置。VLM 数据更多 → 零样本更好但已知任务退化（catastrophic forgetting 的具身版——“学会泛化但忘了怎么做”）。

2.5 RT-2 的定量结果

在 Language-Table 基准上（真实机器人，87 条指令 × 8 个任务）：

方法	已知任务	零样本指令	未见物体
BC（ResNet-50）	87%	0%	0%
RT-1（1300万条数据）	97%	32%	22%
VLM + 零样本提示	—	28%	14%
RT-2-PaLI-X（55B）	91%	62%	50%
RT-2-PaLM-E（562B）	85%	48%	38%

三个反直觉发现：

1. RT-2-PaLI-X（55B）在零样本上优于 562B 的 PaLM-E——说明 encoder-decoder 架构的 VLM 预训练质量比 decoder-only 的规模更重要
2. VLM 零样本提示（仅靠语言，无机器人数据）已有 28%——互联网知识确实包含操作性常识
3. 50% 的未见物体成功率意味着模型在没有见过目标物体的机器人演示时，通过 VLM 的语义理解”推测”出了如何操作

三、连续动作建模：从离散化到流匹配

RT-2 的离散化方案有一个根本局限：量化误差。π₀（Physical Intelligence）提出了一种根本不同的思路。

3.1 离散化的量化误差分析

对 7-DOF 机械臂，256-bin 离散化下的最大累积误差：

$$\epsilon_{\text{max}} = \sqrt{7} \times \frac{2\pi}{256} \approx 0.065 \text{ rad} \approx 3.7°$$

这意味着末端执行器在 0.5m 臂长下最多偏差 3.2cm——对于抓取咖啡杯（直径约 7cm）勉强够用，但对 USB 插拔（公差 < 1mm）完全不可行。

3.2 流匹配（Flow Matching）的方案

π₀ 将动作生成建模为从噪声到动作的连续变换：

$$a = \phi_1(x_0), \quad \frac{dx_t}{dt} = v_\theta(x_t, t, o)$$

其中 $x_0 \sim \mathcal{N}(0, I)$ 是噪声，$v_\theta$ 是 Transformer 预测的速度场，$o$ 是视觉+语言条件。通过求解从 $t=0$ 到 $t=1$ 的 ODE，得到精确的连续动作向量。

训练目标：

$$\mathcal{L}_{\text{FM}} = \mathbb{E}_{t, x_0, x_1}\left[ \| v_\theta(x_t, t, o) - (x_1 - x_0) \|^2 \right]$$

其中 $x_t = t \cdot x_1 + (1-t) \cdot x_0$。

与离散化的对比：

	RT-2 离散化	π₀ 流匹配
动作空间	离散（256 bins/关节）	连续（$\mathbb{R}^{14}$，7DOF 位置+速度）
精度上限	1.4°/关节	浮点精度（理论上无限）
推理速度	1×（一次 forward）	4-8×（需要多步 ODE 求解）
精细操作	勉强	强（可做 USB 插拔级精度）
训练复杂度	标准分类	需调 ODE solver 步长和噪声 schedule

3.3 为什么流匹配而非扩散

π₀ 选择流匹配而非 DDPM 的原因：

$$t_{\text{DDPM}} \approx 20-50 \text{ steps}, \quad t_{\text{FM}} \approx 4-8 \text{ steps}$$

流匹配的 ODE 路径更”直”，用更少步数达到同等质量。这对机器人控制至关重要——25Hz 控制频率意味着每步推理必须 < 40ms。

3.4 代表性连续动作 VLA

模型	动作建模	推理步数	精度级别
π₀（2024）	流匹配	8	亚毫米
RDT-1B（清华，2024）	扩散	20	1-2mm
Diffusion Policy（2023）	扩散	16	1-3mm
ACT（2023）	CVAE + 分块	1	3-5mm

四、开源 VLA 的技术纵深

4.1 Octo：第一个通用开源策略

Octo 的架构设计体现了 VLA 在”效率优先”路线上能走多深：

输入：2帧 RGB（256×256） + 语言指令
  │
  ├→ ViT-S/16（22M参数）—— 每帧输出 256 个 patch token
  │
  ├→ T5-Base Encoder（110M）—— 语言指令 → 512 维 embedding
  │
  ├→ Transformer Decoder（~80M）—— 交叉注意力融合视觉+语言
  │
  └→ Action Head—— 输出 K 步未来动作（默认 K=4）

核心设计决策：

为什么是 2 帧而非 1 帧？ 消融实验：

输入帧数	成功率	FPS
1	72%	63
2	81%	58
4	83%	42

2 帧在精度和速度之间取得最优——1 帧无法感知速度，4 帧收益递减。

为什么 action chunking（一次预测 K 步）比逐帧预测好？

逐帧：   t图像 → a_t → t+1图像 → a_{t+1} → ...
分块：   t图像 → [a_t, a_{t+1}, ..., a_{t+K}] —— 一次预测 K 步

分块的优势：
1. 时序一致性：K=4 时相邻动作的 jerk（加加速度）降低 47%
2. 鲁棒性：K=8 时 short occlusion 完全免疫（< 250ms 遮挡不影响连续动作）
3. 效率：8ms 做 1 次预测 vs 32ms 做 4 次预测

4.2 OpenVLA：7B 的极限

OpenVLA 的关键贡献是证明 VLA 不需要 55B 参数。在 WidowX 真实机器人上（20 个任务）：

模型	参数	平均成功率	训练数据
RT-2-X（55B）	55B	78%	OXE + WebLI
Octo-Base	93M	65%	OXE
OpenVLA	7B	76%	OXE（97万条）

7B 模型用不到 1/7 的参数和 1/100 的训练数据追平了 RT-2-X。关键：视觉编码器选型。

OpenVLA 在 SigLIP + DinoV2（两个 ViT 的融合特征）和单个 ViT 之间做了详尽的消融：

视觉编码器	成功率	激活参数	推理时间
ViT-L/14（CLIP）	68%	307M	45ms
SigLIP-L	72%	307M	45ms
DinoV2-L	65%	307M	45ms
SigLIP + DinoV2（融合）	76%	614M	52ms

SigLIP（语义理解）和 DinoV2（细粒度定位）互补——与 CLIP 单模型比，额外 7ms 推理时间换来 8% 成功率提升。

4.3 数据混合的艺术：OXE 的教训

Open X-Embodiment 包含 22 个不同机器人平台的数据。但多源数据直接混合会降低性能——不同机器人有不同自由度、不同控制频率、不同相机位置。

OpenVLA 的数据处理 pipeline：

原始 OXE 数据（22 个数据集，160 万轨迹）
  │
  ├→ 步骤1：统一动作空间
  │   所有机械臂 → 归一化到 [0,1]⁷（7-DOF 末端执行器位姿）
  │   非 7-DOF 机器人 → 映射到最接近的 7-DOF 参数化
  │
  ├→ 步骤2：统一相机坐标系
  │   所有相机 → 标准化到 224×224 RGB + 相同的相机内参
  │
  ├→ 步骤3：语言指令标准化
  │   自由文本 → 统一的"任务描述"模板
  │
  └→ 步骤4：去重与过滤
      轨迹长度 < 10 步 → 丢弃（太短无法学习有意义策略）
      关节速度异常（> 3 rad/s）→ 丢弃（可能是传感器噪声）

处理后的 97 万条轨迹（59% 保留率）比原始的 160 万条训练效果好 11%。

五、VLA 训练中的核心问题

5.1 Catastrophic Forgetting 的具身版本

RT-2 的 co-fine-tuning 有一个隐藏的陷阱。当 $\alpha$（VLM 数据比例）从 0.5 降到 0.25：

效果：已知任务成功率 91% → 92%（+1%）
代价：零样本泛化 62% → 34%（-28%）
      VLM 基准（VQAv2）86.0% → 71.3%（-14.7%）

模型在”学会做特定任务”的过程中丧失了大量通用视觉理解能力。这不是标准的 catastrophic forgetting——模型在机器人任务上表现更好，但丧失了 VLM 能力。

RT-2 的缓解策略：EMA（指数移动平均）参数融合。

$$\theta_{\text{final}} = 0.9 \cdot \theta_{\text{pretrained}} + 0.1 \cdot \theta_{\text{fine-tuned}}$$

用 10% 的微调参数和 90% 的预训练参数做加权平均，保留 VLM 能力同时获得机器人策略。代价：已知任务成功率从 91% 降到 87%（-4%），但零样本从 34% 回到 58%（+24%）。

5.2 行为克隆的因果混淆：形式化

行为克隆优化 $\mathbb{E}_{(s,a)\sim\mathcal{D}}[\log \pi_\theta(a|s)]$，学的是条件分布 $p_{\mathcal{D}}(a|s)$。但这是观测分布，不是因果分布 $p(a|\text{do}(s))$。

因果混淆度可以量化：

$$\text{Causal Confusion} = \text{KL}\left(p_{\mathcal{D}}(a|s) \parallel p(a|\text{do}(s))\right)$$

在 RT-2 上，因果混淆与训练数据多样性成反比：

$$CC \propto \frac{1}{\text{diversity}(\mathcal{D})} = \frac{1}{\text{\# distinct environments} \times \text{\# distractors per env}}$$

这解释了为什么 OX 的 22 个平台 × 527 个任务的数据混合效果更好——多样性是因果混淆的天然正则化。

5.3 长时规划的隐式学习

VLA 一个被低估的能力是隐式规划。RT-2 在推箱子任务上表现出的”先绕路再推”行为：

观察：箱子旁边有障碍物，直接推会卡住
RT-2 的动作序列：[左移, 左移, 前推]  —— 先绕开，再推
而非：[前推] → 卡住 → [后退, 左移, 前推]  —— 碰壁后才修正

这不是模型显式规划出的，而是next-token prediction 压力下被迫涌现的能力——如果模型只预测下一个动作而不管后续，它在训练时会频繁遇到”当前动作正确但后续无法完成任务”的惩罚。学过足够多序列后，模型学会在当前位置”预想 K 步后”。

测量方法：对比预测动作序列与最优策略的归一化编辑距离：

$$\text{Plan Quality} = 1 - \frac{\text{Levenshtein}(\hat{a}_{1:K}, a^*_{1:K})}{K}$$

在 RT-2 上，K=1 时 Plan Quality 为 0.72，K=4 时为 0.85——说明模型确实在”预想未来”。

六、自动驾驶 VLA 的特殊性

6.1 去掉语言中转的数学动机

小鹏 VLA Gen2 的核心设计选择：视觉→动作，不要语言中间层。形式化为：

$$\text{传统 VLA} : p_\theta(a \mid o) = \int p_\theta(a \mid l) \cdot p_\theta(l \mid o) \, dl$$

其中 $l$ 是隐式的”语言描述”。积分意味着所有可能的语言描述都经过——但实际上模型只会采样一个。这个采样引入方差：

$$\text{Var}[a] = \underbrace{\mathbb{E}_{l\sim p(\cdot|o)}[\text{Var}[a|l]]}_{\text{给定语言后的动作方差}} + \underbrace{\text{Var}_{l\sim p(\cdot|o)}[\mathbb{E}[a|l]]}_{\text{语言采样方差——信息瓶颈}}$$

去掉 $l$ 直接建模 $p_\theta(a \mid o)$，消除了第二项——这就是小鹏 VLA 的数学动机。

6.2 量产 VLA 的工程约束

小鹏 VLA Gen2 运行在 4 颗图灵芯片上（3000 TOPS），面临的约束与实验室完全不同：

约束	值	设计影响
推理延迟	< 50ms（20Hz 控制频率）	不能用流匹配（太慢），必须单次 forward
内存	每芯片 8GB HBM	模型必须 < 2B 激活参数
安全兜底	必选	VLA 输出后过规则校验层（急刹阈值、方向盘极限角）
传感器融合	多摄像头 + 激光雷达 + 毫米波	视觉 token 比实验室机器人的单目复杂一个数量级

这解释了为什么小鹏选择去掉语言层——不仅是精度考虑，也是延迟约束下的工程选择。

七、总结

VLA 不只是”把三个模块换成一个模型”——它改变了优化目标的结构。

关键洞察：

1. 离散化 vs 连续动作——不是技术选秀，是精度 vs 延迟的权衡。256-bin 离散化够用于抓取，流匹配才能做亚毫米精度——但需要 4-8 倍推理时间

2. Co-fine-tuning 的配比——是泛化 vs 记忆的连续谱。$\alpha=0.5$ 是 RT-2 的默认配置，但最优值取决于应用：家用机器人要更多 VLM 数据（零样本泛化重要），工业机器人要更多机器人数据（已知任务成功率重要）

3. 规模不总是答案——OpenVLA 用 7B 参数 + 数据清洗追平 55B RT-2，说明数据质量 > 模型规模 在具身领域也成立

4. 语言中转是信息瓶颈——小鹏的视觉→动作直接映射在数学上减少了方差，在工程上节省了延迟，这可能是原生 VLA 的最终形态

5. BC 的因果混淆是根本约束——当前没有好的解决方案。RL 理论上能解决，但在真实机器人上用 RL 训练的样本效率比 BC 差 100-1000 倍。这可能是 VLA 最难突破的边界

参考文献

1. Brohan, A., et al. (2023). RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control. arXiv: 2307.15818.

2. Team, O. M., et al. (2024). Octo: An Open-Source Generalist Robot Policy. RSS 2024. arXiv: 2405.12213.

3. Kim, M. J., et al. (2024). OpenVLA: An Open-Source Vision-Language-Action Model. CoRL 2024. arXiv: 2406.09246.

4. Physical Intelligence. (2024). π₀: A Generalist Robot Policy. Technical Report.

5. Brohan, A., et al. (2022). RT-1: Robotics Transformer for Real-World Control at Scale. RSS 2023. arXiv: 2212.06817.

6. Jiang, Y., et al. (2022). VIMA: General Robot Manipulation with Multimodal Prompts. ICML 2023.

7. Padalkar, A., et al. (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. ICRA 2024. arXiv: 2310.08864.

8. Chi, C., et al. (2023). Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023. arXiv: 2303.04137.

9. Zhao, T., et al. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. RSS 2023. (ACT: Action Chunking Transformer)

10. Liu, S., et al. (2024). RDT-1B: A Diffusion Foundation Model for Bimanual Manipulation. arXiv: 2410.07864.