Badge

一、从 “仿真训练策略” 到 “梯度穿过物理引擎”

2021 年 Isaac Gym 让 GPU 并行仿真成为可能——训练从几天变成几小时。2025 年 Isaac Lab 统一了仿真+渲染+传感器+RL 训练管线。但直到 2026 年 3 月 Newton 引擎 GA 发布，一个更根本的变革才真正落地：梯度可以穿过物理引擎了。

这意味着什么？传统 RL 训练是 trial-and-error：策略输出动作→仿真器计算后果→奖励信号回传→策略更新。这个循环里，仿真器是个黑盒——RL 只能通过采样来摸索物理规律。

有了可微物理，仿真器变成了可微分层。策略网络的梯度可以直接穿过接触动力学、关节约束、碰撞检测，一路回传到损失函数。端到端优化不再依赖采样，而是直接计算梯度。

二、Newton 是什么

Newton 是 NVIDIA × Google DeepMind × Disney Research 联合推出的开源物理引擎，2026 年 3 月 GTC 大会上正式发布 1.0 GA。Linux Foundation 项目，Apache 2.0 协议，GitHub 4,874 ⭐。

Newton 四大求解器

它的底层集成了四个求解器，各自解决不同物理域的仿真问题：

2.1 MuJoCo Warp (Google DeepMind) — 可微刚体

MuJoCo 本身是机器人学界最广泛使用的接触动力学求解器之一。Warp 版本将 MuJoCo 的计算全部迁移到 GPU 上，用 CUDA 核函数重写了接触求解、正向/逆向动力学、碰撞检测。

关键突破是可微性。在 MuJoCo Warp 中，每一步物理仿真都对输入参数（力、关节位置）可微。这意味着你可以计算 “如果电机推力增加 1%，0.1 秒后无人机的位置会变化多少” 这种梯度——不需要采样，直接解析计算。

性能数据：RTX 4090 上 MuJoCo Warp 比 MJX（MuJoCo 的 JAX 端口）快 152 倍（locomotion 任务）到 313 倍（manipulation 任务）。RTX PRO 6000 上更快——252 倍到 475 倍。

2.2 Kamino (Disney Research) — 复杂闭链机构

迪士尼的机器人角色（那些在主题公园里行走的动画角色）通常有非常复杂的闭链运动学结构——多个连杆通过闭环关节连接，形成并联机构。传统刚体求解器处理闭链需要用拉格朗日乘子法引入约束力，计算代价高且数值不稳定。

Kamino 求解器专门优化了闭链运动学——用 reduced-coordinate 方法直接建模，不需要显式的约束力，数值更稳定。对于并联机构、四连杆、Stewart 平台等结构，Kamino 比通用刚体求解器快一个数量级。

2.3 VBD (Volumetric Body Dynamics) — 布料和线缆

VBD 求解器用于仿真形变体：布料、线缆、绳索、充气结构。它基于位置的动力学（Position-Based Dynamics），但做了 GPU 原生优化。

一个关键的改进是无穿透接触：VBD 的接触求解可以保证布料在高速运动中不会穿透自身或其他物体——这是传统基于惩罚力的方法做不到的。在 RTX 4090 上，布料仿真可以跑到 ~30 FPS，同时保证无穿透。

Samsung 已经在用 VBD 仿真冰箱装配中的线缆操作——线缆插入、绕线、捆扎，这些任务的真实世界数据采集极其困难，仿真是唯一可行的训练数据来源。

2.4 MPM (Material Point Method) — 颗粒和流体

MPM 是物质点法，用于仿真颗粒状和流体状物质：沙土、雪、面团、泥浆。与有限元方法（FEM）不同，MPM 把物质表示为粒子，在背景网格上求解运动方程，天然适合处理大变形。

ETH Zurich 的机器人系统实验室在用 MPM 仿真挖掘任务——推土机推沙子、挖掘机挖土。MPM 的双向耦合求解器还能模拟刚体与颗粒物的交互——比如四旋翼降落在沙地上时沙粒的飞溅。

三、碰撞检测的革新

3.1 SDF 碰撞 — CAD 精度的接触

SDF vs 网格碰撞

传统碰撞检测使用三角网格近似，精度受限于网格分辨率。SDF（Signed Distance Field，符号距离场）用连续函数表示物体表面的距离，可以精确到 CAD 级别。

实际意义：对于精密装配任务（比如 Skild AI 的 GPU 机柜装配），0.1mm 的几何误差就可能导致插入失败。SDF 碰撞可以检测到亚毫米级的接触，而基于网格的方法在这个精度下要么漏检要么假阳性。

3.2 Hydroelastic 接触 — 连续压力分布

这是来自丰田研究院（TRI）的一项技术（源自 Drake 仿真器）。传统接触模型把接触力当作点力施加在接触点上，这会导致奇异性——接触力大小对接触点位置的微小变化极其敏感。

Hydroelastic 接触用连续压力分布替代点力——接触区域内的压力是平滑分布的。这带来了两个好处：（1）接触力计算更稳健；（2）接触动力学对离散化误差不敏感，更适合可微仿真。

四、性能基准

Newton 性能基准

任务类型 RTX 4090 RTX PRO 6000
Locomotion (MuJoCo Warp vs MJX) 152x 252x
Manipulation (MuJoCo Warp vs MJX) 313x 475x
In-hand dexterous (vs PhysX) 65% faster —
VBD cloth (vs GPU-IPC) 300x faster —

关键数字：RTX 4090 上 Isaac Lab + Newton 可以同时跑 4000+ 个并行仿真环境。对于 PPO 这种 on-policy 算法，大批量意味着更稳定的梯度估计和更快的收敛。

五、工业应用

公司/机构 用例
Skild AI GPU 机柜自动化装配（SDF 碰撞 + Hydroelastic 接触）
Samsung 冰箱线缆操作（VBD 仿真 + VLA 模型训练）
Toyota Research Institute 接触建模、求解器开发（Drake 贡献）
ETH Zurich RSL 挖掘任务多物理场仿真（MPM 颗粒）
Peking University 触觉传感器仿真（Taccel 求解器）
TU Munich AIDX 灵巧操作策略训练与 Sim-to-Real

六、与 Isaac Lab 的集成

Newton 不是独立工具——它作为 Isaac Lab 的物理后端，以插件形式接入。用户定义一个 NewtonCfg 配置对象，选择求解器（MuJoCo Warp / Kamino / VBD / MPM），其余 RL 训练管线完全不变。

这意味着你可以用同一套环境定义，在不同物理引擎间切换验证——PhysX 训一遍，Newton 训一遍，对比策略的物理一致性。

七、局限性与现实的边界

7.1 气动仿真不是它的长项

Newton 的刚体求解器精度很高，但它是为接触密集型任务设计的——抓取、装配、行走。对于四旋翼飞行器这种以气动为主导的动力学系统，JSBSim 等专业工具仍然更合适。

7.2 可微性仍有约束

MuJoCo Warp 的可微性覆盖了接触动力学和关节约束，但不是所有物理现象都可微。静摩擦的过渡（stick-slip transition）在数学上不可微——MuJoCo 用了光滑近似，但这是工程取舍，不是精确解。

7.3 生态仍年轻

2026 年 3 月才 GA，社区的第三方模型、教程、问题解答还远不如 PyBullet/MuJoCo 成熟。早期采用者需要做好踩坑的心理准备。

7.4 NVIDIA 显卡依赖

跟 Isaac Lab 一样，Newton 只能在 NVIDIA GPU 上跑。CUDA 生态的锁定是实际的工程约束。

八、可微物理对 Sim-to-Real 的意义

可微物理改变的是 Sim-to-Real 的方法论基础。

之前：仿真器是黑盒 → RL 通过试错探索 → 域随机化覆盖不确定性 → 部署时策略是固定的。

之后：仿真器是可微层 → 策略梯度直接穿过物理 → 系统辨识和策略优化可以联合进行 → 部署时策略可以继续在线适应。

E2E-Fly（arXiv:2604.12916）已经展示了这个范式：先用可微仿真辨识系统参数，再对剩余不确定性做域随机化。这比全凭经验的随机化更高效——因为你知道哪些参数是确定的，哪些是不确定的。

九、关键要点

  1. Newton 不只是更快的仿真器——它的可微性改变了策略优化的方法论基础
  2. GPU 原生可微物理 让梯度穿过接触动力学成为可能——不再依赖 trial-and-error
  3. SDF 碰撞 + Hydroelastic 接触 让精密装配任务的仿真精度达到亚毫米级
  4. 多物理场耦合（刚体+布料+颗粒）让更复杂的机器人任务可以在仿真中训练
  5. 对于截击机仿真：Newton 适合 GPU 并行 RL 训练，但气动精度仍需 JSBSim——两者互补而非替代

十、延伸阅读