Badge

一、一个团队，一年四篇顶刊

2026 年，上海交通大学 Danping Zou 和 Wenxian Yu 团队在四旋翼可微仿真领域密集输出了四篇论文，覆盖了从理论框架到真实部署的完整链路。加上 2025 年发表在 Nature Machine Intelligence 上的《Back to Newton’s Laws》，这支团队在可微物理+四旋翼这个方向上已经建立了体系化的方法论。

四篇论文不是孤立的工作——它们是一套逐渐完善的技术栈：

论文 arXiv 核心贡献
E2E-Fly 2604.12916 完整训练-部署系统：可微物理→渲染→域随机化→真机
High-Fidelity Diff Sim 2604.10548 深度图直接映射体速率，替代传统感知→规划→控制管线
VisFly-Lab 2603.21123 统一可微框架：悬停/追踪/着陆/竞速，修正 BPTT 梯度
Gap Traversal 2604.02779 SE(3) 可微仿真，零样本穿越不规则缝隙

下面逐一拆解。

上交大四连发演进链路

二、E2E-Fly：从可微物理到真机部署的完整管线

arXiv:2604.12916

2.1 系统的六个组件

E2E-Fly 不是一篇算法论文——它是一个系统工程。它把端到端四旋翼自主飞行的整个流程拆成了六个可独立优化、但联合工作的组件：

组件 1：系统辨识。在仿真中飞一次真实轨迹，用可微物理反推真实系统的质量、惯量、气动参数。这一步的目的不是建”完美仿真器”，而是把确定性参数锁定——之后域随机化只需覆盖剩余不确定性。

组件 2：可微物理学习。物理引擎本身是可微的——梯度可以穿过空气动力学、接触动力学、传感器噪声模型。策略网络在仿真中训练时，损失函数的梯度不仅更新网络权重，还能同时精细化仿真器参数。

组件 3：视觉渲染。不是简单的 RGB 渲染——E2E-Fly 的渲染管线模拟了真实相机的噪声特性、动态范围、运动模糊和镜头畸变。这意味着在仿真中训练的策略天然对真实相机的缺陷有鲁棒性。

组件 4：域随机化。在可微物理锁定确定性参数后，对剩余不确定性（纹理、光照、风扰动、电机温漂）做大范围随机化。相比 Tobin 2017 的”全部随机化”，这种”先辨识再随机化”的策略更高效。

组件 5：延迟补偿。真实系统中的控制延迟（通信+计算）通常在 20-50ms。E2E-Fly 在训练中显式建模了这个延迟——观测是 t 时刻的，但动作要到 t+delay 才生效。这迫使策略学会预测性控制而非反应性控制。

组件 6：噪声建模。IMU 噪声、电机推力波动、GPS 漂移——这些在仿真中被精确建模为随机过程，而非简单的加性高斯噪声。

E2E-Fly 六组件架构

2.2 真机验证

E2E-Fly 在六个端到端任务上做了真实硬件验证：悬停、轨迹追踪、避障、着陆、穿框、追逐。所有任务都是从零在仿真中训练，直接部署到真实四旋翼上，没有使用任何真实飞行数据微调。

这六个任务覆盖了从静态到动态、从简单到复杂的完整谱系——证明了可微物理+域随机化的组合可以在多种任务上一致地实现零样本 Sim-to-Real 迁移。

三、High-Fidelity Diff Sim：深度图就是你的控制器

arXiv:2604.10548

3.1 核心思想

传统四旋翼自主飞行需要三个独立模块：感知（深度估计/目标检测）→ 规划（路径生成）→ 控制（姿态/位置跟踪）。每个模块需要独立调试，模块间接口需要手动定义。

这篇论文的核心主张是：当仿真器足够精确且可微时，你不需要这三个模块。 一个神经网络可以直接把深度图映射为四旋翼的体速率指令——中间没有地图构建、没有路径规划、没有参考轨迹。

3.2 为什么可微仿真能做到这一点

可微仿真允许梯度从体速率指令一直回传到深度图的每个像素。这意味着策略可以学会注意深度图中与飞行控制相关的区域——自动发现哪些像素对应障碍物，哪些对应可通行空间。

这不是监督学习。网络不需要”正确”的体速率标签——它只需要仿真器告诉它”你刚才的选择导致了什么后果”。可微仿真让这个”后果→选择”的因果关系以梯度形式精确传递。

3.3 关键结果

训练后的策略在没有地图、没有规划器、没有参考轨迹的情况下，完成了障碍物环境中的自主飞行。网络的隐式表征自动编码了环境的几何结构——“地图”和”规划”都压缩在了网络权重里。

四、VisFly-Lab：一个框架，四种任务

arXiv:2603.21123

4.1 统一接口

VisFly-Lab 的核心贡献是证明了同一个可微仿框架可以训练出执行完全不同任务的策略——不需要为每个任务重新设计仿真环境。

框架支持四种标准任务：

  • 悬停：静态位置保持
  • 追踪：跟随移动目标
  • 着陆：精确降落在标记点上
  • 竞速：以最快速度穿越门框序列

4.2 ABPT：修正不可微奖励的梯度偏差

BPTT（Backpropagation Through Time）是可微 RL 的核心算法——把策略展开成时间序列，梯度沿着时间步回传。但问题在于：奖励函数通常有不可微的部分——比如 “是否成功穿越门框” 是一个 0/1 判断——在门框边界处没有梯度。

ABPT（Amended BPTT）用奖励函数的平滑近似替代原始不可微奖励，在保留语义的同时恢复了梯度流。这是工程上非常重要的贡献——因为它让 BPTT 可以处理现实任务中常见的离散奖励。

五、Gap Traversal：SE(3) 可微仿真与零样本缝隙穿越

arXiv:2604.02779

5.1 问题的难度

让四旋翼穿越一个不规则的窄缝隙——缝隙的形状、位置、朝向都是未知的——是自主飞行中最难的任务之一。传统方法需要精确的缝隙检测、轨迹生成、在线重规划。

5.2 SE(3) 可微仿真

这篇论文的可微仿真直接运行在 SE(3)（三维特殊欧几里得群）上——四旋翼的位姿用 6 自由度李代数表示。在这个空间中做可微物理，意味着策略可以同时优化位置和姿态的控制序列，而不需要解耦为位置控制和姿态控制两个回路。

训练后的策略在仿真中学会了穿越任意形状的缝隙——三角形、矩形、椭圆、不规则多边形。部署到真机后，完成了零样本穿越——真实缝隙从未在训练中出现过。

六、四篇论文的内在逻辑

这四篇论文不是孤立的——它们构成了一条从理论到实践的完整链条：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Back to Newton's Laws (Nature MI 2025)
  → 证明了用牛顿点质量模型+可微仿真可以训练高速飞行策略
  │
  ├─→ High-Fidelity Diff Sim (2604.10548)
  │    → 将点质量升级为全 6DOF 模型，深度图直接映射控制
  │
  ├─→ VisFly-Lab (2603.21123)
  │    → 统一框架，多任务验证，修正 BPTT 的梯度问题
  │
  ├─→ Gap Traversal (2604.02779)
  │    → 推到极限：SE(3) 可微仿真，零样本穿越
  │
  └─→ E2E-Fly (2604.12916)
       → 系统集成：全部组件 + 真机部署 = 完整管线

核心方法论：可微仿真 → 系统辨识 → 域随机化 → 真机部署。每一步都建立在可微物理的基础上。

七、对比与启示

7.1 与 Tobin 2017 的对比

方法论演进对比

维度 Tobin 2017 E2E-Fly 2026
物理模型 不可微刚体 可微 6DOF + 气动
域随机化 全随机 先辨识再随机
训练方法 监督学习（定位） 端到端 RL（控制）
部署方式 固定策略 在线可适应
精度 1.5cm 定位 自主飞行全任务

区别的本质不在于精度，而在于方法论：Tobin 证明了域随机化可行；E2E-Fly 证明了可微物理+域随机化可以在完整任务链上做到零样本迁移。

7.2 对截击机仿真的启示

上交大团队的方法论对高速截击机仿真有直接参考价值：

  1. 可微气动模型：如果能把 JSBSim 的气动计算变成可微的（至少对关键参数可微），就可以用梯度直接优化截击轨迹
  2. 延迟补偿：截击场景中的通信和控制延迟往往比普通四旋翼更大，E2E-Fly 的延迟建模方法可以直接复用
  3. 先辨识再随机化：先用真实飞行数据锁定 JSBSim 参数，再对剩余不确定性做域随机化

八、关键要点

  1. 可微物理是端到端四旋翼控制的使能技术——梯度穿过物理引擎，让感知和控制可以联合优化
  2. E2E-Fly 代表了 2026 年的工程前沿——从可微物理到真机部署的完整管线
  3. ABPT 修正了 BPTT 的根本问题——让可微 RL 可以处理离散奖励
  4. SE(3) 可微仿真 让同时优化位置和姿态成为可能，不再需要层层解耦
  5. 先辨识再随机化 是比全随机更高效的域随机化策略

九、延伸阅读