goodisok 的博客

在使用 AirSim/Colosseum 时，若在 settings.json 里配置了自定义的 OriginGeopoint（例如配合 Cesium 指定真实地理起点），有时会出现 PX4 无法解锁 的情况，并伴随 Preflight Fail: heading estimate not stable、Yaw estimate error、GPS fix too low 等告警。社区 AirSim #5001 中有人遇到相同现象，并指出根本原因是 磁力计读数与自定义起点位置不一致。本文整理该问题的原因与解决方案：通过基于 WMM（世界地磁模型） 的库重写 EarthUtils.hpp 中的 getMagField（以及 getMagDeclination），使仿真中的磁力计输出与当前 OriginGeopoint 对应的真实地磁一致，从而消除航向估计错误、使 PX4 可正常解锁。 一、问题现象1.1 复现条件 在 settings.json 中配置了 OriginGeopoint，例如： 12345"OriginGeopoint": {...

在使用 Colosseum（AirSim 的继任仿真平台）做仿真时，相机图像通常通过 RPC（如 simGetImages）从 Unreal 端传到 Python 客户端。默认要么返回原始 RGB 像素，要么用 PNG 压缩。原始数据体积大（例如 1920×1080×3 ≈ 6MB/帧），PNG 虽能压缩但仍有明显体积和编码开销，在 WSL 或 远程连接 场景下容易成为瓶颈，帧率上不去。本文在 Colosseum + Unreal Engine 5.7.2 环境下增加了 可调质量的 JPEG 压缩 支持，在保证画质可接受的前提下减小传输体积、提高帧率。下面记录需求背景、设计思路和具体实现，方便日后维护。 一、为什么需要 JPEG 压缩？1.1 问题场景 RPC 传输体积大：每帧图像若以原始 RGB 或 PNG 形式通过 msgpack-RPC 传输，在 1080p 下数据量可达数 MB，网络或进程间拷贝成本高。 帧率受限：传输时间占主导时，相机帧率上不去，影响实时控制、算法测试或数据采集。 WSL / 远程： WSL：AirSim 跑在 Windows，...

无人机图传延迟是影响飞行安全和操控体验的核心指标。业界常用 LED + 光电传感器法测量物理链路延迟，但这套方法无法用于仿真环境，仿真和外场需要两套完全不同的测量工具，数据也无法直接对比。 本文提出并实验验证了一种基于视觉时间戳标记的端到端延迟测量方法：在画面中放一个持续刷新时间戳的 QR 码，接收端解码即可算出延迟。这套方法仿真和外场使用完全相同的代码，实验证明测量精度 < 3ms，标准差 < 0.3ms。全部代码开源。 一、问题：为什么需要一个通用的延迟测量方法1.1 无人机图传延迟的完整链路12光线 → 机载相机(采集) → 编码器(H.264/H.265) → 图传发射 → 无线传输 → 接收 → 解码 → 地面显示 T_cap T_enc T_tx T_rf T_rx T_dec T_disp 各环节典型耗时： 环节 描述 典型延迟 相机采集 CMOS 曝光 + 读出 5-15 ms 编码 H.264/H.265 压缩...

视频流的”推”和”拉”是流媒体工程的两个基本动作。推流（Publish/Ingest）是把视频从源端送到服务器，拉流（Play/Egress）是从服务器取出视频播放。听起来简单，但协议选错延迟差十倍，编码选错 CPU 占满帧率减半。本文以 2026 年的技术现状为基准，系统梳理从协议选型到硬件编码到落地部署的完整链路。 一、推流与拉流：数据流动的两个方向1.1 推流（Publish / Ingest）推流是视频源（相机、编码器、OBS 等）主动将音视频数据发送到媒体服务器的过程。 12相机/编码器 ──推流──► 媒体服务器 (源端) (中转/分发) 典型场景： OBS 推流到直播平台 IP 摄像头推送到 NVR 无人机图传推流到地面站 编码器推流到 CDN 源站 1.2 拉流（Play / Subscribe / Egress）拉流是客户端主动从媒体服务器请求并接收音视频数据的过程。 12播放器/客户端 ──拉流──► 媒体服务器 (观看端) (中转/分发...

摘要：端到端（End-to-End）学习是深度学习领域最具革命性的范式之一，其核心理念是用单一可微分模型替代传统由多个独立模块串联组成的流水线，通过全局损失函数联合优化整个系统的所有参数。本文从可微编程的理论基础出发，系统梳理端到端学习的技术体系：涵盖梯度一致性理论、可微分替代算子、多任务联合优化等核心方法；深入分析端到端自动驾驶（Tesla FSD V12、NVIDIA PilotNet）、端到端无人机自主飞行（深度强化学习、视觉导航）、端到端目标检测（DETR、YOLOv10）等关键应用的最新进展；讨论端到端系统面临的数据效率、可解释性、分布外泛化等核心挑战及其应对策略。 引言：从模块化到端到端的范式转变传统人工智能系统遵循模块化流水线设计范式：将复杂任务分解为多个独立的子模块，每个模块负责一个子任务，模块间通过人工定义的接口传递中间结果。 以传统自动驾驶系统为例，其模块化架构为： 1传感器输入 → 感知（检测/分割） → 融合与跟踪 → 预测 → 规划 → 控制 → 执行 每个模块由独立团队使用独立数据独立训练，模块间的接口（如感知输出的边界框格式、预测输出的轨迹表...

本文介绍如何利用 NVENC（NVIDIA 硬件编码器）突破 AirSim 相机的帧率瓶颈。JPEG 让 1080p 单相机从 ~10 FPS 提到了 ~22 FPS，但双相机并发 + 像素级语义分割真值仍跑不到 30 FPS。本文把整个传输管线推进到 GPU 直接编码（NVENC），最终在 RTX 4090 上做到双相机 1080p 同时 41 FPS、语义分割 IoU = 1.000。 文章会把整个工程过程完整复盘，重点讲三个容易踩、文档里没写的坑： NVENC 多 session 在共享 ID3D11Device 上的 race condition——驱动不会报错，但所有 session 在 ~10 帧内永久性损坏。 snap_to_palette 在 256 色调色板上的 OOM 6GB 陷阱——一次 numpy 广播就把整机内存吃光。 运行期 palette discovery 的反模式——AirSim 早就给了规范调色板，根本不需要”自己探”。 一、背景：JPEG 之后，瓶颈到底在哪？JPEG 方案把 RPC 传输体积从 ~6 MB/帧压...

本文系统综述机载AI算法的前沿进展，重点分析视觉导航、智能制导、强化学习控制等核心技术。通过引用权威学术研究（IEEE IROS、CVPR、ICRA、Science Robotics等顶级会议期刊），探讨从感知到决策的完整自主飞行技术栈，为无人机自主系统开发提供理论依据与技术参考。 引言：从遥控飞行到自主智能的范式转变传统无人机依赖GPS和遥控操作，在复杂环境（城市峡谷、室内、电磁干扰）中面临严重限制。机载人工智能通过将感知、决策、控制能力嵌入飞行平台，实现真正意义上的自主飞行。这一转变的核心技术包括： 环境感知：基于计算机视觉的实时场景理解 状态估计：多传感器融合的精确定位与建图 决策规划：动态环境下的最优路径生成 运动控制：适应复杂动力学的智能控制策略 多机协同：分布式群体智能与任务分配 根据IEEE Transactions on Robotics 2022年特刊《Autonomous Aerial Robots》的统计，过去五年机载AI论文发表量增长超过300%，其中视觉导航和强化学习制导成为最主要的技术方向。 一、 视觉导航：从像素到位姿的智能感知1.1 单目视...

四旋翼的仿真与控制，本质上是在求解一组微分方程。本文从牛顿三定律出发，逐步推导刚体平动与转动方程，引入螺旋桨空气动力学模型，最终得到完整的六自由度（6-DOF）运动方程组。每一步都给出物理图像、数学推导和数值示例，并以拉格朗日力学提供第二视角。 一、引言：一组微分方程如何让无人机飞起来无人机仿真的核心工作，就是在每个时间步里回答一个问题：已知当前状态和控制输入，下一个时刻无人机在哪、朝哪、转多快？ 这个问题的答案隐藏在一组常微分方程（ODE）中——六自由度运动方程。它的推导需要三块物理知识： 经典力学：牛顿定律 → 刚体的平动和转动方程 空气动力学：螺旋桨如何产生推力与扭矩 数值方法：如何在计算机上高效、稳定地积分这些方程 本文从第一性原理出发，逐步搭建完整的物理模型。如果你已经读过《四旋翼飞行力学基础》建立了直觉，这篇文章会帮你把直觉变成可以编程实现的方程 [1][6]。 二、经典力学回顾：从质点到刚体2.1 牛顿三定律所有推导的起点是牛顿三定律 [1][2]： 第一定律（惯性定律）：不受外力的物体保持匀速直线运动或静止。 第二定律（运动定律）： F=ma=mdvd...

摘要：本文以南京航空航天大学昂海松教授主讲的《无人机设计导论》国家级精品MOOC课程为核心参考，系统梳理无人机飞行动力学的完整理论体系。从坐标系定义、六自由度运动方程建模到飞行稳定性与操纵性分析，涵盖第9章《无人机飞行动力学》的全部核心知识点，并结合第5章空气动力学基础与第10章飞行控制技术，构建从理论到实践的完整知识链路。本文适用于无人机总体设计、飞控算法开发及仿真验证的工程技术人员参考。 引言：飞行动力学——无人机设计的理论基石飞行动力学是无人机总体设计的基础理论，也是连接气动外形设计与飞行控制系统之间的桥梁。南京航空航天大学昂海松教授在《无人机设计导论》课程第9章中明确指出：飞行动力学的核心任务是建立无人机的运动数学模型，分析其在各种飞行状态下的稳定性和操纵性，为控制系统设计和飞行品质评估提供理论依据。 与有人驾驶飞机相比，无人机的飞行动力学分析有其特殊性： 无飞行员在环：所有稳定性和操纵性指标必须完全由飞控系统保证 尺寸效应显著：小型无人机的雷诺数低，气动特性与大飞机存在本质差异 构型多样化：固定翼、多旋翼、倾转旋翼等不同构型各有独特的动力学特性 飞行包线扩展：从...

一个 YOLO 模型在仿真里 mAP 92%，部署到实机上直接跌到 55%。根本原因不是 UE5 渲染不够逼真——Lumen + Nanite 已经足够好看了——而是仿真相机从来就不是一个真实传感器。渲染引擎追求的是”视觉上令人信服”，而真实 CMOS 传感器的输出充满噪声、畸变、动态范围截断和 ISP 链路的各种非线性变换。这两者之间的差距，才是 Sim-to-Real 视觉迁移失败的主因。 　　 本文系统梳理仿真相机与真实传感器之间的 8 个关键差距维度，给出 AirSim/Colosseum、Cosys-AirSim、Project AirSim、Isaac Sim、Gazebo 五个主流平台的建模能力对比，以及工程实践中缩小差距的方法。 一、问题：为什么仿真图像”看起来对”但”用起来不对”一个典型场景：在 AirSim + UE5.7 的城市环境里训练了一个 YOLOv8 目标检测模型，用于检测低空截击任务中的目标无人机。仿真验证集上 mAP@0.5 达到 92%，信心满满地拿去实机测试——Intel RealSense D455 彩色流 + NVID...