Badge

本文目标：让没有任何概率论基础的读者，从零开始系统掌握概率论与统计的核心概念——概率公理、随机变量、分布、贝叶斯定理、大数定律、蒙特卡洛方法、卡尔曼滤波。全文采用”概念→定义→性质→历史→应用”教学法，配合大量工程实例，连接已发表的技术文章。

一、为什么需要概率论——世界是不确定的

1.1 确定性与随机性

前两篇文章（线性代数、微积分）处理的都是确定性问题：给定输入，输出是确定的。

但真实世界充满不确定性：

场景 不确定性来源 处理方式
YOLO检测”80%是行人” 光照、遮挡、姿态变化 概率置信度
无人机GPS位置误差 卫星信号噪声、多路径效应 概率分布建模
卡尔曼滤波估计状态 传感器噪声 + 模型误差 贝叶斯更新
蒙特卡洛光线追踪 随机采样近似积分 大数定律

概率论就是处理不确定性的数学语言——它告诉我们如何量化不确定性、如何用新证据更新信念、如何在随机性中做最优决策。

1.2 概率论发展简史

历史：

  • 1654年：帕斯卡和费马通过通信讨论”赌金分配问题”，创立概率论。一个贵族向帕斯卡请教：”两个赌徒在未完成赌局时如何公平分赌注？”
  • 1713年：雅各布·伯努利在《猜测术》中提出大数定律
  • 1763年：贝叶斯（Thomas Bayes）遗作《机会问题的解法》发表，提出贝叶斯定理
  • 1812年：拉普拉斯出版《概率的分析理论》，统一概率论
  • 1933年：柯尔莫哥洛夫提出概率公理化体系，使概率论成为严格的数学分支

二、基本概念

2.1 概率的定义

定义：概率是衡量事件发生可能性大小的数值，取值范围 [0,1][0, 1]。

0≤P(A)≤1 0 \leq P(A) \leq 1
  • P(A)=0P(A) = 0：事件不可能发生
  • P(A)=1P(A) = 1：事件必然发生
  • P(A)=0.8P(A) = 0.8：事件有80%的可能性发生

2.2 概率的三条公理（柯尔莫哥洛夫，1933）

公理 表述 含义
1. 非负性 P(A)≥0P(A) \geq 0 概率不可能为负
2. 规范性 P(Ω)=1P(\Omega) = 1 全集（所有可能结果）的概率为1
3. 可列可加性 P(∪i=1∞Ai)=∑i=1∞P(Ai)P(\cup_{i=1}^\infty A_i) = \sum_{i=1}^\infty P(A_i) 互斥事件的概率可相加

2.3 基本运算

加法公式：

P(A∪B)=P(A)+P(B)−P(A∩B) P(A \cup B) = P(A) + P(B) - P(A \cap B)

乘法公式：

P(A∩B)=P(A)P(B∣A)=P(B)P(A∣B) P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)

条件概率——已知B发生的情况下A的概率：

P(A∣B)=P(A∩B)P(B) P(A|B) = \frac{P(A \cap B)}{P(B)}

独立性：如果 P(A∩B)=P(A)P(B)P(A \cap B) = P(A)P(B)，则事件A和B相互独立。

三、随机变量与概率分布

3.1 随机变量

定义：取值为不确定数值的变量。分为两类：

离散型随机变量：取值为有限或可数多个。

例子：YOLO检测一帧图像中的目标数量 X∈{0,1,2,…,100}X \in \{0, 1, 2, \ldots, 100\}

连续型随机变量：取值充满某个区间。

例子：无人机GPS的经度误差 X∈[−5m,5m]X \in [-5\text{m}, 5\text{m}]

3.2 概率分布

概率质量函数（PMF）——离散随机变量：

P(X=k)=发生概率 P(X = k) = \text{发生概率}

概率密度函数（PDF）——连续随机变量：

P(a≤X≤b)=∫abf(x)dx P(a \leq X \leq b) = \int_a^b f(x) dx

注意：PDF在单点上的值为0，因为连续变量取某个精确值的概率为0。

3.3 常见分布

离散分布：

分布 PMF 均值 方差 AI中的应用
伯努利 P(X=1)=pP(X=1)=p pp p(1−p)p(1-p) Dropout（按概率丢弃神经元）
二项分布 Cnkpk(1−p)n−kC_n^k p^k (1-p)^{n-k} npnp np(1−p)np(1-p) 数据增强的采样次数
泊松分布 λke−λk!\frac{\lambda^k e^{-\lambda}}{k!} λ\lambda λ\lambda 事件计数建模

连续分布：

分布 PDF 参数 AI中的应用
均匀分布 U(a,b)U(a,b) 1b−a\frac{1}{b-a} a,ba,b端值 随机初始化、数据增强
正态分布 N(μ,σ2)N(\mu,\sigma^2) 12πσe−(x−μ)22σ2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} μ\mu均值,σ\sigma标准差 最重要的分布：权重初始化、传感器噪声、梯度噪声
Beta分布 xα−1(1−x)β−1/B(α,β)x^{\alpha-1}(1-x)^{\beta-1}/B(\alpha,\beta) α,β>0\alpha,\beta>0 贝叶斯先验、置信度校准

3.4 正态分布——最重要的分布

为什么正态分布无处不在？——中心极限定理：

大量独立随机变量的和（或均值）近似服从正态分布，无论各变量本身的分布是什么。

图灵的话：”正态分布不是自然界中分布的实际状态，而是人们为了方便而假设的理想状态。但令人惊讶的是，这个近似在绝大多数情况下都出奇地好。”

68-95-99.7法则：

P(μ−σ<X<μ+σ)≈68% P(\mu - \sigma < X < \mu + \sigma) \approx 68\% P(μ−2σ<X<μ+2σ)≈95% P(\mu - 2\sigma < X < \mu + 2\sigma) \approx 95\% P(μ−3σ<X<μ+3σ)≈99.7% P(\mu - 3\sigma < X < \mu + 3\sigma) \approx 99.7\%

在无人机传感器中：IMU的加速度计噪声通常建模为 N(0,σ2)N(0, \sigma^2)，σ\sigma 在数据手册中给出。

3.5 期望与方差

期望（均值）——随机变量的”平均取值”：

离散：E[X]=∑ixiP(xi)E[X] = \sum_{i} x_i P(x_i)

连续：E[X]=∫−∞∞xf(x)dxE[X] = \int_{-\infty}^{\infty} x f(x) dx

性质：

  • E[aX+b]=aE[X]+bE[aX + b] = aE[X] + b
  • E[X+Y]=E[X]+E[Y]E[X + Y] = E[X] + E[Y]

方差——随机变量的”离散程度”：

Var(X)=E[(X−E[X])2]=E[X2]−(E[X])2 \text{Var}(X) = E[(X - E[X])^2] = E[X^2] - (E[X])^2

性质：

  • Var(aX+b)=a2Var(X)\text{Var}(aX + b) = a^2 \text{Var}(X)
  • Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X,Y)

标准差 σ=Var(X)\sigma = \sqrt{\text{Var}(X)}——与原始数据同单位，更直观。

四、贝叶斯定理——用数据更新信念

4.1 定理表述

贝叶斯定理是概率论中最著名的公式：

P(A∣B)=P(B∣A)P(A)P(B) P(A|B) = \frac{P(B|A)P(A)}{P(B)}

其中：

  • P(A)P(A)：**先验概率**——在看到数据之前对A的信念
  • P(B∣A)P(B|A)：**似然**——在A为真的前提下，看到数据B的概率
  • P(A∣B)P(A|B)：**后验概率**——看到数据B之后对A的更新信念
  • P(B)P(B)：**证据**——归一化常数

4.2 直观理解

一个例子：无人机检测到前方有一个物体。传感器报告”有障碍物”（事件B）。传感器准确率95%（P(B∣A)=0.95P(B|A)=0.95），虚警率5%（P(B∣¬A)=0.05P(B|\neg A)=0.05）。先验认为有障碍物的概率 P(A)=0.01P(A) = 0.01（航线上障碍物稀疏）。

问：传感器报警时，真的有障碍物的概率是多少？

P(A∣B)=0.95×0.010.95×0.01+0.05×0.99=0.00950.0095+0.0495=0.00950.059≈0.161 P(A|B) = \frac{0.95 \times 0.01}{0.95 \times 0.01 + 0.05 \times 0.99} = \frac{0.0095}{0.0095 + 0.0495} = \frac{0.0095}{0.059} \approx 0.161

结果只有16.1%！ 因为先验概率极低，即使传感器”准确率95%”，一次报警仍不足以确定有障碍物。这就是贝叶斯定理反直觉的魅力所在。

4.3 贝叶斯更新——逐步修正信念

贝叶斯定理可以反复应用：每次拿到新数据，就把后验变成下一次的先验。

P(A∣B1,B2)∝P(B2∣A,B1)P(A∣B1) P(A|B_1, B_2) \propto P(B_2|A, B_1) P(A|B_1)

卡尔曼滤波就是贝叶斯定理的连续应用：

  1. 预测：用物理模型估计下一个状态（得到先验）
  2. 更新：用传感器测量值修正预测（计算后验）
  3. 重复：后验变成下一次的先验

4.4 在已发表文章中的出现

文章 贝叶斯定理的使用
🛩️ 飞行动力学 ⭐⭐⭐ 卡尔曼滤波估计无人机姿态（贝叶斯更新的工程实现）
🤖 YOLO ⭐⭐ 置信度校准、非极大值抑制的概率解释
🔗 端到端 ⭐⭐⭐ 贝叶斯IRL（逆强化学习）、不确定性量化

五、大数定律与中心极限定理

5.1 大数定律

定义（伯努利，1713）：当试验次数 nn 足够大时，样本均值依概率收敛于期望值。

Xˉn=1n∑i=1nXi→PE[X] \bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow{P} E[X]

通俗理解：抛硬币1万次，正面比例一定接近50%。

在光线追踪中的应用：蒙特卡洛积分的核心依据就是大数定律。当采样数 NN 足够大时，路径追踪的均值收敛到真实渲染方程的解：

1N∑i=1Nf(Xi)p(Xi)≈∫f(x)dx \frac{1}{N}\sum_{i=1}^N \frac{f(X_i)}{p(X_i)} \approx \int f(x) dx NN 越大，结果越精确——这就是为什么路径追踪需要大量采样才能降噪。

5.2 中心极限定理

定义（拉普拉斯，1810；高斯）：大量独立随机变量的和近似服从正态分布。

Xˉn−μσ/n→dN(0,1) \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} N(0, 1)

重要性：它解释了为什么正态分布在工程中无处不在——任何测量误差都是大量微小误差源的叠加，由CLT可知其和近似正态分布。

六、蒙特卡洛方法——用随机采样解决确定性问题

6.1 蒙特卡洛积分

核心思想：用随机采样来近似计算复杂的积分。

I=∫f(x)dx≈1N∑i=1Nf(Xi)p(Xi),Xi∼p(x) I = \int f(x) dx \approx \frac{1}{N}\sum_{i=1}^N \frac{f(X_i)}{p(X_i)}, \quad X_i \sim p(x)

历史：

  • 1946年：冯·诺依曼（John von Neumann）和乌拉姆（Stanislaw Ulam）在洛斯阿拉莫斯国家实验室发明了蒙特卡洛方法
  • 命名来自摩纳哥的蒙特卡洛赌场——因为这种方法使用随机性
  • 最初用于核武器的中子扩散模拟

在光线追踪中的应用：渲染方程就是一个高维积分，无法用解析方法求解。路径追踪使用蒙特卡洛方法，从场景中随机采路径，用大量路径的平均值来逼近真实解。

6.2 重要性采样——减少方差

问题：如果采样分布 p(x)p(x) 选得不好，蒙特卡洛积分的方差会很大（需要很多样本才能收敛）。

解决：重要性采样——从被积函数大的区域多采样，小的区域少采样。

I≈1N∑i=1Nf(Xi)popt(Xi) I \approx \frac{1}{N}\sum_{i=1}^N \frac{f(X_i)}{p_{opt}(X_i)}

最优采样分布 popt(x)∝∣f(x)∣p_{opt}(x) \propto |f(x)|。

6.3 在已发表文章中的出现

文章 蒙特卡洛方法的使用
🎨 光线追踪 ⭐⭐⭐ 路径追踪核心算法、重要性采样、MIS
🔗 端到端 ⭐⭐ 策略梯度（REINFORCE）、MC Dropout不确定性估计
🤖 YOLO ⭐ 数据增强中的随机采样

七、统计推断——从数据到结论

7.1 参数估计

点估计：用一个数值估计参数。

极大似然估计（MLE）——最常用的估计方法：

θ^MLE=arg⁡max⁡θ∏i=1nP(xi∣θ) \hat{\theta}_{MLE} = \arg\max_{\theta} \prod_{i=1}^n P(x_i | \theta)

直观理解：找到最能解释观测数据的参数值。

在YOLO中的应用：YOLO训练的本质就是极大似然估计——寻找使训练数据似然最大的网络权重。

区间估计：给出参数的一个可能范围（置信区间）。

7.2 假设检验

问题：我们观察到一个现象，这是真实存在的还是随机噪声导致的？

核心概念：

  • p值：在原假设为真的前提下，观察到当前结果（或更极端结果）的概率
  • 显著性水平 α\alpha：通常取0.05，p值小于0.05就拒绝原假设

工程应用：A/B测试、模型对比、传感器校准验证。

八、卡尔曼滤波——贝叶斯定理的工程实现

8.1 卡尔曼滤波要解决的问题

问题：如何从带噪声的传感器测量中，估计无人机（或其他系统）的真实状态？

输入：

  1. 带噪声的传感器测量值 z1,z2,…,ztz_1, z_2, \ldots, z_t
  2. 系统的物理模型（状态转移方程）

输出：

  1. 最优状态估计 x^t∣t\hat{x}_{t|t}
  2. 估计的不确定性（协方差矩阵 Pt∣tP_{t|t}）

8.2 卡尔曼滤波的两步流程

预测步——用物理模型预测下一个状态：

x^t∣t−1=Fx^t−1∣t−1+But \hat{x}_{t|t-1} = F\hat{x}_{t-1|t-1} + Bu_t Pt∣t−1=FPt−1∣t−1FT+Q P_{t|t-1} = FP_{t-1|t-1}F^T + Q

更新步——用测量值修正预测：

Kt=Pt∣t−1HT(HPt∣t−1HT+R)−1 K_t = P_{t|t-1}H^T(HP_{t|t-1}H^T + R)^{-1} x^t∣t=x^t∣t−1+Kt(zt−Hx^t∣t−1) \hat{x}_{t|t} = \hat{x}_{t|t-1} + K_t(z_t - H\hat{x}_{t|t-1}) Pt∣t=(I−KtH)Pt∣t−1 P_{t|t} = (I - K_tH)P_{t|t-1}

其中：

  • FF：状态转移矩阵
  • QQ：过程噪声协方差
  • RR：测量噪声协方差
  • KtK_t：卡尔曼增益——决定"相信模型还是相信传感器"

核心思想：卡尔曼增益 KtK_t 在模型预测和传感器测量之间做最优加权。当传感器噪声 RR 很大时，KtK_t 很小——更相信模型预测；当模型噪声 QQ 很大时，KtK_t 很大——更相信传感器。

历史：

  • 1960年：匈牙利裔美国工程师鲁道夫·卡尔曼（Rudolf Kalman）发表了开创性论文
  • 卡尔曼滤波首次应用于阿波罗登月计划的导航系统
  • 现在它是无人机、自动驾驶、机器人中最核心的估计算法

8.3 在已发表文章中的出现

文章 卡尔曼滤波的使用
🛩️ 飞行动力学 ⭐⭐⭐ PX4姿态估计（EKF融合IMU+GPS+磁力计）
🔗 端到端 ⭐⭐ 传感器融合、状态估计作为端到端系统的组件

九、核心公式速查卡

公式 含义 应用
P(A∥B)=P(B∥A)P(A)P(B)P(A\|B) = \frac{P(B\|A)P(A)}{P(B)} 贝叶斯定理 卡尔曼滤波、不确定性更新
Xˉn→E[X]\bar{X}_n \to E[X] 大数定律 蒙特卡洛积分、路径追踪
Xˉn−μσ/n→N(0,1)\frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \to N(0,1) 中心极限定理 误差分析、置信区间
1N∑f(Xi)p(Xi)\frac{1}{N}\sum\frac{f(X_i)}{p(X_i)} 蒙特卡洛积分 路径追踪、策略梯度
x^t∥t=x^t∥t−1+Kt(zt−Hx^t∥t−1)\hat{x}_{t\|t} = \hat{x}_{t\|t-1} + K_t(z_t - H\hat{x}_{t\|t-1}) 卡尔曼滤波更新 IMU姿态估计、GPS融合
θ^MLE=arg⁡max⁡∏P(xi∥θ)\hat{\theta}_{MLE} = \arg\max \prod P(x_i\|\theta) 极大似然估计 YOLO训练、参数辨识
∫abf(x)dx=P(a≤X≤b)\int_a^b f(x) dx = P(a \leq X \leq b) 概率密度积分 置信区间、检测阈值

参考文献与推荐资源

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. — 概率论在ML中的最佳应用教材
  2. Jaynes, E. T. (2003). Probability Theory: The Logic of Science. Cambridge University Press. — 贝叶斯视角的概率论经典
  3. Kalman, R. E. (1960). A New Approach to Linear Filtering and Prediction Problems. Journal of Basic Engineering. — 卡尔曼滤波原始论文
  4. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer. — 统计学习经典
  5. 陈希孺. (2009). 概率论与数理统计. 中国科学技术大学出版社. — 中文经典教材