
适用教材:盛骤、谢式千、潘承毅主编,《概率论与数理统计》(第五版),高等教育出版社。这是考研数学一指定参考书,与同济高数、同济线代组成”考研数学三件套”。本文按八章速查,配关键几何图解和手算例子。
一、概率论的基本概念
概念理解
概率论回答一个根本问题:在不确定中,我们能知道什么?
抛一枚硬币,你不知道下一次是正面还是反面——但你知道抛1000次,大约500次正面。概率论就是把这种”大约”精确化的语言。
核心定义
样本空间 Ω:随机试验所有可能结果的集合。
事件:Ω 的子集。事件 A 发生 = 试验结果落在 A 中。
概率的公理化定义(柯尔莫哥洛夫,1933):
- 非负性:P(A)≥0
- 规范性:P(Ω)=1
- 可列可加性:互不相容事件的概率 = 各自概率之和
关键性质
条件概率:已知 B 发生的条件下,A 发生的概率
P(A∣B)=P(B)P(AB)
乘法公式:P(AB)=P(B)P(A∣B)=P(A)P(B∣A)
全概率公式:若 B1,…,Bn 构成完备事件组(互不相容且并集为 Ω),则
P(A)=i=1∑nP(Bi)P(A∣Bi)
全概率公式的本质:把复杂事件拆成”路径”——所有路径概率之和就是总概率。
贝叶斯公式(本文的核心——从结果反推原因):
P(Bi∣A)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
- P(Bi) = 先验概率(在看到数据前的信念)
- P(A∣Bi) = 似然(在假设 Bi 下观测到 A 的可能性)
- P(Bi∣A) = 后验概率(结合数据后的更新信念)

独立性:P(AB)=P(A)P(B)。直观:知道 A 发生与否,不影响 B 的概率。
手算例子
箱子 A 有 3 红球 2 白球,箱子 B 有 1 红球 4 白球。随机选一个箱子,抽到红球的概率?
全概率:P(红)=P(A)P(红∣A)+P(B)P(红∣B)=21⋅53+21⋅51=52
假如抽到了红球,这球来自箱子 A 的概率?
贝叶斯:P(A∣红)=P(红)P(A)P(红∣A)=5221⋅53=43
工程应用
- 卡尔曼滤波:先验(运动模型)→ 似然(传感器观测)→ 后验(状态估计),就是贝叶斯递归
- 垃圾邮件分类:P(垃圾∣包含"赚钱")=P(包含"赚钱")P(垃圾)P(包含"赚钱"∣垃圾)
二、随机变量及其分布
概念理解
随机变量就是把随机结果映射成数字。它有两个核心角色:
- 分布函数(CDF)F(x)=P(X≤x):描述”X 不超过 x”的概率
- 概率密度(PDF)f(x):连续型随机变量的”概率浓度”——不是某点的概率,而是宽度趋近零时的比例

核心定义
| 类型 |
概率质量/密度 |
分布函数 |
| 离散型 |
P(X=xk)=pk |
F(x)=∑xk≤xpk |
| 连续型 |
密度 f(x)≥0,∫−∞+∞f(x)dx=1 |
F(x)=∫−∞xf(t)dt |
重要关系:f(x)=F′(x)(几乎处处)。CDF 的斜率就是 PDF。
六大必知分布公式
1. 二项分布 B(n,p)——n 次独立试验,每次成功概率 p
P(X=k)=Cnkpk(1−p)n−k,k=0,1,…,n
EX=np,DX=np(1−p)
2. 泊松分布 Π(λ)——描述单位时间内随机事件发生次数
P(X=k)=k!λke−λ,k=0,1,2,…
EX=λ,DX=λ
泊松定理:n 很大、p 很小时,二项分布近似泊松分布(λ=np)。
3. 指数分布 E(λ)——描述等待时间(无记忆性)
f(x)=λe−λx,x≥0
F(x)=1−e−λx,EX=λ1,DX=λ21
4. 均匀分布 U(a,b)
f(x)=b−a1,a≤x≤b
EX=2a+b,DX=12(b−a)2
5. 正态分布 N(μ,σ2)——整个统计学的基石
f(x)=2πσ1e−2σ2(x−μ)2
EX=μ,DX=σ2
标准化:Z=σX−μ∼N(0,1)
3σ 原则:
- P(∣X−μ∣<σ)≈68.3%
- P(∣X−μ∣<2σ)≈95.4%
- P(∣X−μ∣<3σ)≈99.7%
这就是工程上”±3σ 几乎包含所有数据点”的数学依据。
6. χ2 分布——k 个独立标准正态变量的平方和
Y=Z12+Z22+⋯+Zk2∼χ2(k)
k 叫自由度。E[χ2(k)]=k,D[χ2(k)]=2k。
手算例子
某工厂产品寿命服从 λ=0.001 的指数分布。求寿命超过 1000 小时的概率。
P(X>1000)=1−F(1000)=1−(1−e−0.001×1000)=e−1≈0.368
工程应用
- 二项分布 → 投篮命中率、次品率检验
- 泊松分布 → 客服电话呼入量、粒子放射性衰变、目标出现计数
- 指数分布 → 电子元件寿命建模、无人机故障间隔时间(MTBF)
- 正态分布 → 测量误差、传感器噪声、3DGS 相机姿态不确定性
- 对数正态 → 雷达散射截面(RCS)建模
三、多维随机变量及其分布
概念理解
现实中很少有独立的量。无人机的位置和速度高度耦合——位置的变化依赖于速度,速度的变化依赖于加速度。多维随机变量描述的就是这种联合不确定性。
核心定义
联合分布函数:F(x,y)=P(X≤x,Y≤y)
联合密度:f(x,y),满足
F(x,y)=∫−∞x∫−∞yf(u,v)dudv
P((X,Y)∈D)=∬Df(x,y)dxdy
边缘分布:单独看 X 或 Y
fX(x)=∫−∞+∞f(x,y)dy
fY(y)=∫−∞+∞f(x,y)dx
条件分布:已知 Y=y 时 X 的分布
fX∣Y(x∣y)=fY(y)f(x,y)
关键性质
协方差:度量两个变量”同方向变化”的程度
Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−E(X)E(Y)
- 正 → X 大时 Y 也偏大
- 负 → X 大时 Y 偏小
- 零 → 不相关(但不一定独立!)
相关系数:标准化后的协方差
ρXY=DXDYCov(X,Y),∣ρ∣≤1
手算例子
设 (X,Y) 在单位圆 x2+y2≤1 上均匀分布,求边缘密度。
联合密度:f(x,y)=π1(面积=1/π⋅π=1 ✓)
边缘密度:fX(x)=∫−1−x21−x2π1dy=π21−x2,∣x∣≤1
注意:边缘不是均匀的——虽然联合是均匀的!
工程应用
- 卡尔曼滤波的协方差矩阵 P 就是多维协方差的对角/非对角块
- 独立成分分析(ICA):从混合信号中分离独立成分,基于非高斯性和独立性
- 目标跟踪:位置和速度的联合分布决定关联门的大小
四、随机变量的数字特征
概念理解
分布(PDF/CDF)是完全信息,但通常太复杂。数字特征是用一两个数概括整体分布——就像用平均分概括全班成绩。
核心定义
数学期望:加权平均(”概率加权”)
离散:E(X)=∑kxkpk
连续:E(X)=∫−∞+∞xf(x)dx
方差:偏离均值的”平均平方”
D(X)=E[(X−EX)2]=E(X2)−(EX)2
标准差 σ=D(X),和原始量纲相同。
切比雪夫不等式:不管分布长什么样,”偏离的极限”是确定的
P(∣X−μ∣≥ε)≤ε2σ2
这是大数定律的数学基础。
矩:一般化的数字特征
- k 阶原点矩:E(Xk)(期望 = 一阶原点矩)
- k 阶中心矩:E[(X−EX)k](方差 = 二阶中心矩)
- 偏度 = 三阶中心矩 / σ3:分布的不对称性
- 峰度 = 四阶中心矩 / σ4−3:尾部厚度
关键性质
期望的线性性:E(aX+bY)=aE(X)+bE(Y)(永远成立,不管是否独立)
独立时:E(XY)=E(X)E(Y),D(X+Y)=D(X)+D(Y)
卷积公式:独立随机变量和的密度 = 各自密度的卷积
fX+Y(z)=∫−∞+∞fX(x)fY(z−x)dx
手算例子
X∼U(0,1),求期望和方差。
E(X)=∫01x⋅1dx=21
E(X2)=∫01x2⋅1dx=31
D(X)=E(X2)−[E(X)]2=31−41=121
工程应用
- 协方差矩阵 → 卡尔曼滤波的状态不确定性表征
- 期望 → 蒙特卡洛积分、强化学习的值函数
- 方差 → 仿真结果的置信度评估、投资组合风险
五、大数定律与中心极限定理
概念理解
这两条定理是整个统计推断的基石:
- 大数定律:样本均值收敛到总体均值(你猜得够多,就会猜对)
- 中心极限定理:独立随机变量之和近似正态分布(不管原始分布长什么样)
核心定义
辛钦大数定律(弱大数):X1,…,Xn 独立同分布且期望 μ 存在,则
Xˉn=n1i=1∑nXi⟶Pμ
符号 ⟶P 表示”依概率收敛”——随着 n 增大,偏离的概率趋于零。
Lindeberg-Lévy 中心极限定理:独立同分布的 Xi,期望 μ,方差 σ2>0,则
nσ∑i=1nXi−nμ⟶dN(0,1)
等价形式:
Xˉn∼近似N(μ,nσ2)
关键洞察:样本均值的方差是总体方差的 1/n——这就是为什么样本量翻倍,精度提高 2 倍而非 2 倍。
手算例子
抛硬币 60 次,正面概率 0.5。求正面次数在 25~35 之间的概率。
X∼B(60,0.5),用正态近似(中心极限):
μ=np=30,σ2=np(1−p)=15
P(25≤X≤35)≈Φ(1535.5−30)−Φ(1524.5−30)
≈Φ(1.42)−Φ(−1.42)≈0.922−0.078=0.844
工程应用
- 蒙特卡洛仿真:n 次试验,精度 ∝1/n——这就是为什么从100次到10000次只提高10倍精度
- A/B 测试:均值差异的显著性检验,底层是中心极限定理
- 传感器融合:多个独立传感器的平均,精度随传感器数量增加而提高
六、样本及抽样分布
概念理解
前面五章是概率论——已知分布,预测结果。从第六章起是数理统计——已知结果,推断分布。概率论和数理统计互为逆问题:
概率论:分布 → 数据
数理统计:数据 → 分布
核心定义
总体:研究对象的全体。样本:从总体中抽出的部分个体。
统计量:样本的函数(不含未知参数),比如样本均值 Xˉ、样本方差 S2。
三大抽样分布——假设检验和置信区间的计算都依赖它们:
(1)χ2 分布:X1,…,Xn∼N(0,1) 独立,则
i=1∑nXi2∼χ2(n)
E[χ2(n)]=n,D[χ2(n)]=2n
(2)t 分布(学生氏分布):X∼N(0,1),Y∼χ2(n) 独立,则
T=Y/nX∼t(n)
n 增大时 t 分布趋近标准正态——n≥30 时可用正态近似。
(3)F 分布:X∼χ2(n1),Y∼χ2(n2) 独立,则
F=Y/n2X/n1∼F(n1,n2)
用于比较两个方差是否相等(方差分析)。
关键事实——正态总体下的结论
设 X1,…,Xn 是来自 N(μ,σ2) 的样本,则:
- Xˉ∼N(μ,nσ2)
- σ2(n−1)S2∼χ2(n−1)
- Xˉ 与 S2 独立(正态分布独有的神奇性质)
- S/nXˉ−μ∼t(n−1)(σ 未知时用 S 代替 → t 分布)
工程应用
- t 检验 → 小样本均值比较(< 30 样本)
- F 检验 → 方差分析(多个总体均值比较)、回归显著性
- χ2 检验 → 拟合优度检验、列联表的独立性检验
七、参数估计
概念理解
已知总体分布的类型(比如知道是正态),但参数 θ 未知。怎么用样本估计 θ?
两个流派:
- 点估计:给一个数(比如 μ^=xˉ)
- 区间估计:给一个区间和置信度(比如 μ 的 95% 置信区间)
核心方法
矩估计法:用样本矩替代总体矩,解出参数。
比如 X∼U(0,θ),E(X)=θ/2 → θ^=2Xˉ。
最大似然估计(MLE)——整个统计学的核心方法:
L(θ)=i=1∏nf(xi;θ)
θ^MLE=argθmaxL(θ)
直觉:选那个”在这些参数下,观测到的数据最可能发生”的 θ。
评价标准
- 无偏性:E(θ^)=θ——平均来说估计对的
- 有效性:方差越小越好(达到克拉美-罗下界最优)
- 相合性:样本越大估计越准(θ^n⟶Pθ)
关键事实:Xˉ 是 μ 的无偏估计,S2 是 σ2 的无偏估计(注意分母是 n−1 而非 n)。
区间估计
σ2 已知,μ 的置信区间(1−α 置信度):
Xˉ±zα/2⋅nσ
σ2 未知,用 t 分布(这才是绝大多数实际情况):
Xˉ±tα/2(n−1)⋅nS
手算例子
测某无人机电机功率 5 次:210, 208, 212, 209, 211 W。假定服从正态分布,求平均功率的 95% 置信区间。
xˉ=210,s=2.5≈1.581,n=5
t0.025(4)≈2.776
区间:210±2.776×51.581≈210±1.963=[208.04,211.96]
工程应用
- MLE → 深度学习损失函数的设计原理(交叉熵 = 分类的负对数似然)
- 置信区间 → 仿真预估精度(”落点误差 < 5m 概率 > 95%”)
- 偏差-方差分解 → 机器学习泛化误差的数学公式
八、假设检验
概念理解
假设检验是反证法:先假设你想推翻的东西为真(原假设 H0),然后看数据有多不配合。如果数据在 H0 下”太离谱”,就拒绝 H0。

核心定义
两类错误:
|
接受 H0 |
拒绝 H0 |
| H0 为真 |
✓ |
第一类错误(α) |
| H0 为假 |
第二类错误(β) |
✓ |
- α = 显著性水平(你允许"冤枉好人"的概率上限,通常 0.05)
- 1−β = 检验功效("抓出坏人"的能力)
- α 和 β 不能同时减小(样本量固定时),需要 trade-off
p 值:在 H0 为真的假设下,观测到”当前结果或更极端”的概率。
决策规则:p < α → 拒绝 H0;p ≥ α → 不拒绝 H0
注意:”不拒绝 H0“ ≠ “接受了 H0“!统计结论永远用保守措辞。
常见检验流程
1. 三步走:设 H0 和 H1 → 选检验统计量和拒绝域 → 计算 p 值,做决策
2. 单正态总体均值的 t 检验(σ 未知,最常用):
T=S/nXˉ−μ0∼t(n−1)
3. 双正态总体均值比较的 t 检验(两独立样本):
T=Swn11+n21Xˉ−Yˉ
其中 Sw2 是合并方差估计。
4. 方差检验(F 检验):
F=S22S12∼F(n1−1,n2−1)
手算例子
电池标称寿命 500h。抽 9 块检测,得到 xˉ=490,s=15。在 α=0.05 水平下,是否认为实际寿命低于标称?
H0:μ=500,H1:μ<500(单侧)
T=15/9490−500=−2.0
t0.05(8)≈1.860,拒绝域为 T<−1.860
−2.0<−1.860 → 拒绝 H0。有显著证据表明寿命低于标称。
工程应用
- A/B 测试 → 两个版本转化率的双样本比例检验
- 传感器校准 → 检验测量值与真值是否存在系统偏差
- 产品质量控制 → 检验抽样数据是否符合规格
- 无人机仿真验证 → 仿真轨迹与实测轨迹的均值差异 t 检验
核心公式速查卡
| 类别 |
公式 |
关键词 |
| 条件概率 |
P(A∥B)=P(AB)/P(B) |
缩小样本空间 |
| 全概率 |
P(A)=∑P(Bi)P(A∥Bi) |
路径求和 |
| 贝叶斯 |
P(Bi∥A)=∑P(Bj)P(A∥Bj)P(Bi)P(A∥Bi) |
先验→后验 |
| 二项分布 |
P(X=k)=Cnkpk(1−p)n−k |
n次试验,p不变 |
| 正态分布 |
f(x)=2πσ1e−2σ2(x−μ)2 |
统计基石 |
| 期望 |
E(X)=∑xkpk 或 ∫xf(x)dx |
概率加权平均 |
| 方差 |
D(X)=E(X2)−(EX)2 |
离散程度 |
| 协方差 |
Cov(X,Y)=E(XY)−E(X)E(Y) |
相关方向 |
| 大数定律 |
Xˉn→Pμ |
样本均值收敛 |
| 中心极限 |
nσ∑Xi−nμ→dN(0,1) |
近似正态 |
| MLE |
θ^=argmax∏f(xi;θ) |
参数估计核心 |
| 置信区间 |
Xˉ±tα/2(n−1)⋅S/n |
σ 未知时 |
| t 检验 |
T=S/nXˉ−μ0 |
均值假设检验 |
推荐学习路线
- 先看四、六章(随机变量 + 抽样分布)→ 建立概率分布和统计量的直觉
- 再看一、七章(基本概念 + 参数估计)→ 贝叶斯和 MLE 是 AI 的数学根基
- 最后攻克八章(假设检验)→ 理解 p 值、α 和两类错误的含义即可,计算有软件代劳
- 通过工程应用学数学:每学一个分布,问问它解决什么实际问题
延伸学习
- 贝叶斯方法 → 《Probabilistic Robotics》(Thrun 等),里面卡尔曼滤波是用概率论全推导的
- MLE 的直观理解 → 3Blue1Brown 的神经网络系列(损失函数 = 负对数似然)
- 蒙特卡洛 → 动手写一个 Pi 的蒙特卡洛估计(抛豆子入圆),5 行 Python
参考文献
- 盛骤, 谢式千, 潘承毅. 《概率论与数理统计》(第五版). 高等教育出版社, 2019.
- 费勒 (Feller). 《概率论及其应用》. 人民邮电出版社. 经典中的经典,适合想深入的人.
- Thrun S, Burgard W, Fox D. Probabilistic Robotics. MIT Press, 2005. 卡尔曼滤波和粒子滤波的概率论推导.
- MacKay D J C. Information Theory, Inference, and Learning Algorithms. Cambridge, 2003. 贝叶斯方法的经典教材,免费下载.