Badge

适用教材:盛骤、谢式千、潘承毅主编,《概率论与数理统计》(第五版),高等教育出版社。这是考研数学一指定参考书,与同济高数、同济线代组成”考研数学三件套”。本文按八章速查,配关键几何图解和手算例子。


一、概率论的基本概念

概念理解

概率论回答一个根本问题:在不确定中,我们能知道什么?

抛一枚硬币,你不知道下一次是正面还是反面——但你知道抛1000次,大约500次正面。概率论就是把这种”大约”精确化的语言。

核心定义

样本空间 Ω\Omega:随机试验所有可能结果的集合。

事件:Ω\Omega 的子集。事件 AA 发生 = 试验结果落在 AA 中。

概率的公理化定义(柯尔莫哥洛夫,1933):

  1. 非负性:P(A)≥0P(A) \ge 0
  2. 规范性:P(Ω)=1P(\Omega) = 1
  3. 可列可加性:互不相容事件的概率 = 各自概率之和

关键性质

条件概率:已知 BB 发生的条件下,AA 发生的概率

P(A∣B)=P(AB)P(B)P(A|B) = \frac{P(AB)}{P(B)}

乘法公式:P(AB)=P(B)P(A∣B)=P(A)P(B∣A)P(AB) = P(B)P(A|B) = P(A)P(B|A)

全概率公式:若 B1,…,BnB_1,\ldots,B_n 构成完备事件组(互不相容且并集为 Ω\Omega),则

P(A)=∑i=1nP(Bi)P(A∣Bi)P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i)

全概率公式的本质:把复杂事件拆成”路径”——所有路径概率之和就是总概率。

贝叶斯公式(本文的核心——从结果反推原因):

P(Bi∣A)=P(Bi)P(A∣Bi)∑j=1nP(Bj)P(A∣Bj)P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n}P(B_j)P(A|B_j)}
  • P(Bi)P(B_i) = 先验概率(在看到数据前的信念)
  • P(A∣Bi)P(A|B_i) = 似然(在假设 BiB_i 下观测到 AA 的可能性)
  • P(Bi∣A)P(B_i|A) = 后验概率(结合数据后的更新信念)

贝叶斯公式示意图

独立性:P(AB)=P(A)P(B)P(AB) = P(A)P(B)。直观:知道 AA 发生与否,不影响 BB 的概率。

手算例子

箱子 A 有 3 红球 2 白球,箱子 B 有 1 红球 4 白球。随机选一个箱子,抽到红球的概率?

全概率:P(红)=P(A)P(红∣A)+P(B)P(红∣B)=12⋅35+12⋅15=25P(\text{红}) = P(A)P(\text{红}|A) + P(B)P(\text{红}|B) = \frac{1}{2} \cdot \frac{3}{5} + \frac{1}{2} \cdot \frac{1}{5} = \frac{2}{5}

假如抽到了红球,这球来自箱子 A 的概率?

贝叶斯:P(A∣红)=P(A)P(红∣A)P(红)=12⋅3525=34P(A|\text{红}) = \dfrac{P(A)P(\text{红}|A)}{P(\text{红})} = \dfrac{\frac{1}{2}\cdot\frac{3}{5}}{\frac{2}{5}} = \frac{3}{4}

工程应用

  • 卡尔曼滤波:先验(运动模型)→ 似然(传感器观测)→ 后验(状态估计),就是贝叶斯递归
  • 垃圾邮件分类:P(垃圾∣包含"赚钱")=P(垃圾)P(包含"赚钱"∣垃圾)P(包含"赚钱")P(\text{垃圾}|\text{包含"赚钱"}) = \frac{P(\text{垃圾})P(\text{包含"赚钱"}|\text{垃圾})}{P(\text{包含"赚钱"})}

二、随机变量及其分布

概念理解

随机变量就是把随机结果映射成数字。它有两个核心角色:

  • 分布函数(CDF)F(x)=P(X≤x)F(x) = P(X \le x):描述”X 不超过 x”的概率
  • 概率密度(PDF)f(x)f(x):连续型随机变量的”概率浓度”——不是某点的概率,而是宽度趋近零时的比例

PDF与CDF关系

核心定义

类型 概率质量/密度 分布函数
离散型 P(X=xk)=pkP(X = x_k) = p_k F(x)=∑xk≤xpkF(x) = \sum_{x_k \le x} p_k
连续型 密度 f(x)≥0f(x) \ge 0,∫−∞+∞f(x)dx=1\int_{-\infty}^{+\infty}f(x)dx = 1 F(x)=∫−∞xf(t)dtF(x) = \int_{-\infty}^{x} f(t)dt

重要关系:f(x)=F′(x)f(x) = F'(x)(几乎处处)。CDF 的斜率就是 PDF。

六大必知分布公式

1. 二项分布 B(n,p)B(n, p)——n 次独立试验,每次成功概率 p

P(X=k)=Cnkpk(1−p)n−k,k=0,1,…,nP(X=k) = C_n^k p^k (1-p)^{n-k}, \quad k=0,1,\ldots,n EX=np,DX=np(1−p)EX = np, \quad DX = np(1-p)

2. 泊松分布 Π(λ)\Pi(\lambda)——描述单位时间内随机事件发生次数

P(X=k)=λkk!e−λ,k=0,1,2,…P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda}, \quad k=0,1,2,\ldots EX=λ,DX=λEX = \lambda, \quad DX = \lambda

泊松定理:nn 很大、pp 很小时,二项分布近似泊松分布(λ=np\lambda = np)。

3. 指数分布 E(λ)E(\lambda)——描述等待时间(无记忆性)

f(x)=λe−λx,x≥0f(x) = \lambda e^{-\lambda x}, \quad x \ge 0 F(x)=1−e−λx,EX=1λ,DX=1λ2F(x) = 1 - e^{-\lambda x}, \quad EX = \frac{1}{\lambda}, \quad DX = \frac{1}{\lambda^2}

4. 均匀分布 U(a,b)U(a, b)

f(x)=1b−a,a≤x≤bf(x) = \frac{1}{b-a}, \quad a \le x \le b EX=a+b2,DX=(b−a)212EX = \frac{a+b}{2}, \quad DX = \frac{(b-a)^2}{12}

5. 正态分布 N(μ,σ2)N(\mu, \sigma^2)——整个统计学的基石

f(x)=12πσe−(x−μ)22σ2f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} EX=μ,DX=σ2EX = \mu, \quad DX = \sigma^2

标准化:Z=X−μσ∼N(0,1)Z = \frac{X-\mu}{\sigma} \sim N(0,1)

3σ3\sigma 原则:

  • P(∣X−μ∣<σ)≈68.3%P(|X-\mu| < \sigma) \approx 68.3\%
  • P(∣X−μ∣<2σ)≈95.4%P(|X-\mu| < 2\sigma) \approx 95.4\%
  • P(∣X−μ∣<3σ)≈99.7%P(|X-\mu| < 3\sigma) \approx 99.7\%

这就是工程上”±3σ 几乎包含所有数据点”的数学依据。

6. χ2\chi^2 分布——kk 个独立标准正态变量的平方和

Y=Z12+Z22+⋯+Zk2∼χ2(k)Y = Z_1^2 + Z_2^2 + \cdots + Z_k^2 \sim \chi^2(k) kk 叫自由度。E[χ2(k)]=kE[\chi^2(k)] = k,D[χ2(k)]=2kD[\chi^2(k)] = 2k。

手算例子

某工厂产品寿命服从 λ=0.001\lambda = 0.001 的指数分布。求寿命超过 1000 小时的概率。

P(X>1000)=1−F(1000)=1−(1−e−0.001×1000)=e−1≈0.368P(X > 1000) = 1 - F(1000) = 1 - (1 - e^{-0.001 \times 1000}) = e^{-1} \approx 0.368

工程应用

  • 二项分布 → 投篮命中率、次品率检验
  • 泊松分布 → 客服电话呼入量、粒子放射性衰变、目标出现计数
  • 指数分布 → 电子元件寿命建模、无人机故障间隔时间(MTBF)
  • 正态分布 → 测量误差、传感器噪声、3DGS 相机姿态不确定性
  • 对数正态 → 雷达散射截面(RCS)建模

三、多维随机变量及其分布

概念理解

现实中很少有独立的量。无人机的位置和速度高度耦合——位置的变化依赖于速度,速度的变化依赖于加速度。多维随机变量描述的就是这种联合不确定性。

核心定义

联合分布函数:F(x,y)=P(X≤x,Y≤y)F(x, y) = P(X \le x, Y \le y)

联合密度:f(x,y)f(x, y),满足

F(x,y)=∫−∞x∫−∞yf(u,v) du dvF(x, y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) \, du \, dv P((X,Y)∈D)=∬Df(x,y) dx dyP((X,Y) \in D) = \iint_D f(x, y) \, dx \, dy

边缘分布:单独看 XX 或 YY

fX(x)=∫−∞+∞f(x,y) dyf_X(x) = \int_{-\infty}^{+\infty} f(x, y) \, dy fY(y)=∫−∞+∞f(x,y) dxf_Y(y) = \int_{-\infty}^{+\infty} f(x, y) \, dx

条件分布:已知 Y=yY=y 时 XX 的分布

fX∣Y(x∣y)=f(x,y)fY(y)f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)}

关键性质

协方差:度量两个变量”同方向变化”的程度

Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−E(X)E(Y)\text{Cov}(X, Y) = E[(X-EX)(Y-EY)] = E(XY) - E(X)E(Y)
  • 正 → X 大时 Y 也偏大
  • 负 → X 大时 Y 偏小
  • 零 → 不相关(但不一定独立!)

相关系数:标准化后的协方差

ρXY=Cov(X,Y)DXDY,∣ρ∣≤1\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad |\rho| \le 1

手算例子

设 (X,Y)(X,Y) 在单位圆 x2+y2≤1x^2+y^2 \le 1 上均匀分布,求边缘密度。

联合密度:f(x,y)=1πf(x,y) = \frac{1}{\pi}(面积=1/π⋅π=11/\pi \cdot \pi = 1 ✓)

边缘密度:fX(x)=∫−1−x21−x21πdy=2π1−x2,∣x∣≤1f_X(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi} dy = \frac{2}{\pi}\sqrt{1-x^2}, \quad |x| \le 1

注意:边缘不是均匀的——虽然联合是均匀的!

工程应用

  • 卡尔曼滤波的协方差矩阵 PP 就是多维协方差的对角/非对角块
  • 独立成分分析(ICA):从混合信号中分离独立成分,基于非高斯性和独立性
  • 目标跟踪:位置和速度的联合分布决定关联门的大小

四、随机变量的数字特征

概念理解

分布(PDF/CDF)是完全信息,但通常太复杂。数字特征是用一两个数概括整体分布——就像用平均分概括全班成绩。

核心定义

数学期望:加权平均(”概率加权”)

离散:E(X)=∑kxkpkE(X) = \sum_k x_k p_k

连续:E(X)=∫−∞+∞xf(x)dxE(X) = \int_{-\infty}^{+\infty} x f(x) dx

方差:偏离均值的”平均平方”

D(X)=E[(X−EX)2]=E(X2)−(EX)2D(X) = E[(X-EX)^2] = E(X^2) - (EX)^2

标准差 σ=D(X)\sigma = \sqrt{D(X)},和原始量纲相同。

切比雪夫不等式:不管分布长什么样,”偏离的极限”是确定的

P(∣X−μ∣≥ε)≤σ2ε2P(|X-\mu| \ge \varepsilon) \le \frac{\sigma^2}{\varepsilon^2}

这是大数定律的数学基础。

矩:一般化的数字特征

  • kk 阶原点矩:E(Xk)E(X^k)(期望 = 一阶原点矩)
  • kk 阶中心矩:E[(X−EX)k]E[(X-EX)^k](方差 = 二阶中心矩)
  • 偏度 = 三阶中心矩 / σ3\sigma^3:分布的不对称性
  • 峰度 = 四阶中心矩 / σ4−3\sigma^4 - 3:尾部厚度

关键性质

期望的线性性:E(aX+bY)=aE(X)+bE(Y)E(aX + bY) = aE(X) + bE(Y)(永远成立,不管是否独立)

独立时:E(XY)=E(X)E(Y)E(XY) = E(X)E(Y),D(X+Y)=D(X)+D(Y)D(X+Y) = D(X) + D(Y)

卷积公式:独立随机变量和的密度 = 各自密度的卷积

fX+Y(z)=∫−∞+∞fX(x)fY(z−x) dxf_{X+Y}(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) \, dx

手算例子

X∼U(0,1)X \sim U(0,1),求期望和方差。
E(X)=∫01x⋅1 dx=12E(X) = \int_0^1 x \cdot 1 \, dx = \frac{1}{2} E(X2)=∫01x2⋅1 dx=13E(X^2) = \int_0^1 x^2 \cdot 1 \, dx = \frac{1}{3} D(X)=E(X2)−[E(X)]2=13−14=112D(X) = E(X^2) - [E(X)]^2 = \frac{1}{3} - \frac{1}{4} = \frac{1}{12}

工程应用

  • 协方差矩阵 → 卡尔曼滤波的状态不确定性表征
  • 期望 → 蒙特卡洛积分、强化学习的值函数
  • 方差 → 仿真结果的置信度评估、投资组合风险

五、大数定律与中心极限定理

概念理解

这两条定理是整个统计推断的基石:

  • 大数定律:样本均值收敛到总体均值(你猜得够多,就会猜对)
  • 中心极限定理:独立随机变量之和近似正态分布(不管原始分布长什么样)

核心定义

辛钦大数定律(弱大数):X1,…,XnX_1,\ldots,X_n 独立同分布且期望 μ\mu 存在,则

Xˉn=1n∑i=1nXi⟶Pμ\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu

符号 ⟶P\stackrel{P}{\longrightarrow} 表示”依概率收敛”——随着 nn 增大,偏离的概率趋于零。

Lindeberg-Lévy 中心极限定理:独立同分布的 XiX_i,期望 μ\mu,方差 σ2>0\sigma^2 > 0,则

∑i=1nXi−nμnσ⟶dN(0,1)\frac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \stackrel{d}{\longrightarrow} N(0, 1)

等价形式:

Xˉn∼近似N(μ,σ2n)\bar{X}_n \stackrel{\text{近似}}{\sim} N\left(\mu, \frac{\sigma^2}{n}\right)

关键洞察:样本均值的方差是总体方差的 1/n1/n——这就是为什么样本量翻倍,精度提高 2\sqrt{2} 倍而非 2 倍。

手算例子

抛硬币 60 次,正面概率 0.5。求正面次数在 25~35 之间的概率。

X∼B(60,0.5)X \sim B(60, 0.5),用正态近似(中心极限): μ=np=30\mu = np = 30,σ2=np(1−p)=15\sigma^2 = np(1-p) = 15 P(25≤X≤35)≈Φ(35.5−3015)−Φ(24.5−3015)P(25 \le X \le 35) \approx \Phi\left(\frac{35.5 - 30}{\sqrt{15}}\right) - \Phi\left(\frac{24.5 - 30}{\sqrt{15}}\right) ≈Φ(1.42)−Φ(−1.42)≈0.922−0.078=0.844\approx \Phi(1.42) - \Phi(-1.42) \approx 0.922 - 0.078 = 0.844

工程应用

  • 蒙特卡洛仿真:nn 次试验,精度 ∝1/n\propto 1/\sqrt{n}——这就是为什么从100次到10000次只提高10倍精度
  • A/B 测试:均值差异的显著性检验,底层是中心极限定理
  • 传感器融合:多个独立传感器的平均,精度随传感器数量增加而提高

六、样本及抽样分布

概念理解

前面五章是概率论——已知分布,预测结果。从第六章起是数理统计——已知结果,推断分布。概率论和数理统计互为逆问题:

概率论:分布 → 数据

数理统计:数据 → 分布

核心定义

总体:研究对象的全体。样本:从总体中抽出的部分个体。

统计量:样本的函数(不含未知参数),比如样本均值 Xˉ\bar{X}、样本方差 S2S^2。

三大抽样分布——假设检验和置信区间的计算都依赖它们:

(1)χ2\chi^2 分布:X1,…,Xn∼N(0,1)X_1,\ldots,X_n \sim N(0,1) 独立,则

∑i=1nXi2∼χ2(n)\sum_{i=1}^n X_i^2 \sim \chi^2(n) E[χ2(n)]=n,D[χ2(n)]=2nE[\chi^2(n)] = n, \quad D[\chi^2(n)] = 2n

(2)tt 分布(学生氏分布):X∼N(0,1)X \sim N(0,1),Y∼χ2(n)Y \sim \chi^2(n) 独立,则

T=XY/n∼t(n)T = \frac{X}{\sqrt{Y/n}} \sim t(n) nn 增大时 tt 分布趋近标准正态——n≥30n \ge 30 时可用正态近似。

(3)FF 分布:X∼χ2(n1)X \sim \chi^2(n_1),Y∼χ2(n2)Y \sim \chi^2(n_2) 独立,则

F=X/n1Y/n2∼F(n1,n2)F = \frac{X/n_1}{Y/n_2} \sim F(n_1, n_2)

用于比较两个方差是否相等(方差分析)。

关键事实——正态总体下的结论

设 X1,…,XnX_1,\ldots,X_n 是来自 N(μ,σ2)N(\mu, \sigma^2) 的样本,则:

  1. Xˉ∼N(μ,σ2n)\bar{X} \sim N(\mu, \frac{\sigma^2}{n})
  2. (n−1)S2σ2∼χ2(n−1)\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)
  3. Xˉ\bar{X} 与 S2S^2 独立(正态分布独有的神奇性质)
  4. Xˉ−μS/n∼t(n−1)\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)(σ\sigma 未知时用 SS 代替 → t 分布)

工程应用

  • t 检验 → 小样本均值比较(< 30 样本)
  • F 检验 → 方差分析(多个总体均值比较)、回归显著性
  • χ2\chi^2 检验 → 拟合优度检验、列联表的独立性检验

七、参数估计

概念理解

已知总体分布的类型(比如知道是正态),但参数 θ\theta 未知。怎么用样本估计 θ\theta?

两个流派:

  • 点估计:给一个数(比如 μ^=xˉ\hat{\mu} = \bar{x})
  • 区间估计:给一个区间和置信度(比如 μ\mu 的 95% 置信区间)

核心方法

矩估计法:用样本矩替代总体矩,解出参数。

比如 X∼U(0,θ)X \sim U(0, \theta),E(X)=θ/2E(X) = \theta/2 → θ^=2Xˉ\hat{\theta} = 2\bar{X}。

最大似然估计(MLE)——整个统计学的核心方法:

L(θ)=∏i=1nf(xi;θ)L(\theta) = \prod_{i=1}^n f(x_i; \theta) θ^MLE=arg⁡max⁡θL(θ) \hat{\theta}_{\text{MLE}} = \arg\max_\theta L(\theta)

直觉:选那个”在这些参数下,观测到的数据最可能发生”的 θ\theta。

评价标准

  • 无偏性:E(θ^)=θE(\hat{\theta}) = \theta——平均来说估计对的
  • 有效性:方差越小越好(达到克拉美-罗下界最优)
  • 相合性:样本越大估计越准(θ^n⟶Pθ\hat{\theta}_n \stackrel{P}{\longrightarrow} \theta)

关键事实:Xˉ\bar{X} 是 μ\mu 的无偏估计,S2S^2 是 σ2\sigma^2 的无偏估计(注意分母是 n−1n-1 而非 nn)。

区间估计

σ2\sigma^2 已知,μ\mu 的置信区间(1−α1-\alpha 置信度):

Xˉ±zα/2⋅σn\bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}

σ2\sigma^2 未知,用 tt 分布(这才是绝大多数实际情况):

Xˉ±tα/2(n−1)⋅Sn\bar{X} \pm t_{\alpha/2}(n-1) \cdot \frac{S}{\sqrt{n}}

手算例子

测某无人机电机功率 5 次:210, 208, 212, 209, 211 W。假定服从正态分布,求平均功率的 95% 置信区间。

xˉ=210\bar{x} = 210,s=2.5≈1.581s = \sqrt{2.5} \approx 1.581,n=5n=5 t0.025(4)≈2.776t_{0.025}(4) \approx 2.776

区间:210±2.776×1.5815≈210±1.963=[208.04,211.96]210 \pm 2.776 \times \frac{1.581}{\sqrt{5}} \approx 210 \pm 1.963 = [208.04, 211.96]

工程应用

  • MLE → 深度学习损失函数的设计原理(交叉熵 = 分类的负对数似然)
  • 置信区间 → 仿真预估精度(”落点误差 < 5m 概率 > 95%”)
  • 偏差-方差分解 → 机器学习泛化误差的数学公式

八、假设检验

概念理解

假设检验是反证法:先假设你想推翻的东西为真(原假设 H0H_0),然后看数据有多不配合。如果数据在 H0H_0 下”太离谱”,就拒绝 H0H_0。

假设检验拒绝域

核心定义

两类错误:

接受 H0H_0 拒绝 H0H_0
H0H_0 为真 ✓ 第一类错误(α\alpha)
H0H_0 为假 第二类错误(β\beta) ✓
  • α\alpha = 显著性水平(你允许"冤枉好人"的概率上限,通常 0.05)
  • 1−β1-\beta = 检验功效("抓出坏人"的能力)
  • α\alpha 和 β\beta 不能同时减小(样本量固定时),需要 trade-off

p 值:在 H0H_0 为真的假设下,观测到”当前结果或更极端”的概率。

决策规则:p < α\alpha → 拒绝 H0H_0;p ≥\ge α\alpha → 不拒绝 H0H_0

注意:”不拒绝 H0H_0“ ≠ “接受了 H0H_0“!统计结论永远用保守措辞。

常见检验流程

1. 三步走:设 H0H_0 和 H1H_1 → 选检验统计量和拒绝域 → 计算 p 值,做决策

2. 单正态总体均值的 t 检验(σ\sigma 未知,最常用):

T=Xˉ−μ0S/n∼t(n−1)T = \frac{\bar{X} - \mu_0}{S/\sqrt{n}} \sim t(n-1)

3. 双正态总体均值比较的 t 检验(两独立样本):

T=Xˉ−YˉSw1n1+1n2T = \frac{\bar{X} - \bar{Y}}{S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}

其中 Sw2S_w^2 是合并方差估计。

4. 方差检验(F 检验):

F=S12S22∼F(n1−1,n2−1)F = \frac{S_1^2}{S_2^2} \sim F(n_1-1, n_2-1)

手算例子

电池标称寿命 500h。抽 9 块检测,得到 xˉ=490\bar{x}=490,s=15s=15。在 α=0.05\alpha=0.05 水平下,是否认为实际寿命低于标称?

H0:μ=500H_0: \mu = 500,H1:μ<500H_1: \mu < 500(单侧) T=490−50015/9=−2.0T = \frac{490 - 500}{15/\sqrt{9}} = -2.0 t0.05(8)≈1.860t_{0.05}(8) \approx 1.860,拒绝域为 T<−1.860T < -1.860 −2.0<−1.860-2.0 < -1.860 → 拒绝 H0H_0。有显著证据表明寿命低于标称。

工程应用

  • A/B 测试 → 两个版本转化率的双样本比例检验
  • 传感器校准 → 检验测量值与真值是否存在系统偏差
  • 产品质量控制 → 检验抽样数据是否符合规格
  • 无人机仿真验证 → 仿真轨迹与实测轨迹的均值差异 t 检验

核心公式速查卡

类别 公式 关键词
条件概率 P(A∥B)=P(AB)/P(B)P(A\|B) = P(AB)/P(B) 缩小样本空间
全概率 P(A)=∑P(Bi)P(A∥Bi)P(A) = \sum P(B_i)P(A\|B_i) 路径求和
贝叶斯 P(Bi∥A)=P(Bi)P(A∥Bi)∑P(Bj)P(A∥Bj)P(B_i\|A) = \frac{P(B_i)P(A\|B_i)}{\sum P(B_j)P(A\|B_j)} 先验→后验
二项分布 P(X=k)=Cnkpk(1−p)n−kP(X=k)=C_n^k p^k(1-p)^{n-k} nn次试验,pp不变
正态分布 f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} 统计基石
期望 E(X)=∑xkpkE(X)=\sum x_kp_k 或 ∫xf(x)dx\int x f(x)dx 概率加权平均
方差 D(X)=E(X2)−(EX)2D(X)=E(X^2)-(EX)^2 离散程度
协方差 Cov(X,Y)=E(XY)−E(X)E(Y)\text{Cov}(X,Y)=E(XY)-E(X)E(Y) 相关方向
大数定律 Xˉn→Pμ\bar{X}_n \stackrel{P}{\to} \mu 样本均值收敛
中心极限 ∑Xi−nμnσ→dN(0,1)\frac{\sum X_i-n\mu}{\sqrt{n}\sigma} \stackrel{d}{\to} N(0,1) 近似正态
MLE θ^=arg⁡max⁡∏f(xi;θ)\hat{\theta} = \arg\max \prod f(x_i;\theta) 参数估计核心
置信区间 Xˉ±tα/2(n−1)⋅S/n\bar{X} \pm t_{\alpha/2}(n-1) \cdot S/\sqrt{n} σ\sigma 未知时
t 检验 T=Xˉ−μ0S/nT = \frac{\bar{X}-\mu_0}{S/\sqrt{n}} 均值假设检验

推荐学习路线

  1. 先看四、六章(随机变量 + 抽样分布)→ 建立概率分布和统计量的直觉
  2. 再看一、七章(基本概念 + 参数估计)→ 贝叶斯和 MLE 是 AI 的数学根基
  3. 最后攻克八章(假设检验)→ 理解 p 值、α\alpha 和两类错误的含义即可,计算有软件代劳
  4. 通过工程应用学数学:每学一个分布,问问它解决什么实际问题

延伸学习

  • 贝叶斯方法 → 《Probabilistic Robotics》(Thrun 等),里面卡尔曼滤波是用概率论全推导的
  • MLE 的直观理解 → 3Blue1Brown 的神经网络系列(损失函数 = 负对数似然)
  • 蒙特卡洛 → 动手写一个 Pi 的蒙特卡洛估计(抛豆子入圆),5 行 Python

参考文献

  1. 盛骤, 谢式千, 潘承毅. 《概率论与数理统计》(第五版). 高等教育出版社, 2019.
  2. 费勒 (Feller). 《概率论及其应用》. 人民邮电出版社. 经典中的经典,适合想深入的人.
  3. Thrun S, Burgard W, Fox D. Probabilistic Robotics. MIT Press, 2005. 卡尔曼滤波和粒子滤波的概率论推导.
  4. MacKay D J C. Information Theory, Inference, and Learning Algorithms. Cambridge, 2003. 贝叶斯方法的经典教材,免费下载.