Badge

适用教材:盛骤、谢式千、潘承毅主编,《概率论与数理统计》(第五版),高等教育出版社。这是考研数学一指定参考书,与同济高数、同济线代组成”考研数学三件套”。本文按八章速查,配关键几何图解和手算例子。


一、概率论的基本概念

概念理解

概率论回答一个根本问题:在不确定中,我们能知道什么?

抛一枚硬币,你不知道下一次是正面还是反面——但你知道抛1000次,大约500次正面。概率论就是把这种”大约”精确化的语言。

核心定义

样本空间 Ω\Omega:随机试验所有可能结果的集合。

事件Ω\Omega 的子集。事件 AA 发生 = 试验结果落在 AA 中。

概率的公理化定义(柯尔莫哥洛夫,1933):

  1. 非负性:P(A)0P(A) \ge 0
  2. 规范性:P(Ω)=1P(\Omega) = 1
  3. 可列可加性:互不相容事件的概率 = 各自概率之和

关键性质

条件概率:已知 BB 发生的条件下,AA 发生的概率

P(AB)=P(AB)P(B)P(A|B) = \frac{P(AB)}{P(B)}

乘法公式P(AB)=P(B)P(AB)=P(A)P(BA)P(AB) = P(B)P(A|B) = P(A)P(B|A)

全概率公式:若 B1,,BnB_1,\ldots,B_n 构成完备事件组(互不相容且并集为 Ω\Omega),则

P(A)=i=1nP(Bi)P(ABi)P(A) = \sum_{i=1}^{n} P(B_i)P(A|B_i)

全概率公式的本质:把复杂事件拆成”路径”——所有路径概率之和就是总概率。

贝叶斯公式(本文的核心——从结果反推原因):

P(BiA)=P(Bi)P(ABi)j=1nP(Bj)P(ABj)P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n}P(B_j)P(A|B_j)}
  • P(Bi)P(B_i) = 先验概率(在看到数据前的信念)
  • P(ABi)P(A|B_i) = 似然(在假设 BiB_i 下观测到 AA 的可能性)
  • P(BiA)P(B_i|A) = 后验概率(结合数据后的更新信念)

贝叶斯公式示意图

独立性P(AB)=P(A)P(B)P(AB) = P(A)P(B)。直观:知道 AA 发生与否,不影响 BB 的概率。

手算例子

箱子 A 有 3 红球 2 白球,箱子 B 有 1 红球 4 白球。随机选一个箱子,抽到红球的概率?

全概率:P()=P(A)P(A)+P(B)P(B)=1235+1215=25P(\text{红}) = P(A)P(\text{红}|A) + P(B)P(\text{红}|B) = \frac{1}{2} \cdot \frac{3}{5} + \frac{1}{2} \cdot \frac{1}{5} = \frac{2}{5}

假如抽到了红球,这球来自箱子 A 的概率?

贝叶斯:P(A)=P(A)P(A)P()=123525=34P(A|\text{红}) = \dfrac{P(A)P(\text{红}|A)}{P(\text{红})} = \dfrac{\frac{1}{2}\cdot\frac{3}{5}}{\frac{2}{5}} = \frac{3}{4}

工程应用

  • 卡尔曼滤波:先验(运动模型)→ 似然(传感器观测)→ 后验(状态估计),就是贝叶斯递归
  • 垃圾邮件分类:P(垃圾包含"赚钱")=P(垃圾)P(包含"赚钱"垃圾)P(包含"赚钱")P(\text{垃圾}|\text{包含"赚钱"}) = \frac{P(\text{垃圾})P(\text{包含"赚钱"}|\text{垃圾})}{P(\text{包含"赚钱"})}

二、随机变量及其分布

概念理解

随机变量就是把随机结果映射成数字。它有两个核心角色:

  • 分布函数(CDF)F(x)=P(Xx)F(x) = P(X \le x):描述”X 不超过 x”的概率
  • 概率密度(PDF)f(x)f(x):连续型随机变量的”概率浓度”——不是某点的概率,而是宽度趋近零时的比例

PDF与CDF关系

核心定义

类型 概率质量/密度 分布函数
离散型 P(X=xk)=pkP(X = x_k) = p_k F(x)=xkxpkF(x) = \sum_{x_k \le x} p_k
连续型 密度 f(x)0f(x) \ge 0+f(x)dx=1\int_{-\infty}^{+\infty}f(x)dx = 1 F(x)=xf(t)dtF(x) = \int_{-\infty}^{x} f(t)dt

重要关系f(x)=F(x)f(x) = F'(x)(几乎处处)。CDF 的斜率就是 PDF。

六大必知分布公式

1. 二项分布 B(n,p)B(n, p)——n 次独立试验,每次成功概率 p

P(X=k)=Cnkpk(1p)nk,k=0,1,,nP(X=k) = C_n^k p^k (1-p)^{n-k}, \quad k=0,1,\ldots,n EX=np,DX=np(1p)EX = np, \quad DX = np(1-p)

2. 泊松分布 Π(λ)\Pi(\lambda)——描述单位时间内随机事件发生次数

P(X=k)=λkk!eλ,k=0,1,2,P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda}, \quad k=0,1,2,\ldots EX=λ,DX=λEX = \lambda, \quad DX = \lambda

泊松定理nn 很大、pp 很小时,二项分布近似泊松分布(λ=np\lambda = np)。

3. 指数分布 E(λ)E(\lambda)——描述等待时间(无记忆性)

f(x)=λeλx,x0f(x) = \lambda e^{-\lambda x}, \quad x \ge 0 F(x)=1eλx,EX=1λ,DX=1λ2F(x) = 1 - e^{-\lambda x}, \quad EX = \frac{1}{\lambda}, \quad DX = \frac{1}{\lambda^2}

4. 均匀分布 U(a,b)U(a, b)

f(x)=1ba,axbf(x) = \frac{1}{b-a}, \quad a \le x \le b EX=a+b2,DX=(ba)212EX = \frac{a+b}{2}, \quad DX = \frac{(b-a)^2}{12}

5. 正态分布 N(μ,σ2)N(\mu, \sigma^2)——整个统计学的基石

f(x)=12πσe(xμ)22σ2f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} EX=μ,DX=σ2EX = \mu, \quad DX = \sigma^2

标准化Z=XμσN(0,1)Z = \frac{X-\mu}{\sigma} \sim N(0,1)

3σ3\sigma 原则

  • P(Xμ<σ)68.3%P(|X-\mu| < \sigma) \approx 68.3\%
  • P(Xμ<2σ)95.4%P(|X-\mu| < 2\sigma) \approx 95.4\%
  • P(Xμ<3σ)99.7%P(|X-\mu| < 3\sigma) \approx 99.7\%

这就是工程上”±3σ 几乎包含所有数据点”的数学依据。

6. χ2\chi^2 分布——kk 个独立标准正态变量的平方和

Y=Z12+Z22++Zk2χ2(k)Y = Z_1^2 + Z_2^2 + \cdots + Z_k^2 \sim \chi^2(k) kk 叫自由度。E[χ2(k)]=kE[\chi^2(k)] = kD[χ2(k)]=2kD[\chi^2(k)] = 2k

手算例子

某工厂产品寿命服从 λ=0.001\lambda = 0.001 的指数分布。求寿命超过 1000 小时的概率。

P(X>1000)=1F(1000)=1(1e0.001×1000)=e10.368P(X > 1000) = 1 - F(1000) = 1 - (1 - e^{-0.001 \times 1000}) = e^{-1} \approx 0.368

工程应用

  • 二项分布 → 投篮命中率、次品率检验
  • 泊松分布 → 客服电话呼入量、粒子放射性衰变、目标出现计数
  • 指数分布 → 电子元件寿命建模、无人机故障间隔时间(MTBF)
  • 正态分布 → 测量误差、传感器噪声、3DGS 相机姿态不确定性
  • 对数正态 → 雷达散射截面(RCS)建模

三、多维随机变量及其分布

概念理解

现实中很少有独立的量。无人机的位置和速度高度耦合——位置的变化依赖于速度,速度的变化依赖于加速度。多维随机变量描述的就是这种联合不确定性

核心定义

联合分布函数F(x,y)=P(Xx,Yy)F(x, y) = P(X \le x, Y \le y)

联合密度f(x,y)f(x, y),满足

F(x,y)=xyf(u,v)dudvF(x, y) = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) \, du \, dv P((X,Y)D)=Df(x,y)dxdyP((X,Y) \in D) = \iint_D f(x, y) \, dx \, dy

边缘分布:单独看 XXYY

fX(x)=+f(x,y)dyf_X(x) = \int_{-\infty}^{+\infty} f(x, y) \, dy fY(y)=+f(x,y)dxf_Y(y) = \int_{-\infty}^{+\infty} f(x, y) \, dx

条件分布:已知 Y=yY=yXX 的分布

fXY(xy)=f(x,y)fY(y)f_{X|Y}(x|y) = \frac{f(x, y)}{f_Y(y)}

关键性质

协方差:度量两个变量”同方向变化”的程度

Cov(X,Y)=E[(XEX)(YEY)]=E(XY)E(X)E(Y)\text{Cov}(X, Y) = E[(X-EX)(Y-EY)] = E(XY) - E(X)E(Y)
  • 正 → X 大时 Y 也偏大
  • 负 → X 大时 Y 偏小
  • 零 → 不相关(但不一定独立!)

相关系数:标准化后的协方差

ρXY=Cov(X,Y)DXDY,ρ1\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}, \quad |\rho| \le 1

手算例子

(X,Y)(X,Y) 在单位圆 x2+y21x^2+y^2 \le 1 上均匀分布,求边缘密度。

联合密度:f(x,y)=1πf(x,y) = \frac{1}{\pi}(面积=1/ππ=11/\pi \cdot \pi = 1 ✓)

边缘密度:fX(x)=1x21x21πdy=2π1x2,x1f_X(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi} dy = \frac{2}{\pi}\sqrt{1-x^2}, \quad |x| \le 1

注意:边缘不是均匀的——虽然联合是均匀的!

工程应用

  • 卡尔曼滤波的协方差矩阵 PP 就是多维协方差的对角/非对角块
  • 独立成分分析(ICA):从混合信号中分离独立成分,基于非高斯性和独立性
  • 目标跟踪:位置和速度的联合分布决定关联门的大小

四、随机变量的数字特征

概念理解

分布(PDF/CDF)是完全信息,但通常太复杂。数字特征是用一两个数概括整体分布——就像用平均分概括全班成绩。

核心定义

数学期望:加权平均(”概率加权”)

离散:E(X)=kxkpkE(X) = \sum_k x_k p_k

连续:E(X)=+xf(x)dxE(X) = \int_{-\infty}^{+\infty} x f(x) dx

方差:偏离均值的”平均平方”

D(X)=E[(XEX)2]=E(X2)(EX)2D(X) = E[(X-EX)^2] = E(X^2) - (EX)^2

标准差 σ=D(X)\sigma = \sqrt{D(X)},和原始量纲相同。

切比雪夫不等式:不管分布长什么样,”偏离的极限”是确定的

P(Xμε)σ2ε2P(|X-\mu| \ge \varepsilon) \le \frac{\sigma^2}{\varepsilon^2}

这是大数定律的数学基础。

:一般化的数字特征

  • kk 阶原点矩:E(Xk)E(X^k)(期望 = 一阶原点矩)
  • kk 阶中心矩:E[(XEX)k]E[(X-EX)^k](方差 = 二阶中心矩)
  • 偏度 = 三阶中心矩 / σ3\sigma^3:分布的不对称性
  • 峰度 = 四阶中心矩 / σ43\sigma^4 - 3:尾部厚度

关键性质

期望的线性性E(aX+bY)=aE(X)+bE(Y)E(aX + bY) = aE(X) + bE(Y)(永远成立,不管是否独立)

独立时E(XY)=E(X)E(Y)E(XY) = E(X)E(Y)D(X+Y)=D(X)+D(Y)D(X+Y) = D(X) + D(Y)

卷积公式:独立随机变量和的密度 = 各自密度的卷积

fX+Y(z)=+fX(x)fY(zx)dxf_{X+Y}(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) \, dx

手算例子

XU(0,1)X \sim U(0,1),求期望和方差。
E(X)=01x1dx=12E(X) = \int_0^1 x \cdot 1 \, dx = \frac{1}{2} E(X2)=01x21dx=13E(X^2) = \int_0^1 x^2 \cdot 1 \, dx = \frac{1}{3} D(X)=E(X2)[E(X)]2=1314=112D(X) = E(X^2) - [E(X)]^2 = \frac{1}{3} - \frac{1}{4} = \frac{1}{12}

工程应用

  • 协方差矩阵 → 卡尔曼滤波的状态不确定性表征
  • 期望 → 蒙特卡洛积分、强化学习的值函数
  • 方差 → 仿真结果的置信度评估、投资组合风险

五、大数定律与中心极限定理

概念理解

这两条定理是整个统计推断的基石:

  • 大数定律:样本均值收敛到总体均值(你猜得够多,就会猜对)
  • 中心极限定理:独立随机变量之和近似正态分布(不管原始分布长什么样)

核心定义

辛钦大数定律(弱大数):X1,,XnX_1,\ldots,X_n 独立同分布且期望 μ\mu 存在,则

Xˉn=1ni=1nXiPμ\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \stackrel{P}{\longrightarrow} \mu

符号 P\stackrel{P}{\longrightarrow} 表示”依概率收敛”——随着 nn 增大,偏离的概率趋于零。

Lindeberg-Lévy 中心极限定理:独立同分布的 XiX_i,期望 μ\mu,方差 σ2>0\sigma^2 > 0,则

i=1nXinμnσdN(0,1)\frac{\sum_{i=1}^n X_i - n\mu}{\sqrt{n}\sigma} \stackrel{d}{\longrightarrow} N(0, 1)

等价形式:

Xˉn近似N(μ,σ2n)\bar{X}_n \stackrel{\text{近似}}{\sim} N\left(\mu, \frac{\sigma^2}{n}\right)

关键洞察:样本均值的方差是总体方差的 1/n1/n——这就是为什么样本量翻倍,精度提高 2\sqrt{2} 倍而非 2 倍。

手算例子

抛硬币 60 次,正面概率 0.5。求正面次数在 25~35 之间的概率。

XB(60,0.5)X \sim B(60, 0.5),用正态近似(中心极限): μ=np=30\mu = np = 30σ2=np(1p)=15\sigma^2 = np(1-p) = 15 P(25X35)Φ(35.53015)Φ(24.53015)P(25 \le X \le 35) \approx \Phi\left(\frac{35.5 - 30}{\sqrt{15}}\right) - \Phi\left(\frac{24.5 - 30}{\sqrt{15}}\right) Φ(1.42)Φ(1.42)0.9220.078=0.844\approx \Phi(1.42) - \Phi(-1.42) \approx 0.922 - 0.078 = 0.844

工程应用

  • 蒙特卡洛仿真nn 次试验,精度 1/n\propto 1/\sqrt{n}——这就是为什么从100次到10000次只提高10倍精度
  • A/B 测试:均值差异的显著性检验,底层是中心极限定理
  • 传感器融合:多个独立传感器的平均,精度随传感器数量增加而提高

六、样本及抽样分布

概念理解

前面五章是概率论——已知分布,预测结果。从第六章起是数理统计——已知结果,推断分布。概率论和数理统计互为逆问题:

概率论:分布 → 数据

数理统计:数据 → 分布

核心定义

总体:研究对象的全体。样本:从总体中抽出的部分个体。

统计量:样本的函数(不含未知参数),比如样本均值 Xˉ\bar{X}、样本方差 S2S^2

三大抽样分布——假设检验和置信区间的计算都依赖它们:

(1)χ2\chi^2 分布X1,,XnN(0,1)X_1,\ldots,X_n \sim N(0,1) 独立,则

i=1nXi2χ2(n)\sum_{i=1}^n X_i^2 \sim \chi^2(n) E[χ2(n)]=n,D[χ2(n)]=2nE[\chi^2(n)] = n, \quad D[\chi^2(n)] = 2n

(2)tt 分布(学生氏分布):XN(0,1)X \sim N(0,1)Yχ2(n)Y \sim \chi^2(n) 独立,则

T=XY/nt(n)T = \frac{X}{\sqrt{Y/n}} \sim t(n) nn 增大时 tt 分布趋近标准正态——n30n \ge 30 时可用正态近似。

(3)FF 分布Xχ2(n1)X \sim \chi^2(n_1)Yχ2(n2)Y \sim \chi^2(n_2) 独立,则

F=X/n1Y/n2F(n1,n2)F = \frac{X/n_1}{Y/n_2} \sim F(n_1, n_2)

用于比较两个方差是否相等(方差分析)。

关键事实——正态总体下的结论

X1,,XnX_1,\ldots,X_n 是来自 N(μ,σ2)N(\mu, \sigma^2) 的样本,则:

  1. XˉN(μ,σ2n)\bar{X} \sim N(\mu, \frac{\sigma^2}{n})
  2. (n1)S2σ2χ2(n1)\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)
  3. Xˉ\bar{X}S2S^2 独立(正态分布独有的神奇性质)
  4. XˉμS/nt(n1)\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)σ\sigma 未知时用 SS 代替 → t 分布)

工程应用

  • t 检验 → 小样本均值比较(< 30 样本)
  • F 检验 → 方差分析(多个总体均值比较)、回归显著性
  • χ2\chi^2 检验 → 拟合优度检验、列联表的独立性检验

七、参数估计

概念理解

已知总体分布的类型(比如知道是正态),但参数 θ\theta 未知。怎么用样本估计 θ\theta

两个流派:

  • 点估计:给一个数(比如 μ^=xˉ\hat{\mu} = \bar{x}
  • 区间估计:给一个区间和置信度(比如 μ\mu 的 95% 置信区间)

核心方法

矩估计法:用样本矩替代总体矩,解出参数。

比如 XU(0,θ)X \sim U(0, \theta)E(X)=θ/2E(X) = \theta/2θ^=2Xˉ\hat{\theta} = 2\bar{X}

最大似然估计(MLE)——整个统计学的核心方法:

L(θ)=i=1nf(xi;θ)L(\theta) = \prod_{i=1}^n f(x_i; \theta) θ^MLE=argmaxθL(θ) \hat{\theta}_{\text{MLE}} = \arg\max_\theta L(\theta)

直觉:选那个”在这些参数下,观测到的数据最可能发生”的 θ\theta

评价标准

  • 无偏性E(θ^)=θE(\hat{\theta}) = \theta——平均来说估计对的
  • 有效性:方差越小越好(达到克拉美-罗下界最优)
  • 相合性:样本越大估计越准(θ^nPθ\hat{\theta}_n \stackrel{P}{\longrightarrow} \theta

关键事实Xˉ\bar{X}μ\mu 的无偏估计,S2S^2σ2\sigma^2 的无偏估计(注意分母是 n1n-1 而非 nn)。

区间估计

σ2\sigma^2 已知μ\mu 的置信区间(1α1-\alpha 置信度):

Xˉ±zα/2σn\bar{X} \pm z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}

σ2\sigma^2 未知,用 tt 分布(这才是绝大多数实际情况):

Xˉ±tα/2(n1)Sn\bar{X} \pm t_{\alpha/2}(n-1) \cdot \frac{S}{\sqrt{n}}

手算例子

测某无人机电机功率 5 次:210, 208, 212, 209, 211 W。假定服从正态分布,求平均功率的 95% 置信区间。

xˉ=210\bar{x} = 210s=2.51.581s = \sqrt{2.5} \approx 1.581n=5n=5 t0.025(4)2.776t_{0.025}(4) \approx 2.776

区间:210±2.776×1.5815210±1.963=[208.04,211.96]210 \pm 2.776 \times \frac{1.581}{\sqrt{5}} \approx 210 \pm 1.963 = [208.04, 211.96]

工程应用

  • MLE → 深度学习损失函数的设计原理(交叉熵 = 分类的负对数似然)
  • 置信区间 → 仿真预估精度(”落点误差 < 5m 概率 > 95%”)
  • 偏差-方差分解 → 机器学习泛化误差的数学公式

八、假设检验

概念理解

假设检验是反证法:先假设你想推翻的东西为真(原假设 H0H_0),然后看数据有多不配合。如果数据在 H0H_0 下”太离谱”,就拒绝 H0H_0

假设检验拒绝域

核心定义

两类错误

接受 H0H_0 拒绝 H0H_0
H0H_0 为真 第一类错误α\alpha
H0H_0 为假 第二类错误β\beta
  • α\alpha = 显著性水平(你允许"冤枉好人"的概率上限,通常 0.05)
  • 1β1-\beta = 检验功效("抓出坏人"的能力)
  • α\alphaβ\beta 不能同时减小(样本量固定时),需要 trade-off

p 值:在 H0H_0 为真的假设下,观测到”当前结果或更极端”的概率。

决策规则:p < α\alpha → 拒绝 H0H_0;p \ge α\alpha → 不拒绝 H0H_0

注意:”不拒绝 H0H_0“ ≠ “接受了 H0H_0“!统计结论永远用保守措辞。

常见检验流程

1. 三步走:设 H0H_0H1H_1 → 选检验统计量和拒绝域 → 计算 p 值,做决策

2. 单正态总体均值的 t 检验σ\sigma 未知,最常用):

T=Xˉμ0S/nt(n1)T = \frac{\bar{X} - \mu_0}{S/\sqrt{n}} \sim t(n-1)

3. 双正态总体均值比较的 t 检验(两独立样本):

T=XˉYˉSw1n1+1n2T = \frac{\bar{X} - \bar{Y}}{S_w \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}

其中 Sw2S_w^2 是合并方差估计。

4. 方差检验(F 检验)

F=S12S22F(n11,n21)F = \frac{S_1^2}{S_2^2} \sim F(n_1-1, n_2-1)

手算例子

电池标称寿命 500h。抽 9 块检测,得到 xˉ=490\bar{x}=490s=15s=15。在 α=0.05\alpha=0.05 水平下,是否认为实际寿命低于标称?

H0:μ=500H_0: \mu = 500H1:μ<500H_1: \mu < 500(单侧) T=49050015/9=2.0T = \frac{490 - 500}{15/\sqrt{9}} = -2.0 t0.05(8)1.860t_{0.05}(8) \approx 1.860,拒绝域为 T<1.860T < -1.860 2.0<1.860-2.0 < -1.860 → 拒绝 H0H_0。有显著证据表明寿命低于标称。

工程应用

  • A/B 测试 → 两个版本转化率的双样本比例检验
  • 传感器校准 → 检验测量值与真值是否存在系统偏差
  • 产品质量控制 → 检验抽样数据是否符合规格
  • 无人机仿真验证 → 仿真轨迹与实测轨迹的均值差异 t 检验

核心公式速查卡

类别 公式 关键词
条件概率 P(AB)=P(AB)/P(B)P(A\|B) = P(AB)/P(B) 缩小样本空间
全概率 P(A)=P(Bi)P(ABi)P(A) = \sum P(B_i)P(A\|B_i) 路径求和
贝叶斯 P(BiA)=P(Bi)P(ABi)P(Bj)P(ABj)P(B_i\|A) = \frac{P(B_i)P(A\|B_i)}{\sum P(B_j)P(A\|B_j)} 先验→后验
二项分布 P(X=k)=Cnkpk(1p)nkP(X=k)=C_n^k p^k(1-p)^{n-k} nn次试验,pp不变
正态分布 f(x)=12πσe(xμ)22σ2f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} 统计基石
期望 E(X)=xkpkE(X)=\sum x_kp_kxf(x)dx\int x f(x)dx 概率加权平均
方差 D(X)=E(X2)(EX)2D(X)=E(X^2)-(EX)^2 离散程度
协方差 Cov(X,Y)=E(XY)E(X)E(Y)\text{Cov}(X,Y)=E(XY)-E(X)E(Y) 相关方向
大数定律 XˉnPμ\bar{X}_n \stackrel{P}{\to} \mu 样本均值收敛
中心极限 XinμnσdN(0,1)\frac{\sum X_i-n\mu}{\sqrt{n}\sigma} \stackrel{d}{\to} N(0,1) 近似正态
MLE θ^=argmaxf(xi;θ)\hat{\theta} = \arg\max \prod f(x_i;\theta) 参数估计核心
置信区间 Xˉ±tα/2(n1)S/n\bar{X} \pm t_{\alpha/2}(n-1) \cdot S/\sqrt{n} σ\sigma 未知时
t 检验 T=Xˉμ0S/nT = \frac{\bar{X}-\mu_0}{S/\sqrt{n}} 均值假设检验

推荐学习路线

  1. 先看四、六章(随机变量 + 抽样分布)→ 建立概率分布和统计量的直觉
  2. 再看一、七章(基本概念 + 参数估计)→ 贝叶斯和 MLE 是 AI 的数学根基
  3. 最后攻克八章(假设检验)→ 理解 p 值、α\alpha 和两类错误的含义即可,计算有软件代劳
  4. 通过工程应用学数学:每学一个分布,问问它解决什么实际问题

延伸学习

  • 贝叶斯方法 → 《Probabilistic Robotics》(Thrun 等),里面卡尔曼滤波是用概率论全推导的
  • MLE 的直观理解 → 3Blue1Brown 的神经网络系列(损失函数 = 负对数似然)
  • 蒙特卡洛 → 动手写一个 Pi 的蒙特卡洛估计(抛豆子入圆),5 行 Python

参考文献

  1. 盛骤, 谢式千, 潘承毅. 《概率论与数理统计》(第五版). 高等教育出版社, 2019.
  2. 费勒 (Feller). 《概率论及其应用》. 人民邮电出版社. 经典中的经典,适合想深入的人.
  3. Thrun S, Burgard W, Fox D. Probabilistic Robotics. MIT Press, 2005. 卡尔曼滤波和粒子滤波的概率论推导.
  4. MacKay D J C. Information Theory, Inference, and Learning Algorithms. Cambridge, 2003. 贝叶斯方法的经典教材,免费下载.