Badge

本文目标:让没有任何微积分基础的读者,从零开始系统掌握微积分的核心概念——极限、导数、积分、微分方程的定义、性质、几何意义和历史背景,并理解它们如何应用于无人机飞控、光线追踪、深度学习等AI技术中。全文采用”概念→定义→性质→几何意义→计算方法→应用”的六步教学法,配合大量手算例子和工程实例。


第一部分:基础篇

一、微积分是什么——一个关于”变化”和”累积”的故事

1.1 微积分回答的两个核心问题

微积分(Calculus)只做两件事:

问题 分支 通俗理解 例子
变化的速率是多少? 微分学 求”瞬间变化率” 无人机此时的速度是多大?
累积的总量是多少? 积分学 求”累积总和” 无人机飞了多远?

这两个问题是互逆的——微分和积分互为逆运算,这就是微积分最核心的定理:微积分基本定理

历史:微积分的创立是数学史上最重大的事件之一。17世纪,两位科学家几乎同时独立地创立了微积分:

  • 艾萨克·牛顿(Isaac Newton,1643-1727):英国物理学家和数学家。他于1665-1666年(”奇迹年”)创立了”流数术”(fluxions),用于研究运动和引力。但他直到1687年的《自然哲学的数学原理》才公开发表。
  • 戈特弗里德·莱布尼茨(Gottfried Leibniz,1646-1716):德国数学家。他于1684年发表了世界上第一篇微积分论文《一种求极大值和极小值的新方法》,比牛顿早三年。我们今天使用的记号 dy/dxdy/dx\int 都是莱布尼茨发明的。

两位科学家的优先权之争持续了数十年,但今天公认两人是独立发明的。现代微积分的基础是19世纪由柯西(Cauchy)和魏尔斯特拉斯(Weierstrass)用极限理论严格化的。

1.2 一个直观的引入——无人机的运动

假设一架无人机在飞行,时间是 tt 秒,位置是 s(t)s(t) 米。

问题1:在 t=5t=5 秒的那一刻,无人机的速度是多少?

  • 不能简单地用”路程÷时间”,因为那算的是平均速度
  • 需要知道瞬间速度——这就是导数

问题2:在 001010 秒间,无人机飞了多远?

  • 如果速度在变化,不能用”速度×时间”
  • 需要将时间分割为无穷多小段,每段内速度近似不变,然后加起来——这就是积分

二、极限——微积分的基石

2.1 极限的直观理解

定义:极限描述的是:当一个变量无限接近某个值时,另一个变量会无限接近什么值。

历史:极限的思想可以追溯到古希腊的穷竭法(阿基米德,公元前3世纪)。但严格的极限定义直到19世纪才建立:

  • 1821年,法国数学家柯西(Augustin-Louis Cauchy)在《分析教程》中给出了极限的初步定义
  • 1850年代,德国数学家魏尔斯特拉斯(Karl Weierstrass)给出了现代使用的 ϵ\epsilon-δ\delta 极限定义,彻底消除了微积分中的”无穷小”含糊性

通俗理解:极限就像”永远逼近但可能永远达不到”——你离目标越来越近,误差可以任意小。

2.2 极限的数学定义

通俗定义

limxaf(x)=L\lim_{x \to a} f(x) = L

读作:”当 xx 趋近于 aa 时,f(x)f(x) 的极限是 LL“。

含义:当 xx 无限接近 aa(但不等于 aa)时,f(x)f(x) 无限接近 LL

严格的 ϵ\epsilon-δ\delta 定义(魏尔斯特拉斯)

对于任意给定的 ϵ>0\epsilon > 0,总存在一个 δ>0\delta > 0,使得当 0<xa<δ0 < |x - a| < \delta 时,有 f(x)L<ϵ|f(x) - L| < \epsilon

2.3 几个直观例子

例1limx2(3x+1)=?\lim_{x \to 2} (3x + 1) = ?

  • x=1.9x=1.9 时,3x+1=6.73x+1=6.7
  • x=1.99x=1.99 时,3x+1=6.973x+1=6.97
  • x=1.999x=1.999 时,3x+1=6.9973x+1=6.997
  • 显然趋近于 77,所以 limx2(3x+1)=7\lim_{x \to 2} (3x+1) = 7

例2limx0sinxx=1\lim_{x \to 0} \frac{\sin x}{x} = 1
这个极限是学习微积分遇到的第一个”意外结果”,它在信号处理、光波衍射中频繁出现。

例3limx01x\lim_{x \to 0} \frac{1}{x} — 不存在(因为趋近于无穷大)

2.4 极限的性质

性质 公式 含义
加法 lim(f+g)=limf+limg\lim(f+g) = \lim f + \lim g 和的极限等于极限的和
减法 lim(fg)=limflimg\lim(f-g) = \lim f - \lim g 差的极限等于极限的差
乘法 lim(fg)=limflimg\lim(f \cdot g) = \lim f \cdot \lim g 积的极限等于极限的积
除法 limfg=limflimg\lim\frac{f}{g} = \frac{\lim f}{\lim g} 商的极限等于极限的商(分母不为0)
常数倍 lim(cf)=climf\lim(c \cdot f) = c \cdot \lim f 常数可以提到极限外面

2.5 极限在深度学习中的一次出现

神经网络训练中的学习率衰减策略:

η(t)=limtη011+αt=0\eta(t) = \lim_{t \to \infty} \eta_0 \cdot \frac{1}{1 + \alpha t} = 0

学习率随训练步数增加而衰减到0,使模型在训练后期精细调整参数。


三、导数——变化的瞬间速率

3.1 导数的定义

定义:函数 f(x)f(x)x=ax=a 处的导数,记作 f(a)f'(a)dfdx(a)\frac{df}{dx}(a),定义为:

f(a)=limh0f(a+h)f(a)h f'(a) = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h}

几何意义:导数就是函数图像在 x=ax=a 处的切线斜率

物理意义:位置对时间的导数就是速度,速度对时间的导数就是加速度

历史:导数的概念由牛顿(流数)和莱布尼茨(微商)分别独立创立。但”导数”这个名称和记号 dydx\frac{dy}{dx} 来自莱布尼茨,他认为导数就是两个无穷小量的商。”导数”(derivative)一词由拉格朗日在1797年引入。

3.2 一个完整的手算例子

f(x)=x2f(x) = x^2x=2x=2 处的导数:

f(2)=limh0(2+h)222h=limh04+4h+h24h=limh04h+h2h=limh0(4+h)=4 \begin{aligned} f'(2) &= \lim_{h \to 0} \frac{(2+h)^2 - 2^2}{h} \\ &= \lim_{h \to 0} \frac{4 + 4h + h^2 - 4}{h} \\ &= \lim_{h \to 0} \frac{4h + h^2}{h} \\ &= \lim_{h \to 0} (4 + h) = 4 \end{aligned}

解释y=x2y=x^2x=2x=2 处的切线斜率为4,意味着在这一点,xx 增加1个单位,yy 大约增加4个单位。

3.3 常用函数的导数公式表

函数 导数 例子
常数 cc 0 f(x)=5f(x)=0f(x)=5 \Rightarrow f'(x)=0
xnx^n nxn1nx^{n-1} f(x)=x3f(x)=3x2f(x)=x^3 \Rightarrow f'(x)=3x^2
sinx\sin x cosx\cos x
cosx\cos x sinx-\sin x
exe^x exe^x (自身的导数等于自身)
lnx\ln x 1/x1/x
axa^x axlnaa^x \ln a f(x)=2xf(x)=2xln2f(x)=2^x \Rightarrow f'(x)=2^x \ln 2

3.4 导数的运算法则

法则 公式 助记
加法 (f+g)=f+g(f+g)' = f' + g' 各求各的导,然后相加
乘法 (fg)=fg+fg(fg)' = f'g + fg' “前导后不导 + 前不导后导”
除法 (fg)=fgfgg2(\frac{f}{g})' = \frac{f'g - fg'}{g^2} “上导下不导减上不导下导,除以分母平方”
链式法则 (f(g(x)))=f(g(x))g(x)(f(g(x)))' = f'(g(x)) \cdot g'(x) “外层导×内层导”

链式法则(最重要!) 是深度学习的数学基础。神经网络就是一层层的函数复合,反向传播就是反复应用链式法则。

链式法则的手算例子
h(x)=(3x+1)2h(x) = (3x+1)^2 的导数。
g(x)=3x+1g(x)=3x+1f(u)=u2f(u)=u^2
h(x)=f(g(x))g(x)=2(3x+1)3=6(3x+1)h'(x) = f'(g(x)) \cdot g'(x) = 2(3x+1) \cdot 3 = 6(3x+1)

3.5 偏导数——多变量函数的导数

定义:当一个函数有多个变量时(如 f(x,y)f(x,y)),对其中一个变量求导,将其他变量视为常数,称为偏导数。

fx(x,y)=limh0f(x+h,y)f(x,y)h \frac{\partial f}{\partial x}(x,y) = \lim_{h \to 0} \frac{f(x+h, y) - f(x,y)}{h}

记号:偏导数用 \partial(读作”偏”或”partial”)表示,而不是 dd

例子f(x,y)=x2y+3y2f(x,y) = x^2y + 3y^2

  • xx 求偏导:fx=2xy\frac{\partial f}{\partial x} = 2xy(将 yy 视为常数)
  • yy 求偏导:fy=x2+6y\frac{\partial f}{\partial y} = x^2 + 6y(将 xx 视为常数)

梯度:将一个函数对所有变量的偏导数组成向量,称为梯度:

f=[fx1,fx2,,fxn]T \nabla f = \left[\frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \ldots, \frac{\partial f}{\partial x_n}\right]^T

梯度指向函数上升最快的方向,它的相反方向(负梯度)指向下降最快的方向——这就是梯度下降法的数学基础。

3.6 导数在无人机中的第一次出现

加速度计输出:无人机IMU中的加速度计测量的是加速度,但我们要的是速度和位置

加速度 a(t)=dvdt速度 v(t)=a(t)dt \text{加速度 } a(t) = \frac{dv}{dt} \quad\Longrightarrow\quad \text{速度 } v(t) = \int a(t) dt

角速度陀螺仪:陀螺仪测量的是角速度,但姿态需要的是角度

角速度 ω(t)=dθdt姿态角 θ(t)=ω(t)dt \text{角速度 } \omega(t) = \frac{d\theta}{dt} \quad\Longrightarrow\quad \text{姿态角 } \theta(t) = \int \omega(t) dt

历史注记:IMU中的”积分”概念直接来自牛顿和莱布尼茨的微积分——每时每刻的角速度(导数)累积得到当前姿态(原函数)。这正是微积分基本定理的物理实现。


第二部分:积分篇

四、积分——累积的总和

4.1 积分的定义

定积分的定义(黎曼积分):

abf(x)dx=limni=1nf(xi)Δx \int_a^b f(x) dx = \lim_{n \to \infty} \sum_{i=1}^n f(x_i^*)\Delta x

通俗理解:将区间 [a,b][a,b] 分成 nn 个小区间,每个小区间用矩形近似,然后将所有矩形面积相加。当区间数无限增加时,这个和的极限就是定积分。

几何意义:定积分 abf(x)dx\int_a^b f(x)dx 等于函数曲线与 xx 轴之间的”有向面积”(xx 轴上方为正,下方为负)。

历史:积分的概念可以追溯到古希腊的阿基米德(Archimedes,公元前287-212年),他用”穷竭法”计算抛物线弓形的面积,这是积分思想的雏形。17世纪,开普勒、卡瓦列里、费马等数学家拓展了积分方法。但现代积分的最终形式由:

  • 牛顿:将积分视为”流数”的逆运算
  • 莱布尼茨:发明了 \int 符号(拉长的S,表示Sum求和)
  • 柯西(1823):给出了定积分的严格定义
  • 黎曼(1854):给出了今天教科书上使用的黎曼积分定义

4.2 微积分基本定理——连接微分和积分

定理(牛顿-莱布尼茨公式):

如果 F(x)=f(x)F'(x) = f(x)(即 FFff 的原函数),则:

abf(x)dx=F(b)F(a) \int_a^b f(x) dx = F(b) - F(a)

这个定理的伟大之处:它将看似完全不同的两个概念——变化率(导数)和累积和(积分)——联系在了一起。计算积分不必再通过”无限求和”的繁琐过程,只需要找到原函数然后做减法。

历史:牛顿和莱布尼茨分别独立发现了这个定理。牛顿在1666年的手稿中已有表述,而莱布尼茨在1693年发表了这个定理。英国数学家巴罗(Isaac Barrow,牛顿的老师)在1669年已经认识到微分和积分的互逆关系,但没有明确提出这个定理。

4.3 常用积分公式表

导数公式 对应的积分公式
ddx(xn+1)=(n+1)xn\frac{d}{dx}(x^{n+1}) = (n+1)x^n xndx=xn+1n+1+C\int x^n dx = \frac{x^{n+1}}{n+1} + C
ddx(sinx)=cosx\frac{d}{dx}(\sin x) = \cos x cosxdx=sinx+C\int \cos x dx = \sin x + C
ddx(cosx)=sinx\frac{d}{dx}(-\cos x) = \sin x sinxdx=cosx+C\int \sin x dx = -\cos x + C
ddx(ex)=ex\frac{d}{dx}(e^x) = e^x exdx=ex+C\int e^x dx = e^x + C
ddx(lnx)=1x\frac{d}{dx}(\ln x) = \frac{1}{x} 1xdx=lnx+C\int \frac{1}{x} dx = \ln|x| + C

其中 CC 是积分常数——因为常数求导为0,所以原函数可以相差任意常数。

4.4 完整的定积分计算例子

计算 02x2dx\int_0^2 x^2 dx

  • 找到原函数:F(x)=x33F(x) = \frac{x^3}{3}(因为 ddxx33=x2\frac{d}{dx}\frac{x^3}{3} = x^2
  • 代入上下限:
02x2dx=F(2)F(0)=233033=83 \int_0^2 x^2 dx = F(2) - F(0) = \frac{2^3}{3} - \frac{0^3}{3} = \frac{8}{3}

几何验证y=x2y=x^2x=0x=0x=2x=2 下方的面积是 832.667\frac{8}{3} \approx 2.667

4.5 积分在工程中的应用

应用 微分(测量) 积分(计算)
位置-速度-加速度 加速度计 a(t)a(t) v(t)=a(t)dtv(t) = \int a(t)dt, s(t)=v(t)dts(t) = \int v(t)dt
电流-电量 电流 I(t)I(t) 电量 Q=I(t)dtQ = \int I(t)dt
热量-温度变化 加热速率 P(t)P(t) 热量 H=P(t)dtH = \int P(t)dt
概率密度-概率 PDF f(x)f(x) 概率 P(aXb)=abf(x)dxP(a\leq X\leq b) = \int_a^b f(x)dx

第三部分:核心应用篇

五、微分方程——描述变化规律的数学语言

5.1 微分方程的定义

定义:包含未知函数及其导数的方程称为微分方程。

最简单的例子:牛顿冷却定律

dTdt=k(TTenv) \frac{dT}{dt} = -k(T - T_{\text{env}})

含义:物体的温度变化率与温度差成正比。

历史:微分方程的起源与微积分本身一样早。

  • 1671年,牛顿在他的著作中将许多物理问题表述为微分方程
  • 1690年代,雅各布·伯努利(Jacob Bernoulli)和约翰·伯努利(Johann Bernoulli)兄弟系统研究微分方程
  • 18世纪,欧拉、丹尼尔·伯努利、拉普拉斯等数学家将微分方程应用于物理、力学和天文学

5.2 无人机飞行动力学中的微分方程

六自由度运动方程就是一组微分方程:

力的方程

mdvdt=Faero+Fgravity+Fthrust m\frac{d\mathbf{v}}{dt} = \mathbf{F}_{\text{aero}} + \mathbf{F}_{\text{gravity}} + \mathbf{F}_{\text{thrust}}

含义:质量 × 加速度(速度的导数)= 所有力的和

力矩方程

Idωdt=τaero+τcontrol I\frac{d\boldsymbol{\omega}}{dt} = \boldsymbol{\tau}_{\text{aero}} + \boldsymbol{\tau}_{\text{control}}

含义:惯性张量 × 角加速度(角速度的导数)= 所有力矩的和

姿态的方程

ddt[ϕθψ]=[1sinϕtanθcosϕtanθ0cosϕsinϕ0sinϕ/cosθcosϕ/cosθ][pqr] \frac{d}{dt} \begin{bmatrix} \phi \\ \theta \\ \psi \end{bmatrix} = \begin{bmatrix} 1 & \sin\phi\tan\theta & \cos\phi\tan\theta \\ 0 & \cos\phi & -\sin\phi \\ 0 & \sin\phi/\cos\theta & \cos\phi/\cos\theta \end{bmatrix} \begin{bmatrix} p \\ q \\ r \end{bmatrix}

含义:欧拉角的变化率(左)由当前姿态和角速度(右)共同决定。

这些微分方程的意义:只要知道当前的状态(位置、速度、姿态、角速度)和控制输入(油门、舵面偏角),就可以通过求解微分方程预测无人机未来的状态——这就是仿真的数学基础。

5.3 如何求解微分方程——数值方法

绝大多数微分方程没有解析解(写不出公式),所以工程中都用数值方法近似求解。

欧拉方法——最简单的数值解法:

xn+1=xn+Δtf(xn,tn) x_{n+1} = x_n + \Delta t \cdot f(x_n, t_n)

其中 f(x,t)=dxdtf(x,t) = \frac{dx}{dt}Δt\Delta t 是时间步长。

从零开始的例子
假设 v(t)v(t) 是无人机速度,加速度 a=9.8m/s2a = 9.8 \text{m/s}^2Δt=0.1s\Delta t = 0.1\text{s},初速度 v0=0v_0 = 0

计算前3步:

  • 第0步:v0=0v_0 = 0
  • 第1步:v1=0+0.1×9.8=0.98m/sv_1 = 0 + 0.1 \times 9.8 = 0.98 \text{m/s}
  • 第2步:v2=0.98+0.1×9.8=1.96m/sv_2 = 0.98 + 0.1 \times 9.8 = 1.96 \text{m/s}
  • 第3步:v3=1.96+0.1×9.8=2.94m/sv_3 = 1.96 + 0.1 \times 9.8 = 2.94 \text{m/s}

更精确的方法:四阶龙格-库塔法(Runge-Kutta 4, RK4)——这是PX4固件和Gazebo仿真中使用的标准方法,精度远高于欧拉法。


六、梯度与优化——深度学习的学习算法

6.1 梯度下降法

定义:梯度下降是机器学习中最核心的优化算法。它利用一阶导数(梯度)信息,沿着函数下降最快的方向更新参数:

θn+1=θnηL(θn) \theta_{n+1} = \theta_n - \eta \nabla L(\theta_n)

其中:

  • θ\theta 是模型的参数(权重)
  • η\eta 是学习率(步长)
  • L\nabla L 是损失函数对参数的梯度

几何理解:想象你站在一座山上(损失函数曲面),目标是下到山谷(找到最小值)。你环顾四周,找到最陡的下降方向,然后迈一步。重复这个过程——这就是梯度下降。

历史:梯度下降法由柯西在1847年首次提出,但当时没有计算机,只能用于小规模问题。2010年代,随着深度学习的兴起,梯度下降成为训练神经网络的核心算法。2014年,Kingma和Ba提出的Adam优化器结合了动量法和自适应学习率,是目前最广泛使用的变体。

6.2 反向传播——链式法则的工程奇迹

反向传播(Backpropagation)是训练神经网络的方法,其数学本质就是反复应用链式法则

以一个3层神经网络为例

L=Loss(f3(f2(f1(x)))) L = \text{Loss}(f_3(f_2(f_1(x))))

要求 LW1\frac{\partial L}{\partial W_1}(第1层的权重梯度):

LW1=Lf3f3f2f2f1f1W1 \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial f_3} \cdot \frac{\partial f_3}{\partial f_2} \cdot \frac{\partial f_2}{\partial f_1} \cdot \frac{\partial f_1}{\partial W_1}

从输出层开始,逐层向前求导——这就是”反向”传播名称的由来。

一个极小但完整的例子

假设 f(x)=wx+bf(x) = wx + b(线性层),损失 L=12(ypredytrue)2L = \frac{1}{2}(y_{\text{pred}} - y_{\text{true}})^2

给定 x=2,ytrue=5,w=1,b=0x=2, y_{\text{true}}=5, w=1, b=0

  1. 前向传播:ypred=1×2+0=2y_{\text{pred}} = 1 \times 2 + 0 = 2L=12(25)2=4.5L = \frac{1}{2}(2-5)^2 = 4.5
  2. 反向传播:
    • Lypred=ypredytrue=25=3\frac{\partial L}{\partial y_{\text{pred}}} = y_{\text{pred}} - y_{\text{true}} = 2-5 = -3
    • ypredw=x=2\frac{\partial y_{\text{pred}}}{\partial w} = x = 2
    • Lw=Lypredypredw=3×2=6\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial w} = -3 \times 2 = -6
  3. 更新参数:wnew=wη(6)=w+6ηw_{\text{new}} = w - \eta \cdot (-6) = w + 6\eta

这就是YOLO、端到端自动驾驶、所有神经网络训练的数学本质——链式法则 × 梯度下降

6.3 导数在光线追踪中的应用

光线追踪中的重要性采样需要从概率分布中采样方向。而概率分布的累积分布函数(CDF)的反函数的导数决定采样密度。

微表面BRDF模型中的几何项 GG 涉及对入射角和出射角的导数——这些导数决定了材质在光线追踪中的表现。


七、微积分知识体系总览

7.1 完整概念地图

1
2
3
4
5
6
7
8
9
10
11
极限 (极限的ε-δ定义)

导数 (瞬间变化率) ←────→ 积分 (累积和)
↓ ↓
导数公式 积分公式
↓ ↓
链式法则 微积分基本定理 (连接两者)

偏导数 → 梯度 → 梯度下降法 → 深度学习训练

微分方程 → 数值解法 → 物理仿真/无人机飞控

7.2 各概念在AI/无人机中的出现频率

概念 🛩️飞行动力学 🎨光线追踪 🤖YOLO 🔗端到端
极限 ⭐⭐⭐
导数 ⭐⭐⭐ ⭐⭐⭐ ⭐⭐ ⭐⭐⭐
偏导数 ⭐⭐ ⭐⭐ ⭐⭐⭐ ⭐⭐⭐
梯度 ⭐⭐ ⭐⭐⭐ ⭐⭐⭐
链式法则 ⭐⭐⭐ ⭐⭐⭐
积分 ⭐⭐⭐ ⭐⭐⭐
微分方程 ⭐⭐⭐ ⭐⭐
数值积分 ⭐⭐⭐ ⭐⭐ ⭐⭐
梯度下降 ⭐⭐⭐ ⭐⭐⭐

7.3 给自学者的推荐阅读顺序

  1. 先理解极限(第2章)——微积分的基础,但不必陷在 ϵ\epsilon-δ\delta
  2. 再理解导数(第3章)——理解”瞬间变化率”的几何意义
  3. 理解积分(第4章)——理解”累积和”的几何意义
  4. 理解微积分基本定理(第4.2节)——微积分的精髓
  5. 学习微分方程(第5章)——看它如何描述真实世界
  6. 最后理解反向传播(第6.2节)——理解深度学习为什么能工作

推荐资源

  • 3Blue1Brown《微积分的本质》(YouTube系列)——最好的可视化教程
  • Gilbert Strang《微积分》(MIT 18.01)——经典教材
  • James Stewart《微积分》(Calculus)——最全面的入门教材
  • Khan Academy 微积分——免费、循序渐进

7.4 核心公式速查卡

公式 含义
f(a)=limh0f(a+h)f(a)hf'(a) = \lim_{h\to0}\frac{f(a+h)-f(a)}{h} 导数的定义
ddxxn=nxn1\frac{d}{dx}x^n = nx^{n-1} 幂函数求导
ddx[f(g(x))]=f(g(x))g(x)\frac{d}{dx}[f(g(x))] = f'(g(x))g'(x) 链式法则(深度学习的数学基础)
abf(x)dx=F(b)F(a)\int_a^b f(x)dx = F(b) - F(a) 微积分基本定理
θn+1=θnηL(θn)\theta_{n+1} = \theta_n - \eta\nabla L(\theta_n) 梯度下降法
dvdt=1mF\frac{d\mathbf{v}}{dt} = \frac{1}{m}\sum\mathbf{F} 牛顿第二定律(微分方程形式)
f=[f/x1,,f/xn]T\nabla f = [\partial f/\partial x_1, \ldots, \partial f/\partial x_n]^T 梯度(指向最陡上升方向)

参考文献与推荐资源

  1. Stewart, J. (2015). Calculus: Early Transcendentals. 8th ed., Cengage Learning. — 全球使用最广的微积分教材
  2. Strang, G. (2017). Calculus. 2nd ed., Wellesley-Cambridge Press. — MIT教授的经典之作
  3. 3Blue1Brown. Essence of Calculus (YouTube系列). — 最好的微积分可视化教程
  4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. Chapter 4-6. — 深度学习的数值计算基础
  5. Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR. — Adam优化器的原始论文
  6. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323, 533-536. — 反向传播算法的原始论文
  7. Burden, R. L., & Faires, J. D. (2010). Numerical Analysis. 9th ed., Brooks/Cole. — 数值微分与数值积分
  8. Stevens, B. L., Lewis, F. L., & Johnson, E. N. (2015). Aircraft Control and Simulation. 3rd ed., Wiley. — 飞行动力学中的微分方程应用