机器学习_一元函数微积分(1)

---

写在前面，本系列主要是对下面这本书做的学习笔记

常用数学符号的 LaTeX 表示方法

Markdown 常用数学符号和公式

极限与连续

极限是微积分中最基本的概念，也是理解导数与积分等概念的基础。

可数集和不可数集

初等数学已经对元素数有限的集合进行的系统系统阐述，对无限集有些概念和规则不再适用，即使是常用的自然数集$\mathbb {N}$和实数集$\mathbb {R}$其性质，也需要重新定义

基数或势

集合$A$的元素数量称为其基数或势，记为$|A|$，对于集合$A=\{1,3,5,7\}$，其基数为$|A|=4$

基数为有限值的集合称为有限集；基数为无限值的集合称为无限集

对于两个有限集，如果集合$A$是集合$B$的真子集，即$A \subset B$，则有$|A| < |B|$，而无限集的基数为$+\infty$，因此不能直接使用这个规则进行基数比较

考虑正整数集$\mathbb {N}^+$，令集合$A_1$为所有正奇数组成的集合，集合$A_2$为所有正偶数组成的集合。因此有

$$\mathbb {N}^+=A_1 \cup A_2 \\ A_1 \subset \mathbb {N}^+ \\ A_2 \subset \mathbb {N}^+$$

但这并不意味着$|A_2| < \mathbb {N}^+$

双射函数

对于集合$A$和$B$，如果集合$A$的任意元素$a$，在集合$B$都有唯一的元素$b$通过某种映射关系与之对应，即存在如下的双射函数(一对一映射函数)

$$b=f(a) \qquad a \in A, b \in B$$

则称这两个集合的基数相等

【1】正整数集与正偶数集的基数相等，因为它们的元素之间存在如下的双射关系

$$i \rightarrow 2i \qquad i \in \mathbb {N}, 2i \in A_2$$

【2】集合$A_1$和集合$A_2$的基数也相等，因为

$$i \rightarrow i+1 \qquad i \in A_1, i+1 \in A_2$$

【3】集合$A=(0,1)$与整个实数集合$\mathbb {R}$等势，因为集合$D$实数集合$\mathbb {R}$的元素间存在如下的双射函数

$$f(x)=tan(\pi(x-\frac{1}{2}))$$

此函数可以将区间$(0,1)$拉升至$(-\infty,+\infty)$，且存在反函数

图 集合A到实数集的映射

【4】区间$[0,\frac{\pi}{2}]$与区间$[0,1]$是等价的，因为存在双射函数

$$f=sin(x) \qquad x \in [0, \frac{\pi}{2}]$$

反过来实数$\mathbb {R}$与区间$(0,1)$也是等价的，因为存在双射函数

$$f=\frac{1}{1+e^{-x}} \qquad x \in \mathbb {R}$$

此函数称为logistic函数或sigmoid函数，有着优良的性质，在机器学习与深度学习中被广泛使用。

可数集和不可数集

无限集，可进一步分为可数集与不可数集，可数集中的每个元素可以用正整数进行编号，即与正整数等势

正整数是可数集，它的每个元素可以写成$a_n=2n,n=1,\dots,+\infty$

可数集定义：如果存在从正整数集$\mathbb {N}$到集合$A$的双射关系$f:\mathbb {N}^{+} \rightarrow A$，则集合$A$是可数的

1. 整数集是可数的，因为存在双射函数$abs(x)$，将其映射到正整数集

2. 有理数集也是可数集，因为所有的有理数都可以写成两个整数相除的形式$\frac{p}{q}(q \neq 0)$

整数集和有理数集，这里的离散和可数等价，任何可数集在数轴上的”长度”为0。

不可数集：无理数、实数集$\mathbb {R}$和长度不为0的实数区间都是不可数的，其中的元素是连续的，它们在数轴上是稠密的或者说连续的，如$\sqrt {2}$，圆周率$\pi$以及以自然对数底数$e$都是无理数，不可数集在数轴上的”长度”不为0。

可数和不可数的概念将用于定积分中函数的可积性，以及概率论中的离散型和连续型随机变量等概念中

数列的极限

极限概念与定义

数列极限

数列的极限反映了当数列元素下标趋向于$+\infty$时数列项取值的趋势

数列极限定义: 对于数列$\{ a_n \}$以及某一实数$a$，如果对于任意给定的$\epsilon$都存在正整数$N$，使得对于任意满足$n \gt N$的$n$都有下面的不等式成立

$$|a_n - a| \lt \epsilon \tag{1}$$

则称此数列${a_n}$的极限为$a$，或称其收敛于$a$，数列的极限记为$\lim _{n \rightarrow +\infty }{a_n}$

直观解释: 当$n$增加时数列的值$a_n$无限趋近于$a$，可接近到任意指定的程度，由$\epsilon$控制，当数列的极限不存在，则称该数列发散，如果数列的极限存在，则其值必唯一

证明数列极限存在且为某一值的方法是证明公式(1)成立

并非所有的数列都存在极限

1. 数列$\{sin(n \pi + \frac{\pi}{2})\}$，当$n \rightarrow + \infty$时，数列的值在-1与1之间振荡
2. 数列$\{n\}$，当$n \rightarrow + \infty$时，数列的值趋向于$+ \infty$，极限也不存在

数列极限的四则运算

$$\lim_{n \rightarrow + \infty}{a_n \pm b_n} = \lim_{n \rightarrow + \infty}{a_n} \pm \lim_{n \rightarrow + \infty}{b_n} \\ \lim_{n \rightarrow + \infty}{a_n . b_n} = \lim_{n \rightarrow + \infty}{a_n} . \lim_{n \rightarrow + \infty}{b_n} \\ \lim_{n \rightarrow + \infty}{\frac {a_n}{b_n}} = \frac {\lim_{n \rightarrow + \infty}}{\lim_{n \rightarrow + \infty}}$$

计算极限$\lim_{n \rightarrow + \infty}{(1 + \frac {1}{n})(2 + \frac {1}{n^2})}$，根据数列极限的四则运算有

$$\lim_{n \rightarrow + \infty}{(1 + \frac {1}{n})(2 + \frac {1}{n^2})} = \lim_{n \rightarrow + \infty}{(1 + \frac {1}{n})} . \lim_{n \rightarrow + \infty}{(2 + \frac {1}{n^2})} = 1 \times 2 = 2$$

极限存在判定法则

• 单调收敛定理
• 夹逼定理

数列上界和下界

• 上界: 对于数列$a_n$，如果它的任意元素都满足$a_n \leq U$，则称$U$为数列的上界，上界不唯一
• 下界: 对于数列$a_n$，如果它的任意元素都满足$a_n \geq U$，则称$U$为数列的下界

单调收敛定理: 如果数列单调递增且存在上界，则极限存在，如果数列单调递减且有下界，则极限存在，即单调有界的数列收敛

根据单调收敛定理，可以得到微积分中一个重要极限，对于数列$a_n=\{ {(1+ \frac{1}{n})}^{n} \}$的极限为

$$\lim _{n \rightarrow + \infty}{(1+ \frac{1}{n})}^{n} = e$$

图 单调有界的数列收敛

其中$e$为自然对数的底数，约为$2.71828$，是数学中最重要的常数之一

证明: 证明数列有界和单调递增，收敛于$e$

数列$\{ (1- \frac{1}{n})^{n} \}$的极限为$\lim _{n \rightarrow +\infty}{(1- \frac{1}{n})^{n}}= \lim _{n \rightarrow +\infty}{\frac{1}{(1+ \frac{1}{n})^{n}}} \times \lim _{n \rightarrow +\infty}\frac{1}{1+ \frac{1}{n-1}}= \frac{1}{e}$

这个极限可以用来表示对$n$个样本进行$n$次有放回等概率抽样，当样本量趋于无穷大时，每个样本一次都没被抽中的概率

单调有界是数列收敛的充分条件而非必要条件

图 不满足单调有界条件但收敛的数列

夹逼定理: 如果对于$\forall n \in \mathbb {N}$有$b_n \leq a_n \leq c_n$且$\lim _{n \rightarrow +\infty}{b_n}=\lim _{n \rightarrow +\infty}{c_n}=c$，则有$\lim _{n \rightarrow +\infty}{a_n}=c$，这一结论称为夹逼定理

如果数列无界，则必定发散，有界是数列收敛的必要条件而非充分条件，如数列$\{ (-1)^{n} \}$有界但不收敛

函数的极限

函数极限的严格定义由法国数学家柯西给出: 即当前广泛使用的$\epsilon \mbox{-} s $定义

领域: 点$x_0$的$\delta$领域是指满足不等式$|x-x_0| \lt \delta$的所有$x$构成的集合，即区间$(x_0 - \delta,x_0 + \delta)$，$\delta$称为领域的半径

去心领域: 去心$\delta$领域是指满足上式且去掉点$x_0$的点构成的集合$(x_0 - \delta,x_0) \cup (x_0,x_0 + \delta)$

函数极限: 对于函数$f(x)$，如果对于任意的$\epsilon \gt 0$，均存在$x_0$的$\delta$去心领域，使得去心领域内所有的$x$都有

$$|f(x)-a| \lt \epsilon \tag{1}$$

则称函数在$x_0$点处的极限为$a$，函数在$x_0$点处的极限记为

$$\lim {x \rightarrow +\infty}{f(x)}$$

直观解释: 当自变量$x$的值无限接近于$x_0$时，函数值$f(x)$无限接近于$a$

• 即在$(x_0 - \delta,x_0) \cup (x_0,x_0 + \delta)$内的函数值都在$(a- \epsilon, a+ \epsilon)$区间内

证明函数极限的方法和数列类似，核心是证明在区新领域内使得公式(1)$|f(x)-a| \lt \epsilon$成立

左右极限

一维数轴上有两个方向，变量$x$可以从左侧趋近于$x_0$，也可以从右侧趋近于$x_0$
因此函数的极限分为左极限和右极限，左极限和右极限分别记为

$$\lim _{x \rightarrow x_0^{-}}{f(x)}=a \qquad \qquad \qquad \lim _{x \rightarrow x_0^{+}}{f(x)}=a$$

夹逼定理

假设$I$是包含点$a$的区间，$f$、$g$、$h$为定义在该区间上的函数，如果对所有属于$I$但不等于点$a$的点$x$都有$g(x) \leq f(x) \leq h(x)$，且

$$\lim _{x \rightarrow a}{g(x)} = \lim _{x \rightarrow a}{h(x)} = a$$

则有$\lim _{x \rightarrow a}{f(x)} = a$，这一结论称为夹逼定理

几个重要极限

• $$\lim _{x \rightarrow 0}{\frac{sin(x)}{x}}=1$$
• $$\lim _{x \rightarrow +\infty}{(\frac{1}{1+x})^{x}}=e$$
• $$\lim _{x \rightarrow +\infty}{xln(1+\frac{1}{x})}=1$$
• $$\lim _{x \rightarrow 0}{\frac{e^x-1}{x}}=1$$
  • 令$e^x-1=t$，则$x=ln(1+t)$，因此有 $$\lim _{x \rightarrow 0}{\frac{e^x-1}{x}}=\lim _{t \rightarrow 0}{\frac{t}{ln(1+t)}}=1$$ 因为有 $$\lim_{x \rightarrow 0}{\frac{(1+x)^a-1}{x}} = \lim_{x \rightarrow 0}{\frac{e^{aln(1+x)}-1}{x}} = \lim_{x \rightarrow 0}{\frac{e^{an(1+x)}-1}{aln(1+x)} . \frac{alx(1+x)}{x}} = a$$ 最后可以得到 $$\lim_{x \rightarrow 0}{\frac{(1+x)^a-1}{x}} = a$$

函数的连续性与间断点

连续性

函数的连续型通过极限定义，是最基本的性质之一

函数连续的直观表现: 如果自变量的改变很小，则因变量的改变也非常小，函数值不会突然发生跳跃

函数连续的定义

如果函数$f(x)$满足$\lim _{x \rightarrow a}{f(x)} = f(a)$，则称它在$a$点处连续

几何解释

函数连续在该点处的函数曲线没有”断”

连续的重要性质

1. 基本初等函数在其定义域内是连续的，包括多项式函数、有理分式函数、指数函数、对数函数、三角函数、反三角函数
2. 绝对值函数在其定义域内也是连续的
3. 由基本初等函数经过有限次四则运算和复合而形成的函数，在其定义域内连续，这样的函数被称为初等函数
4. 如果函数$f(x)$和$g(x)$在定义域内连续，则复合函数$f(g(x))$在定义域内连续

• 第一类间断点
• 第二类间断点

跳跃间断点

跳跃间断点: 函数在$x_0$处的左极限和右极限都存在，但不相等

$$f(x_{0}^{-}) \neq f(x_{0}^{+})$$

例子: 其中$x=1$为跳跃间断点

$$f(x) = \left \{ \begin{aligned} x^2, \qquad x \neq 1 \\ x^2+1, \qquad x=1 \end{aligned} \right.$$

图 跳跃间断点

可去间断点

可去间断点: 或者左右极限相等，但不等于该点处的函数值

$$f(x_{0}^{-}) = f(x_{0}^{+}) = f(x_{0})$$

例子: 其中$x=1$为可去间断点

$$f(x) = \left \{ \begin{aligned} x^2, \qquad x \neq 1 \\ 2, \qquad x=1 \end{aligned} \right.$$

函数在$x_0$点处的左极限和右极限至少有一个不存在

例子: 正切函数$f(x)=tan(x)$，在$x=\frac{k \pi}{2},k=1,2,3, \dots$处极限值不存在，为第二类间断点

图 正切函数的第二类间断点

例子: 反比例函数$f(x)=\frac{1}{x}$，$x=0$为函数的第二类间断点，在该点处函数的极限不存在

图 反比例函数的第二类间断点

连续函数的性质

连续函数具有很多优良的性质

1. 闭区间$[a,b]$上的连续函数$f(x)$一定存在极大值$M$和极小值$m$，使得对于该区间任意的$x$有$m \leq f(x) \leq M$
2. 开区间上的连续函数则不能保证存在极大值和极小值，如反比例函数

介值定理

介值定理： 如果函数$f(x)$在闭区间$[a,b]$内连续，$c$是介于$f(a)$和$f(b)$之间的一个数，则存在$[a,b]$中的某个点$x$，使得$f(x)=c$，考虑下图

图 介值定理

1. 对于区间$[-4,4]$，在左右端点处的函数值分别为$-64$和$64$，对于任意的$-64 \leq c \leq 64$，均存在至少一个点$x \in [-4,4]$，使得$f(x)=c$

2. 如果$c=0$，则曲线必然存在一点$x$使得$f(x)=0$，这就是方程的根，事实上，$x=0$满足此条件

介值定理几何意义

函数$f(x)$在区间$[a,b]$内一定与直线$y=c$至少有一个交点，其中$c$介于$f(a)$和$f(b)$之间
介值定理保证至少存在一点使得$f(x)=c$，满足此条件的$x$可能有多个

连续性假设

机器学习与深度学习算法所使用的绝大多数模型，假设函数$h(c)$是连续函数，以保证输入变化小的变化不至于导致预测值的突变，这称为连续性假设，连续性通常能够保证机器学习算法有更好的泛化性能

上确界与下确界

上确界与下确界可看作是集合最大值与最小值的推广

• 上确界
• 下确界

上确界也称为最小上界，对于$\mathbb {R}$的非空子集$S$，如果该集合中的任意元素$s$均有$s \leq t$，即$t$是集合的一个上界，且$t$满足吃不等是此不等式条件的最小值，则$t$为集合$S$的上确界，记为$sup(S)$

如果满足此条件的$t$不存在，则称为集合的上确界为$+\infty$，如果集合的上确界存在，则必定唯一

如果集合$S$的元素存在最大值，则最大值为其上确界，如闭区间$[0,1]$的上确界为1

集合可能不存在最大值，如开区间$(0,1)$，其上确界为$1$，但不是集合的最大值

例子:

1. 集合$\{1,2,3,4\}$是有限集，其上确界为集合元素的最大值，其值为$4$
2. 集合$\frac{n}{n+1}$是无限可数集，并且该数列单调递增，其上确界为数列的极限$\lim _{n \rightarrow +\infty}{\frac{n}{n+1}} = 1$
3. 集合$\{sin(x),x \in \mathbb {R}\}$是无限不可数集，其上确界为该函数的极大值$1$

充分必要条件

集合存在上确界的充分必要条件是集合有上界，实数集$\mathbb {R}$的任意非空有界子集$D$均存在上确界

下确界: 下确界也称为最大下界，$t$是集合$S$的一个下界，即对$S$中的任意元素$s$，均有$s \geq t$，且$t$是最大的下界，则称$t$为$S$的下确界，记住$inf(S)$

对于闭区间$[0,1]$，下确界为$0$，对于开区间$(0,1)$，其下确界也为$0$

例子:

1. 集合$\frac{n}{n+1}$的下确界为$\frac{1}{2}$，在$n=1$时取得
2. 集合$\{sin(x),x \in \mathbb {R}\}$的下确界为$-1$，是函数的最小值

李普希茨连续

李普希茨连续

李普希茨连续是比连续更强的条件，不但保证了函数值不间断，而且限定了函数的变化速度

给定函数$f(x)$，如果对于区间$D$任意两点$a$、$b$都存在常数$K$使得下面的不等式成立

$$|f(a)-f(b)| \leq K|a-b| \tag{1}$$

则称函数$f(x)$在区间$D$内满足李普希茨条件，也称为李普希茨连续

使得公式(1)成立的最小$K$值称为李普希茨常数，其值与具体的函数有关

如果$K < 1$，则称函数$f(x)$为压缩映射

几何意义

在任意两点$(x_1,f(x_1))$，$(x_2,f(x_2))$处函数割线斜率的绝对值$|\frac{f(x_2)-f(x_1)}{x_2-x_1}|$均不大于$K$

在任一点$x_0$处，曲线$f(x)$均夹在直线$y-f(x_0)=K(x-x_0)$与$y-f(x_0)=-K(x-x_0)$之间，如图所示

图 李普希茨连续性

向右上倾斜的直线与想做上倾斜的直线分别为$y=K(x-x_0)+f(x_0)$与$y=-K(x-x_0)+f(x_0)$

例子

1. 一次函数$f(x)=x$在$\mathbb {R}$内是李普希茨连续，因为对于任意的$a$和$b$都有

   $$|f(a)-f(b)|=|a-b| \leq 1 \times |a-b|$$

   因此该函数李普希茨连续且李普希茨常数为$1$

2. 二次函数$f(x)=x^2$在$\mathbb {R}$内不是李普希茨连续，因为对于$\mathbb {R}$内任意的$a$和$b$都有

   $$|f(a)-f(b)|=|a^2 - b^2| \leq |a-b| \times |a-b|$$

   显然不存在常数$K$使得任意$a$和$b$都满足$|a+b| \leq K$，因此该函数不是李普希茨连续

3. 函数$f(x)=\sqrt{x}$在区间$[1,+\infty)$内李普希茨连续

   • 对于区间$[1,+\infty)$内任意的$a$和$b$都有

     $$|f(a) - f(b)| = |\sqrt(a) - \sqrt(b)| = \frac{1}{\sqrt(a) + \sqrt(b)} \times |a-b| \leq \frac{1}{2}|a-b|$$

   • 区间$[0,1]$内$f(x)=\sqrt{x}$不是李普希茨连续，对于该区间内任意的$a$和$b$都有

     $$|f(a) - f(b)| = |\sqrt(a) - \sqrt(b)| = \frac{1}{\sqrt(a) + \sqrt(b)} \times |a-b|$$

     当$0 <a, b<1$时，不存在常数$K$满足$\frac{1}{|\sqrt(a) + \sqrt(b)|} \leq K$

机器学习中的意义

李普希茨连续要求函数在区间上不能有超过线性的变化速度，对于分析和确保机器学习算法的稳定性有重要的作用

无穷小量

考虑函数极限值为$0$的情况

定义: 如果函数$f(x)$在$x_0$的某去心领域内，有定义且

$$\lim _{x \rightarrow x_0}{f(x)} = 0$$

则称$f(x)$为$x \rightarrow x_0$的无穷小量

虽然它们的极值均为0，但它们之间比值的极限却有几种情况

1. 高阶无穷小: $\lim _{x \rightarrow x_0}{\frac{f(x)}{g(x)}} = 0$，该比值也是无穷小量，例如

   $$\lim _{x \rightarrow x_0}{\frac{x^2}{x}} =\lim _{x \rightarrow x_0}{x} = 0$$

2. 同阶无穷小(等价无穷小): $\lim _{x \rightarrow x_0}{\frac{f(x)}{g(x)}} = c, c \neq 0$，比值的极限为非$0$的有界变量，例如

   $$\lim _{x \rightarrow x_0}{\frac{sin(x)}{x}} = 1 \qquad \qquad \qquad \lim _{x \rightarrow x_0}{\frac{ln(1+x)}{x}} = 1$$

3. 低阶无穷小: $\lim _{x \rightarrow x_0}{\frac{f(x)}{g(x)}} = \infty$，比值的极限为无界变量(称为无穷大量)，例如

   $$\lim _{x \rightarrow x_0}{\frac{x}{x^2}} =\lim _{x \rightarrow x_0}{\frac{1}{x}} = \infty$$

其中高阶无穷小记为$o(.)$，等价无穷小记为$f(x) \sim g(x)$

直观来看这些比值反映了无穷小接近于0时的变化速度快慢

典型的等价无穷小($x \rightarrow 0$)

$$sin(x) \sim x \qquad \qquad arcsin(x) \sim x \qquad \qquad tan(x) \sim x \qquad ln(1+x) \sim x \\\\ e^x-1 \sim x \qquad 1-cos(x) \sim \frac{x^2}{2} \qquad \sqrt[n]{1+x}-1 \sim \frac{x}{n} \qquad a^x-1 \sim xlna$$

等价无穷小在计算极限时起着重要的作用

导数与微分

导数是微分学中的核心概念，它决定了可导函数的基本性质，包括单调性、极值与凹凸性。

在机器学习中，绝大多数算法可以归纳为求解最优化的问题，对于连续型优化问题在求解时一般需要使用导数

一阶导数

定义

导数定义

函数的自变量变化值趋向于$0$时，函数值的变化量与自变量变化量比值的极限，在$x$点处的导数为

$$f'(x) = \lim_{\Delta \rightarrow 0}{\frac{f(x+\Delta x)-f(x)}{\Delta x}} \tag{1}$$

如果式(1)的极限存在，则称函数在点$x$处可导

除了用$f'(x)$表示之外，导数也可写成$\frac{dy}{dx}$，即上面的定义也可以写成另一种形式

$$f'(x)=\lim_{x \rightarrow x_0}{\frac{f(x)-f(x_0)}{x-x_0}} \tag{2}$$

左右导数

类似于极限，导数也可分为左导数和右导数

左导数是从左侧趋向于$x$时的极限

$$f'_{-}{x} = \lim_{\Delta \rightarrow 0_-}{\frac{f(x+\Delta x)-f(x)}{\Delta x}} \tag{1}$$

右导数为自变量从右侧趋向于$x$时的极限

$$f'_{+}{x} = \lim_{\Delta \rightarrow 0_+}{\frac{f(x+\Delta x)-f(x)}{\Delta x}} \tag{1}$$

函数可导的充分必要条件是左右导数均存在且相等，其必要条件是函数连续

如果导数不存在，则称函数不可导

几何和物理意义

几何意义

函数在定义域 内所有点处的导数值构成的函数称为导函数，简称函数

导数的几何意义是函数在点$(x,f(x))$处切线的斜率，反映了函数值在此点处变化的快慢

函数$f(x)=-(x-1)^2$在$x=0.5$处，根据导数的定义有

$$f'(0.5) = \lim _{\Delta x \rightarrow 0}{\frac {f(0.5+\Delta x)-f(0.5)}{\Delta x}} = \lim _{\Delta x \rightarrow 0}{\frac {-(0.5+\Delta x -1)^2+(0.5-1)^2}{\Delta x}} \\ = \lim _{\Delta x \rightarrow 0}{\frac {-\Delta x^2 +\Delta x -0.25 +0.25 }{\Delta x}} = \lim _{\Delta x \rightarrow 0}{(-\Delta x +1)} = 1$$

因此在该点处的切线斜率为$1$，由于切线经过$(0.5,-0.25)$，因此切线的方程为$y+0.25 = 1 \times (x-0.5)$，即$y=x-0.75$，下图为该曲线和对应的切线

图 导数的几何意义

物理意义

导数典型的物理意义是瞬时速度

差分公式

单侧差分公式

如果$\Delta x$的值接近于$0$，则在点$x$处的导数可以用下面的公式近似计算

$$f'(x) \approx \frac {f(x+\Delta x)}{\Delta x}$$

称为单侧差分公式

中心差分公式

根据导数的定义有

$$\lim _{\Delta x \rightarrow 0} {\frac {f(x+\Delta x)+f(x-\Delta x)}{2 \Delta x}} = \lim _{\Delta x \rightarrow 0} {\frac {f(x+\Delta x)+ -f(x) +f(x) - f(x-\Delta x)}{2 \Delta x}} \\ = \lim _{\Delta x \rightarrow 0} {\frac {f(x+\Delta x)-f(x)}{2 \Delta x}} + \lim _{\Delta x \rightarrow 0} {\frac {f(x-\Delta x)-f(x)}{-2 \Delta x}} = \frac {1}{2}f'(x)+\frac {1}{2}f'(x) = f'(x)$$

其中$\Delta x$为接近于$0$的正数，这称为中心差分公式，用于数值计算导数值，因此可用下面的公式近似计算$x$点处的一阶导数值

$$f'(x) =\lim _{\Delta x \rightarrow 0} {\frac {f(x+\Delta x)+f(x-\Delta x)}{2 \Delta x}}$$

基本函数的求导

下表)列出了各种基本初等函数的求导公式

表 基本函数的求导公式

基本函数	求导公式
幂函数	$(x^a)' = ax^{a-1}$
指数函数	$(e^x)' = e^x$
指数函数	$(a^x)' = a^x ln(a)$
三角函数	$(sin \, x)' = cos \, x$
三角函数	$(cos \, x)' = -sin \, x$
三角函数	$(tan \, x)' = sec^{2} \, x$
三角函数	$(cot \, x)' = -csc^{2} \, x$
对数函数	$(ln \, x)' = \frac{1}{x}$
反三角函数	$(arcsin \, x)' = \frac{1}{\sqrt{1-x^2}}$
反三角函数	$(arccos \, x)' = -\frac{1}{\sqrt{1-x^2}}$
反三角函数	$(arctan \, x)' = \frac{1}{1+x^2}$

证明$(sin \, x)'$

四则运算的求导公式

基本运算	求导公式
加法	$(f(x)+g(x))' = f'(x)+g'(x)$
减法	$(f(x)-g(x))' = f'(x)-g'(x)$
数乘	$(cf(x))'=cf'(x)$
乘法	$(f(x)g(x))'=f'(x)g(x)+f(x)g'(x)$
除法	$(\frac {f(x)}{g(x)})'=\frac {f'(x)g(x)-f(x)g'(x)}{g^{2}{(x)}}$
倒数	$(\frac {1}{f(x)}) ' = - \frac {f'(x)}{f^{2}{(x)}}$

机器学习中常用的函数

logistic函数可用作神经网络的激活函数

$$f(x) = ln(1+e^x)$$

softplus函数，可看作是函数Relu即$max(0,x)$的光滑近似，该函数的导数为logistic函数

$$f(x) = ln(1+e^x)$$

函数的导数为：

$$f'(x) = \frac{1}{1+e^x}(1+e^x)' = \frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}$$

Relu函数可用作神经网络的激活函数，在$0$处该函数不可导，在该点处左导数为0，右导数为1

$$f(x) = \left \{ \begin{aligned} x, \qquad x \gt 0 \\ 0, \qquad x \lt 0 \end{aligned} \right.$$

去掉0点，该函数的导数为：

$$f'(x) = \left \{ \begin{aligned} 1, \qquad x \gt 0 \\ 0, \qquad x \lt 0 \end{aligned} \right.$$

绝对值函数，在$0$点处改函数不可导，左导数为-1，右导数为1，去掉该点，此函数的导数为

$$f(x) = |x| = \left \{ \begin{aligned} x, \qquad x \geq 0 \\ -x, \qquad x \lt 0 \end{aligned} \right.$$

绝对值函数常用于构造机器学习算法训练目标函数的正则化项

sgn符号函数，在$0$点处不连续，因此不可导，去掉该点，此函数在所有点处的导数均为0

$$f(x) = \left \{ \begin{aligned} 1, \qquad x \geq 0 \\ -1, \qquad x \lt 0 \end{aligned} \right.$$

符号函数常用于分类器的预测函数，表示二值化的分类结果，在支持向量机、logstic回归中都被使用

如果一个函数所有不可导点的集合为有限集或无限可数集，则称该函数几乎处处可导，本节中的绝对值函数、Relu函数、符号函数均是几乎处处可导的函数，处处可导保证了在训练时能够使用梯度下降法求解函数的极值

高阶导数

定义

对导数连续求导可以得到高阶导数，二阶导数的是一阶导数的导数，记为

$$f''(x) = \frac{d^2{y}}{dx^{2}}$$

n阶导数记为

$$f(n)(x) = \frac{d^n{y}}{dx^{n}}$$

计算$f(x) = x^{m}$的n阶导数

其一阶导数为$f’(x) = mx^{m-1}$，二阶导数为$f’’(x) = m(m-1)x^{m-2}$，以此类推，n阶导数为

$$f^{(n)}{(x)} = m \cdot (m-1) \cdots (m-n+1)x^{m-n}$$

如果$m=n$，则$f^{(n)}(x) = n!$

计算$f(x) = \frac {1}{1-x}$的n阶导数

$$f^{(n)}(x) = n!(1-x)^{-(n+1)}$$

计算$f(x) = ln(1+x)$的n阶导数

$$f^{(n)}(x) = (-1)(-2) \cdots (-(n-1))(1+x)^{-n} = (-1)^{(n-1)}(n-1)!(1+x)^{(-n)}$$

计算$f(x) = e^x$的n阶导数

$$f^{(n)}(x) = e^x$$

计算f(x)= sin(x)的n阶导数

$$f'(x)=cos(x) \qquad f''(x)=sin(x) \qquad f^{(3)}(x)=-cos(x) \qquad f^{(4)}(x)=sin(x)$$

根据此规律有

$$f^{(n)}(x) = sin{(x + \frac {2 \pi}{n})}$$

类似地，对于余弦函数$f(x)=cos(x)$有

$$f^{(n)}(x) = cos{(x + \frac {2 \pi}{n})}$$

二阶导数的物理意义是加速度，如果$f(t)$为位移函数，其二阶导数为$t$时刻的加速度

$$a(t) = f''(t) = v'(t)$$

其中$a(t)$为$t$时刻的加速度，$v(t)$为$t$时刻的速度

在python语言中，sympy库提供了求导的功能

from sympy import *
x = symbols('x')
r = diff(cos(x), x)
print(r)

>>>> -sin(x)

微分

函数$y=f(x)$在某一区间上有定义，对于区间内的点$x_0$，当$x$变为$x_0 + \Delta x$时，如果函数的增量$\Delta y = f(x_0 + \Delta)-f(x_0)$可以表示成

$$\Delta y = A \Delta x + o(\Delta x)$$

其中$A$是不依赖于$\Delta x$的常数，$o(\Delta x)$是$\Delta x$的高阶无穷小，则称函数在$x_0$处可微

$A \Delta x$称为函数在$x_0$处的微分，记为$dy$，即$dy = A \Delta x$，$dy$为$\Delta y$的线性主部

通常把$\Delta x$称为自变量的微分，记为$dx$，如果函数可微，则导数和微分的关系为$dy = f(x)dx$

微分的几何意义是在点$(x_0, f(x_0))$处自变量增加$\Delta x$时切线函数$y = f’(x_0)(x-x_0)+f(x_0)$

举例说明微分的计算，对于函数$y=sin(x^2)$

其导数为$y’ = 2x \cdot cos(x^2)$，于是可以得到其微分为$dy = 2x \cdot cos(x^2) dx$

考虑下复合函数的微分，对于复合函数$z = f(y), y=g(x)$

根据复合函数求导公式有$\frac{dz}{dx}=f’(y)g’(x)$，因此其微分为$dz = f’(y)g’(x)dx$

由于有$dy = g’(x)dx$，因为也可以写成$dz = f’(y)dy$

导数与函数的单调性

导数决定了可导函数的重要性质，包括单调性与极值，是研究函数性质的有力工具，由于导数是函数变化率的极限

因此如果在$x$点处它的值为正，则在该点处自变量增大时函数值也增大，如果为负，则自变量增大时函数值减小

假设函数$f(x)$在区间$[a,b]$内连续，在区间$(a,b)$内可导。如果在$(a,b)$内$f’(x) \gt 0$，则函数在$[a,b]$内单调递增；如果在$(a,b)$内$f’(x) \t 0$，则函数在$[a,b]$内单调递减，可以通过拉格朗日中值定理证明

对于函数$f(x) = x^3 + 4x^2 -10x +1$

其一阶导数为$f’(x) = 3x^2 +8x -10$，方程$f’(x)=0$的根为$x = \frac{-8 \pm \sqrt{64+120}}{6} = \frac{-4 \pm \sqrt{46}}{3}$

• 在区间$(- \infty , \frac{-4-\sqrt{46}}{3} )$内$f’(x) \gt 0$，函数单调递增
• 在区间$(\frac{-4-\sqrt{46}}{3} , \frac{-4+\sqrt{46}}{3} )$内$f’(x) \lt 0$，函数单调递减
• 在区间$(\frac{-4+\sqrt{46}}{3} , +\infty )$内$f’(x) \gt 0$，函数单调递增

因此在$x= \frac{-4-\sqrt{46}}{3}$处函数有极大值，在$ x = \frac{-4+\sqrt{46}}{3}$处函数有极小值，函数的曲线为

利用导数可以证明某些不等式，其思路是证明函数在某一区间内单调，因此在区间的端点处取得极值

证明当$x>0$时不等式$ln(x) \le x-1 $成立

构造函数$f(x) = x-1-ln(x)$，其导数为$f’(x) = 1- \frac{1}{x}$

• 当$x \lt 1$时有$f’(x) \lt 0$，函数单调递减
• 当$x \gt 1$时有$f’(x) \gt 0$，函数单调递增

1是函数的极小值点，且$f(1)=0$，因此不等式成立

极值判别法则

极值定义，这里指的是局部极值

函数$f(x)$在区间$I$内有定义，$x_0$是该区间内的一个点

• 如果存在$x_0$的一个$\delta $领域，对于该领域内任意一点$x$都有$f(x_0) \ge f(x)$，则称$x_0$是该函数的极大值
• 如果领域内任意一点$x$都有$f(x_0) \le f(x)$，则称$x_0$是该函数的极小值

极大值和极小值统称为极值

• 如果存在$x_0$的一个$\delta $领域，对于该领域内任意一点$x$都有$f(x_0) \gt f(x)$，则称$x_0$是该函数的严格极大值
• 如果领域内任意一点$x$都有$f(x_0) \lt f(x)$，则称$x_0$是该函数的严格极小值

• 费马定理下的充分条件
• 二阶导数下的充分条件

费马定理

假设函数$f(x)$在$x_0$点处可导，如果在$x_0$点处取得极值，则定有$f’(x) = 0$，这一结论称为费马定理，它给出了可导函数取极值的一阶必要条件

导数等于0的点称为函数的驻点(Stationary Point)

最优化算法一般通过寻找函数的驻点而求解函数的极值问题，导数为0是函数取得极值的必要条件而非充分条件

下面给出在费马定理下的函数取极值的充分条件，假设函数$f(x)$在$x_0$点的一个领域内可导，且有$f’(x) = 0$，考察在$x_0$去心领域内的函数值符号，有三种情况

1. 在$x_0$的左侧$f’(x) \gt 0$，在$x_0$的右侧$f’(x) \lt 0$，则函数在$x_0$取严格极大值
2. 在$x_0$的左侧$f’(x) \lt 0$，在$x_0$的右侧$f’(x) \gt 0$，则函数在$x_0$取严格极小值
3. 在$x_0$的左侧和右侧$f’(x)$同号，则$x_0$不是极值点

对于第一种情况，函数在$x_0$的左侧单调增，在右侧单递减，因此$x_0$是极大值点；对于第二种情况，函数在$x_0$的左侧单递减，在右侧单递增，因此$x_0$是极小值点；对于第三种情况，函数在$x_0$的两侧均单调增或者单调减，因此$x_0$不是极值点

根据此结论，求函数的极值点的方法首先是求解方程$f’(x)=0$得到函数的所有驻点，然后判断驻点两侧一阶导数值的符号

利用二阶导数的信息给出函数极值的充分条件，假设$x_0$为函数的驻点，且在该点处二阶可导，对于驻点处二阶导数的符号，可分为三种情况

1. $f’’(x) \gt 0$，则$x_0$为函数$f(x)$的严格极小值点
2. $f’’(x) \lt 0$，则$x_0$为函数$f(x)$的严格极大值点
3. $f’’(x) = 0$，则不定，$x_0$可能是极值点也可能不是极值点，需进一步讨论

情况一：如果n是偶数，则$x_0$是极值点，当$f^{(n)}{x_0} \gt 0$是$f(x)$de 严格极小值点，当$f^{(n)}{x_0} \lt 0$是$f(x)$de 严格极大值点

情况二：如果n是技术，则$x_0$不是$f(x)$的极值点

该充分条件可以用泰勒公式证明

例子

• 考虑函数$f(x)=x^2$

  其一阶导数为$f’(x)=2x$，令$f’(x)=0$可以解得其驻点为$x=0$，由于$f’’(x)=2 \gt 0$，该点是函数的极小值点

• 对于函数$f(x) = -x^2$

  其一阶导数为$f’(x) = -2x $，令$f’(x)=0$可以解得其驻点为$x=0$，由于$f’’(x)=-2 \lt 0$，该点是函数的极大值点

• 对于函数$f(x)=x^3$

  其一阶导数为$f’(x)=3x^2$，令$f’(x)=0$可以解得其驻点为$x=0$

  其二阶导数为$f’’(x)=6x$

  其三阶导数为$f^{(3)}(x)=6$

  由于$f’’(0)=0$，$f^{(3)}(0)=6$，因此该点不是极值点

最后一种情况称为鞍点，会导致数值优化算法，如梯度下降无法找到真正的极值点

导数与函数的凹凸性

凹凸性是函数的另一个重要性质，它与单调性共同决定了函数曲线的形状

• 凸函数定义
• 凹函数定义

对于函数$f(x)$在它的定义域内有两点$x$、$y$，如果对于任意的实数$ 0 \le \theta \le 1$都满足如下不等式

$$f(\theta x + (1-\theta)y) \le \theta f(x) + (1-\theta)f(y)$$

即函数为凸函数，从图像上看，如果函数为凸函数，那么它是向下凸的，用直线连接函数上任何两点(即两点的割线)，线段上的点都在函数曲线的上方，如图所示

如果满足不等式

$$f(\theta x + (1-\theta)y) \ge \theta f(x) + (1-\theta)f(y)$$

则称为凹函数，需要强调的是，这里遵循的是欧美国家的定义，与国内某些高等数学教材定义刚好相反

证明凸函数定义

对于$ \forall x,y $以及$ 0 \le \theta \le 1$有

$$f(\theta x + (1-\theta)y) = (\theta x + (1-\theta)y)^2 \\ \theta f(x) + (1-\theta)f(y) = \theta x^2 + (1-\theta)y^2$$

显然有

$$\theta x^2 + (1-\theta)y^2-(\theta x + (1-\theta)y)^2 = \theta(x^2-y^2)+y^2 - (\theta x+(1-\theta)y)^2 \\ = \theta(x+y)(x-y)+(y+\theta x + (1-\theta )y)(y-\theta x - (1-\theta)y) \\ = \theta(x+y)(x-y)+(\theta x+(2-\theta)y)(-\theta x+\theta y) \\ = \theta(x-y)(x+y-\theta x -(2-\theta)y) = \theta(1-\theta)(x-y)(x-y) \ge 0$$

因此有

$$f(\theta x+(1-\theta)y) \le \theta f(x)+(1-\theta)f(y)$$

如果把式中的等号去掉，则称函数式严格凸函数，类似的可以定义严格凹函数

二阶可导函数是凸函数和凹函数的充分必要条件

假设$f(x)$在区间$[a,b]$内连续，在区间$(a,b)$内一阶导数和二阶导数均存在

• 如果在$(a,b)$内$f’’(x) \ge 0$，则称函数在$[a,b]$内为凸函数
• 如果在$(a,b)$内$f’’(x) \le 0$，则称函数在$[a,b]$内为凹函数
• 如果在$(a,b)$内$f’’(x) > 0$，则称函数在$[a,b]$内为严格凸函数
• 如果在$(a,b)$内$f’’(x) < 0$，则称函数在$[a,b]$内为严格凹函数

拐点

函数凹凸性的分界点称为拐点，如果函数二阶可导，则在拐点处有$f’’(x)=0$，且在拐点处两侧二阶导数值异号

对于函数$f(x)=x^3$，其二阶导数为$6x$，$0$点处二阶导数值为$0$，且在$0$点两侧的二阶导数值异号，因此$0$为其拐点

凸函数有良好的的性质，可以保证优化算法找到函数的极小值点