机器学习_一元函数微积分(2)

---

写在前面，本系列主要是对下面这本书做的学习笔记

微分中值定理

微分中值定理建立了导数与函数值之间的关系

• 罗尔中值定理
• 拉格朗日中值定理
• 柯西中值定理

定义

罗尔中值定理(Rolle Mean Value Theorem)是指如果函数$f(x)$在闭区间$[a,b]$内连续，在开区间$(a,b)$内可导，且在区间的两个端点处的值相等，即$f(a)=f(b)$，则在区间$[a,b]$内至少存在一点$\xi$使得$f’(\xi)=0$

举一个罗尔中值定理的示例: $f(x)=sin(x)$，考虑间$[0,\pi]$，有$f(0)=f(\pi)=0$，函数在$x=\frac{\pi}{2}$处有极大值，显然在该点处导数值为$0$

用费马定理证明罗尔中值定理

如果$f(x)$在闭区间$[a,b]$内是常数，则在该区间内任一点处都有$f’(x)=0$

如果不为常数，则必定存在极大值点和极小值点，根据连续函数的性质，极大值和极小值中至少有一个区间$(a,b)$内取得，在该点处有$f’(x)=0$

几何意义

对于区间两个端点处的函数值相等的函数，在区间内至少存在一点的导数值为$0$，该点处的切线与$x$轴平行

定义

拉格朗日中值定理(Lagrange Mean Value Theorem)是指如果函数$f(x)$在闭区间$[a,b]$内连续，在开区间$(a,b)$内可导，则在区间$(a,b)$内至少存在一点$\xi$使得

$$f'(\xi) = \frac{f(b)-f(a)}{b-a}$$

这是罗尔中值定理的推广

证明

构造辅助函数$g(x)=f(x)-\frac{f(b)-f(a)}{b-a}(x-a)$，显然有

$$g(a)=f(a)-\frac{f(b)-f(a)}{b-a}(a-a)=f(a) \\ g(b)=f(b)-\frac{f(b)-f(a)}{b-a}(b-a)=f(a)$$

且$g’(x)=f’(x)-\frac{f(b)-f(a)}{b-a}$，$g(x)$满足罗尔中值定理

因此在$(a,b)$内至少存在一点$\xi$使得$g’(\xi)=f’(\xi)-\frac{f(b)-f(a)}{b-a}=0$

其直观解释是将函数减掉一个线性函数，构造出两个端点的值相等的函数，以满足罗尔中值定理的条件

几何意义

区间$(a,b)$内至少存在一个点$\xi$，在$(\xi,f(\xi))$处的切线与两点之间的割线平行，即斜率相等

考虑函数$f(x)=x^2$，它经过$(0,0)$与$(1,1)$这两个点，因此在区间$(0,1)$内至少存在某一点$\xi$，使得$f’(\xi)=\frac{f(1)-f(0)}{1-0}$，在这里$\xi=0.5$，在该点处切线与经过$(0,0)$与$(1,1)$这两个点的割线平行，如图所示

用拉格朗日中值定理证明函数的一阶导数与其单调性的关系

假设函数$f(x)$在$[a,b]$内连续，在$(a,b)$内可导。如果在$(a,b)$内所有的点处均有$f’(x)>0$，则函数在$[a,b]$内单调递增

对于区间内任一的点$x_1$，$x_2$，存在一点$x_1 < \xi < x_2$，使得$f(x_2)-f(x_1)=f’(\xi)(x_2-x_1)$

这里$f’(\xi)>0$，由于$x_10$函数单调递增

对于单调递减的情况可以用相同的方法证明

定义

函数$f(x)$和$g(x)$在$[a,b]$内连续，在$(a,b)$内可导，且对$\forall x \in (a,b)$有$g’(x) \neq 0$，则存在$\xi \in (a,b)$使得

$$\frac{f(b)-f(a)}{g(b)-g(a)} = \frac{f'(\xi)}{g'(\xi)}$$

借助罗尔中值定理证明

构造辅助函数$F(x)=f(x)-f(a)-\frac{f(b)-f(a)}{g(b)-g(a)}(g(x)-g(a))$，显然有$F(a)=F(b)=0$

且$F’(x)=f’(x)-\frac{f(b)-f(a)}{g(b)-g(a)}(g’(x))$，根据罗尔中值定理，存在$\xi \in (a,b)$使得$F’(\xi)=f’(\xi)-\frac{f(b)-f(a)}{g(b)-g(a)}g’(\xi)=0$

因此柯西中值定理成立

泰勒公式

定义

如果一个函数足够光滑且在某点出各阶导数均存在，泰勒公式(Taylor’s Formula)以该点处的各阶导数作为系数，构造出多项式来近似函数在该点领域中任意点处的函数值，此多项式称为泰勒公式

• 带皮亚诺(Peano)余项的泰勒公式
• 带拉格朗日余项的泰勒公式

根据微分的定义，如果$f(x)$在点$a$处可导，可用一次函数近似代替函数$f(x)$，误差是$x-a$的高阶无穷小

$$f(x) = f(a)+f'(a)(x-a)+o(x-a)$$

下面将一次函数推广到更高次的多项式，如果函数$n$阶可导，则可以建立一个如下形式的多项式近似代替$f(x)$

$$p(x) = A_0+A_1(x-a)+\cdots+A_n(x-a)^n$$

满足$f(x)=A_0+A_1(x-a)+\cdots+A_n(x-a)^n+o((x-a)^n)$，误差项是$(x-a)^n$的高阶无穷小

下面确定多项式的系数，首先令$x=a$，含有$x-a$各项的值均为$0$，可以解得$A_0=f(a)$

接下来对$f(x)$两边同时求导得$f’(x)=A_1+2A_2(x-a)+\cdots +nA_n(x-a)^{n-1}+o((x-a)^{n-1})$

令$x=a$，可以解得$A_1=f’(a)$

以此类推，对$f(x)$两边同时求$m$阶导数，并令$x=a$，可以解得$A_m = f’(a)$

因此我们要找的多项式为

$$p(x)=f(a)+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+\cdots + \frac{f^{n}(a)}{n!}(x-a)^n$$

称为泰勒多项式(Taylor polynomial)，由此得到带皮亚诺(Peano)余项的泰勒公式

$$f(x)=f(a)+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+\cdots + \frac{f^{n}(a)}{n!}(x-a)^n+o((x-a)^n)$$

如果令$\Delta x=x-a$，泰勒公式可以写成

$$f(a+\Delta x)=f(a)+\frac{f'(a)}{1!}\Delta x+\frac{f''(a)}{2!}\Delta x^2+\cdots +\frac{f^{n}(a)}{n!}\Delta x^n+o(\Delta x^n)$$

如果函数$n+1$阶可导，借助柯西中值定理可以证明泰勒公式的另一种形式，称为带拉格朗日余项的泰勒公式

$$f(x)=f(a)+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+ \cdots + \frac{f^{n}(a)}{n!}(x-a)^{n}+\frac{f^{n+1}(a)}{(n+1)!}(x-a)^{n+1}$$

其中$\theta \in (a,x)$，两种泰勒公式可以统一写成

$$f(x)=f(a)+\frac{f'(a)}{1!}(x-a)+\frac{f''(a)}{2!}(x-a)^2+ \cdots + \frac{f^{n}(a)}{n!}(x-a)^{n}+R_n(x)$$

其中$R_n(x)$称为余项，是$(x-a)^n$的高阶无穷小

麦克劳林(Maclaurin)公式

函数在$x=0$点处的泰勒公式称为麦克劳林(Maclaurin)公式，为如下形式

$$f(x)=f(0)+\frac{f'(0)}{1!}x+\frac{f''(0)}{2!}x^2+ \cdots + \frac{f^{n}(0)}{n!}x^{n}+R_n(x)$$

下面列出经典的麦克劳林公式

函数	麦克劳林公式
$\frac {1}{1-x}$	$1+x+x^2+ \cdots + x^n + o(x^n)$
$e^x$	$1+x+\frac {x^2}{2!}+\cdots +\frac {x^n}{n!}+o(x^n)$
$sin(x)$	$x-\frac {x^3}{3!}+ \cdots + \frac {(-1)^{n-1}}{(2n-1)!}x^{2n-1}+o(x^{2n-1})$
$cos(x)$	$1-\frac {x^2}{2!}+\frac {x^4}{4!}- \cdots +\frac {(-1)^n}{(2n)!}x^{2n}+o(x^{2n})$
$ln(1+x)$	$x-\frac {x^2}{2}+\frac {x^3}{3}- \cdots + \frac {(-1)^{n+1}}{n}x^n+o(x^n)$

泰勒公式建立了可导函数与其各阶导数之间的联系，同时用多项式对函数进行逼近

它被用于对函数的分析与计算，包括梯度下降法、牛顿法、拟牛顿法等

利用泰勒公式可以证明极值判别法则

将$f(x)$在$x_0$点处做泰勒展开，如果$f^{(i)}(x_0)=0,i=1,\cdots, n-1$，同时$f^{(n)}(x_0) \neq 0$，则泰勒展开的结果为

$$f(x)=f(x_0)+\frac{f^n(x_0)}{n!}(x-x_0)^n+o((x-x_0)^n)$$

如果$n$为偶数，则在$x_0$的去心领域内忽略高阶无穷小，有$f(x)-f(x_0)=\frac{f^n(x)(x_0)}{n!}(x-x_0)^n$

由于$(x-x_0)^n > 0$，所以$\frac{f^{(n)}(x_0)}{n!}(x-x_0)^n$与$\frac {f^{(n)}(x_0)}{n!}$，总为正或总为负，因$x_0$是极值点

如果$n$为奇数，则$\frac{f^n(x)(x_0)}{n!}(x-x_0)^n$在$x_0$的两侧变号，因此$x_0$不是极值点

不定积分

不定积分是积分学的核心概念，可看作求导和微分的逆运算，同样将一个函数变换成另外一个函数，称为原函数

不定积分的定义

对于定义在区间$[a,b]$内的函数$f(x)$，如果存在一个区间$(a,b)$内可导的函数$F(x)$，对于任意的$x \in (a,b)$均有$F’(x)=f(x)$

则称$F(x)$是$f(x)$的一个原函数，也称为不定积分

不定积分是求导和微分的逆运算，记为$\int f(x)dx $，意为求和(sum)

如果$F(x)$是$f(x)$的一个原函数，则$F(x)+C$也是$f(x)$的原函数，其中$C$为任意常数

因此不定积分与原函数的关系为：$\int f(x)dx=F(x)+C$

这是因为$(F(x)+C)’=F’(x)=f(x)$

如果函数$f(x)$的原函数存在，则称其可积，如果函数在区间$[a,b]$内连续，则其原函数存在，连续是可积的充分条件

一切初等函数在其定义域内都是连续的，因此都是可积的

对于函数$f(x)=x^2$其不定积分为$\int x^2dx=\frac{1}{3}x^3+C$

对于常数函数$f(x)=c$， 不定积分为线性函数(一次函数)$\int cdx = cx+C$

不定积分的性质

• 对于加法运算

  $$\int (f(x)+g(x))dx = \int f(x)dx + \int g(x)dx$$

• 对于乘法运算

  $$\int kf(x)dx = k \int f(x)dx$$

其中$k$是个常数，这些结论可以根据求导公式得到

计算$\int tan^2(x)dx$

根据三角函数之间的关系有

$$\int tan^2(x)dx=\int \frac{1-cos^2(x)}{cos^2(x)}dx= \int \frac{1}{cos^2(x)}dx-\int 1dx=tan(x)-x+C$$

计算$\int \frac{1}{(x-a)(x-b)}dx$

对分式进行拆分，可以得到

$$\int \frac{1}{(x-a)(x-b)}dx=\int \frac {1}{a-b}(\frac {1}{x-a} - \frac {1}{x-b})dx \\ = \frac {1}{a-b}(\int \frac{1}{x-a}dx + \int \frac{1}{x-b}dx)= \frac {1}{a-b} (ln|x-a|+ln|x-b|)+C$$

基本函数的积分公式

函数	积分公式
常数函数	$\int a dx = ax+C $
幂函数	$\int x^a dx = \frac {1}{a+1}x^{a+1}+C, a \neq -1$
幂函数	$\int \frac {1}{x} dx = ln \vert x \vert +C$
指数函数	$\int e^x dx = e^x+C $
指数函数	$\int a^x dx = \frac {1}{ln(a)}a^x+C,a>0,a \neq1$
三角函数	$\int sin(x) dx = -cos(x)+C$
三角函数	$\int cos(x) dx = sin(x) + C$
三角函数	$\int tan(x)dx = -ln \vert cos(x) \vert +C $
三角函数	$\int cot(x)dx = ln \vert sin(x) \vert +C$
三角函数	$\int \frac{1}{cos^2(x)} dx = tan(x)+C$
三角函数	$\int \frac{1}{sin^2(x)} dx = -cot(x)+C$
反三角函数	$\int \frac {1}{\sqrt{1-x^2}}dx = arcsin(x) + C = -arccos(x) + C$
反三角函数	$\int \frac {1}{1+x^2}dx = arctan(x)+C$

• 换元积分法之凑微分法
• 换元积分法之变量替换法
• 分部积分法

换元法分为两种类型，第一种称为凑微分法，也称为第一类换元法

根据复合函数求导公式有$(F(u(x)))’=F’(u(x))u’(x)$，如果有$(F(u(x)))’=f(u(x))u’(x)$

根据不定积分的定义可以得到$\int f(u(x))u’(x)dx=F(u(x))$，由于$\int f(u)dx=F(u)$，因此有

$$\int f(u(x))u'(x)dx = \int f(u)du$$

这种方法的关键是将被积函数写成一个函数$f(u(x))$与另一个函数的导数$u’(x)$的乘积

计算不定积分$\int x cos(x^2+1)dx$

这种方法的关键是”凑出”所需要的复合函数的微分，这里凑出$x^2+1$

$$\int x cos(x^2+1)dx = \int \frac {1}{2}cos(x^2+1)d(x^2+1) = \frac {1}{2}sin(x^2+1)$$

计算不定积分$\int x e^{x^2}dx$

$$\int x e^{x^2}dx = \frac {1}{2} \int e^{x^2}dx^2 = \frac {1}{2}e^{x^2}+C$$

第二种换元法称为变量替换法，同样根据复合函数的求导公式求出

对于不定积分$\int f(x)dx$，令$x=u(t)$，如果$u(t)$在区间$I$内单调且可导，反函数$t=u^{-1}(x)$存在，则有$\int f(x)dx = \int f(u(t))du(t)$

在右侧积出之后，用$t=u^{-1}(x)$将$t$替换回$x$即可

计算积分$\int \frac {1}{1+\sqrt(x)} dx$

这里主要困难是$\sqrt{x}$，因此令$t= \sqrt {x}$，则有$x=t^2$，从而有

$$\int \frac {1}{1+\sqrt(x)} dx = \int \frac{1}{1+t}dt^2 = \int \frac {2t}{1+t}dt = 2 \int (1- \frac {1}{1+t})dt \\ = 2t -2ln|1+t|+C = 2 \sqrt {x}-2ln|1+\sqrt {x}|+C$$

计算积分$\int arcsin(x)dx$

令$t=arcsin(x)$，则$x=sin(t)$，从而有

$$\int arcsin(x)dx = \int t d(sin(t)) = t sin(t) - \int sin(t)dt \\ tsin(t)+cos(t)+C = x arcsin(x)+\sqrt{1-x^2}+C$$

这里的第二步用了分部积分法

计算积分$\int \sqrt {a^2-x^2}dx$

令$x=asin(t)$，利用倍角公式有

$$\int \sqrt{a^2-x^2}dx = \int \sqrt{a^2-a^2sin^2(t)}dasin(t) = a^2 \int cos^2(t) dt \\ = a^2 \int \frac {1+cos(2t)}{2} dt = a^2 (\frac {1}{2}t + \frac {1}{4}sin(2t))+C = a^2 (\frac {1}{2}arcsin \frac {x}{a} + \frac {1}{2} sin(t)cos(t) )+C \\ = \frac {1}{2} a^2 arcsin(\frac {x}{a} ) + \frac {1}{2} \sqrt {a^2-x^2}+C$$

换元法的核心是确定要替换的部分

分部积分法由乘法求导公式导出，根据乘法的求导公式$(f(x)g(x))’ = f’(x)g(x) + f(x)g’(x)$，变形后得到

$f(x)g’(x) = (f(x)g(x))’ - f’(x)g(x)$，两边同时求积分得到

$$\int f(x)g'(x)dx = f(x)g(x) - \int f'(x)g(x)dx$$

计算$\int x^2cos(x)dx$

$$\int x^2 cos(x)dx = \int x^2 d sin(x)=x^2 sin(x)-\int sin(x)dx^2 = x^2sin(x)-2 \int xsin(x)dx \\ = x^2sin(x)+2\int xd(cos(x))+x^2sin(x)+2xcos(x)-2 \int cos(x)dx \\ = x^2sin(x)+2xcos(x)-2sin(x)+C$$

初等函数是由幂函数、指数函数、对角函数、三角函数、反三角函数与常数经过有限次有理运算及有限次复合所产生，并且能用一个解析式表示的函数，因此初等函数的导数仍是初等函数，但初等函数的原函数不一定是初等函数

例如$e^{-x^2}$、$\frac {sin(x)}{x}$、$\frac {1}{ln(x)}$这些函数的不定积分都无法得到解析表达式

刘维尔定理之处，一个初等函数如果有初等的原函数，则它一定能写成同一个微分域的函数加上该域上函数的对数的线性组合，否则不存在初等的原函数

在python中，符号计算库sympy提供了计算不定积分的功能，由函数integrate实现

from sympy import *
x = symbols('x')
r = integrate(cos(x), x)
print(r)

>>>> sin(x)  # 这里忽略常数C

定积分

定积分的定义与性质

定义

定积分将函数映射成实数，是和式的极限，它最初用于解决几何物理问题，如计算函数曲线围成的面积、曲线长度、运动物体的位移等

常见的有黎曼积分和勒贝格积分，这里只介绍前者，也就是通常所说的定积分，勒贝格积分知识可以阅读实变函数教材

函数$f(x)$在区间$[a,b]$上的定积分是下面的极限

$$\lim _{\Delta x \rightarrow 0} {\sum _{i=1}^{n}{f(\xi _i) \Delta x_i}}$$

这里用一系列点$a = x _0,x _1 \cdots ,x _n = b$将区间$ [a,b] $划分成$ n $分，第$ i $份的区间长度为$\Delta x_i = x_i - x_{i-1}$，$\xi _i$为第$i$个区间$[x_{i-1}, x_i]$内任意一点

只要划分的足够细且函数$f(x)$满足一定的条件，则式中的极限存在，式中的定积分记为$\int _a^b{f(x)dx}$

若式中的极限存在，则称函数在区间$[a,b]$内可积

几何意义

定积分的几何意义是函数在某一区间上与横轴围城的区域面积

在计算时采用逐步逼近取极限的方法，右侧的和记为矩形条的面积之和

矩形的宽度为$\Delta x_i$，高度为$[x_{i-1}, x_i]$内任意一点$\xi _i$的函数值$f(\xi _i)$

定积分存在条件

定积分存在条件是函数几乎处处连续，不连续点的测度为$0$

直观的解释是不连续点的结合是有限集或无限可数集

根据定积分定义计算$\int _0 ^1 {x^2 dx}$

利用下面的公式

$$\sum _{i=1}^{n}{\frac {1}{6}n(n+1)(2n+1)}$$

将区间$[0,1]$等分为$n$份，$\Delta x_i = \frac {1}{n}$，根据定积分的定义有

$$\int _0^1 {x^2 dx} = \lim _{x \rightarrow +\infty}{\sum _{i=1}^{n} \frac {1}{n} {(\frac {i}{n})}^2} = \lim _{x \rightarrow +\infty}\frac {1}{n^3} \sum _{i=1}^n {i^2} = \lim _{x \rightarrow +\infty}\frac {1}{n^3} \frac {n(n+1)(2n+1)}{6} = \frac {1}{3}$$

直接根据定义来计算定积分是繁琐困难的，后面会使用牛顿-莱布尼茨公式来计算

定积分性质

假设函数$f(x)$和$g(x)$在区间$[a,b]$内可积，$\lambda$是一个常数，则$f(x)+g(x)$与$\lambda f(x)$在区间$[a,b]$内也可积，且有

• 定积分具有线性的性质

  $$\int _{a}^{b}{f(x)+g(x)dx} = \int _{a}^{b}{f(x)dx} + \int _{a}^{b}{g(x)dx}$$ $$\int _{a}^{b}{\lambda f(x)dx}= \lambda \int _{a}^{b}{f(x)dx}$$

• 区间可加性

  $$\int _{a}^{b}{f(x)dx} + \int _{b}^{c}{f(x)dx} = \int _{a}^{c}{f(x)dx}$$

• 积分上下限颠倒，积分值取负号

  $$\int _{a}^{b}{f(x)dx} = - \int _{b}^{a}{f(x)dx}$$

牛顿-莱布尼茨公式

牛顿-莱布尼茨(Newton-Leibniz)公式

直接根据定义来计算定积分是繁琐困难的，更高效的方法是利用微积分基本定理，即牛顿-莱布尼茨公式来计算

牛顿-莱布尼茨公式建立了定积分与原函数之间的关系

如果函数$f(x)$在区间$[a,b]$内可积，则在此区间内定积分的值等于其原函数在区间两个端点处函数值之差

$$\int _{a}^{b} {fx(dx)} = F(b) - F(a)$$

其中$F(x)$是$f(x)$的一个原函数，通常将$F(b)-F(a)$记为$F(x)|_{a}^{b}$，该公式也可以写成

$$\int _{a}^{b}{f(x)dx} = F(x)|_{a}^{b}$$

可以用拉格朗日中值定理证明该定理，根据定积分的定义有

$$F(b)-F(a) = \sum _{i=1}^{n}{F(x_i)F(x_{i-1})} = \sum _{i=1}^{n}{F'(\eta _i)(x_i-x_{i-1})} = \sum _{i=1}^{n}{f(\eta _i) \Delta x_i} = \int _a^b{f(x)}dx$$

这一定理为计算定积分提供了统一的依据，是微积分中最重要的结论

只需计算原函数，然后即可根据原函数的值计算任意区间上的定积分

计算定积分$\int _{0}^{\pi}{sin(x)dx} = -cos(x)| _0^{\pi} = 2$

在python中提供了计算定积分的功能，有integrate支持

from sympy import *
x = symbols('x')
r = integrate(cos(x), x, -pi, pi)
print(r)

>>>> 0

定积分的计算

定积分的计算可以借助牛顿-莱布尼茨公式完成，因此问题的核心是计算不定积分，同样可以使用换元法和分部积分法

• 换元积分法之凑微分法
• 换元积分法之变量替换法
• 分部积分法

第一类换元法通过凑微分法得到原函数，在计算定积分时，直接积分上下限带入原函数即可得到结果，

$$\int _{0}^{1}{xe^{x^2}dx} = \int _{0}^{1}{\frac {1}{2}e^{x^2}dx^2} = \frac {1}{2}e^{x^2}|_0^1 = \frac {1}{2}e - \frac {1}{2}$$

第二类换元法，由于进行了变量替换，因此积分上下限要进行相应的变换

假设函数$f(x)$在区间$[a,b]$内可积，令$x = \varphi (t)$是一个单调函数，且$\varphi (\alpha) = a, \varphi (\beta) = b$，对于第二类换元法有

$$\int _{a}^{b}{f(x)dx} = \int _{\alpha}^{\beta}{f(\varphi (t)) d(\varphi (t))}$$

或者写成

$$\int _{a}^{b}{f(x)dx} = \int _{\alpha}^{\beta}{f(\varphi (t)) \varphi' (t) d(t)}$$

用换元法计算$\int _{0}^{1}{\sqrt {1-x^2} dx}$

如果令$x=sin(t)$，则有

$$\int _{0}^{1}{\sqrt {1-x^2} dx} = \int _{0}^{\frac {\pi}{2}}{cos(t) d (sint(t))} = \int _{0}^{\frac {\pi}{2}}{cos^2(t) dt} = \int _{0}^{\frac {\pi}{2}} {\frac {1+cos(2t)}{2} dt} = \frac {1}{2}t + \frac {1}{4}sin(2t)| _{0}^{\frac {\pi}{2}} = \frac {\pi}{4}$$

这恰好是$\frac {1}{4}$的单位元的面积

对于定积分，其分部积分法为

$$\int _{a}^{b}{f(x)g'(x)dx} = f(a)g(x)|_a^b - \int _{a}^{b}{f'(x)g(x)dx}$$

用分部积分法计算例子

$$\int _{0}^{\pi}{xsin(x)dx} = -\int _{0}^{\pi}{x d(cos(x))} = -x cos(x)|_0^{\pi}+\int _{0}^{\pi}{cos(x)ds} = \pi$$

重要结论，该结论在欧拉-拉格朗日方程推导中使用

假设函数$f(x)$在区间$[a,b]$内连续，函数$\eta (x)$满足端点值约束条件$\eta (a) = \eta (b) = 0$，如果对任意$\eta (x)$都有

$$\int _{a}^{b}{\eta (x) dx} = 0$$

则$f(x) \equiv 0$

这里用反证法证明，假设函数$f(x)$不恒为$0$，由于$\eta (x)$是满足端点值约束的任意函数，可以令$\eta (x) = -f(x)(x-a)(x-b)$

显然此函数满足端点值约束条件，且在$(a,b)$内$-(x-a)(x-b) > 0$

因此有$\int _{a}^{b}{f(x)\eta (x)dx} = \int _{a}^{b}{-f(x)f(x)(x-a)(x-b) dx} > 0$

这结论与上式，因此结论成立

变上限积分

定义

变上限积分函数是以积分上限为自变量的定积分对应的函数

假设函数$f(x)$在区间$[a,b]$内可积，$x \in [a,b]$，则变上限积分的定义为

$$F(X) = \int _{a} ^{x} f(u)du$$

如果$G(x)$是$f(x)$的一个原函数，根据牛顿-莱布尼茨公式有$F(x) = G(x) - G(a)$

变上限积分函数是被积分函数的一个原函数，概率论中连续型随机变量的分布函数是典型的变上限积分

假设$f(x) = x^2$，则变上限积分对应的函数为$F(x) = \int _1^x u^2du = \frac {1}{3}u^3| _1^x = \frac {1}{3} x^3 - \frac {1}{3}$

证明: 如果函数$f(x)$在区间$[a,b]$内连续，则变上限积分是可导的，且其导数为$F'(x) = (\int _0 ^x f(u)du)' = f(x)$

假设$G(x)$是$f(x)$的一个原函数，则有

$$(\int _0 ^x f(u)du)' = (G(x)-G(a))' = f(x)$$

比如变上限积分$\int _a^x e^{t^2} dt$其导数为$e^{x^2}$

考虑变上限积分的复合函数

对于变上限积分$\int _a^{g(x)} f(u)du$，根据复合函数的求导公式，其导数为

$$\int _a^{g(x)} f(u)du = f(g(x))g'(x)$$

比如计算变上限积分$\int _a^{x^2} e^{t^2} dt$的导数值，根据上面公式可以得到$e^{(x^2)^2}(x^2)' =2xe^{x^4}$

定积分的应用

定积分可以用于计算某些几何量和物理量，包括曲线所围成的面积、曲线的长度、运动物体的位移、变力的做功等

• 曲线面积
• 曲线弧长

函数在区间内的积分值为其代数面积，即以$[a,b]$区间的两个端点、$x$轴、函数曲线围城的封闭区域的面积，带有正负号

等价于定积分$ \int _a^b f(x)dx $

计算椭圆$ \frac {x^2}{a^2} + \frac {y^2}{b^2} = 1$的面积

由于椭圆是对称的，因此计算出它在的第一象限内的面积，然后乘以4，即可得到整个椭圆的面积

$$S = 4 \int _0^a ydx = 4 \int _0^a \sqrt{b^2(1- \frac {x^2}{a^2})} dx = 4b \int _0^a \sqrt{1-\frac {x^2}{a^2}}dx$$

令$x=asin(t)$，利用倍角公式有

$$S = 4ab \int _0 ^{\frac {\pi}{2}}{cos(t)d(sin(t))} = 4ab \int _0 ^{\frac {\pi}{2}}{cos^2(t)dt} = 2ab \int _0^{\frac {\pi}{2}}(1+cos(2t))dt = \pi ab$$

假设有区间$[a,b]$内可积函数$f(x)$与$g(x)$，则由曲线$x=a$、$x=b$以及这两条曲线所围成的区域面积为$\int _a^b (f(x)-g(x))dx$

比如计算抛物线$y=x^2$与直线$y=x$所围成的区域面积，抛物线与直线交点为$(0,0)$和$(1,1)$，因此围成的区域面积为

$$S = \int _0^1 (x-x^2)dx = (\frac {1}{2}x^2 - \frac {1}{3}x^3) |_0^1 = \frac {1}{6}$$

考虑直角坐标系的情况

计算$f(x)$在区间$[a,b]$内的弧长，这可以通过折线逼近函数的曲线、累加折线的长度得到，其中实线为计算长度的曲线，虚线是用折线对曲线进行近似的结果，当划分得足够细的时候，这些折线的长度之和的极限就是曲线的弧长，用电$a=x_0,x_1, \cdots , x_n = b$，区间$[_i, x_{i+1}]$内的折线长度为

$$\sqrt {(x_{i+1}-x_i)^2+(y_{i+1}-y_i)^2} = \sqrt {\Delta x_i^2 + \Delta y_i^2} = \sqrt {1+(\frac {\Delta y_i}{\Delta x_i})^2} \Delta x_i \approx \sqrt {1+y'^2} \Delta x_i$$

令点$M_i = (x_i, y_i)$，则曲线的弧长为如下的极限

$$\lim _{\Delta x \rightarrow 0} {\sum _{i=1}^{n}{|M_{i-1}M_i|}} = \lim _{\Delta x \rightarrow 0} \sum _{i=1}^{n} {\sqrt {1+y'^2} \Delta x_i}$$

由此得到曲线在区间$[a,b]$内的弧长为如下的定积分

$$s = \int _a^b {\sqrt{1+y'^2}dx}$$

计算曲线$y= \frac {2}{3}x^{\frac {3}{2}}$在区间$[1,2]$内的弧长

$$S = \int _1^2{1+((\frac {2}{3}x^{\frac {3}{2}})')^2}dx = \int _1^2{1+(x^{\frac {1}{2}})^2}dx = \int _1^2{\sqrt {1+x}}dx = \frac {2}{3}(1+x)^{\frac {3}{2}} |_1^2 = \frac {2}{3} \times (3^{\frac {3}{2}} - 2^{\frac {3}{2}})$$

计算单位圆$x^2+y^2=1$的周长，由于圆是对称的，因此只需计算第一象限即可，第一象限的曲线为$y=\sqrt {1-x^2}$

$$S = 4 \int _0^1 \sqrt {1+((\sqrt {1-x^2})')^2} dx = 4 \int _0^1 \sqrt {1+(-x(1-x^2)^{-\frac {1}{2}})^2} dx = 4 \int _0^1 \frac {1}{\sqrt {1-x^2}} dx = 4 arcsin(x)| _0^1 = 2 \pi$$

考虑参数方程的情况

曲线的参数方程为$x = \varphi (t) \qquad y = \psi (t)$，其中$t \in [\alpha, \beta]$

假设$\varphi (t)$和$\psi (t)$在该区间上连续可导，则弧长元为

$$ds = \sqrt {(dx)^2+(dy)^2} = \sqrt {\varphi '^2(t) + \psi '^2(t)} dt$$

从而得到弧长的计算公式为

$$S = \int _{\alpha}^{\beta}{\sqrt{\varphi '^2 (t) + \psi '^2 (t)} dt}$$

计算星形线的弧长，其参数方程为$ x = a cos^3(t) \qquad y = a sin^3(t)$

由于星形线的形状是对称的，因此只需计算第一象限的曲线弧长即可

$$S = 4 \int _0^{\frac {\pi}{2}}{\sqrt {9a^2 cos^4(t) sin^2 (t) + 9a^2 sin^4 (t) cos^2 (t)}}dt = 4 \times \frac {3}{2} a \int _0^{\frac {\pi}{2}} {sin (2t) dt} = 6a$$

广义积分

定义

广义积分(Improper Integral)是定积分的推广，也称为反常积分

• 无穷积分(无穷限广义积分)：积分区间为无限
• 瑕积分(无界函数的广义积分)：积分区间有限但被积分函数无界

• 无穷积分
• 瑕积分

此时可以使用牛顿-莱布尼茨公式的推广，函数$f(x)$在$[a, + \infty]$内有定义且连续，$F(x)$是原函数，如果下面的极限存在

$$\lim _{x \rightarrow + \infty} {F(x)} = F(+ \infty)$$

则有

$$\int _a^{+ \infty}{f(x)dx} = F(+ \infty)-F(a) = F(x) | _a ^{+ \infty}$$

对于函数$f(x) = e ^{-x}$，在区间$[0, +\infty]$内的广义积分为

$$\int _0^{+ \infty}{e^{-x} dx} = -e ^ {-x} | _0^{+ \infty} = lim _{x \rightarrow +\infty}{e^{-x}}+1 = 1$$

考虑函数值为无限的情况，函数$f(x)$在$[a, b]$内有定义且连续，$F(x)$是原函数，如果下面的极限存在

$$\lim _{x \rightarrow b^-}{F(x)} = F(b^-)$$

则有

$$\int _a^b {f(x)dx} = F(b^-)-F(a) = F(x)|_a^b$$

计算函数$\int _0^1 {\frac {1}{\sqrt{1-x^2}} dx}$的广义积分

$$\int _0^1 {\frac {1}{\sqrt{1-x^2}} dx} = arcsin(x)|_0^1 = \frac {\pi}{2}$$

对于某些连续型随机变量，如正态分布随机变量，其概率密度函数的定义区间无限

这种随机变量的数学期望和方差即为广义积分

常微分方程

微分方程(Differential Equation, DE)是含有自变量、函数与其导数的方程，方程的解是函数

普通的代数方程如二次方程、三次方程的解是实数或复数

基本概念

定义

含有自变量、函数以及函数各阶导数的方程称为常微分方程(Ordinary Differential Equation, ODE)，它的解是一元函数

常微分方程可以写成$f(x, y^{(n)}, \cdots, y’, y) = 0$，这里$f$是一个函数，$y$是$x$的函数

比如$x^2y’’ - x^3y’ + 2y -4x = 0$

微分方程中出现的导数的最高阶数称为微分方程的阶数，上面的方程是二阶方程

如果微分方程是未知函数以及导数的一次方程，则称为线性微分方程，否则称为非线性微分方程

$n$阶线性微分方程可以写成如下的形式，其中$a_{n}(x) \neq 0$

$$a_{n}(x)y^{(n)}+a_{n-1}(x)y^{(n-1)}+ \cdots + a_0(x)y = g(x)$$

如果线性微分方程中未知函数项以及各阶导数项的系数都是常数，则成为常系数线性微分方程

比如二阶常系数线性微分方程$y’’-xy’+y-4x = 0$

应用

微分方程在物理学重经常被使用，以力学为例

物体在自由落体时如果不考虑空气阻力，则只有重力加速度的作用

根据牛顿第二定律可以建立微分方程$y’’= g$

其中$y$为$t$时刻的位移，$g$为重力加速度，解此方程可以得到位移函数$y(t)$

如果考虑空气的阻力，对于低速运动的物体，阻力大小与速度大小成正比，方向与重力的方向相反

速度是位移函数的一阶导数$y’$，加速度是位移函数的二阶导数$y’’$，根据牛顿第二定律可以得到微分方程$my’’ = mg -ky’$

其中$k$为常数，$m$为物体的质量，变形后可以得到$y’’ + \frac {k}{m}y’ -g = 0$

初值问题

通常情况下微分方程的解不唯一，加上限定条件可以保证解的唯一性，可以指定函数在某一点或某些点的值$y(x_0)=c_0$

或是其导数在某一点处的值$y’(x_0) = c_1$，加上这种限定条件之后称为初值问题

存在性与唯一性判别条件

并非所有微分方程的解都存在，对于初值问题，柯西-李普希茨(Cauchy-Lipschitz)定理给出了解的存在性与唯一性判别条件

即使解存在，也只有少数简单的微分方程可以求解得到解析解

在无法求得解析解时，可以利用数值计算的方法近似求解，常用的有龙格-库塔(Runge-Kutta)法和理查森(Richardsoon)外推法

一阶线性微分方程

在机器学习和深度学习中用到的通常是最简单的方程

一阶方程

对于一阶方程$y’=f(x)$，可以直接对其积分即可得到方程的解$y = \int f(x)dx + C$

对于方程一侧只含有更高阶导数的方程$f^{(n)} = f(x)$

可以通过多次积分求解，这类称为可积分的微分方程

对于下面的方程$y’+ay=0$，将方程两边同乘以$e^{ax}$可得$e^{ax}y’ + aye^{ax} = 0$

根据乘法的求导公式可以得到$y = Ce^{-ax}$

其中$y’+ay=0$是齐次方程

一般的方程$y’ + ay = b(x)$

同样将方程两边同乘以$e^{ax}$可得$e^{ax}$可得$e^{ax}y’ + aye^{ax} = e^{ax}b(x)$，即$(e^{ax}y)’ = e^{ax}b(x)$

从而有$e^{ax}y = \int {e^{ax}b(x)dx} + C$，可以解得$y = e^{-ax}(\int e^{ax}b(x)dx + C)$

其中$y’ + ay = b(x)$是非齐次方程

更复杂的方程

对于一阶线性微分方程$y’+a(x)y=b(x)$，将两边同乘以$e^{\int a(x)dx}$可得

$$y'e^{\int a(x)dx} + a(x)ye^{\int a(x)dx} = b(x)e^{\int a(x)dx}$$

即$(e^{\int a(x)dx}y) = b(x)e^{\int a(x)dx}$，因此有

$$e^{\int a(x)dx}y = \int e^{\int a(x)dx} b(x)dx + C$$

从而可以解得

$$y = e^{-\int a(x)dx}(\int e^{\int a(x)dx} b(x)dx + C)$$

这些方程的求解都利用了指数函数求导的优良性质，方程两边同乘以指数函数之后，利用乘积的求导公式，将方程左侧的两项求和转为某两个函数相乘的导数