机器学习_概率论(2)

---

分布变换

已知从某一概率分布的随机变量$X$，可以对它进行变换，得到服从其他概率分布的随机变量$Y$，即根据一个概率分布的样本得到另一个概率分存的样本

随机变量函数

定义

随机变量函数是以随机变量为自变量的函数，它将一个随机变量映射成另外一个随机变量，二者一般有不同的分布

假设随机变量$X$的概率密度函数为$f_{X}(x)$，分布函数为$F_{X}(x)$，对于$X$的函数

$$Y=g(X)$$

假设该函数严格单调，反函数存在且$g^{-1}(x)=h(x)$，现在计算$Y$所服从的概率分布

首先计算$Y$的分布函数，由于$X$的分布函数是已知的，因此需要借助于它的分布函数，如果$g(x)$单调增，根据分布函数的定义，$Y$的分布函数为

$$F_{Y}(y)=p(Y \leqslant y)=p(g(X) \leqslant y)=p\left(X \leqslant g^{-1}(y)\right)=F_{X}(h(y))=\int_{-\infty}^{h(y)} f_{X}(x) \mathrm{d} x$$

即有

$$F_{Y}(y)=F_{X}(h(y))$$

对该函数进行求导即可得到$Y$的概率密度函数，根据变上限积分与复合函数求导公式，有

$$f_{Y}(y)=\left(\int_{-\infty}^{h(y)} f_{X}(x) \mathrm{d} x\right)^{\prime}=f_{X}(h(y)) h^{\prime}(y)$$

如果$g(X)$单调递减，则有

$$F_{Y}(y)=p(g(X) \leqslant y)=p\left(X \geqslant g^{-1}(y)\right)=1-F_{X}(h(y))=1-\int_{-\infty}^{h(y)} f_{X}(x) \mathrm{d} x$$

概率密度函数为

$$f_{Y}(y)=\left(1-\int_{-\infty}^{h(y)} f_{X}(x) \mathrm{d} x\right)^{\prime}=-f_{X}(h(y)) h^{\prime}(y)$$

此时$h^{\prime}(x)<0$，综合这两种情况，有

$$f_{Y}(y)=f_{X}(h(y))\left|h^{\prime}(y)\right|$$

本质上是定积分的换元法

例子

假设随机变量$X$服从均匀分布$U(0,1)$，计算$Y=\exp (X)$的概率分布，$X$的概率密度函数为

$$f_{X}(x)=1,0 \leqslant x \leqslant 1$$

根据式$f_{Y}(y)$定义，当$1 \leqslant y \leqslant \mathrm{e}$时，有

$$f_{Y}(y)=f_{X}(h(y))\left|h^{\prime}(y)\right|=1 \times(\ln (y))^{\prime}=1 / y$$

根据式$f_{Y}(y)$可以得到逆变换采样算法，实现各种概率分布之间的转换，对服从简单分布的随机数进行变换，得到想要的概率分布的随机数

证明: 假设随机变量$X$服从标准正态分布$N(0,1)$，则随机变量$X=\sigma Z+\mu$服从正态分布$N\left(\mu, \sigma ^{2}\right)$

从$Z$到$X$的变換函数为$X=\sigma Z+\mu$，其反函数为

$$Z=\frac{X-\mu}{\sigma}$$

反函数的导数为

$$\frac{\mathrm{d} Z}{\mathrm{~d} X}=\frac{1}{\sigma}$$

利用式$f_{Y}(y)$，$X$ 的概率密度函数为

$$f_{X}(x)=f_{Z}(h(x))\left|h^{\prime}(x)\right|=\frac{1}{\sqrt{2 \pi}} e^{-\frac{\left(\frac{x-\mu}{\sigma}\right)^{2}}{2}} \cdot \frac{1}{\sigma}=\frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}$$

因此，随机变量$X$服从正态分布$N\left(\mu, \sigma^{2}\right)$

逆变换采样算法

采样

在机器学习中，通常需要生成某种概率分布的随机数，称为采样，采样可以通过概率分布变换而实现

在计算机中，能够直接得到的随机数通常是均匀分布的随机数(事实上是伪随机数)，对它进行变换，可以得到我们想要的概率分布的随机数，逆变换算法(Inverse Transform Sampling)是一种典型的采样算法

假设随机变量$X$的分布函数为$F_{X}(x)$，随机变量$Y$的分布函数为$F_{Y}(y)$，它们均已知

$Y$通过单调递增的随机变量函数$Y=g(X)$对$X$进行变换而得到，现在要确定该函数，已知

$$F_{X}\left(g^{-1}(y)\right)=F_{Y}(y)$$

由于分布函数是单调递增的，可以解得

$$g^{-1}(y)=F_{X}^{-1}\left(F_{Y}(y)\right)$$

根据$X$和$Y$的分布函数可以确定此变换

重要结论

下面假设$X$或$Y$为均匀分布的随机数，根据上式来计算此变换函数，得到如下的两个结论

结论1: 假设随机变量$X$的分布函数为$F_{X}(x)$，该函数是严格单调增函数，则随机变量$Y=F_{X}(X)$服从均匀分布$U(0,1)$

下面给出证明，根据分布函数的定义，有

$$F_{Y}(y)=p(Y \leqslant y)=p\left(F_{X}(X) \leqslant y\right)=p\left(X \leqslant F_{X}^{-1}(y)\right)=F_{X}\left(F_{X}^{-1}(y)\right)=y$$

这就是均匀分布的分布函数，上式第1步和第4步使用了分布函数的定义，第5步使用了反函数的恒等式

$$f\left(f^{-1}(x)\right)=x$$

这一结论给出了根据一个已知概率分布的随机数构造均匀分布随机数的方法

也可以根据式$g^{-1}(y)$求解出$g(X)$，由于$Y$服从均匀分布$U(0,1)$，因此$F_{Y}(y)=y$，从而有

$$g^{-1}(y)=F_{X}^{-1}\left(F_{Y}(y)\right)=F_{X}^{-1}(y)$$

即$g(X)=F_{X}(X)$

结论2: 假设随机变量$X$服从均匀分布$U(0,1)$，随机变量$Y$的分布函数为$F_{Y}(y)$，则随机变量$Y=F_{Y}^{-1}(X)$服从概率分布$F_{Y}(y)$

下面给出证明，根据分布函数的定义，有

$$F_{Y}(y)=p(Y \leqslant y)=p\left(F_{Y}^{-1}(X) \leqslant y\right)=p\left(X \leqslant F_{Y}(y)\right)=F_{Y}(y)$$

上式第1步利用了分布函数的定义，第4步成立是因为$X$服从均匀分布，其分布函数为

$$p(X \leqslant x)=x$$

此结论给出了根据均匀分布随机数构造出某一分布函数已知的概率分布随机数的方法，只需要将均匀分布随机数$X$用目标概率分布$F_{Y}(y)$的反函数$F_{Y}^{-1}(X)$进行映射

同样，根据式$g^{-1}(y)$可以直接解出$g(X)$，由于$X$服从均匀分布，因此

$$F_{X}^{-1}(x)=x$$

从而有

$$g^{-1}(y)=F_{X}^{-1}\left(F_{Y}(y)\right)=F_{Y}(y)$$

即

$$g(y)=F_{Y}^{-1}(y)$$

例子

下面以指数分布为例说明逆变换采样算法，其分布函数为

$$F(x)=\left\{\begin{array}{ll} 1-\mathrm{e}^{-\lambda x}, & x>0 \\ 0, & \text { 其他 } \end{array}\right.$$

其反函数为

$$F^{-1}(x)=-\frac{1}{\lambda} \ln (1-x)$$

首先产生均匀分布$U(0,1)$的随机数$u$，然后计算

$$x=-\frac{1}{\lambda} \ln (1-u)$$

则$x$就是我们想要的指数分布的随机数

逆变换采样算法可以根据均匀分布的随机数生成任意概率分布的随机数，但实现时可能存在困难

对于某些概率分布，我们无法得到分布函数反函数$F_{Y}^{-1}(x)$的解析表达式，如正态分布

随机向量

向量是标量的推广，将随机变量推广到多维即为随机向量，每个分量都是随机变量，因此随机机向量是带有概率值的向量

描述随机向量的是多维概率分布

离散型随机向量

推广到多个变量可以得到随机向量，随机向量$\boldsymbol{x}$是一个向量，它的每个分量都是随机变量，各分量之间可能存在相关性

例如，描述一个人的基本信息的向量$(性别 \quad 年龄 \quad 学历 \quad 收人)$，是一个随机向量，各个分量之间存在依赖关系，收入与学历、年龄有关

性别为男和女的概率各为$0.5$，年龄为$0$和$120$之间的整数，服从各年龄段的人口统计分布规律

随机向量也分为离散型和连续型两种情况，描述离散型随机向量分布的是联合概率质量函数，是概率质量函数的推广定义了随机向量取每个值的概率

$$p\left(\boldsymbol{x}=\boldsymbol{x}_{i}\right)=p\left(\boldsymbol{x}_{i}\right)$$

对于二维离散型随机向量，联合概率质量函数是一个二维表(矩阵)，每个位置处的元素为随机向量$x$取该位置对应值的概率

$$p\left(X=x_{i}, Y=y_{j}\right)=p_{i j}$$

联合概率质量函数必须满足如下约束

$$p\left(\boldsymbol{x}_{i}\right) \geqslant 0 \qquad \sum_{i} p\left(\boldsymbol{x}_{i}\right)=1$$

下表是一个二维随机向量的联合概率质量函数

X \ Y	1	2	3	4
1	0.1	0.1	0.1	0.0
2	0.25	0.0	0.15	0.05
3	0.1	0.15	0.0	0.0

表中第3行第4列的元素表示$X$取值为$2$、$Y$取值为3的概率为$0.15$

边缘分布

对联合概率质量函数中某些变量的所有取值情况求和，可以得到边缘概率质量函数(Marginal Probability Mass Function)，也称为边缘分布

对于二维随机向量，对$X$和$Y$分别求和可以得到另外一个变量的边缘分布

$$p_{X}(x)=\sum_{y} p(x, y) \qquad p_{Y}(y)=\sum_{x} p(x, y)$$

有时候会将$p_{X}(x)$简写为$p(x)$

对于上表所示的联合概率质量函数，其边缘分布函数下表所示

X	1	2	3
1	0.3	0.45	0.25

Y	1	2	3	4
1	0.45	0.25	0.25	0.05

对$X$的边缘分布是对联合概率质量函数按行求和的结果，边缘分布可看作是将联合概率质量函数投影到某一个坐标轴后的结果

对$Y$的边缘分布函数是对联合概率质量函数按列求和的结果

$n$维下的边缘分布

下面将边缘分布推广到随机向量的多个分量，有$n$维随机向量$\boldsymbol{x}$，将它拆分成子向量$\boldsymbol{x}_{A}=$ $\left(x_{1} \cdots x_{r}\right)^{\mathrm{T}}$和$x_{B}=\left(x_{r+1} \cdots x_{n}\right)^{\mathrm{T}}$

对$x_{A}$的边缘分布是对$x_{B}$的所有分量取各个值时的联合概率质量函数求和的结果

$$p_{\boldsymbol{x}_{A}}\left(\boldsymbol{x}_{A}\right)=\sum_{x_{r+1}} \cdots \sum_{x_{n}} p(\boldsymbol{x})$$

类似地有

$$p_{\boldsymbol{x}_{B}}\left(\boldsymbol{x}_{B}\right)=\sum_{x_{1}} \cdots \sum_{x_{r}} p(\boldsymbol{x})$$

类似于条件概率,条件分布定义为

$$p_{X|Y}{(x|y)}=\frac {p(x,y)}{p_Y(y)} \qquad p_{Y|X}{(y|y)}=\frac {p(x,y)}{p_X(x)}$$

有时候会将$p_{X \mid Y}(x \mid y)$简写为$p(x \mid y)$ ，将条件分布推广到随机向量的多个分量，按照本节前面的随机向量拆分方案，有

$$p_{\boldsymbol{x}_{A} \mid \boldsymbol{x}_{B}}\left(\boldsymbol{x}_{A} \mid \boldsymbol{x}_{B}\right)=\frac{p(\boldsymbol{x})}{p_{\boldsymbol{x}_{B}}\left(\boldsymbol{x}_{B}\right)}$$

对于二维随机向量, 如果对$\forall x, y$满足

$$p_{X \mid Y}(x \mid y)=p_{X}(x) \quad p_{Y \mid X}(y \mid x)=p_{Y}(y)$$

或者写成

$$p(x, y)=p_{X}(x) p_{Y}(y)$$

则称随机变量$X$和$Y$相互独立，这与随机事件独立性的定义一致

推广到$n$维随机向量，如果$\forall x_{1}, x_{2}, \cdots, x_{n}$满足

$$p(\boldsymbol{x})=p_{X_{1}}\left(x_{1}\right) p_{X_{2}}\left(x_{2}\right) \cdots p_{X_{n}}\left(x_{n}\right)$$

则称这些随机变量相互独立，对于离散型随机变量，贝叶斯公式同样适用

考虑下表的联合概率质量函数

X \ Y	1	2	3
1	$\frac{1}{12}$	$\frac{4}{12}$	$\frac{1}{12}$
2	$\frac{1}{12}$	$\frac {4}{12}$	$\frac{1}{12}$

对$X$的边缘分布如表所示

X	1	2
1	$\frac{1}{2}$	$\frac{1}{2}$

对$Y$的边缘分布如表所示

Y	1	2	3
1	$\frac{1}{6}$	$\frac{2}{3}$	$\frac{1}{6}$

可以验证对所有$X$和$Y$取值$x_{i}$和$y_{j}$，有

$$p\left(X=x_{i}, Y=y_{j}\right)=p_{X}\left(X=x_{i}\right) p_{Y}\left(Y=y_{j}\right)$$

例如

$$p(X=2, Y=2)=p_{X}(X=2) p_{Y}(Y=2)=\frac{1}{2} \times \frac{2}{3}$$

因此$X$和$Y$相互独立

连续型随机向量

描述连续型随机向量的是联合概率密度函数，是概率密度函数的推广，联合概率密度函数必须满足如下约束条件

$$f(x) \geqslant 0 \qquad \int_{R^{n}} f(x) \mathrm{d} x=1$$

第2个等式为$n$重积分，对于二维随机向量，其联合概率密度函数满足的约束条件为

$$f(x, y) \geqslant 0 \qquad \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) \mathrm{d} x \mathrm{~d} y=1$$

连续型随机向量在某一点处的概率为0

分布函数为联合概率密度函数对所有变量的变上限积分，对于二维随机向量，分布函数为

$$F(x, y)=p(X \leqslant x, Y \leqslant y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) \mathrm{d} u \mathrm{~d} v$$

边缘概率密度函数

边缘概率密度函数(Marginal Probability Density Function)将离散型随机向量边缘概率质量函数计算公式中的求和换成积分

对每个随机变量的边缘密度为对其他变量积分后的结果，对于二维随机向量为

$$f_{X}(x)=\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} y \qquad f_{Y}(y)=\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} x$$

下面将边缘概率密度函数推广到随机向量的多个分量，有$n$维随机向量$x$，将它拆分成子向量$x_{A}=\left(x_{1} \cdots x_{r}\right)^{\mathrm{T}}$和$x_{B}=\left(x_{r+1} \cdots x_{n}\right)^{\mathrm{T}}$

对$x_{A}$的边缘概率密度函数是联合概率密度函数对$x_{B}$的所有分量求积分的结果

$$f_{\boldsymbol{x}_{A}}\left(\boldsymbol{x}_{A}\right)=\int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} f(\boldsymbol{x}) \mathrm{d} x_{r+1} \cdots \mathrm{d} x_{n}$$

类似地有

$$f_{\boldsymbol{x}_{B}}\left(\boldsymbol{x}_{B}\right)=\int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} f(\boldsymbol{x}) \mathrm{d} x_{1} \cdots \mathrm{d} x_{\Gamma}$$

有时会将$f_{X}(x)$简写为$f(x)$

边缘累积分布函数

边缘累积分布函数(Marginal Cumulative Distribution Function )则为边缘密度的积分，类似于单随机变量的情况

对于二维随机向量，边缘累积分布函数为

$$F_{X}(x)=\int_{-\infty}^{x} f_{X}(u) \mathrm{d} u \qquad F_{Y}(y)=\int_{-\infty}^{y} f_{Y}(v) \mathrm{d} v$$

对于二维随机变量条件概率密度函数定义为

$$f_{X \mid Y}(x \mid y)=\frac{f(x, y)}{f_{Y}(y)}$$

通常情况下，在使用条件密度函数$f_{X \mid Y}(x \mid y)$时，$y$的值是已知的

有时会将$f_{X \mid Y}(x \mid y)$简写为$f(x \mid y)$

将条件概率密度函数推广到随机向量的多个分量，按照本节前面的随机向量拆分方案，有

$$f_{x_{A} \mid \boldsymbol{x}_{B}}\left(\boldsymbol{x}_{A} \mid \boldsymbol{x}_{B}\right)=\frac{f(x)}{f_{\boldsymbol{x}_{B}}\left(\boldsymbol{x}_{B}\right)}$$

随机向量的联合概率符合链式法则

$$\begin{aligned} f\left(x_{1}, \cdots, x_{n}\right) & =f\left(x_{n} \mid x_{1}, \cdots, x_{n-1}\right) f\left(x_{1}, \cdots, x_{n-1}\right) \\ & =f\left(x_{n} \mid x_{1}, \cdots, x_{n-1}\right) f\left(x_{n-1} \mid x_{1}, \cdots, x_{n-2}\right) f\left(x_{1}, \cdots, x_{n-2}\right) \\ & =\cdots \\ & =f\left(x_{1}\right) \prod_{i=2}^{n} f\left(x_{i} \mid x_{1}, \cdots, x_{i-1}\right) \end{aligned}$$

条件分布函数是对条件密度函数的积分，对于二维随机向量，定义为

$$F_{X \mid Y}(x \mid y)=\int_{-\infty}^{x} f_{X \mid Y}(u \mid y) \mathrm{d} u=\int_{-\infty}^{x} \frac{f(u, y)}{f_{Y}(y)} \mathrm{d} u$$

对于两个随机变量$(X, Y)$，如果下式几乎处处成立(不成立点为有限集或无限可数集）

$$f(x, y)=f_{X}(x) f_{Y}(y)$$

则称它们相互独立

对于$n$维随机向量$\boldsymbol{x}=\left(X_{1}, \cdots, X_{n}\right)$，如果下式几乎处处成立

$$f(\boldsymbol{x})=f_{X_{1}}\left(x_{1}\right) f_{X_{2}}\left(x_{2}\right) \cdots f_{X_{n}}\left(x_{n}\right)$$

则称它们相互独立

独立同分布

如果一组随机变量相互之间独立，且服从同一种概率分布，则称它们独立同分布(Independent And Identically Distributed, IID )

在机器学习中，一般假设各个样本之间独立 同分布，如果样本集$x_{i}, i=1, \cdots, l$独立同分布，均服从概率分布$p(\boldsymbol{x})$，则它们的联合概率为

$$p\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \cdots, \boldsymbol{x}_{l}\right)=\prod_{i=1}^{l} p\left(\boldsymbol{x}_{i}\right)$$

在参数估计如最大似然估计，以及各种机器学习、深度学习算法中，经常使用此假设，以简化联合概率的计算

贝叶斯公式对于连续型随机变量同样适用，如果$X, Y$均为连续型随机变量，它们的联合概率密度函数为$f(x, y)$，则有

$$f_{Y \mid X}(y \mid x)=\frac{f_{X \mid Y}(x \mid y) f_{Y}(y)}{f_{X}(x)}=\frac{f_{X \mid Y}(x \mid y) f_{Y}(y)}{\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} y}$$

在贝叶斯分类器等推断算法中这个公式经常被使用

数学期望

随机向量的数学期望$\mu$是一个向量，它的分量是对单个随机变量的数学期望

$$\mu_{i}=E\left[x_{i}\right]$$

其具体的计算方式与随机变量相同，对于离散型随机向量，分量$x_{i}$的数学期望为

$$E\left[x_{i}\right]=\sum_{x_{1}} \cdots \sum_{x_{n}} x_{i} p(\boldsymbol{x})$$

对于连续型随机向量，分量的数学期望为$n$重积分

$$E\left[x_{i}\right]=\int_{\mathbb{R}^{n}} x_{i} f(\boldsymbol{x}) \mathrm{d} \boldsymbol{x}$$

对于下表中的随机向量

X \ Y	1	2	3	4
1	0.1	0.1	0.1	0.0
2	0.25	0.0	0.15	0.05
3	0.1	0.15	0.0	0.0

其对$X$的数学期望为

$$\begin{aligned} E(X)= & 1 \times 0.1+1 \times 0.1+1 \times 0.1+1 \times 0.0+2 \times 0.25+2 \times 0.0+2 \times 0.15+2 \times 0.05 \\ & +3 \times 0.1+3 \times 0.15+3 \times 0.0+3 \times 0.0=1.95 \end{aligned}$$

类似地可以定义随机向量函数的数学期望，对于离散型随机向量$\boldsymbol{x}$，定义为

$$E[g(\boldsymbol{x})]=\sum_{x_{1}} \cdots \sum_{x_{n}} g(\boldsymbol{x}) p(\boldsymbol{x})$$

对于连续型随机向量$\boldsymbol{x}, g(\boldsymbol{x})$的数学期望为

$$E[g(\boldsymbol{x})]=\int_{\mathbb{R}^{n}} g(\boldsymbol{x}) f(\boldsymbol{x}) \mathrm{d} \boldsymbol{x}$$

根据数学期望的定义可以证明

$$E\left[\sum_{i=1}^{n} a_{i} x_{i}+b\right]=\sum_{i=1}^{n} a_{i} E\left[x_{i}\right]+b$$

如果两个随机变量$X$和$Y$相互独立，则

$$E[X Y]=E[X] E[Y]$$

下面对连续型概率分布进行证明，假设$X$和$Y$的联合概率密度函数为$f(x, y)$，由于相互独立，因此

$$f(x, y)=f_{X}(x) f_{Y}(y)$$

根据数学期望的定义，有

$$\begin{aligned} E[X Y] & =\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} x y f(x, y) \mathrm{d} x \mathrm{~d} y=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} x y f_{X}(x) f_{Y}(y) \mathrm{d} x \mathrm{~d} y \\ & =\int_{-\infty}^{+\infty} x f_{X}(x) \mathrm{d} x \int_{-\infty}^{+\infty} y f_{Y}(y) \mathrm{d} y=E[X] E[Y] \end{aligned}$$

对于随机向量函数，有

$$E[g(\boldsymbol{x})+h(\boldsymbol{x})]=E[g(\boldsymbol{x})]+E[h(\boldsymbol{x})]$$

协方差

定义

协方差(Covariance, cov)是方差对两个随机变量的推广，它反映了两个随机变量$X$与$Y$联合变动的程度

协方差定义为

$$\operatorname{cov}(X, Y)=E[(X-E[X])(Y-E[Y])]$$

是两个随机变量各自的偏差之积的数学期望，对于离散型随机变量，协方差的计算公式为

$$\operatorname{cov}(X, Y)=\sum_{i=1}^{m} \sum_{j=1}^{n}\left(x_{i}-E[X]\right)\left(y_{j}-E[Y]\right) p\left(x_{i}, y_{j}\right)$$

例如对于如下的概率分布

X \ Y	1	2	3
1	$\frac {1}{4}$	$\frac {1}{4}$	0
2	0	$\frac {1}{4}$	$\frac {1}{4}$

可以得到$X$的边缘概率分布为

X	1	2
1	$\frac {1}{2}$	$\frac {1}{2}$

$X$的数学期望为

$$E[X]=1 \times \frac{1}{2}+2 \times \frac{1}{2}=\frac{3}{2}$$

可以得到$Y$的边缘概率分布为

Y	1	2	3
1	$\frac {1}{4}$	$\frac {1}{2}$	$\frac {1}{4}$

$Y$的数学期望为

$$E[Y]=1 \times \frac{1}{4}+2 \times \frac{1}{2}+3 \times \frac{1}{4}=2$$

根据定义，协方差为

$$\begin{aligned} \operatorname{cov}(X, Y)= & \frac{1}{4} \times\left(1-\frac{3}{2}\right) \times(1-2)+\frac{1}{4} \times\left(1-\frac{3}{2}\right) \times(2-2)+0 \times\left(1-\frac{3}{2}\right) \times(3-2) \\ & +0 \times\left(2-\frac{3}{2}\right) \times(1-2)+\frac{1}{4} \times\left(2-\frac{3}{2}\right) \times(2-2)+\frac{1}{4} \times\left(2-\frac{3}{2}\right) \times(3-2)=\frac{1}{4}\end{aligned}$$

对于连续型隨机变量，协方差的计算公式为

$$\operatorname{cov}(X, Y)=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty}(x-E[X])(y-E[Y]) f(x, y) \mathrm{d} x \mathrm{~d} y$$

需要注意的是，协方差不能保证是非负的

根据定义，协方差具有对称性

$$\operatorname{cov}(X, Y)=\operatorname{cov}(Y, X)$$

可以证明下式成立

$$\operatorname{cov}(X, Y)=E[X Y]-E[X] E[Y]$$

根据定义，有

$$\begin{aligned} \operatorname{cov}(X, Y) & =E[(X-E[X])(Y-E[Y])]=E[X Y-X E[Y]-E[X] Y+E[X] E[Y]] \\ \\ & =E[X Y]-E[X] E[Y]-E[X] E[Y]+E[X] E[Y]=E[X Y]-E[X] E[Y] \end{aligned}$$

通常用式$\operatorname{cov}(X, Y)=E[X Y]-E[X] E[Y]$计算协方差，根据定义，一个随机变量与其自身的协方差就是该随机变量的方差

$$\operatorname{cov}(X, X)=\operatorname{var}(X)$$

根据协方差的定义，可以证明下面的等式成立

$$\begin{array}{l} \operatorname{cov}(X, a)=0 \qquad \operatorname{cov}(a X, b Y)=a b \operatorname{cov}(X, Y) \qquad \operatorname{cov}(X+a, Y+b)=\operatorname{cov}(X, Y) \\ \\ \operatorname{cov}(a X+b Y, c W+d V)=a c \operatorname{cov}(X, W)+a d \operatorname{cov}(X, V)+b c \operatorname{cov}(Y, W)+b d \operatorname{cov}(Y, V) \end{array}$$

例子

下面计算两个离散型随机变量在取值为有限种可能，且取每种值的概率相等时的协方差

有随机向量$(X, Y)$，其取值为

$$\left(x_{i}, y_{i}\right), i=1, \cdots, n$$

取每一对值的概率相等，即$p_{i}=\frac{1}{n}$，则这两个随机变量的协方差为

$$\operatorname{cov}(X, Y)=\sum_{i=1}^{n} p_{i}\left(x_{i}-E[X]\right)\left(y_{i}-E[Y]\right)=\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-E[X]\right)\left(y_{i}-E[Y]\right)$$

可进一步简化为

$$\begin{array}{l} \operatorname{cov}(X, Y)=\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-E[X]\right)\left(y_{i}-E[Y]\right) \\ =\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\frac{1}{n} \sum_{j=1}^{n} x_{j}\right)\left(y_{i}-\frac{1}{n} \sum_{j=1}^{n} y_{j}\right)=\frac{1}{n^{3}} \sum_{i=1}^{n}\left(\sum_{j=1}^{n}\left(x_{i}-x_{j}\right)\right)\left(\sum_{j=1}^{n}\left(y_{i}-y_{j}\right)\right) \\ =\frac{1}{n^{2}} \sum_{i=1}^{n} \sum_{j=1}^{n} \frac{1}{2}\left(x_{i}-x_{j}\right)\left(y_{i}-y_{j}\right)=\frac{1}{n^{2}} \sum_{i=1}^{n} \sum_{j=i+1}^{n}\left(x_{i}-x_{j}\right)\left(y_{i}-y_{j}\right) \end{array}$$

如果两个随机变量的协方差为0，则称它们不相关(Uncorrelated)，如果两个随机变量相互独立，则它们的协方差为0

$$\operatorname{cov}(X, Y)=0$$

因此，相互独立的随机变量一定不相关

两个随机变量的协方差为0，不能推导出这两个随机变量相互独立

例如$X$服从均匀分布$U(-1,1)$，令$Y=X^{2}$，则有

$$\operatorname{cov}(X, Y)=E\left[X \cdot X^{2}\right]-E[X] E\left[X^{2}\right]=E\left[X^{3}\right]-E[X] E\left[X^{2}\right]=0-0 \cdot E\left[X^{2}\right]=0$$

但$X$和$Y$不相互独立，它们之间存在确定的非线性关系，协方差衡量的是线性相关性，协方差为0只能说明两个随机变量线性独立

如果两个随机变量服从正态分布，则不相关与独立等价，对于两个随机变量$X$和$Y$，有

$$\operatorname{var}[X+Y]=\operatorname{var}[X]+\operatorname{var}[Y]+2 \operatorname{cov}(X, Y)$$

根据方差的定义，有

$$\begin{aligned} \operatorname{var}[X+Y] & =E\left[(X+Y-E[X+Y])^{2}\right]=E\left[(X+Y-E[X]-E[Y])^{2}\right] \\ & =E\left[(X-E[X])^{2}+(Y-E[Y])^{2}+2(X-E[X])(Y-E[Y])\right] \\ & =\operatorname{var}[X]+\operatorname{var}[Y]+2 \operatorname{cov}(X, Y) \end{aligned}$$

推广到多个随机变量，对于随机变量$X_{1}, \cdots, X_{n}$，有

$$\operatorname{var}\left[\sum_{i=1}^{n} X_{i}\right]=\sum_{i=1}^{n} \operatorname{var}\left[X_{i}\right]+2 \sum_{i=1}^{n} \sum_{j=i+1}^{n} \operatorname{cov}\left(X_{i}, X_{j}\right)$$

如果两个随机变量$X$和$Y$相互独立，它们之和的方差等于各自的方差之和

$$\operatorname{var}[X+Y]=\operatorname{var}[X]+\operatorname{var}[Y]$$

推广到多个随机变量，如果$X_{1}, \cdots, X_{n}$相互独立，则有

$$\operatorname{var}\left[\sum_{i=1}^{n} X_{i}\right]=\sum_{i=1}^{n} \operatorname{var}\left[X_{i}\right]$$

协方差矩阵

对于$n$维随机向量$\boldsymbol{x}$，其任意两个分量$x_{i}$和$x_{j}$之间的协方差$\operatorname{cov}\left(x_{i}, x_{j}\right)$组成的矩阵称为协方差矩阵

$$\boldsymbol{\Sigma}=\left(\begin{array}{ccc} \operatorname{cov}\left(x_{1}, x_{1}\right) & \cdots & \operatorname{cov}\left(x_{1}, x_{n}\right) \\ \vdots & & \vdots \\ \operatorname{cov}\left(x_{n}, x_{1}\right) & \cdots & \operatorname{cov}\left(x_{n}, x_{n}\right) \end{array}\right)$$

由于协方差具有对称性，因此协方差矩阵是对称矩阵

进一步可以证明，协方差矩阵是半正定矩阵，下面对连续型概率分布进行证明，对于离散型概率分布方法类似

假设有$n$维随机向量$x$，其联合概率密度函数为$f(\boldsymbol{x})$，协方差矩阵为$\boldsymbol{\Sigma}$，对于任意非$\boldsymbol{0}$向量$\boldsymbol{y}$，有

$$\begin{aligned} y^{\mathrm{T}} \Sigma y & =\sum_{i=1}^{n} \sum_{j=1}^{n} y_{i} y_{j} \operatorname{cov}\left(x_{i}, x_{j}\right)=\sum_{i=1}^{n} \sum_{j=1}^{n} y_{i} y_{j} \int_{\mathbb{R}^{n}}\left(x_{i}-\mu_{i}\right)\left(x_{j}-\mu_{j}\right) f(\boldsymbol{x}) \mathrm{d} \boldsymbol{x} \\ & =\int_{\mathbb{R}^{n}}\left(\sum_{i=1}^{n} \sum_{j=1}^{n} y_{i} y_{j}\left(x_{i}-\mu_{i}\right)\left(x_{j}-\mu_{j}\right)\right) f(\boldsymbol{x}) \mathrm{d} \boldsymbol{x}=\int_{\mathbb{R}^{n}}\left(\sum_{k=1}^{n} y_{k}\left(x_{k}-\mu_{k}\right)\right)^{2} f(\boldsymbol{x}) \mathrm{d} \boldsymbol{x} \geqslant 0 \end{aligned}$$

因此$\Sigma$半正定，协方差矩阵的半正定性与方差的非负性是统一的

常用概率分布

多维均匀分布是一维均匀分布的推广，在封闭区域$D$内，联合概率密度函数为非0常数；在此范围之外，联合概率密度函数取值为0，其联合概率密度函数为

$$f(x)=\left\{\begin{array}{ll} \frac{1}{s(D)}, & x \in D \\ 0, & x \notin D \end{array}\right.$$

其中$s(D)$为封闭区域$D$的测度，对于一维向量是区间的长度，对于二维向量是区域的面积，对于三维向量是区域的体积

多维正态分布(Multivariate Normal Distribution)在机器学习中被广泛使用，将一维的正态 分布推广到高维, 可以得到多维正态分布概率密度函数

$$p(\boldsymbol{x})=\frac{1}{(2 \pi)^{\frac{n}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)$$

其中$x$为$n$维随机向量，$\mu$为$n$维均值向量，$\Sigma$为$n$阶协方差矩阵，通常要求协方差矩阵正定

这与一维正态分布$N\left(\mu, \sigma^{2}\right)$概率密度函数的表达式在形式上是统一的，均值为$\mu$，协方差为${\Sigma}$的正态分布简记为$N(\boldsymbol{\mu}, \boldsymbol{\Sigma})$

如果$n=1, \boldsymbol{\mu}=\mu, \boldsymbol{\Sigma}=\sigma^{2}$，则上式即为一维正态分布$N\left(\mu, \sigma^{2}\right)$

上式概率密度函数在 $\mathbb{R}^{n}$ 内的积分值为1

如果$\mu=0, \Sigma=I$则称为标准正态分布，简记为$N(0, I)$

联合概率密度函数为

$$p(\boldsymbol{x})=\frac{1}{(2 \pi)^{\frac{\pi}{2}}} \exp \left(-\frac{1}{2} \boldsymbol{x}^{\mathrm{T}} \boldsymbol{x}\right)$$

此时随机向量的各个分量相互独立，且均服从一维标准正态分布$N(0,1)$，二维正态分布的概率密度函数如图所示，是钟形曲面，在均值点处有极大值，远离均值点时，函数值递减

二维正态分布

下面考虑二维正态分布，其概率密度函数可以写成下面的形式

$$p(x, y)=\frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left(-\frac{1}{2\left(1-\rho^{2}\right)}\left(\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}-\frac{2 \rho\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right)\right)$$

其均值向量为

$$\boldsymbol{\mu}=\left(\begin{array}{l} \mu_{1} \\ \mu_{2} \end{array}\right)$$

p271-p276

极限定理

切比雪夫不等式

大数定理

中心极限定理

---

参数估计

在机器学习中，通常假设随机变量服从某种概率分布$p(\boldsymbol{x})$，但这种分布的参数$\theta$是末知的

算法需要根据一组服从此概率分布的样本来估计出概率分布的参数，称为参数估计问题

• 已知概率密度函数形式的问题，可以使用的是最大似然估计、最大后验概率估计以及贝叶斯估计
• 如果不指定概率密度函数的具体形式，则可用核密度估计技术，这是一种无参的方法

最大似然估计

定义

最大似然估计(Maximum Likelihood Estimation, MLE)为样本集构造一个似然函数，通过让似然函数最大化，求解出参数$\theta$

其直观解释是，寻求参数的值使得给定的样本集出现的概率(或概率密度函数值)最大

最大似然估计认为使得观测数据(样本集)出现概率最大的参数为最优参数，这一方法体现了存在的就是合理的这一朴素的哲学思想：既然这组样本出现了，那么它们出现的概率理应是最大化的

方法

假设样本服从的概率分布为$p(\boldsymbol{x} ; \boldsymbol{\theta})$，其中$x$为随机变量$\theta$为要估计的参数

给定一组样本$x_{i}, i=1, \cdots, l$，它们都服从这种分布且相互独立，因此，它们的联合概率为

$$\prod_{i=1}^{l} p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)$$

这个联合概率也称为似然函数，其中$x_{i}$是已知量，$\theta$是待确定的末知数，似然函数是优化变量$\theta$的函数

$$L(\boldsymbol{\theta})=\prod_{i=1}^{l} p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)$$

目标是让该函数的值最大化，这样做的依据是这组样本出现了，因此应该最大化它们出现的概率

即求解如下最优化问题

$$\max _{\boldsymbol{\theta}} \prod_{i=1}^{l} p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)$$

求解驻点方程可以得到问题的解

乘积求导不易处理且连乘容易造成浮点数溢出，将似然函数取对数，得到对数似然函数

$$\ln L(\boldsymbol{\theta})=\ln \prod_{i=1}^{l} p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)=\sum_{i=1}^{l} \ln p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)$$

对数函数是增函数，因此最大化似然函数等价于最大化对数似然函数

最后要求解的问题为

$$\max _{\boldsymbol{\theta}} \sum_{i=1}^{L} \ln p\left(\boldsymbol{x}_{i} ; \boldsymbol{\theta}\right)$$

这是一个不带约束的优化问题，一般情况下可直接求得解析解

也可用梯度下降法或者牛顿法求解，对于离散型概率分布和连续型穊率分布，这种处理方法是统一的

例子_估计伯努利分布的参数

对于伯努利分布$B(p)$，有$n$个样本，其中取值为1的有$a$个，取值为0的有$n-a$个，样本集的似然函数为

$$L(p)=p^{a}(1-p)^{n-a}$$

如果$n=10, a=3$，那么似然函数的图像如图所示，图中横坐标为参数$p$，纵坐标是似然函数的值

从图像来看，该函数在$0.3$时取极大值，对数似然函数为

$$\ln L(p)=a \ln p+(n-a) \ln (1-p)$$

对$p$求导并令导数为0，可得

$$\frac{a}{p}-(n-a) \frac{1}{1-p}=0$$

解得

$$p=\frac{a}{n}$$

将$n=10, a=3$代人，可以得到

$$p=0.3$$

这与图的直观结果一致

例子_估计正态分布的参数

对于正态分布$N\left(\mu, \sigma^{2}\right)$，有样本集$x_{1}, \cdots, x_{n}$，该样本集的似然函数为

$$L(\mu, \sigma)=\prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right)=\left(2 \pi \sigma^{2}\right)^{-\frac{n}{2}} \exp \left(-\frac{1}{2 \sigma^{2}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}\right)$$

对数似然函数为

$$\ln L(\mu, \sigma)=-\frac{n}{2} \ln (2 \pi)-\frac{n}{2} \ln \left(\sigma^{2}\right)-\frac{1}{2 \sigma^{2}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}$$

对$\mu$和$\sigma$求偏导数并令其为0，得到下面的方程组

$$\left\{\begin{array}{l} \frac{\partial \ln L(\mu, \sigma)}{\partial \mu}=\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)=0 \\ \frac{\partial \ln L(\mu, \sigma)}{\partial \sigma}=-\frac{n}{\sigma}+\frac{1}{\sigma^{3}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}=0 \end{array}\right.$$

解得

$$\mu=\bar{x}=\frac{1}{n} \sum_{i=1}^{n} x_{i} \qquad \sigma^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}$$

正态分布最大似然估计的均值为样本集的均值，方差为样本集的方差

假设由一维正态分布产生了一组样本$[0.4,0.5,0.49,0.51,0.52,0.48,0.8,0.7,0.6]$

样本集似然函数有一个峰值，一般情况下似然函数是凹函数，因此有全局极大值点，对于多维正态分布有类似的结果

有$n$维正态分布$N(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，给定一组样本$x_{1}, \cdots, \boldsymbol{x}_{l}$，其对数似然函数为

$$\begin{aligned} \ln L(\boldsymbol{\mu}, \boldsymbol{\Sigma}) & =\ln \prod_{i=1}^{l} \frac{1}{(2 \pi)^{\frac{n}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp \left(-\frac{1}{2}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}\right)^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}\right)\right) \\ & =-\frac{n l}{2} \ln (2 \pi)-\frac{l}{2} \ln |\boldsymbol{\Sigma}|-\frac{1}{2} \sum_{i=1}^{1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}\right)^{\mathrm{T}} \boldsymbol{\Sigma}^{-1}\left(\boldsymbol{x}_{i}-\boldsymbol{\mu}\right) \end{aligned}$$

对$\boldsymbol{\mu}$求梯度并令梯度为0

$$\nabla_{\mu} \ln L=\sum_{i=1}^{l} \Sigma^{-1}\left(x_{i}-\mu\right)=\mathbf{0}$$

两边左乘$\boldsymbol{\Sigma}$，解得

$$\mu=\frac{1}{l} \sum_{i=1}^{l} x_{i}$$

对$\Sigma$的求解更为复杂，因火它要满足对称正定性约束条件，可以解得

$$\Sigma=\frac{1}{l} \sum_{i=1}^{1}\left(x_{i}-\mu\right)\left(x_{i}-\mu\right)^{\mathrm{T}}$$

$\boldsymbol{\mu}$ 在前面已经被算出，这与一维正态分布的最大似然估计狜果在形式上是统一的

最大后验概率估计

最大似然估计将参数$\theta$看作确定值(普通的变量)，但其值末知，通过最大化对数似然函数确定其值

最大后验概率估计(Maximum A Posteriori Probability Estimate, MAP)则将参数$\theta$看作随机变量，假设它服从某种概率分布，通过最大化后验概率$p(\boldsymbol{\theta} \mid \boldsymbol{x})$确定其值

其核心思想是使得在样本出现的条件下参数的后验概率最大化

求解时需要假设参数$\theta$服从某种分布(称为先验分布)

假设参数服从概率分布$p(\theta)$，根据贝叶斯公式，参数对样本集的后验概率(即已知样本集$x$的条件下参数$\theta$的条件概率)为

$$p(\boldsymbol{\theta} \mid \boldsymbol{x})=\frac{p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta})}{p(\boldsymbol{x})}=\frac{p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta})}{\int_{\boldsymbol{\theta}} p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta}) \mathrm{d} \boldsymbol{\theta}}$$

其中$p(x \mid \theta)$是给定参数值时样本的概率分布，就是$x$的概率密度函数或概率质量函数，可以根据样本的值$x$进行计算，与最大似然估计相同，$\theta$是随机变量，因此，最大化该后验概率等价于

$$\arg \max _{\boldsymbol{\theta}} p(\boldsymbol{\theta} \mid \boldsymbol{x})=\arg \max _{\boldsymbol{\theta}} \frac{p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta})}{\int_{\boldsymbol{\theta}} p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta}) \mathrm{d} \boldsymbol{\theta}}=\arg \max _{\boldsymbol{\theta}} p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta})$$

上式第二步忽略了分母的值，因为它和参数$\theta$无关且为正

最大后验概率估计与最大似然估计一致，实现时，同样可以将目标函数取对数然后计算

例子_用最大后验概率估计计算伯努利分布的参数

对于伯努利分布参数估计问题，假设参数$p$服从正态分布$N\left(0.3,0.1^{2}\right)$，则目标函数为

$$L(p)=p^{a}(1-p)^{n-a} \frac{1}{\sqrt{2 \pi} \times 0.1} \exp \left(-\frac{(p-0.3)^{2}}{2 \times 0.1^{2}}\right)$$

其图像为

其对数为

$$\ln L(p)=a \ln p+(n-a) \ln (1-p)+\ln \frac{1}{\sqrt{2 \pi} \times 0.1}-50(p-0.3)^{2}$$

对$p$求导并令导数为0，将$n=10, a=3$代人上式，可以得到

$$\frac{3}{p}-\frac{7}{1-p}-100(p-0.3)=0$$

由于$0<p<1$，因此解此方程即可得到$p$的值

最大值在$0.3$点附近取得，与上图有所差异，图中横坐标为参数$p$，纵坐标为目标函数值

接下来计算正态分布的参数，假设有正态分布$N\left(\mu_{1} \sigma_{v}^{2}\right)$，其均值$\mu$末知，而方差已知

有组采样自该分布的独立同分布样本$x_{1}, \cdots, x_{n}$，假设参数$\mu$服从从正态分布$N\left(\mu_{0}, \sigma_{m}^{2}\right)$

最大后验概率估计的目标函数为

$$L(\mu)=\frac{1}{\sqrt{2 \pi} \sigma_{m}} \exp \left(-\frac{\left(\mu-\mu_{0}\right)^{2}}{2 \sigma_{m}^{2}}\right) \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma_{v}} \exp \left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma_{v}^{2}}\right)$$

将该函数取对数, 可得

$$\ln L(\mu)=\ln \frac{1}{\sqrt{2 \pi} \sigma_{m}}-\frac{\left(\mu-\mu_{0}\right)^{2}}{2 \sigma_{m}^{2}}+n \ln \frac{1}{\sqrt{2 \pi} \sigma_{v}}-\sum_{i=1}^{n} \frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma_{v}^{2}}$$

最大化此目标函数等价于最小化如下函数

$$f(\mu)=\frac{\left(\mu-\mu_{0}\right)^{2}}{\sigma_{m}^{2}}+\sum_{i=1}^{n} \frac{\left(x_{i}-\mu\right)^{2}}{\sigma_{v}^{2}}$$

对$\mu$求导并令导数为0，可以解得

$$\mu=\frac{\sigma_{m}^{2}\left(\sum_{i=1}^{n} x_{i}\right)+\sigma_{v}^{2} \mu_{0}}{\sigma_{m}^{2} n+\sigma_{v}^{2}}$$

这就是均值的最大后验概率估计结果

如果忽略上式分子和分母的第二部分即假设$\mu$的方差$\sigma_{v}$为0，则与最大似然估计的结果相同，此时的$\mu$退化成一个确定值

贝叶斯估计

定义

贝叶斯估计与最大后验概率估计的思想类似，区别在于不求出参数的具体值，而是求出参数所服从的概率分布

上节中已经推导过，参数$\theta$的后验概率分布为

$$p(\boldsymbol{\theta} \mid \boldsymbol{x})=\frac{p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta})}{\int_{\boldsymbol{\theta}} p(\boldsymbol{x} \mid \boldsymbol{\theta}) p(\boldsymbol{\theta}) \mathrm{d} \boldsymbol{\theta}}$$

同样的，$p(\boldsymbol{\theta})$为参数的先验分布，$p(\boldsymbol{x} \mid \boldsymbol{\theta})$为给定参数时样本的概率分布，这里得到的是参数的概率分布，通常取其数学期望作为参数的估计值，即参数的估计值为

$$E[p(\boldsymbol{\theta} \mid \boldsymbol{x})]$$

式$p(\boldsymbol{\theta} \mid \boldsymbol{x})$分母中的积分通常难以计算，信息论章节将讲述参数后验概率的近似计算方法一变分推断

核密度估计

定义

前面介绍的参数估计方法均需要已知概率密度函数的形式，算法只确定概率密度函数的参数

对于很多应用，我们无法给出概率密度函数的显式表达式，此时可以使用核密度估计

核密度估计(Kernel Density Estimation, KDE)也称为Parzen窗技术，是一种非参数方法，它无须求解概率密度函数的参数，而是用一组标准函数的叠加表示概率密度函数

方法

有$d$维空间中的样本点$\boldsymbol{x}_{i}, i=1, \cdots, n$，它们服从某一末知的概率分布

给定核函数$K(\boldsymbol{x})$，在任意点$x$处的概率密度函数估计值根据所有的样本点计算

$$p(\boldsymbol{x})=\frac{1}{n h^{d}} \sum_{i=1}^{n} K\left(\frac{\boldsymbol{x}-\boldsymbol{x}_{i}}{h}\right)$$

其中$h$为核函数的窗口半径，是人工设定的正参数

核函数要保证函数值$K\left(\frac{x-x_{i}}{h}\right)$随着待估计点$x$离样本点$x_{i}$的距离增加而递减

根据这一原则，如果$x$附近的样本点密集，则在该点处的概率密度函数估计值更大

如果附近的样本点稀疏，则概率密度函数的估计值小，这符合对概率密度函数的直观要求

系数$\frac{1}{n h^{d}}$是为了确保$p(\boldsymbol{x})$的积分为1，使得它是一个合法的概率密度函数

其中$\frac{1}{n}$对应于$n$个求和项；$\frac{1}{h^{d}}$是为了确保核函数进行$d$维换元之后积分值为1，即

$$\int_{\mathbb{R}^{d}} \frac{1}{h^{d}} K\left(\frac{\boldsymbol{x}-\boldsymbol{x}_{i}}{h}\right) \mathrm{d} \boldsymbol{x}=1$$

核函数能确保积分值为1

$$\int_{\mathbb{R}^{d}} K(\boldsymbol{y}) \mathrm{d} \boldsymbol{y}=1$$

如果令$\frac{x-x_{i}}{h}=y$

其逆变换为

$$\boldsymbol{x}=h \boldsymbol{y}+\boldsymbol{x}_{i}$$

此换元的雅可比行列式为

$$\left|\frac{\partial x}{\partial y}\right|=\left|\begin{array}{ccc} h & \cdots & 0 \\ \vdots & & \vdots \\ 0 & \cdots & h \end{array}\right|=h^{d}$$

因此有

$$\frac{1}{h^{d}} \int_{\mathbb{R}^{d}} K\left(\frac{\boldsymbol{x}-\boldsymbol{x}_{i}}{h}\right) \mathrm{d} \boldsymbol{x}=\frac{1}{h^{d}} \int_{\mathbb{R}^{d}} K(\boldsymbol{y})\left|\frac{\partial \boldsymbol{x}}{\partial \boldsymbol{y}}\right| \mathrm{d} \boldsymbol{y}=\frac{1}{h^{d}} \int_{\mathbb{R}^{d}} K(\boldsymbol{y}) h^{d} \mathrm{~d} \boldsymbol{y}=1$$

常用的核函数是径向对称核(Radially Symmetric Kernel)，可以写成如下形式

$$K(\boldsymbol{x})=c_{k, d} k\left(\|\boldsymbol{x}\|^{2}\right)$$

其中$k(x)$为核的剖面(profile)函数，是$|\boldsymbol{x}|$的减函数且对点$x$关于原点径向对称，这也是径向对称核这一名称的来历

归一化常数$c_{k, d}$确保$K(x)$的积分值为1，即核函数成立，此常数根据具体的核函数而定

经典核函数

Epanechnikov剖面函数定义为

$$k(x)=\left\{\begin{array}{ll} 1-x & 0 \leqslant x \leqslant 1 \\ 0 & x>1 \end{array}\right.$$

其对应的径向对称核称为Epanechnikov核，定义为

$$K(\boldsymbol{x})=\left\{\begin{array}{ll} \frac{1}{2} c_{d}^{-1}(d+2)\left(1-\|\boldsymbol{x}\|^{2}\right) & \|\boldsymbol{x}\| \leqslant 1 \\ 0 & \|\boldsymbol{x}\|>1 \end{array}\right.$$

其中$c_{d}$是$d$维单位球的体积，Epanechnikov剖面函数在$x=1$点处不可导

高斯核的剖面函数定义为

$$k(x)=\exp \left(-\frac{1}{2} x\right)$$

其对应的多变量高斯核(Multivariate Gaussian Kernel)为

$$K(\boldsymbol{x})=(2 \pi)^{-d / 2} \exp \left(-\frac{1}{2}\|\boldsymbol{x}\|^{2}\right)$$

它的归一化系数为$(2 \pi)^{-d / 2}$，因为根据3.8.3节的结论

$$\int_{\mathbb{R}^{d}} \exp \left(-\frac{1}{2}\|\boldsymbol{x}\|^{2}\right) \mathrm{d} \boldsymbol{x}=(2 \pi)^{d / 2}$$

这就是标准多维正态分布，核密度值越大即样本点越密集的点处的亮度值越大，反之则越小

应用

借助于剖面函数，式子

$$p(\boldsymbol{x})=\frac{1}{n h^{d}} \sum_{i=1}^{n} K\left(\frac{\boldsymbol{x}-\boldsymbol{x}_{i}}{h}\right)$$

可以写成

$$f_{h, K}(\boldsymbol{x})=\frac{c_{k, d}}{n h^{d}} \sum_{i=1}^{n} k\left(\left\|\frac{\boldsymbol{x}-\boldsymbol{x}_{i}}{h}\right\|^{2}\right)$$

对于某些实际应用，需要计算核密度函数的极大值点，典型的是视觉目标跟踪、桃类算法

如果用梯度上升法求解此问题，那么可以得到著名的均值漂移(Mean Shift)算法