前置知识

由于人工智能方向涉及较多数学知识，限于篇幅原因，作者无法将其列举完全，这里挑选几个较为重要的知识点作简要介绍。有些基础数学知识已经单独在其他文档中描述，这里不再赘述。如有疑问，欢迎评论或私信留言。

极大似然法

总体$X$有分布率$P(X=x;\theta )$或密度函数$f(x;\theta )$，已知$\theta \in \Theta$，$\Theta$是参数空间。$(x_i{)}_{i=1}^n$为取自总体$X$的一个样本$(X_i{)}_{i=1}^n$的观测值，将样本的联合分布率或联合密度函数看成是$\theta$的函数，用$L(\theta )$表示，又称为$\theta$的似然函数，即
$$\begin{array}{rl}L(\theta )& =\prod _{i=1}^{n}P(X_i=x_i;\theta )或\\ L(\theta )& =\prod _{i=1}^{n}f(x_i;\theta )\end{array}$$
称满足关系式
$$L(\hat{\theta })=\underset{\theta \in \Theta }{\max }L(\theta )$$
的解
$$\hat{\theta }=\arg \underset{\theta \in \Theta }{\max }L(\theta )$$
为$\theta$的极大似然估计量。
当$L(\theta )$是可微函数时，求导是求极大似然估计最常用的方法。此时又因$L(\theta )$与$\ln L(\theta )$在同一个$\theta$处取得极值，且对对数似然函数$\ln L(\theta )$求导更简单，故我们常用如下对数似然方程
$$\frac{d\ln L(\theta )}{d\theta }=0$$
当$\theta$为几个未知参数组成的向量$\theta =({\theta }_i{)}_{i=1}^k$时，用如下对数似然方程组
$$\{\begin{array}{l}\frac{\partial \ln L(\theta )}{\partial {\theta }_1}=0\\ \frac{\partial \ln L(\theta )}{\partial {\theta }_2}=0\\ ⋮\\ \frac{\partial \ln L(\theta )}{\partial {\theta }_k}=0\end{array}$$
求得$\theta$的极大似然估计值。
当似然函数不可微时，也可以直接寻求使得$L(\theta )$达到最大的解来求的极大似然估计值。

泰勒公式

如果给定了在点$x_0$具有所有前$n$阶导数的函数$f(x)$，则称$f(x)$在$x_0$处$n$阶可导。则有
$$\begin{array}{rl}f(x)& =f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2}{f}^{\prime \prime }(x_0)(x-x_0{)}^2+\frac{1}{3!}{f}^{\prime \prime \prime }(x_0)(x-x_0{)}^3+\cdots +\frac{1}{n!}{f}^{(n)}(x_0)(x-x_0{)}^n+R_n(x)\\ & =\sum _{i=0}^n\frac{f^{(i)}(x_0)}{i!}(x-x_0{)}^i+R_n(x)\end{array}$$
其中$R_n(x)$称为泰勒公式的余项，当$n$充分大时，$R_n(x)$趋于0。
对泰勒公式求n阶导，其在$x_0$处的值为$f^{(n)}(x_0)$。

Logistic分布

设$X$是连续随机变量，$X$服从Logistic分布是指$X$具有下列分布函数和密度函数：
$$\begin{array}{rl}F(x)& =P(X\le x)=\frac{1}{1+e^{-\frac{x-\mu }{\gamma }}}\\ f(x)& =F^{\prime }(x)=\frac{e^{-\frac{x-\mu }{\gamma }}}{\gamma (1+e^{-\frac{x-\mu }{\gamma }}{)}^2}\end{array}$$
式中，$\mu$为位置参数，$\gamma >0$为形状参数。Logistic函数是一条以点$(\mu ,\frac{1}{2})$为中心对称的S型曲线

Sigmoid函数

Sigmoid函数是激励函数的一种，在神经网络中具有重要作用。其中的重要代表就是Logistic函数，为当位置参数$\mu =0$，形状参数$\gamma =1$时的Logistic分布函数，表达式为
$$y=\frac{1}{1+e^{-z}}$$
每一次进入神经网络节点的过程，都是先进行线性变换，再使用激励函数运算的过程。因此可有下式
$$\{\begin{array}{l}z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\\ y=\frac{1}{1+e^{-z}}\end{array}$$
联合得到
$$y=\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}$$
上式可变化为
$$\ln \frac{y}{1-y}={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$$

Logistic回归

若将$y$视为样本$\mathbf{x}$作为正例的可能性$P(y=1|\mathbf{x})$，则$1-y$是其反例可能性$P(y=0|\mathbf{x})$，则有
$$\begin{array}{rl}P(y=1|\mathbf{x})& =\frac{1}{1+e^{-({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)}}=\frac{e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}\\ P(y=0|\mathbf{x})& =\frac{1}{1+e^{{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b}}\\ \ln \frac{P(y=1|\mathbf{x})}{P(y=0|\mathbf{x})}& ={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\end{array}$$

参数估计

给定数据集${({\mathbf{x}}_i,y_i)}_{i=1}^m$，Logistic回归模型最大化对数似然
$$\begin{array}{rl}LL(\mathbf{w},b)& =\ln \prod _{i=1}^{m}P(y_i|{\mathbf{x}}_i;\mathbf{w},b)\\ & =\sum _{i=1}^m\ln P(y_i|{\mathbf{x}}_i;\mathbf{w},b)\end{array}$$
令$\hat{\mathbf{w}}=\left[\begin{array}{c}\mathbf{w}\\ b\end{array}\right],\hat{\mathbf{x}}=\left[\begin{array}{cc}\mathbf{x}& 1\end{array}\right]$，则${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$可简写为${\hat{\mathbf{w}}}^{\mathbf{T}}\hat{\mathbf{x}}$。根据事件的独立性，
$$\begin{array}{rl}P(y_i|{\mathbf{x}}_i;\mathbf{w},b)& =P(y=1|\widehat{{\mathbf{x}}_i};\hat{\mathbf{w}}{)}^{y_i}P(y=0|\widehat{{\mathbf{x}}_i};\hat{\mathbf{w}}{)}^{1-y_i}\\ & ={\left(\frac{1}{1+e^{-{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}\right)}^{y_i}{\left(\frac{1}{1+e^{{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}\right)}^{1-y_i}\end{array}$$
经写者多方排查，上式在不同的书中结果是不一致的，主要代表为周志华的《机器学习》和李航的《统计学习方法》。周志华的《机器学习》可能是采用了全概率公式，推导过程有误，这里以李航《统计学习方法》的为准。
代入对数似然得
$$\begin{array}{rl}LL(\hat{\mathbf{w}})& =\sum _{i=1}^m\ln {\left(\frac{1}{1+e^{-{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}\right)}^{y_i}{\left(\frac{1}{1+e^{{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}\right)}^{1-y_i}\\ & =\sum _{i=1}^m[{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}{y}_i-\ln (1+e^{{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}})]\end{array}$$
对$LL(\hat{\mathbf{w}})$求在极大值时的$\hat{\mathbf{w}}$等价于求$-LL(\hat{\mathbf{w}})$在极小值时的$\hat{\mathbf{w}}$，即
$$\begin{array}{rl}\hat{\mathbf{w}}& =\arg \underset{\hat{\mathbf{w}}}{\max }LL(\hat{\mathbf{w}})=\arg \underset{\hat{\mathbf{w}}}{\max }\sum _{i=1}^m[{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}{y}_i-\ln (1+e^{{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}})]\\ & =\arg \underset{\hat{\mathbf{w}}}{\min }(-LL(\hat{\mathbf{w}}))=\arg \underset{\hat{\mathbf{w}}}{\min }\sum _{i=1}^m[\ln (1+e^{{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}})-{\hat{\mathbf{w}}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}{y}_i]\end{array}$$

梯度下降法

梯度下降法又称最速下降法，是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点，梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

针对Sigmoid函数，要求解的无约束最优化问题是
$$\min (f(\hat{\mathbf{w}}))=\min (-LL(\hat{\mathbf{w}}))$$
${\hat{\mathbf{w}}}^{\ast }$表示目标函数$f(\hat{\mathbf{w}})$的极小点。
梯度下降法是一种迭代算法。选取适当的初值${\hat{\mathbf{w}}}_0$，不断迭代，更新$\hat{\mathbf{w}}$的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新$\hat{\mathbf{w}}$的值，从而达到减少函数值的目的。

由于$f(\hat{\mathbf{w}})$具有一阶连续偏导数，若第$k$次迭代值为${\hat{\mathbf{w}}}_k$，可求得$f(\hat{\mathbf{w}})$在${\hat{\mathbf{w}}}_k$的梯度为：
$$G({\hat{\mathbf{w}}}_k)=\nabla f({\hat{\mathbf{w}}}_k))=\frac{\partial f({\hat{\mathbf{w}}}_k)}{\partial {\hat{\mathbf{w}}}_k}=\sum _{i=1}^m\left(\frac{1}{1+e^{-{\hat{\mathbf{w}}}_{\mathbf{k}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}-y_i\right){\hat{\mathbf{x}}}_{\mathbf{i}}$$
给定一个精度$ϵ$，一般取较小值，当$||G({\hat{\mathbf{w}}}_k)||<ϵ$时，停止迭代。此时找到了符合精度要求的极小值解${\hat{\mathbf{w}}}^{\ast }={\hat{\mathbf{w}}}_k$；否则，令新的点${\hat{\mathbf{w}}}_{k+1}={\hat{\mathbf{w}}}_k-ϵG({\hat{\mathbf{w}}}_k)$，继续迭代。

牛顿法

牛顿法基于一个二阶泰勒展开来近似${\hat{\mathbf{w}}}_0$附近的$f(\hat{\mathbf{w}})$：
$$\begin{array}{rl}f(\hat{\mathbf{w}})& \approx f({\hat{\mathbf{w}}}_0)+(\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0{)}^T\nabla f({\hat{\mathbf{w}}}_0)+\frac{1}{2}(\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0{)}^T{\nabla }^{2}f({\hat{\mathbf{w}}}_0)(\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0)\\ & \approx f({\hat{\mathbf{w}}}_0)+(\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0{)}^T\sum _{i=1}^m\left(\frac{1}{1+e^{-{\hat{\mathbf{w}}}_{\mathbf{k}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}-y_i\right){\hat{\mathbf{x}}}_{\mathbf{i}}+\frac{1}{2}(\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0{)}^T\left[\sum _{i=1}^m\frac{e^{{\hat{\mathbf{w}}}_{\mathbf{k}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}}{(1+e^{{\hat{\mathbf{w}}}_{\mathbf{k}}^{\mathbf{T}}{\hat{\mathbf{x}}}_{\mathbf{i}}}{)}^2}{\hat{\mathbf{x}}}_i{\hat{\mathbf{x}}}_i^T\right](\hat{\mathbf{w}}-{\hat{\mathbf{w}}}_0)\end{array}$$
其中$H(f({\hat{\mathbf{w}}}_0))={\nabla }^{2}f({\mathbf{x}}_0)$是Hessian矩阵，详见神经网络基础——矩阵求导运算

给定精度$ϵ$，假设${\hat{\mathbf{w}}}_{k+1}$满足精度条件
$$0\approx G({\hat{\mathbf{w}}}_{k+1})=\nabla f({\hat{\mathbf{w}}}_{k+1})<ϵ$$
则有
$$G({\hat{\mathbf{w}}}_k)\approx (({\hat{\mathbf{w}}}_{k+1}-{\hat{\mathbf{w}}}_k{)}^T{)}^{-1}(f({\hat{\mathbf{w}}}_{k+1})-f({\hat{\mathbf{w}}}_k))\approx \nabla f({\hat{\mathbf{w}}}_k)+\frac{1}{2}{\nabla }^{2}f({\hat{\mathbf{w}}}_k)({\hat{\mathbf{w}}}_{k+1}-{\hat{\mathbf{w}}}_k)\approx 0$$
由上式可得迭代公式
$${\hat{\mathbf{w}}}_{k+1}={\hat{\mathbf{w}}}_k-2H(f({\hat{\mathbf{w}}}_0){)}^{-1}G({\hat{\mathbf{w}}}_k)$$

拟牛顿法

牛顿法由于每次迭代都需要计算一次黑塞矩阵的逆矩阵，这一过程比较复杂。拟牛顿法的思想是构造一个近似矩阵$N$来替代黑塞矩阵的逆$H^{-1}$。常用的算法有DFP算法(Davidon-Fletcher-Powell, DFP algorithm)、BFGS(Broyden-Fletcher-Goldfarb-Shanno, BFGS algorithm)、Broyden类算法(Broyden’s algorithm)等。由于篇幅原因，这里不再赘述。后续另开篇幅单独介绍。