一、线性回归

1、定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

2、线性回归要素：

·训练集

·输出数据

·拟合的函数（或者称为假设或者模型）

·训练数据的条目数：一条训练数据是由一对输入数据和输出数据组成的，输入数据的维度（特征的个数）

3、学习过程：

假设给定样本（,),

构造代价函数（误差、损失函数）：

目标：找到超平面参数，使最小，即求解

求解：令，即

二、线性二分类

1、定义：样本通过直线(或超平面)可分。

性分类器输入：特征向量

输出：哪一类。如果是二分类问题，则为0和1，或者是属于某类的 概率，即0-1之间的数。

2、线性分类与线性回归差别：

输出意义不同：属于某类的概率<->回归具体值

参数意义不同：最佳分类直线<->最佳拟合直线

维度不同：前面的例子中，一个是一维的回归，一个是二维的分类

3、 构造二分类的“分界直线”：

一边是负值，一边是正值。越属于这类，值越大(正)，反之越小(负)。

三、梯度下降法

令

则必然有：

四、多分类回归

代价函数写为：

称为交叉熵损失。

五、神经元模型

六、感知机原理

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。感知机解决线性分类问题。

具体步骤：

输入：训练数据集（监督学习）

输出：

1、赋初值，数据序号，迭代次数。

3`、判断该数据点是否为当前模型的误分点，即判断：若，则更新权值：

4、转到2，直到训练集中没有误分点。

七、多层感知机

XOR问题：线性不可分问题（无法进行线性分类）

解决方法：使用多层感知机

在输入和输出层间加一或多层隐单元，构成多层感知器（多层 前馈神经网络）。

• 加一层隐节点（单元）为三层网络，可解决异或（XOR）问题 。由输入得到两个隐节点、一个输出层节点的输出：

可得到：

八、多层前馈网络和BP算法

多层感知机是一种多层前馈网络，由多层神经网络构成，每层网络将 输出传递给下一层网络。神经元间的权值连接仅出现在相邻层之间， 不出现在其他位置。如果每一个神经元都连接到上一层的所有神经元 （除输入层外），则成为全连接网络。

多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。

算法简述：

总结：

优点：

·学习完全自主；

·可逼近任意非线性函数；

缺点：

·算法非全局收敛；

·收敛速度慢；

·学习速率的选择；