首先,最小二乘法适用于有限样本。

而最小均方误差适用于无限样本。

通常我们所说的狭义的最小二乘,是指在线性回归下采用最下二乘准则,进行线性拟合参数求解。

由于是基于线性回归,所以可以很容器求出全局最优解,而不是像梯度下降那样一点点的迭代优化最后达到极值点。

而广义的最小二乘,本质上是一种目标函数。比如说我们在优化深度神经网络模型时,也可以用最小二乘去衡量某一拟合结果相对于ground truth的偏差程度。但是深度神经网络模型本省很复杂,我们没办法像线性拟合时那样,求出全局最优解,所以引入BP算法进行梯度下降迭代,最终到达局部最优。

而广义的最小二乘+BP就是在无限样本下的最小均方误差损失。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐