深度学习_深度学习基础知识_最小二乘损失和最小均方误差损失(L2损失)的区别
首先,最小二乘法适用于有限样本。而最小均方误差适用于无限样本。通常我们所说的狭义的最小二乘,是指在线性回归下采用最下二乘准则,进行线性拟合参数求解。由于是基于线性回归,所以可以很容器求出全局最优解,而不是像梯度下降那样一点点的迭代优化最后达到极值点。而广义的最小二乘,本质上是一种目标函数。比如说我们在优化深度神经网络模型时,也可以用最小二乘去衡量某一拟合结果相对于ground truth的偏差程度
·
首先,最小二乘法适用于有限样本。
而最小均方误差适用于无限样本。
通常我们所说的狭义的最小二乘,是指在线性回归下采用最下二乘准则,进行线性拟合参数求解。
由于是基于线性回归,所以可以很容器求出全局最优解,而不是像梯度下降那样一点点的迭代优化最后达到极值点。
而广义的最小二乘,本质上是一种目标函数。比如说我们在优化深度神经网络模型时,也可以用最小二乘去衡量某一拟合结果相对于ground truth的偏差程度。但是深度神经网络模型本省很复杂,我们没办法像线性拟合时那样,求出全局最优解,所以引入BP算法进行梯度下降迭代,最终到达局部最优。
而广义的最小二乘+BP就是在无限样本下的最小均方误差损失。
更多推荐
已为社区贡献18条内容
所有评论(0)