模型训练的正则L1、L2
·
正则L1、L2
详细的解释：L1正则化引起稀疏解的多种解释
1、对“L1稀疏解、L2平滑解”的个人理解
L1正则
- 二维函数=|x-y|=0，平面图是个以原点为中心的正方形，四个角都正好在x或y周上。
- 通过分析知道，L1下坐标轴上的点更有可能成为最优解，但坐标轴上的点肯定x=0或y=0，即存在
某些维度下value=0的情况，从而导致矩阵变得稀疏。
L2正则
- 二维函数=(x-y)^2=0，是个以原点为中心的圆。
- 通过分析知道，L2下待拟合曲线与圆的切点是最优解，而圆有那么多切点，分布在坐标轴上的才4个点，其他点也都可以作为切点，而且这些点坐标(x,y)都在（0,1）范围内，不会取0和1，从而导致矩阵里的更多的值是
接近0，而不是等于0，也就是所谓的平滑解现象。
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
10
0- 0
已为社区贡献7条内容
所有评论(0)