深度学习:什么是模型收敛?
理解打个简单的比方,训练网络,就好比解方程,为了得到这个方程的极值点,训练的过程就好比是找准一个方向,不断的朝这个方向靠近,使得方程的值不断减小,最终达到极值点,而不收敛,就是,不论你怎么跑,方程的解都不减小.即达不到最后的极值点.在loss上就表现为稳定性的比较大.跟迭代不收敛或者系统不稳定差不多,上下波动不能趋近一个定值。可能原因网络不收敛直观体现是loss函数无法下降,本质上是网络或者训练方
·
更多推荐
理解打个简单的比方,训练网络,就好比解方程,为了得到这个方程的极值点,训练的过程就好比是找准一个方向,不断的朝这个方向靠近,使得方程的值不断减小,最终达到极值点,而不收敛,就是,不论你怎么跑,方程的解都不减小.即达不到最后的极值点.在loss上就表现为稳定性的比较大.跟迭代不收敛或者系统不稳定差不多,上下波动不能趋近一个定值。可能原因网络不收敛直观体现是loss函数无法下降,本质上是网络或者训练方
更多推荐
所有评论(0)