深度学习模型训练
模型训练阶段损失函数突然下降,可能陷入局部最优,建议降低学习率重新训练训练集的准确率下降只能说明你的算法是有问题的,重点检查一下你的loss函数是不是真的是正确的,有在更新;网络结构,超参是不是设置正确的。还有可能是数据集的问题,分布是不是合理的,数据标记有没有大范围错误,数据是否清洗。最后再检查一下,梯度、学习率、Batch Size是否合理。训练集、测试集loss容易出现的问题总结train
·
模型训练阶段损失函数突然下降,可能陷入局部最优,建议降低学习率重新训练
训练集的准确率下降只能说明你的算法是有问题的,重点检查一下你的loss函数是不是真的是正确的,有在更新;网络结构,超参是不是设置正确的。还有可能是数据集的问题,分布是不是合理的,数据标记有没有大范围错误,数据是否清洗。最后再检查一下,梯度、学习率、Batch Size是否合理。训练集、测试集loss容易出现的问题总结train loss 不断下降,test loss不断下降:说明网络仍在学习;
train loss 不断下降,test loss趋于不变:说明网络过拟合;
train loss 趋于不变,test loss不断下降:说明数据集100%有问题;
train loss 趋于不变,test loss趋于不变:说明学习遇到瓶颈,需要减小学习率或批量数目;或者是数据集有问题(数据集标注错误数据比较多)
train loss 不断上升,test loss不断上升:说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。
更多推荐
已为社区贡献15条内容
所有评论(0)