补充一下模型迁移的相关知识:

使用微调技术,也叫做参数迁移

不同的情况:

(1)数据集小,并且与原数据集差别不大

因为目标数据集与原数据集的数据分布差异不大,使用微调技术,只需要将输出层改为特定任务下的输出层即可

(2)数据集小,相似程度不高

这种情况下,“冻结”与训练模型的前“k”个层的权重,然后重新训练后面的“n-k”个层,最后一层根据输出具体确定

因为相似度不高所以需要重新训练,而因为是小数据集,所以“冻结”前k个层来防止过拟合

(3)数据集大,相似程度不高

采用预训练模型不是很高效率,需要将权值进行初始化从头开始训练,将输出层改为特定任务下的输出层

(4)数据量大,相似程度高

理想情况,进行保持原有的 结构与权值2参数,从头开始训练

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐