在机器学习中,会对数据集进行划分,有监督学习和无监督学习的划分方式不同。

有监督学习中,数据集被划分为训练集、验证集和测试集。

无监督学习中,数据集被划分为训练集、测试集和预测集。

有监督学习

在有监督学习中,数据集被划分为训练集(training set)、验证集(validation set)和测试集(test set)。三者的比例常为50:25:25。

在传统机器学习中,若无需对模型做过多调整就能拟合,只需将数据集分为训练集和测试集两部分即可。两部分的划分比例常为7:3或8:2,根据训练策略而定。

训练集:估计模型

验证集:确定网络结构或者控制模型复杂程度的参数

测试集:检验最终选择最优的模型的性能如何

参考:AI---训练集(train set) 验证集(validation set) 测试集(test set)

无监督学习

在无监督学习中,数据集被划分为训练集(training set)、测试集(training test set)和预测集(prediction set)。

训练集:拟合模型

测试集:进行模型评价与模型修正。如有必要,可以人工打标签。

预测集:使用模型进行预测

 

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐