深度学习训练中的num_workers
num_workers是加载数据(batch)的线程数目当加载batch的时间 < 数据训练的时间 GPU每次训练完都可以直接从CPU中取到next batch的数据 无需额外的等待,因此也不需要多余的worker,即使增加worker也不会影响训练速度当加载batch的时间 > 数据训练的时间 GPU每次训练完都需要等待CPU完成数据的载入 若增加worker,即使worke
·
num_workers是加载数据(batch)的线程数目
当加载batch的时间 < 数据训练的时间
GPU每次训练完都可以直接从CPU中取到next batch的数据
无需额外的等待,因此也不需要多余的worker,即使增加worker也不会影响训练速度
当加载batch的时间 > 数据训练的时间
GPU每次训练完都需要等待CPU完成数据的载入
若增加worker,即使worker_1还未就绪,GPU也可以取worker_2的数据来训练
仅限单线程训练情况
更多推荐
已为社区贡献1条内容
所有评论(0)