这篇论文探讨了深度学习中“捷径学习”现象，并认为它是一个问题。作者指出，神经网络可能会学习到数据集中存在的特定模式或捷径，而不是真正理解数据的本质特征。

论文以一个图像分类的例子来说明捷径学习现象。在训练集中，所有星星图像都位于左下角或右上角，而所有月亮图像都位于右下角或左上角。神经网络可能会错误地学习到这种位置关系，而不是真正识别星星和月亮的形状。

当测试集包含不符合这种位置关系的图像时，神经网络就会出现错误分类。例如，当月亮图像出现在左下角或右上角时，神经网络可能会将其错误地识别为星星。

作者认为，捷径学习是由于数据集中存在偏差导致的。例如，训练集可能只包含特定位置的图像，而没有包含其他位置的图像。为了解决捷径学习问题，作者建议使用更平衡和多样化的训练集，并使用更有效的训练方法，例如对抗性训练。

本文建立了一个框架，将现代深度学习的分布外泛化失败视为模型学习训练数据中存在的错误捷径。本文描述了捷径学习发生的原因和时机，并给出了如何抵消其影响的建议。https://arxiv.org/abs/2004.07780
摘要：深度学习引发了当前人工智能的兴起，是当今机器智能的驱动力。无数成功案例迅速在科学、工业和社会中传播开来，但其局限性直到最近才引起关注。在本篇观点文章中，我们试图阐明深度学习的许多问题可以被视为同一根本问题的不同症状：捷径学习。捷径是决策规则，它们在标准基准测试中表现良好，但在更具挑战性的测试条件下（例如现实世界场景）却无法转移。相关问题在比较心理学、教育学和语言学中都有所体现，这表明捷径学习可能是学习系统（生物的和人工的）的共同特征。基于这些观察，我们制定了一套模型解释和基准测试建议，重点介绍了机器学习领域的最新进展，以提高从实验室到现实世界应用的鲁棒性和可迁移性。