机器学习可以被认为是将数据转化为知识的过程。学习算法的输入是训练数据（例如，包含猫的图像)，输出是一些知识(例如，关于如何检测图像中的猫的规则）。此知识通常表示为可执行特定任务的计算机程序（例如，自动猫检测器）。在过去的十年中，通过一种特殊的机器学习技术取得了相当大的进展：深度学习（LeCun等人，2015）。深度学习的关键实施例之一是不同类型的深度神经网络(DNNs)(Schmidhuber，2015)，它可以在高维数据中找到解纠缠表示(Bengio，2009)，它允许软件训练自己执行新任务，而不仅仅依赖程序员来设计手工设计的规则。通过使用DNNs，在现实人工智能应用中取得了不可数的突破，计算机视觉领域（克里日耶夫斯基等，2012）和自然语言处理（Brown等，2020；Devlin等，2018）是最大的受益者。

除了对现有数据的特征识别外，现代人工智能应用程序通常需要计算机程序根据所获得的知识做出决策（见图1）

为了说明决策的关键组成部分，让我们考虑一下控制汽车安全驾驶通过十字路口的现实例子。在每一个时间步长中，机器人汽车都可以通过转向、加速和制动来移动。目标是安全离开十字路口并到达目的地（可能会决定直行或向左/右转进入另一条车道）。因此，除了能够检测目标，如交通灯、车道标记和其他车辆（通过将数据转换为知识)，我们的目标是找到一个转向策略，可以控制汽车进行一系列操作，以实现目标(根据所获得的知识做出决策）。在这样的决策环境中，还会出现另外两个挑战：

1. 首先，在决策过程中，在每个时间步骤中，机器人汽车不仅应该考虑其当前行动的直接价值，还应该考虑其未来当前行动的后果。例如，如果你开车通过一个十字路口，在整个过程开始时选择转向“安全”方向但是最后会撞车的政策将是有害的。
2. 第二，要正确安全地做出每个决定，汽车还必须考虑其他汽车的行为并相应行动。例如，人类司机通常会提前预测其他汽车的移动，然后采取战略行动作为回应（比如给即将到来的汽车让路或加速合并到另一条车道）。

对自适应决策框架的需要，加上解决多个交互学习者的复杂性，已经导致了多智能体RL的发展。多智能代理RL解决了在共享的随机环境中使用多个智能代理的顺序决策问题，每个智能代理都旨在通过与环境和其他代理的交互来最大化其长期回报。多智能体RL是建立在多智能体系统(MAS)和RL的知识之上的。在下一节中，我们简要概述了（单智能体）RL和近几十年的研究进展。

1.RL的简短历史

RL是机器学习的一个子领域，在这里，智能体在与环境的交互过程中学习如何基于试错过程的最佳行为。不同于监督学习，以标记数据为输入（例如，标记有猫的图像），RL是面向导向的：它构建了一个学习模型，通过反复改进来实现最佳长期目标，学习者没有标记数据来获得知识。“强化”一词指的是学习机制，因为导致令人满意结果的行为在学习者的行为集中得到了强化。

从历史上看，RL机制最初是基于在拼图盒中研究猫的行为而开发起来的（桑代克，1898年）。Minsky（1954）在他的博士学位中首次提出了RL的计算模型。D. 并将其模拟机命名为随机神经模拟强化计算器。几年后，他首次提出了动态规划(Bellman，1952)和RL(Minsky，1961)之间的联系。1972年，Klopf（1972）将纠错学习过程与心理学发现的时间差异(TD)学习结合起来。TD学习很快成为扩展大系统的RL必不可少的。在动态规划和TD学习的基础上，沃特金斯和Dayan（1992）利用马尔可夫决策过程(MDP)为今天的RL奠定了基础，并提出了著名的q学习方法作为求解器。作为一种动态编程方法，最初的Q学习过程继承了贝尔曼的“维数诅咒”(Bellman，1952)，它强烈限制了状态变量数量大时的应用。为了克服这一瓶颈，伯塞卡斯和西西克利斯（1996）提出了基于神经网络的近似动态规划方法。最近，Mnih等人说。来自DeepMind的（2015）通过引入深度q学习(DQN)体系结构方面取得了重大突破，它利用了DNNs的表示能力来实现近似动态编程方法。DQN在49款雅达利游戏中展示了人类水平的表现。从那时起，深度RL技术在机器学习/人工智能中已经很常见，并引起了研究界的广泛关注。

RL源于对动物行为的理解，即动物使用三角形误差来强化有益行为，然后它们更频繁地执行有益行为。在其开发过程中，计算RL包含了最优控制理论和其他心理学的发现，帮助模仿人类的决策方式，以最大化决策任务的长期利润。因此，RL方法自然可以用于训练计算机程序（代理）到与某些任务上的人类相当的性能水平。

RL方法最早成功战胜人类的示例可以追溯到西洋双陆棋的游戏(Tesauro，1995)。最近，应用RL来解决顺序决策问题的进步是AlphaGo系列的显著成功(Silveretal.，2016,2018,2017)，一个自学成才的RL智能体，击败了游戏的顶级专业玩家，该游戏的搜索空间（10761个可能的游戏）甚至比宇宙中的原子数量还要多。

事实上，大多数成功的RL应用程序，如游戏GO2、机器人控制(Kober等人，2013)和自动驾驶(Shalev-Shwartz等人，2016)，自然涉及到多个人工智能代理的参与，他们探索MARL的领域。正如我们所期望的那样，单代理RL方法取得的显著进展——以2016年在GO取得的成功——预示了多智能体RL技术在未来几年的突破。

2. 2019年：MARL最繁荣的一年

2019年是MARL开发蓬勃发展的一年，因为在极具挑战性的多智能体任务中取得了一系列突破，人们过去认为这些任务是不可能通过人工智能来解决的。然而，在MARL领域取得的进展虽然显著，但在一定程度上被AlphaGo之前的成功蒙上了阴影（查默斯，2020年）。AlphaGo系列（Silver等人，2016、2018、2017）可能在很大程度上满足了人们对RL方法有效性的期望，因此人们对该领域的进一步进展缺乏兴趣。MARL的进展所引起的涟漪在研究界中相对较温和。在本节中，我们强调了几项我们认为很重要，可能深刻影响MARL技术未来发展的工作。

MARL的一个受欢迎的测试台是《星际争霸2》(Vinyals等人，2017)，这是一款拥有自己的职业联盟的多人实时战略计算机游戏。在这个游戏中，每个玩家关于游戏状态的信息有限，搜索空间的维度比GO大一个数量级（每一个移动都有1026个可能的选择）。《星际争霸2》的有效RL方法的设计曾经被认为是人工智能的长期挑战（Vinyals等人，2017）。然而，AlphaStar在2019年取得了突破(Vinyals等人，2019a)，在99.8%的人类玩家中展示了大师级的技能。

另一个著名的基于电子游戏的测试台是Dota2，这是一个由两支队伍玩的零和游戏，每个队伍由五名玩家组成。从每个智能体的角度来看，除了不完整的信息的困难（类似于星际争霸2）之外，Dota2也更具有挑战性，因为必须考虑团队成员之间的合作和与对手的竞争。OpenAI五个人工智能系统(Pachocki等人，2018年)在一场公开的电子体育比赛中击败了世界冠军，展示了在Dota2中超人的表现。

除了星际争霸2和多塔2，贾德伯格等人。（2019）和Baker等人。(2019年a)分别在抓旗游戏和捉迷藏游戏中展示了人类水平的表现。虽然游戏本身没有星际争霸2或Dota2那么复杂，人工智能代理要掌握他们的策略仍然是不平凡的，所以，智能体的出色性能再次证明了MARL有效性。有趣的是，两位作者都报告了由他们提出的MARL方法引起的突然出现的行为，人类可以理解并基于物理理论。

最后一项值得一提的非凡的成就是它应用于德州扑克游戏，这是一个多人广泛形式的游戏，玩家拥有不完整的信息。抬头（即两个玩家）无限制保持有超过$6\times 10^{161}$信息状态。直到最近，多亏了MARL，比赛才取得了突破性的成就。两个独立的项目，DeepStack（Moravˇc´ık等人，2017）和Libratus（布朗和桑德霍尔姆，2018），能够击败职业人类玩家。甚至在最近，利布拉图斯被升级为普鲁布斯（布朗和桑德霍尔姆，2019），在无限制的环境下从5名精英人类专业人士那里赢得了100万美元，获得了卓越的表现。

为了更深入地理解RL和MARL，需要对概念的数学符号和解构。在下一节中，我们提供了这些概念的数学公式，从单智能体RL开始，并发展到多智能体RL方法。