本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

Actor-critic algorithm

Value network and policy network

注意这里的符号

• $\pi (a|s)$: 指的是policy分布，是精确的分布，只是我们不知道具体形式
• $\pi (a|s,\theta )$: 指的是用一个神经网络去近似$\pi (a|s)$，其中$\theta$是神经网络的参数。
• $Q_{\pi }(s,a)$: 是指策略函数为$\pi$，状态为$s$, 动作为$a$的时候的动作价值函数。
• $q(s,a;\mathbf{w})$: 指用一个神经网络$q(s,a;\mathbf{w})$去近似动作价值函数$Q_{\pi }(s,a)$。其中$\mathbf{w}$是神经网络的参数。

输入：可以是一帧或者好几帧frame

• 注意，value network $q(s,a;\mathbf{w})$可以和策略网络 policy network $\pi (s,a;\theta )$共享相同的卷积层 conv, 但是也可以是完全独立的，各自有各自的参数。
• 同时训练 value network $q(s,a;\mathbf{w})$和策略网络 policy network $\pi (s,a;\theta )$就叫做Actor critic algorithm.
• 训练的目的，是让运动员的平均分越来越高，并且让裁判的评分越来越精准

训练神经网络

• 注意：value network只是起辅助作用，训练完成之后就不再被用了。最后被使用的还是policy network.

Summary