1 Actor-Critic

Advantage Actor-Critic：A2C
Asynchronous Advantage Actor-Critic：A3C

1.1 前言

由于Actor与Env互动本身就具有随机性，因此$G_t^n$是非常不稳定的，即为一个随机数。

每次采样得到的G可能都有差异，训练不稳定：

那么，为了让训练变得稳定,可以直接估测G的期望值代替采样的得到的G。
这就需要用到value-base的方法（如Q-learning）：

1.2 Actor-Critic

$Q^{{\pi }_{\theta }}(s_t^n,a_t^n)$：在某一state $s_t^n$采取某一acton $a_t^n$，在pilicy ${\pi }_{\theta }$下，得到的累计奖励Reward期望值。
$V^{{\pi }_{\theta }}(s_t^n)$为$Q^{{\pi }_{\theta }}(s_t^n,a_t^n)$的期望值，所得两者相减就是有正有负的。

1.3 Advantage Actor-Critic

如何只用一个network：
Q用V表示

由于$r_t^n$和$V^{\pi }(s_{t+1}^n)$是随机的，所以要取期望。而在这里，把期望值去掉。

这样就只需要estimate state value$V$了，但因为去掉期望，所以会引入随机数$r_t^n$：
但是$r$方差相对于原来$G$更小。因为$r$是某一个state得到的reward，而$G$则是累加的reward，故这样也是合理的。(原论文是使用这个结果最好)
上式子就称为Advantage function

工作流程

Tip1 actor和critic共享网络层

1.4 Asynchronous Advantage Actor-Critic(A3C)

增加训练速度
鸣人使用多个影分身搓丸子修行。

worker相当于鸣人的影分身

1.5 Pathwise Derivative Policy Gradient(PDPG)

Q-learning解continuous动作的方法，一种特别的actor-critic方法

一般的actor-critic，critic只会告诉actor好与不好
而Pathwise Derivative Policy Gradient还会告诉actor采取什么样的动作才是好的

训练一个actor来为Q-learning生成acton，来解决argmax不好解出的连续性动作这一问题。

类比生成对抗网络GAN：Q就是判别器；Actor就是生成器。Q是先经过预训练再fix的。

Q-learning	PDPG

李宏毅的强化学习课程