一、深度强化学习的“深度”体现在哪里？

前面介绍了动作价值函数、最优动作价值函数以及状态价值函数，那么如果想直接用数学表达式来写出这些函数是极为困难的，最有效的方法就是使用（深度）神经网络来近似这些价值函数。

强化学习+神经网络=深度强化学习

二、DQN算法

以DQN算法为例，如果要近似学习最优动作价值函数$Q_{\star }$，最有效的办法就是深度Q网络（deep Q network, DQN），记作$Q(s,a;\mathbf{w})$，其中的$\mathbf{w}$表示神经网络的参数。
首先随机初始化$\mathbf{w}$，随后用“经验”去学习$\mathbf{w}$。学习的目标是：对于所有$s$和$a$，DQN的预测$Q(s,a;\mathbf{w})$尽量接近$Q_{\star }(s,a)$。

上图是DQN的神经网络架构，输入是状态s，输出是每个动作的Q值。
DQN的输出是$|\mathcal{A}|$维的向量$\hat{q}$，包含所有动作的价值，而常用的符号$Q(s,a;\mathbf{w})$是标量（其实就是函数值），是动作$a$对应的动作价值，是向量$\hat{q}$中的一个元素。

三、训练DQN采用TD（temporal difference, 时间差分）算法

3.1 TD算法推导（感兴趣的可以看一下，此处推导的是Q-learning算法）

根据回报的定义：
$$U_t=R_t+r\cdot \underset{=U_{t+1}}{\underbrace{\sum _{k=t+1}^n{\gamma }^{k-t-1}\cdot R_k}}$$

1、一开始我以为顺序写反了，后来仔细想了一下，这个回报计算公式是对的。因为回报代表的是一轮的奖励，t时刻的回报当然需要知道这一轮中t+1时刻及以后的奖励。反过来说，t+1时刻的回报就已知t时刻以及之前的奖励。注意，不是已知t时刻以及之前的回报。
2、关于回报和奖励的概念，大家需要搞清楚。

最优动作价值函数：
$$Q_{\star }(s_t,a_t)=\underset{\pi }{\max }\mathbb{E}[U_t|S_t=s_t,A_t=a_t]$$
定理：最优贝尔曼方程
$$\underset{U_t的期望}{\underbrace{Q_{\star }(s_t,a_t)}}={\mathbb{E}}_{S_{t+1}\sim p(\cdot |s_t,a_t)}[R_t+\gamma \cdot \underset{U_{t+1}的期望}{\underbrace{\underset{A\in \mathcal{A}}{\max }{Q}_{\star }(S_{t+1},A)}}|S_t=s_t,A_t=a_t]$$
同时，$r_t+\gamma \cdot {\max }_{a\in \mathcal{A}}{Q}_{\star }(s_{t+1},a)$可以看作期望的蒙特卡洛近似：
$${\mathbb{E}}_{S_{t+1}\sim p(\cdot |s_t,a_t)}[R_t+\gamma \cdot \underset{A\in \mathcal{A}}{\max }{Q}_{\star }(S_{t+1},A)|S_t=s_t,A_t=a_t]$$
综上，由最优贝尔曼方程和蒙特卡洛近似可得：
$$Q_{\star }(s_t,a_t)\approx r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }{Q}_{\star }(s_{t+1},a)$$
把最优动作价值函数$Q_{\star }(s,a)$替换为神经网络$Q(s,a;\mathbf{w})$，得到：
$$\underset{预测\widehat{q_t}}{\underbrace{Q(s_t,a_t;\mathbf{w})}}\approx \underset{TD目标\widehat{y_t}}{\underbrace{r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{t+1},a;\mathbf{w})}}$$
左边的$\widehat{q_t}$是神经网络在t时刻做出的预测，其中没有任何事实成分。
右边的TD目标$\widehat{y_t}$是神经网络在t+1时刻做出的预测，它部分基于真实观测到的奖励$r_t$。
$\widehat{q_t}$和$\widehat{y_t}$都是对最优动作价值函数$Q_{\star }(s_t,a_t)$的估计，但是$\widehat{y_t}$部分基于事实，因此比$\widehat{q_t}$更可靠。
TD算法的目标应当鼓励$\widehat{q_t}$$\stackrel{△}{=}Q(s_t,a_t;\mathbf{w})$ 接近$\widehat{y_t}$，通过更新参数$\mathbf{w}$，使得损失函数$L(\mathbf{w})=\frac{1}{2}[Q(s_t,a_t;\mathbf{w})-\widehat{y_t}{]}^2$减小。

3.2 Q-learning算法

TD算法是一大类算法，常见的有Q-learning算法和SARSA算法。
Q-learning算法的目的是学到最优动作价值函数$Q_{\star }$，而SARSA算法的目的是学习动作价值函数$Q_{\pi }$。
上一节介绍的DQN其实就是神经网络形式的Q-learning，而最开始的Q-learning是以表格形式出现的。
表格形式的Q-learning应用条件受限，Q表中状态空间$\mathcal{S}$和动作空间$\mathcal{A}$都是有限集合，即集合中元素数量有限。
将最优动作价值函数$Q_{\star }$表示为如下的表格形式。即Q表：

$\mathcal{S}$中一共有3种状态，$\mathcal{A}$中一共有4种动作，那么最优动作价值函数$Q_{\star }(s,a)$可以表示为一个$3\times 4$的表格。
例如，当前状态$s_t$是第2种状态，那么查看第2行，发现该行最大的价值是210，那么应当执行的动作$a_t$就是第4种动作。

如果$\mathcal{A}$是有限集合，而$\mathcal{S}$是无限集合，可以用神经网络形式的Q-learning，即DQN。
如果$\mathcal{A}$是无限集合，则问题属于连续控制，应当使用连续控制的方法。
DQN更新的是神经网络参数$\mathbf{w}$，而表格形式的Q-learning每次更新表格的一个元素，最终初始化的全零表格$\tilde{Q}$会收敛到$Q_{\star }$

四、同策略与异策略

（这两个专业术语，在写论文或者翻译论文的时候，经常会有不同的译文，有时审稿人或者专家也会提出相关意见）
首先介绍一下行为策略和目标策略。
行为策略（behavior policy）是控制智能体与环境交互的策略，其作用是收集经验，即观测到的状态、动作和奖励。
目标策略（target plicy）是一个确定性的策略，例如，使用DQN控制智能体。
$$a_t=\underset{a}{\mathrm{argmax}}Q(s_t,a,\mathbf{w})$$

$$\{\begin{array}{l}同策略（on-policy）:行为策略=目标策略，即收集经验的行为策略和控制智能体的目标策略相同\\ 异策略（off-policy）:行为策略\ne 目标策略，即收集经验的行为策略和控制智能体的目标策略不同\end{array}$$

之前介绍的Q-learning和DQN都属于异策略，它们的行为策略最常采用的是$ϵ$-greedy算法：
$$a_t=\{\begin{array}{l}{\mathrm{argmax}}_{a}Q(s_t,a;\mathbf{w})以概率(1-ϵ)\\ 均匀抽取\mathcal{A}中的一个动作以概率ϵ\end{array}$$

让行为策略带有随机性的好处是能探索更多没见多的状态。

异策略的好处是可以用行为策略收集经验，把$(s_t,a_t,r_t,s_{t+1})$这样的四元组记录到一个缓存里，后面反复利用这些经验去更新目标策略。
这个缓存称为经验回放缓存，而这种将智能体与环境交互的记录暂时保存，然后从中采样和学习的训练方式称为经验回放（experience replay）。

经验回放只适用于异策略，不适用与同策略，原因是收集经验时用的行为策略不用于想要训练出来的目标策略。

五、SARSA算法

SARSA也是一种TD算法，其目标是学习动作价值函数$Q_{\pi }(s,a)$。
SARSA是state-action-reward-state-action的缩写，原因就是它用到了五元组：$(s_t,a_t,r_t,s_{t+1},{\tilde{a}}_{t+1})$
$${\tilde{a}}_{t+1}\sim \pi (\cdot |s_{t+1})$$
SARSA算法学到的$q$依赖于策略$\pi$，因为五元组中的${\tilde{a}}_{t+1}$是根据$\pi (\cdot |s_{t+1})$抽样得到的。

Q-learning和SARSA的对比

Q-learning的目标是学到表格$\tilde{Q}$，作为最优动作价值函数$Q_{\star }$的近似，因为$Q_{\star }$与$\pi$无关，所以在理想情况下，不论收集经验用的行为策略$\pi$是什么，都不影响Q-learning得到的最优动作价值函数。因此Q-learning属于异策略，允许行为策略区别于目标策略。Q-learning允许使用经验回放，可以重复利用过时的经验。

SARSA算法的目标是学习到$q$表，作为动作价值函数$Q_{\pi }$的近似，$Q_{\pi }$与一个策略$\pi$相对应，用不用的策略$\pi$，对应的$Q_{\pi }$就会不同。策略$\pi$越好，$Q_{\pi }$的值越大。经验回放缓存里面的经验$(s_t,a_t,r_t,s_{t+1})$是过时的行为策略${\pi }_{old}$收集到的，与当前策略${\pi }_{now}$及其对应的价值$Q_{{\pi }_{now}}$不对应。想要学习$Q_{\pi }$的话，必须用当前策略${\pi }_{now}$收集到的经验，而不能用过时的${\pi }_{old}$收集到的经验，这就是SARSA算法不能使用经验回放的原因。

六、蒙特卡洛方法和自举

$$（自举）单步TD目标：{\hat{y}}_t=r_t+\gamma {\hat{q}}_{t+1}\underleftarrow{m=1}m步TD目标：{\hat{y}}_t=\sum _{i=0}^{m-1}{\gamma }^i{r}_{t+i}+{\gamma }^m{\hat{q}}_{t+m}\underrightarrow{m=n-t+1}（蒙特卡洛方法）观测到的回报：u_t=\sum _{i=0}^{n-t}{\gamma }^i{r}_{t+i}$$

6.1 蒙特卡洛方法

训练价值网络$q(s,a;\mathbf{w})$的时候，将一个回合进行到底，观测到所有的奖励$r_1,r_2,\cdots ,r_n$，然后计算回报$u_t={\sum }_{i=0}^{n-t}{\gamma }^i{r}_{t+i}$，以$u_t$作为目标，鼓励价值网络$q(s_t,a_t;\mathbf{w})$接近$u_t$，这种方式称为“蒙特卡洛方法”。用实际观测值$u_t$去近似动作价值函数$Q_{\pi }(s_t,a_t)=\mathbb{E}[U_t|S_t=s_t,A_t=a_t]$中的期望，这就是典型的蒙特卡洛方法近似。

6.2 自举

TD目标${\hat{y}}_t$的一部分是价值网络做出的估计$\gamma \cdot q(s_{t+1},a_{t+1};\mathbf{w})$，然后SARSA让$q(s_t,a_t;\mathbf{w})$去拟合${\hat{y}}_t$，这就是用价值网络自身做出的估计去更新价值网络自身，属于“自举”。

6.3 对比

	好处	坏处
蒙特卡洛方法	无偏性	方差大
自举	方差小	有偏差

在价值学习中，用实际观测到的回报$u_t$作为目标的方法称为蒙特卡洛方法，$u_t$是动作价值函数$Q_{\pi }(s_t,a_t)$的无偏估计，即$U_t$的期望等于$Q_{\pi }(s_t,a_t)$，但是它的方差很大，即实际观测到的$u_t$可能离$Q_{\pi }(s_t,a_t)$很远。

用单步TD目标${\hat{y}}_t$作为目标的方法称为自举。自举的好处是方差小，${\hat{y}}_t$不会偏离期望太远，但是${\hat{y}}_t$往往是有偏的，它的期望通常不等于$Q_{\pi }(s_t,a_t)$，用自举训练出来的价值网络通常有系统性的偏差（低估或者高估）。

在实践中，自举通常比蒙特卡洛方法收敛得更快，这也是训练DQN和价值网络通常用TD算法的原因。

多步TD目标${\hat{y}}_t=\underset{蒙特卡洛方法，占比较大}{\underbrace{\sum _{i=0}^{m-1}{\gamma }^i{r}_{t+i}}}+\underset{自举成分，用价值网络自身算出来的}{\underbrace{{\gamma }^m{\hat{q}}_{t+m}}}$介于蒙特卡洛方法和自举之间。
如果把m设置的比较好，方差和偏差之间就可以达到比较好的平衡，使得多步TD目标优于单步TD目标，也优于回报$u_t$。

七、价值学习中的高级技巧

第一部分：改进Q-learning算法

7.1 经验回放

经验回放每次从缓存里随机抽取一个四元组$(s_t,a_t,r_t,s_{t+1})$，用来对DQN参数做一次更新，这样随机抽取到的四元组之间是相互独立的，消除了相关性。
经验回放的另一个好处是可以重复利用收集到的经验，而不是用一次就丢弃，这样就能用更少的样本数量达到同样的效果。
但是经验回放缓存中的经验通常是过时的行为策略收集的，而真正需要学习的目标策略不同于过时的行为策略，所以经验回放不适用于同策略。

7.2 优先经验回放

优先经验回放给每个四元组一个权重，然后根据权重做非均匀随机抽样。一般来说，TD误差越大的四元组，应当有较高的权重。

7.3 高估问题

Q-learning算法有一个缺陷：用它训练出来的DQN会高估真实的价值，而且高估通常是非均匀的，这个缺陷导致DQN表现很差。但是高估问题不是DQN模型的缺陷，而是Q-learning算法的缺陷。
Q-learning产生高估的原因有两个：

• TD算法属于自举，即用DQN的估计值去更新DQN自己，自举会导致偏差传播。如果$Q(s_{j+1},a_{j+1};\mathbf{w})$是对$Q_{\star }(s_{j+1},a_{j+1})$的高估，那么高估会传播到$(s_j,a_j)$，让$Q(s_j,a_j;\mathbf{w})$高估$Q_{\star }(s_j,a_j)$，所以自举导致DQN的高估从一个二元组传播到更多的二元组。
• TD目标${\hat{y}}_t$中包含一项最大化，这会导致TD目标高估真实价值$Q_{\star }$，Q-learning算法鼓励DQN的预测去接近TD目标，因此DQN会高估$Q_{\star }$

虽然高估本身不是问题，但是DQN产生的高估往往是非均匀的，那么DQN做出的决策就是不可靠的。

7.4 高估问题解决方案1——使用目标网络

如果想要切断自举，可以用另一个神经网络计算TD目标，而不是DQN自己计算TD目标，我们把这个神经网络称作目标网络（target network），记作$Q(s,a;{\mathbf{w}}^{-})$。它的神经网络结果与DQN完全相同，但是参数${\mathbf{w}}^{-}$不同于$\mathbf{w}$。

使用目标网络的Q学习算法，选择动作和求值TD目标都使用目标网络计算得到的。
这种方法不能完全避免自举，原因是目标网络的参数仍然与DQN相关。

7.5 高估问题解决方案2——双Q学习算法（double DQN，即DDQN的基础）

到目前为止，已经接触到了3种训练DQN的TD算法：
原始的Q-learning$⟹$使用目标网络的Q-learning$⟹$双Q学习：选择动作使用DQN网络，求值TD目标使用目标网络。
3种TD算法对比：

第二部分：改进DQN的神经网络结构

7.6 对决网络（dueling network）

对决网络（dueling network）：将最优动作价值$Q_{\star }$分解为最优状态价值$V_{\star }$和最优优势$D_{\star }$。
状态价值函数$V_{\pi }(s)$是$Q_{\pi }(s,a)$关于$a$的期望：
$$V_{\pi }(s)={\mathbb{E}}_{A\sim \pi }[Q_{\pi }(s,A)]$$
最优状态价值函数$V_{\star }$：
$$V_{\star }(s)=\underset{\pi }{\max }{V}_{\pi }(s),\forall s\in S$$
最优优势函数（optimal advantage function）
$$D_{\star }(s,a)\triangleq Q_{\star }(s,a)-V_{\star }(s)$$
定理
$$Q_{\star }(s,a)=V_{\star }(s)+D_{\star }(s,a)-\underset{\text{恒等于零，同时解决不唯一性的问题}}{\underbrace{\underset{a\in \mathcal{A}}{\max }{D}_{\star }(s,a)}},\forall s\in \mathcal{S},a\in \mathcal{A}$$
对决网络也是对最优动作价值函数$Q_{\star }$的近似。
$$对决网络\{\begin{array}{l}神经网络1：D(s,a;{\mathbf{w}}^D)，是对最优优势函数D_{\star }(s,a)的近似\\ 神经网络2：V(s;{\mathbf{w}}^V)，是对最优状态价值函数V_{\star }(s)的近似\end{array}$$
因此，最优动作价值函数$Q_{\star }$就可以近似成下面的神经网络：
$$Q(s,a;\mathbf{w})\triangleq V\left(s;{\mathbf{w}}^V\right)+D\left(s,a;{\mathbf{w}}^D\right)-\underset{a\in \mathcal{A}}{\max }D\left(s,a;{\mathbf{w}}^D\right)$$

上图为对决网络的结构。输入是状态 s；红色的向量是每个动作的优势值；蓝色的标量是状态价值；最终输出的紫色向量是每个动作的动作价值。

7.7 噪声网络

$\mu$和$\sigma$分别表示均值和标准差，它们是神经网络的参数，需要从经验中学习，$\xi$是随机噪声，它的每个元素独立以标准正态分布$N(0,1)$中随机抽取。符号$\circ$表示逐项乘积。
$$w_i={\mu }_i+{\sigma }_i\cdot {\xi }_i$$
某一个全连接层记作：
$$\mathbf{z}=\mathrm{ReLU}(\mathbf{W}\mathbf{x}+\mathbf{b})$$
加入噪声网络后为：
$$\mathbf{z}=\mathrm{ReLU}\left(\left({\mathbf{W}}^{\mu }+{\mathbf{W}}^{\sigma }\circ {\mathbf{W}}^{\xi }\right)\mathbf{x}+\left({\mathbf{b}}^{\mu }+{\mathbf{b}}^{\sigma }\circ {\mathbf{b}}^{\xi }\right)\right)$$
把噪声网络应用于DQN：
$$Q(s,a;\mathbf{w})⟹\tilde{Q}(s,a,\mathbf{\xi };\mathbf{\mu },\mathbf{\sigma })\triangleq Q(s,a;\mathbf{\mu }+\mathbf{\sigma }\circ \mathbf{\xi })$$

其中的 $\mu$ 和 $\sigma$ 是参数，一开始随机初始化，然后从经验中学习；而 $\xi$ 则是随机生成，每个元素都从$N(0,1)$ 中抽取。噪声 DQN 的参数数量比标准 DQN 多一倍。

噪声 DQN 本身就带有随机性，可以鼓励探索，起到与 $ϵ$-Greedy 策略相同的作用。直接用$a_t=\underset{a\in \mathcal{A}}{\mathrm{argmax}}\tilde{Q}(s,a,\mathbf{\xi };\mathbf{\mu },\mathbf{\sigma })$作为行为策略，效果比$ϵ$-Greedy 更好。因为DQN是异策略，每做一个决策，就要重新随机生成一个$\xi$

做完训练之后，可以用噪声 DQN 做决策。做决策的时候不再需要噪声，因此可以把参数 $\sigma$设置成全零，只保留参数$\mu$。这样一来，噪声 DQN 就变成标准的 DQN：
$$\underset{\text{噪声 DQN}}{\underbrace{\tilde{Q}\left(s,a,{\mathbf{\xi }}^{\prime };\mathbf{\mu },0\right)}}=\underset{\text{标准 DQN}}{\underbrace{Q\left(s,a;\mathbf{\mu }\right)}}.$$

在训练的时候往 DQN 的参数中加入噪声，不仅有利于探索，还能增强鲁棒性（健壮性）。意思是即使参数被扰动，DQN 也能对最优动作价值 $Q_{\star }$做出可靠的估计

八、实际编程DQN的完整实现流程

应用优先经验回放、双Q学习、对决网络、噪声DQN来编程实现DQN的完整流程：

开始随机初始化$\mu 、\sigma$,并且把它们赋值给目标网络参数:${\mu }^{-}\leftarrow \mu 、{\sigma }^{-}\leftarrow \sigma$；然后重复下面的步骤更新参数。
（把当前的参数记作${\mu }_{\mathrm{now}}、{\sigma }_{\mathrm{now}}、{\mu }_{\mathrm{now}}^{-}、{\sigma }_{\mathrm{now}}^{-}）$

• 1、用优先经验回放，从数组中抽取一个四元组，记作$(s_j,a_j,r_j,s_{j+1})$。

• 2、用标准正态分布生成 $\xi$，对噪声 DQN 做正向传播，得到：
  $${\hat{q}}_j=\tilde{Q}(s_j,a_j,\mathbf{\xi };{\mathbf{\mu }}_{\mathrm{now}},{\mathbf{\sigma }}_{\mathrm{now}}).$$

• 3、根据噪声 DQN 选出最优动作：
  $${\tilde{a}}_{j+1}=\underset{a\in \mathcal{A}}{\mathrm{argmax}}\tilde{Q}\left(s_{j+1},a,\mathbf{\xi };{\mathbf{\mu }}_{\mathrm{now}},{\mathbf{\sigma }}_{\mathrm{now}}\right).$$

• 4、用标准正态分布生成${\xi }^{\prime }$，根据目标网络计算价值：
  $${\hat{q}}_{j+1}^{-}=\tilde{Q}\left(s_{j+1},{\tilde{a}}_{j+1},{\xi }^{\prime };{\mathbf{\mu }}_{\mathrm{now}}^{-},{\mathbf{\sigma }}_{\mathrm{now}}^{-}\right).$$

• 5、计算 TD 目标和 TD 误差：

$${\hat{y}}_j^{-}=r_j+\gamma \cdot {\hat{q}}_{j+1}^{-}\text{ 和 }{\delta }_j={\hat{q}}_j-{\hat{y}}_j^{-}.$$

• 6、设 ${\alpha }_{\mu }$ 和 ${\alpha }_{\sigma }$为学习率。做梯度下降更新噪声 DQN 的参数：
  $$\begin{gathered} {\mathbf{\mu }}_{\mathrm{new}}\leftarrow {\mathbf{\mu }}_{\mathrm{now}}-{\alpha }_{\mu }\cdot {\delta }_j\cdot {\nabla }_{\mathbf{\mu }}\tilde{Q}\left(s_j,a_j,\mathbf{\xi };{\mathbf{\mu }}_{\mathrm{now}},{\mathbf{\sigma }}_{\mathrm{now}}\right) \\ {\mathbf{\sigma }}_{\mathrm{new}}\leftarrow {\mathbf{\sigma }}_{\mathrm{now}}-{\alpha }_{\sigma }\cdot {\delta }_j\cdot {\nabla }_{\mathbf{\sigma }}\tilde{Q}\left(s_j|,a_j,\mathbf{\xi };{\mathbf{\mu }}_{\mathrm{now}},{\mathbf{\sigma }}_{\mathrm{now}}\right). \end{gathered}$$

• 7、设 $\tau \in (0,1)$是需要手动调的超参数。做加权平均更新目标网络的参数：

$$\begin{array}{rclc}{\mathbf{\mu }}_{\mathrm{new}}^{-}& \leftarrow & \tau \cdot {\mathbf{\mu }}_{\mathrm{new}}+& \left(\begin{array}{c}1-\tau \end{array}\right)\cdot {\mathbf{\mu }}_{\mathrm{now}}^{-},\\ & & & \\ {\mathbf{\sigma }}_{\mathrm{new}}^{-}& \leftarrow & \tau \cdot {\mathbf{\sigma }}_{\mathrm{new}}+& \left(\begin{array}{c}1-\tau \end{array}\right)\cdot {\mathbf{\sigma }}_{\mathrm{now}}^{-}.\end{array}$$

一时半会可能消化不了，建议收藏！多次咀嚼消化。