核心要领

1. 状态价值函数取决于两部分$\pi (a|s)$和$Q_{\pi }(s,a)$
2. 故训练两个网络，Policy Network(actor)用于决策，Value Network(critic)用于判断这个决策的好坏
3. critic网络用梯度下降最小化与$real{Q}_{\pi }$之间的Loss，actor网络用梯度上升最大化$V_{\pi }$
4. 计算$V_{\pi }$离不开$Q_{\pi }$，因此通常先算critic网络，再算actor网络，且critic网络的学习率通常来说会更大一些

Value Network(Critic)的内部结构

需要注意的是
Critic network和DQN完全不同

• 前者学的是当前策略 π 下的$V_{\pi }$或$Q_{\pi }$，Bootstrap时用的是策略生成的下一个动作。
• 后者学的是最优$Q_{\star }$，使用“最大化下步 Q 值”的贝尔曼最优方程

但是二者训练方法类似，都可以用n-step TD算法来更新网络参数

1. 当前状态为$s_t$，并执行决策$a_t$，得到新状态$s_{t+1}$，根据新状态再决策$a_{t+1}$但不执行
2. 根据$q_t=q(s_t,a_t;w)$计算得到当前时刻和下一时刻的$q_t{q}_{t+1}$
3. 计算TD target：$y_t=r_t+\gamma \cdot q_{t+1}$，我们可以认为$y_t$是一个常量，它类似于监督学习中$q_t$的标签
4. 计算Loss：$L(w)=\frac{1}{2}[q_t-y_t{]}^2$(用其他loss function也可以)
5. 梯度下降：$w_{t+1}=w_t-\alpha \cdot \frac{\partial L(w)}{\partial w}{\mid }_{w=w_t}$
   其中$\frac{\partial L(w)}{\partial w}=(q_t-y_t)\cdot {\nabla }_w{q}_t$

实际训练流程

具体流程：
1. 收集当前状态
2. 根据现有策略做决策的随机采样，得决策$\hat{a}$
3. 执行决策$\hat{a}$，得到新状态和奖励
4. 用奖励执行TD算法更新Critic network的参数
5. 将Critic network的输出$q_{\pi }$，代入公式$g(\hat{a},\theta )=\nabla log\pi (\hat{a}|S_t)\cdot q_{\pi }(S_t,\hat{a})$，用梯度上升${\theta }_{t+1}={\theta }_t+\beta \cdot g(\hat{a},{\theta }_t)$更新actor network的参数


上图来自王树森老师的《深度强化学习》