贝尔曼公式，描述当前状态的值函数与后续状态值函数之间的关系，可以通过直接求解或迭代更新将状态值函数 $V_{\pi }$收敛到真实值，用于评估给定策略 $\pi$ 的长期回报，进而评价该策略的好坏。

预备知识：

$\pi (a|s)$：s状态采取a动作的概率。
$p_{\pi }(s^{{}^{\prime }}|s)$：$\pi$策略时，s状态下，进入$s^{{}^{\prime }}$状态的概率。
$p(s^{{}^{\prime }}|s,a)$：s状态下，采取a动作后，进入$s^{{}^{\prime }}$状态的概率。
$$p(s^{{}^{\prime }}|s)=\pi (a|s)\sum _{a}p(s^{{}^{\prime }}|s,a)$$
$R_{t+1}$：是智能体在状态$s_t$(确定量)执行动作$A_t$后，转移到状态$S_{t+1}$(未知量)时获得的即时奖励。是一个随机变量。
$R_{t+1}$随机性来源：宏观上讲，奖励值应该在环境中获取，但t+1时刻相对于当前(t时刻)来说是“下一个时刻”，因此是一个“未定值”，也就是一个随机变量；微观上讲，智能体在$s_t$状态做出什么动作$A_t$，以及做出确定动作$a_t$后进入什么状态$S_{t+1}$，以及进入确定状态$s_{t+1}$后得到多大的奖励值都有可能是随机的，因此下一时刻的奖励值是一个随机变量。并且t时刻以后的奖励，相对t时刻来说，都是随机变量。
$G_t$：t时刻以后的累计折扣奖励。是一个随机变量
$$\begin{array}{c}\begin{array}{rl}{G}_t& =R_{t+1}+{\gamma }^{}{R}_{t+2}+{\gamma }^2{R}_{t+3}+....{\gamma }^{tend-t-1}{R}_{tend}\\ & =R_{t+1}+\gamma G_{t+1}\end{array}\end{array}$$

贝尔曼公式的样子及其推倒

$V_{\pi }(s)$：$\pi$策略时，状态值函数；状态s下获得奖励值的期望。$\forall s\in S$
$$\begin{array}{c}\begin{array}{rl}{V}_{\pi }(s)& =E[G_t|S_t=s](定义)\\ & =E[R_{t+1}|S_t=s]+\gamma E[G_{t+1}|S_t=s]\\ & =\sum _{s^{{}^{\prime }}}{p}_{\pi }(s^{{}^{\prime }}|s)\sum _{r}p(r|s^{{}^{\prime }})r+\gamma \sum _{s^{{}^{\prime }}}{p}_{\pi }(s^{{}^{\prime }}|s)E[G_{t+1}|S_{t+1}=s^{{}^{\prime }}]\\ & =\sum _a\pi (a|s)\sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}|s,a)\sum _{r}p(r|s^{{}^{\prime }})r+\gamma \sum _a\pi (a|s)\sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}|s,a)V_{\pi }(s^{{}^{\prime }})\\ & =\sum _a\pi (a|s)\sum _{r}p(r|s,a)r+\gamma \sum _a\pi (a|s)\sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}|s,a)V_{\pi }(s^{{}^{\prime }})\\ & =\sum _a\pi (a|s)\left[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{{}^{\prime }}}p(s^{{}^{\prime }}|s,a)V_{\pi }(s^{{}^{\prime }})\right](贝尔曼公式)\\ V_{\pi }(s)& =E[G_t|S_t=s](定义)\\ & =E[R_{t+1}|S_t=s]+\gamma E[G_{t+1}|S_t=s]\\ & =r_{\pi }(s)+\gamma \sum _{s^{{}^{\prime }}}{p}_{\pi }(s^{{}^{\prime }}|s)E[G_{t+1}|S_{t+1}=s^{{}^{\prime }}]\\ & =r_{\pi }(s)+\gamma \sum _{s^{{}^{\prime }}}{p}_{\pi }(s^{{}^{\prime }}|s)V_{\pi }(s^{{}^{\prime }})(贝尔曼公式的另一者更简洁的表示形式)\\ 其中& r_{\pi }(s)为，\pi 策略时，s状态本次的奖励的期望\\ r_{\pi }(s)& =\sum _a\pi (a|s)\sum _{r}p(r|s,a)r\end{array}\end{array}$$
向量形式表示
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$
其中
$v_{\pi }=[V_{\pi }(s_1),V_{\pi }(s_2),...,V_{\pi }(s_n)]$
$r_{\pi }=[r_{\pi }(s_1),r_{\pi }(s_2),...,r_{\pi }(s_n)]$
$P_{\pi }\in R^{n\ast n}（系数矩阵）$

$Q_{\pi }(s,a)$：动作值函数；$\pi$策略时，状态s下，采取a动作获得奖励值的期望。
关于动作值函数也有一个贝尔曼公式。（暂略）

此时我们再来会看这句话：
贝尔曼公式，描述当前状态的值函数与后续状态值函数之间的关系，可以通过直接求解或迭代更新将状态值函数 $V_{\pi }$收敛到真实值，用于评估给定策略 $\pi$的长期回报，进而评价该策略的好坏。