贝尔曼方程推导

---

贝尔曼期望方程的起点

状态值函数 $v_{\pi }(s)$ 的递归定义，即贝尔曼期望方程 (Bellman Expectation Equation)，是基于回报 $G_t$ 的递归结构：

$$G_t=R_{t+1}+\gamma G_{t+1}$$

将状态值函数的定义 $v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]$ 代入，并利用期望的线性性质，我们得到公式 (2.6)（未在图片中显示，但作为起点）：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]$$ $$v_{\pi }(s)=\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s]\text{(2.6)}$$

这个方程将 $v_{\pi }(s)$ 分解成了两部分：即时奖励的期望和未来折扣回报的期望。

---

从 (2.6) 到 (2.9) 的分解

推导 (2.9) 的过程是将公式 (2.6) 右侧的两项进行展开和计算。

1. 展开第一项：即时奖励的期望

这部分正是我们在上一个问题关于状态值中推导过的公式 (2.7)。它计算的是从状态 $s$ 出发，在策略 $\pi$ 下的即时期望奖励。

$\mathbb{E}[R_{t+1}|S_t=s]={\sum }_{a\in \mathcal{A}}\pi (a|s){\sum }_{r\in \mathcal{R}}p(r|s,a)r$

2. 展开第二项：未来折扣回报的期望

我们需要计算 $\gamma \mathbb{E}[G_{t+1}|S_t=s]$。

2.1 引入中间变量 $A_t$ 和 $S_{t+1}$

与第一项类似，我们先引入 $A_t$ 的条件期望： $\mathbb{E}[G_{t+1}|S_t=s]={\sum }_{a\in \mathcal{A}}P(A_t=a|S_t=s)\mathbb{E}[G_{t+1}|S_t=s,A_t=a]$ $\mathbb{E}[G_{t+1}|S_t=s]={\sum }_{a\in \mathcal{A}}\pi (a|s)\mathbb{E}[G_{t+1}|S_t=s,A_t=a]$

接着，我们引入下一状态 $S_{t+1}=s^{\prime }$ 作为条件，利用全期望定律： $\mathbb{E}[G_{t+1}|S_t=s,A_t=a]={\sum }_{s^{\prime }\in \mathcal{S}}P(S_{t+1}=s^{\prime }|S_t=s,A_t=a)\mathbb{E}[G_{t+1}|S_t=s,A_t=a,S_{t+1}=s^{\prime }]$

2.2 利用马尔可夫性和值函数定义

• 马尔可夫性 (Markov Property): MDP要求未来的状态和回报只依赖于当前状态和动作，而与历史状态无关。因此： $\mathbb{E}[G_{t+1}|S_t=s,A_t=a,S_{t+1}=s^{\prime }]=\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]$
• 状态值函数定义 $v_{\pi }(s)$ 的时间齐次性 (Time-Homogeneity): 根据前一个问题的结论（$v_{\pi }(s)$ 不依赖于 $t$）： $\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]=v_{\pi }(s^{\prime })$
• 转移概率： 从 $(s,a)$ 转移到 $s^{\prime }$ 的概率，记为 $p(s^{\prime }|s,a)$。 $P(S_{t+1}=s^{\prime }|S_t=s,A_t=a)={\sum }_{r\in \mathcal{R}}p(s^{\prime },r|s,a)=p(s^{\prime }|s,a)$

将这些代入，第二项变为： $\mathbb{E}[G_{t+1}|S_t=s,A_t=a]={\sum }_{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$

2.3 完整的第二项

$\gamma \mathbb{E}[G_{t+1}|S_t=s]=\gamma {\sum }_{a\in \mathcal{A}}\pi (a|s){\sum }_{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$

3. 合并得到 (2.9)

将第一项和第二项合并代回 (2.6)，我们得到中间的等式（带两个大括号）：

$$v_{\pi }(s)=\underset{\text{即时奖励的期望}}{\underbrace{\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{r\in \mathcal{R}}p(r|s,a)r}}+\gamma \underset{\text{未来奖励的期望}}{\underbrace{\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })}}$$

最后，由于两个主要项都包含了对动作 $a$ 的外部求和 ${\sum }_{a\in \mathcal{A}}\pi (a|s)$，我们可以将其提取到最外层，得到公式 (2.9)：

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\left[\sum _{r\in \mathcal{R}}p(r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right]\text{(2.9)}$$

状态 $s$ 的价值 $v_{\pi }(s)$ 等于：

1. 智能体在 $s$ 处可能采取的每一个动作 $a$ 的概率加权平均。 (${\sum }_{a\in \mathcal{A}}\pi (a|s)$)
2. 对于每一个动作 $a$，其对应的期望价值是：即时获得的期望奖励 (${\sum }_{r\in \mathcal{R}}p(r|s,a)r$) 加上 下一状态 $s^{\prime }$ 的价值 $v_{\pi }(s^{\prime })$ 经过折扣和转移概率加权平均后的期望值 ($\gamma {\sum }_{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$)。

---

贝尔曼方程的另一种形式

强化学习的数学原理书中提到了 $v_{\pi }(s)$ 的另一个等价形式：

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$

这个形式是更普遍和紧凑的，它直接利用了 MDP 的联合转移概率 $p(s^{\prime },r|s,a)$。

概率基础：联合转移概率 $p(s^{\prime },r|s,a)$

在标准的 MDP 定义中，联合概率 $p(s^{\prime },r|s,a)$ 是指在状态 $s$ 采取动作 $a$ 后，转移到状态 $s^{\prime }$ 并获得奖励 $r$ 的概率： $p(s^{\prime },r|s,a)\doteq P(S_{t+1}=s^{\prime },R_{t+1}=r|S_t=s,A_t=a)$

书中提供的两个全概率公式（边缘概率）正是将 $p(s^{\prime },r|s,a)$ 与公式 (2.9) 中使用的 $p(s^{\prime }|s,a)$ 和 $p(r|s,a)$ 联系起来的桥梁：

1. 下一状态的边缘概率： $p(s^{\prime }|s,a)={\sum }_{r\in \mathcal{R}}p(s^{\prime },r|s,a)$ （对所有可能的奖励 $r$ 求和，得到转移到 $s^{\prime }$ 的总概率。）
2. 即时奖励的边缘概率： $p(r|s,a)={\sum }_{s^{\prime }\in \mathcal{S}}p(s^{\prime },r|s,a)$ （对所有可能的下一状态 $s^{\prime }$ 求和，得到获得奖励 $r$ 的总概率。）

推导

我们从贝尔曼方程的紧凑形式开始验证它与 (2.9) 的等价性：

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$

展开内部中括号：

$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\left[\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)v_{\pi }(s^{\prime })\right]$$

现在利用边缘概率公式进行化简：

对于第一项（即时奖励）： ${\sum }_{s^{\prime }\in \mathcal{S}}{\sum }_{r\in \mathcal{R}}p(s^{\prime },r|s,a)r={\sum }_{r\in \mathcal{R}}r\underset{\text{即 }p(r|s,a)}{\underbrace{\sum _{s^{\prime }\in \mathcal{S}}p(s^{\prime },r|s,a)}}={\sum }_{r\in \mathcal{R}}rp(r|s,a)$ 这与公式 (2.9) 中即时奖励部分相符。

对于第二项（未来价值）： $\gamma {\sum }_{s^{\prime }\in \mathcal{S}}{\sum }_{r\in \mathcal{R}}p(s^{\prime },r|s,a)v_{\pi }(s^{\prime })=\gamma {\sum }_{s^{\prime }\in \mathcal{S}}{v}_{\pi }(s^{\prime })\underset{\text{即 }p(s^{\prime }|s,a)}{\underbrace{\sum _{r\in \mathcal{R}}p(s^{\prime },r|s,a)}}=\gamma {\sum }_{s^{\prime }\in \mathcal{S}}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })$ 这与公式 (2.9) 中未来奖励部分相符。

结论： 两种形式 (2.9) 和其变体是完全等价的，只是在组织转移概率项时采用了不同的分解方式。变体形式更强调 $s\to (s^{\prime },r)$ 这一联合事件 的概率。