关于状态值

---

状态值函数的形式化定义

1. 前提条件与数学符号

我们首先假定系统基于一个标准马尔可夫决策过程 (Markov Decision Process, MDP)，其动力学是时间齐次 (time-homogeneous) 的，即转移概率不随时间变化。

• $S_t$: 时刻 $t$ 的状态 (State)。
• $R_{t+1}$: 时刻 $t+1$ 获得的奖励 (Reward)。
• $\pi$: 策略 (Policy)，一个从状态到动作的映射，通常是随机的，即 $\pi (a|s)=P(A_t=a|S_t=s)$。我们假定这是一个平稳策略 (stationary policy)，即 $\pi$ 不随 $t$ 变化。
• $G_t$: 时刻 $t$ 的回报 (Return)，通常是折扣化的累积奖励： $G_t={\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}$ 其中 $\gamma \in [0,1]$ 是折扣因子。
• $\mathbb{E}[\cdot ]$: 期望操作符。
• ${\mathbb{E}}_{\pi }[\cdot ]$: 在遵循策略 $\pi$ 下的期望。

2. 定义（公式 2.5）的解析

公式 (2.5) 定义了状态值函数 $v_{\pi }(s)$:

$v_{\pi }(s)\doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]$

$v_{\pi }(s)$ 是在给定遵循策略 $\pi$ 的条件下，从状态 $s$ 开始所能获得的期望回报。它量化了在特定策略 $\pi$ 下，从状态 $s$ 出发所具有的“好”或“坏”的程度。

数学基础：条件期望

状态值函数本质上是一个条件期望 $\mathbb{E}[X|Y=y]$。

• 随机变量 $X$ 是回报 $G_t$。
• 条件事件 $Y=y$ 是起始状态 $S_t=s$。

由于 $G_t$ 是未来随机奖励序列的函数，它本身是一个随机变量。通过求条件期望，我们得到了一个确定的数值，这个数值仅仅是状态 $s$ 和策略 $\pi$ 的函数。

---

状态值函数的三个关键性质的深入分析

图片（来自强化学习的数学原理一书）中列出了三条性质。

性质一：$v_{\pi }(s)$ 依赖于状态 $s$

解释： $v_{\pi }(s)$ 是一个函数，它将状态空间 $\mathcal{S}$ 中的每一个状态映射到一个实数值。

依赖关系直接来源于条件期望的定义 $E[G_t|S_t=s]$。当 $s_1\ne s_2$ 时，两个条件期望 $\mathbb{E}[G_t|S_t=s_1]$ 和 $\mathbb{E}[G_t|S_t=s_2]$ 是基于不同的初始条件进行计算的。

在 MDP 中，不同的状态 $s$ 通常意味着：

1. 不同的即时奖励分布： $P(R_{t+1}|S_t=s)$ 可能不同。
2. 不同的未来转移可能性： $P(S_{t+1}|S_t=s,A_t=a)$ 可能不同。

因此，固定策略 $\pi$ 后，从 $s_1$ 开始和从 $s_2$ 开始的期望轨迹是不同的，故 $v_{\pi }(s_1)\ne v_{\pi }(s_2)$ 是普遍情况。

性质二：$v_{\pi }(s)$ 依赖于策略 $\pi$

解释： 策略 $\pi$ 决定了在状态 $s$ 之后，系统将如何演化，从而直接影响了回报 $G_t$ 的分布。

策略 $\pi$ 是一个条件概率分布 $\pi (a|s)$。当我们在计算期望 ${\mathbb{E}}_{\pi }[G_t|S_t=s]$ 时，这个期望是在由 $\pi$ 诱导的（即遵循 $\pi$ 产生的）概率测度下计算的。

轨迹 $\tau =(S_t,A_t,R_{t+1},S_{t+1},A_{t+1},R_{t+2},\dots )$ 的概率 $P_{\pi }(\tau |S_t=s)$ 依赖于两个因素：

1. MDP的转移核：$p(s^{\prime },r|s,a)$ (环境决定)。
2. 策略 $\pi (a|s)$ (智能体决定)。

如果存在两个不同的策略 ${\pi }_1\ne {\pi }_2$，即使它们从同一状态 $s$ 开始，由于 ${\pi }_1$ 和 ${\pi }_2$ 选择了不同的动作分布，导致了不同的未来状态和奖励序列分布。 ${\mathbb{E}}_{{\pi }_1}[G_t|S_t=s]\ne {\mathbb{E}}_{{\pi }_2}[G_t|S_t=s]$

结论： 状态值函数是评价特定策略好坏的指标，因此它必须依赖于 $\pi$。

性质三：$v_{\pi }(s)$ 不依赖于时刻 $t$

解释： 尽管公式 (2.5) 中出现了时间指标 $t$，但只要 $S_t=s$，那么这个期望值与 $t$ 的具体数值无关。这是强化学习理论中平稳性 (stationarity) 的直接体现。

在标准 RL 框架（即离散时间、折扣、时间齐次 MDP）中，我们有以下两个关键假设：

1. 策略的平稳性 (Stationary Policy)

我们假定使用的策略 $\pi$ 是平稳的，即 $\pi (a|s)$ 不依赖于绝对时间 $t$。 $P(A_t=a|S_t=s)=\pi (a|s),\forall t$

2. MDP的齐次性 (Time-Homogeneous Dynamics)

环境的转移概率不依赖于绝对时间 $t$。 $P(S_{t+1}=s^{\prime },R_{t+1}=r|S_t=s,A_t=a)=p(s^{\prime },r|s,a),\forall t$

3. 期望的推导

我们来考察 $G_t$ 的定义： $G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$

现在，考虑两个不同时刻 $t$ 和 $t^{\prime }$，但它们都从相同的状态 $s$ 开始。

$v_{\pi }(s)$ 在时刻 $t$ 的定义： $v_{\pi }(s,t)={\mathbb{E}}_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots |S_t=s]$

$v_{\pi }(s)$ 在时刻 $t^{\prime }$ 的定义： $v_{\pi }(s,t^{\prime })={\mathbb{E}}_{\pi }[R_{t^{\prime }+1}+\gamma R_{t^{\prime }+2}+{\gamma }^2{R}_{t^{\prime }+3}+\dots |S_{t^{\prime }}=s]$

由于 MDP 的动力学 $p(s^{\prime },r|s,a)$ 和策略 $\pi (a|s)$ 都与绝对时间 $t$ 无关，从状态 $s$ 开始的任何未来子序列的概率分布都只依赖于这个子序列的相对时间步长 $k=0,1,2,\dots$。

具体来说，在 $S_t=s$ 的条件下： $P(S_{t+k},R_{t+k+1}|S_t=s)$ 这个联合概率分布函数是完全由 $s$、 $\pi$ 和 $p$ 决定的，与 $t$ 的具体数值无关。

因此，回报 $G_t$ 的概率分布 $P(G_t|S_t=s)$ 与 $G_{t^{\prime }}$ 的概率分布 $P(G_{t^{\prime }}|S_{t^{\prime }}=s)$ 是相同的。

$P(G_t=g|S_t=s)=P(G_{t^{\prime }}=g|S_{t^{\prime }}=s)$

由于两个随机变量（回报）的条件概率分布一致，它们的期望值也必然一致：

$v_{\pi }(s,t)=v_{\pi }(s,t^{\prime })$

在平稳策略和时间齐次 MDP的假设下，状态值函数 $v_{\pi }(s)$ 是一个时间无关的量，它只依赖于你当前所处的空间位置 $s$，而不依于你处于该位置的绝对时刻 $t$。这就是为什么我们在 $v_{\pi }(s)$ 的表示中通常省略了对 $t$ 的依赖。