改进的迭代尺度法

改进迭代尺度法 (Improved Iterative Scaling, IIS)

1. 最大熵模型回顾与优化目标

在最大熵模型中，我们关注的是条件概率分布 $P(y|x)$，其形式为： $P(y|x;\mathbf{w})=\frac{1}{Z(x,\mathbf{w})}\exp \left({\sum }_{j=1}^k{w}_j{f}_j(x,y)\right)$ 其中：

• $\mathbf{w}=(w_1,\dots ,w_k)$ 是我们希望学习的权重向量，每个 $w_j$ 对应一个特征函数 $f_j(x,y)$。
• $f_j(x,y)$ 是二值特征函数，表示输入 $x$ 和输出 $y$ 是否满足特定条件（通常取 0 或 1）。
• $Z(x,\mathbf{w})={\sum }_{y^{\prime }}\exp \left({\sum }_{j=1}^k{w}_j{f}_j(x,y^{\prime })\right)$ 是归一化因子（配分函数），确保对所有可能的 $y^{\prime }$ 求和时 $P(y^{\prime }|x;\mathbf{w})=1$。

我们的优化目标是最大化训练数据集的对数似然函数 $L(\mathbf{w})$。假设训练数据集中的样本 $(x,y)$ 服从经验分布 $\tilde{P}(x,y)$，则对数似然函数为： $L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y)\log P(y|x;\mathbf{w})$ 将 $P(y|x;\mathbf{w})$ 的定义代入： $L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y)\left({\sum }_{j=1}^k{w}_j{f}_j(x,y)-\log Z(x,\mathbf{w})\right)$ $L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{w}_j{f}_j(x,y)-{\sum }_{x,y}\tilde{P}(x,y)\log Z(x,\mathbf{w})$ 解释：第二项中 $\log Z(x,\mathbf{w})$ 只依赖于 $x$，不依赖于 $y$。因此 ${\sum }_y\tilde{P}(x,y)\log Z(x,\mathbf{w})=\tilde{P}(x)\log Z(x,\mathbf{w})$（因为 ${\sum }_y\tilde{P}(x,y)=\tilde{P}(x)$）。所以： $L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{w}_j{f}_j(x,y)-{\sum }_x\tilde{P}(x)\log Z(x,\mathbf{w})$ 我们的目标是找到 $\mathbf{w}$ 来最大化 $L(\mathbf{w})$。

2. 似然函数增量与辅助函数的构建

IIS 算法通过迭代地更新权重 $\mathbf{w}$。假设当前权重为 $\mathbf{w}$，我们希望找到一个更新量 $\mathbf{\delta }=({\delta }_1,\dots ,{\delta }_k)$，使得新的权重 $\mathbf{w}+\mathbf{\delta }$ 能够提高似然函数值。

我们考虑似然函数的增量 $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})$： $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y)\left({\sum }_{j=1}^k(w_j+{\delta }_j)f_j(x,y)-\log Z(x,\mathbf{w}+\mathbf{\delta })\right)-{\sum }_{x,y}\tilde{P}(x,y)\left({\sum }_{j=1}^k{w}_j{f}_j(x,y)-\log Z(x,\mathbf{w})\right)$ 展开并合并相似项： $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)-{\sum }_x\tilde{P}(x)\left(\log Z(x,\mathbf{w}+\mathbf{\delta })-\log Z(x,\mathbf{w})\right)$ $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)-{\sum }_x\tilde{P}(x)\log \left(\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}\right)$ 解释：这是似然函数增量的精确表达式。我们现在需要找到它的一个下界，构建一个更容易最大化的辅助函数。

关键不等式应用： 我们使用基本不等式：对于任何实数 $\alpha >0$，有 $-\log \alpha \ge 1-\alpha$。 解释：这个不等式可以通过对函数 $\varphi (t)=t-1-\log t$ 求导并分析其最小值来证明。 ${\varphi }^{\prime }(t)=1-1/t$。当 $t=1$ 时 ${\varphi }^{\prime }(t)=0$，此时 $\varphi (1)=1-1-\log 1=0$。因此 $\varphi (t)\ge 0$，即 $t-1\ge \log t$，或者 $-\log t\ge 1-t$。

我们将 $\alpha =\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}$ 代入上述不等式： $-\log \left(\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}\right)\ge 1-\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}$ 将此不等式代回到似然函数增量表达式中： $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})\ge {\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)+{\sum }_x\tilde{P}(x)\left(1-\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}\right)$ $L(\mathbf{w}+\mathbf{\delta })-L(\mathbf{w})\ge {\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)+{\sum }_x\tilde{P}(x)-{\sum }_x\tilde{P}(x)\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}$ 解释：${\sum }_x\tilde{P}(x)=1$，所以第二项为 1。

现在我们展开 $\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}$： $\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}=\frac{{\sum }_{y^{\prime }}\exp \left({\sum }_j(w_j+{\delta }_j)f_j(x,y^{\prime })\right)}{Z(x,\mathbf{w})}$ $=\frac{{\sum }_{y^{\prime }}\exp \left({\sum }_j{w}_j{f}_j(x,y^{\prime })\right)\exp \left({\sum }_j{\delta }_j{f}_j(x,y^{\prime })\right)}{Z(x,\mathbf{w})}$ 解释：利用指数的性质 $\exp (A+B)=\exp (A)\exp (B)$。

我们知道 $P(y^{\prime }|x;\mathbf{w})=\frac{\exp ({\sum }_j{w}_j{f}_j(x,y^{\prime }))}{Z(x,\mathbf{w})}$。所以 $\exp ({\sum }_j{w}_j{f}_j(x,y^{\prime }))=P(y^{\prime }|x;\mathbf{w})Z(x,\mathbf{w})$。 代入上式： $\frac{Z(x,\mathbf{w}+\mathbf{\delta })}{Z(x,\mathbf{w})}=\frac{{\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})Z(x,\mathbf{w})\exp \left({\sum }_j{\delta }_j{f}_j(x,y^{\prime })\right)}{Z(x,\mathbf{w})}$ $={\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_j{\delta }_j{f}_j(x,y^{\prime })\right)$ 解释：归一化因子 $Z(x,\mathbf{w})$ 被约去。

将此结果代回到似然函数增量下界表达式中，我们得到辅助函数 $A(\mathbf{\delta })$： $A(\mathbf{\delta })={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)$ 解释：这个 $A(\mathbf{\delta })$ 是我们通过最大化它来间接最大化 $L(\mathbf{w})$ 的函数。请注意，这里 $\mathbf{\delta }$ 是一个向量，所有 ${\delta }_j$ 都出现在指数项的求和中。

3. 最大化辅助函数

为了最大化 $A(\mathbf{\delta })$，我们对其关于每个 ${\delta }_i$ 求偏导数，并令其等于零。

$\frac{\partial A(\mathbf{\delta })}{\partial {\delta }_i}=0$

我们对 $A(\mathbf{\delta })$ 的各项分别求偏导：

1. 第一项 ${\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)$ 对 ${\delta }_i$ 求偏导： $\frac{\partial }{\partial {\delta }_i}\left({\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)\right)$ 解释：只有当求和符号中的 $j$ 等于 $i$ 时，${\delta }_j$ 项才依赖于 ${\delta }_i$。其他项是常数，求导为零。 $={\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)$ 解释：这正是特征 $f_i$ 在经验分布上的期望 ${\mathbb{E}}_{\tilde{P}}[f_i]$。

2. 第二项 $1$ 对 ${\delta }_i$ 求偏导： 为 $0$。

3. 第三项 $-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)$ 对 ${\delta }_i$ 求偏导： $-\frac{\partial }{\partial {\delta }_i}\left({\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)\right)$ 解释：求和符号前的项和 $P(y^{\prime }|x;\mathbf{w})$ 都是常数。我们主要对指数项 $\exp (\cdot )$ 求导。根据链式法则， $\frac{\partial }{\partial z}\exp (h(z))=\exp (h(z))\frac{\partial h(z)}{\partial z}$。在这里，$h(\mathbf{\delta })={\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })$。 $\frac{\partial }{\partial {\delta }_i}\left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)=f_i(x,y^{\prime })$ 解释：只有当 $j=i$ 时，${\delta }_j{f}_j(x,y^{\prime })$ 依赖于 ${\delta }_i$。

   所以，第三项的偏导数为： $=-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)\cdot f_i(x,y^{\prime })$ 解释：这就是模型期望的一个变体，其中包含了指数项。

将所有偏导数结果合并，并令其为零： ${\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)f_i(x,y^{\prime })=0$ 重新排列，得到每个 ${\delta }_i$ 需要满足的方程： ${\mathbb{E}}_{\tilde{P}}[f_i]={\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)$

问题： 请注意这个方程，对于要解的 ${\delta }_i$，它仍然存在于指数项内部的求和 ${\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })$ 中，这意味着 ${\delta }_i$ 是与其他所有 ${\delta }_j$ 耦合在一起的。我们不能直接独立地求解每个 ${\delta }_i$。每次迭代都需要解一个包含所有 ${\delta }_j$ 的复杂非线性方程组，这实际上是比牛顿法（需要Hessian）更困难的问题。

这与标准的 IIS 算法（或其更常见的推导）略有不同。标准的 IIS 引入了一个额外的数学技巧来解耦这些 ${\delta }_j$ 项，使其可以独立求解。

4. 标准 IIS 的核心技巧：解耦 $\mathbf{\delta }$ (引入 $f^{\#}(x,y)$)

为了能够独立地求解每个 ${\delta }_i$，标准的 IIS 引入了特征总和函数 $f^{\#}(x,y)$。 定义 $f^{\#}(x,y)={\sum }_{j=1}^k{f}_j(x,y)$，表示样本 $(x,y)$ 中所有激活特征的数量。 为了保证后续推导的有效性，IIS 通常要求 $f^{\#}(x,y)$ 对于所有 $(x,y)$ 样本是一个常数 $M$。如果不是，可以通过引入一个虚拟特征 $f_0(x,y)=M-{\sum }_{j=1}^k{f}_j(x,y)$ 来实现，其中 $M$ 是一个大于或等于所有样本最大特征总和的常数。这样，新的特征总和就变成了恒定的 $M$。

标准的 IIS 算法使用一个更精巧的下界替换： $\log {\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_j{\delta }_j{f}_j(x,y^{\prime })\right)$ 通常被替换为以下形式的下界（这里省略了详细的推导，它涉及到将 $\exp ({\sum }_j{\delta }_j{f}_j)$ 分解成 ${\prod }_j\exp ({\delta }_j{f}_j)$，并使用加权几何平均值或 Jensen 不等式的一个特定变体）： ${\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w}){\sum }_{j=1}^k\frac{f_j(x,y^{\prime })}{f^{\#}(x,y^{\prime })}{\delta }_j{f}^{\#}(x,y^{\prime })$ 更具体地，标准的 IIS 辅助函数 $A(\mathbf{\delta })$ 的形式是： $A(\mathbf{\delta })={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w}){\sum }_{j=1}^k\frac{f_j(x,y^{\prime })}{f^{\#}(x,y^{\prime })}\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))$ 解释：

• 这个辅助函数中的指数项变成了 $\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))$，关键在于指数内部的 ${\delta }_j$ 被解耦了，不再是 ${\sum }_j{\delta }_j{f}_j(x,y^{\prime })$。
• 这里的 $\frac{f_j(x,y^{\prime })}{f^{\#}(x,y^{\prime })}$ 扮演了权重或概率的角色。

现在，对这个标准 IIS 辅助函数关于 ${\delta }_i$ 求偏导数并令其为零：

1. 第一项的导数与之前相同： ${\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)={\mathbb{E}}_{\tilde{P}}[f_i]$。

2. 第二项（负号后面的大求和项）对 ${\delta }_i$ 求偏导： $-\frac{\partial }{\partial {\delta }_i}\left({\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w}){\sum }_{j=1}^k\frac{f_j(x,y^{\prime })}{f^{\#}(x,y^{\prime })}\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))\right)$ 解释：只有当内部求和中的 $j=i$ 时，项才依赖于 ${\delta }_i$。 $=-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\frac{f_i(x,y^{\prime })}{f^{\#}(x,y^{\prime })}\cdot \frac{\partial }{\partial {\delta }_i}\left(\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))\right)$ $=-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\frac{f_i(x,y^{\prime })}{f^{\#}(x,y^{\prime })}\cdot f^{\#}(x,y^{\prime })\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))$ 解释：这里的 $f^{\#}(x,y^{\prime })$ 项可以被约去。 $=-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))$

将两部分求导结果结合，并令其等于零： ${\mathbb{E}}_{\tilde{P}}[f_i]-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))=0$ 重新排列，得到标准 IIS 的核心更新方程： ${\mathbb{E}}_{\tilde{P}}[f_i]={\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))$ 解释：现在，对于每个特征 $f_i$，这个方程中待解的 ${\delta }_i$ 只出现在它自己的指数项中，而没有与其他 ${\delta }_j$ 耦合。这意味着我们可以为每个 $i$ 独立地求解一个单变量非线性方程。

5. 求解每个 ${\delta }_i$ 的方程

对于每个特征 $f_i$，我们需要求解形如 $A=B\cdot \exp (C\cdot {\delta }_i)$ 的方程，其中 $A,B,C$ 都是常数。更准确地说，是： ${\mathbb{E}}_{\tilde{P}}[f_i]={\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })\exp ({\delta }_i{f}^{\#}(x,y^{\prime }))$ 令 $C_{x,y^{\prime }}=\tilde{P}(x)P(y^{\prime }|x;\mathbf{w})f_i(x,y^{\prime })$ 和 $D_{x,y^{\prime }}=f^{\#}(x,y^{\prime })$. 则方程可以写成： ${\mathbb{E}}_{\tilde{P}}[f_i]={\sum }_{x,y^{\prime }}{C}_{x,y^{\prime }}\exp ({\delta }_i{D}_{x,y^{\prime }})$ 这是一个关于 ${\delta }_i$ 的超越方程，通常不能解析求解，但可以通过单变量数值方法高效求解。最常用的方法是：

• 牛顿法（求根）： 定义函数 $G({\delta }_i)={\sum }_{x,y^{\prime }}{C}_{x,y^{\prime }}\exp ({\delta }_i{D}_{x,y^{\prime }})-{\mathbb{E}}_{\tilde{P}}[f_i]$。 目标是找到 ${\delta }_i$ 使得 $G({\delta }_i)=0$。 迭代公式： ${\delta }_i^{\text{new}}={\delta }_i^{\text{old}}-\frac{G({\delta }_i^{\text{old}})}{G^{\prime }({\delta }_i^{\text{old}})}$。 其中 $G^{\prime }({\delta }_i)={\sum }_{x,y^{\prime }}{C}_{x,y^{\prime }}{D}_{x,y^{\prime }}\exp ({\delta }_i{D}_{x,y^{\prime }})$。 （这里的 $G({\delta }_i)$ 和 $G^{\prime }({\delta }_i)$ 都可以高效计算）。

6. 改进迭代尺度法 (IIS) 算法步骤

1. 数据预处理与初始化：
   • 计算所有特征函数 $f_j(x,y)$ 在训练数据上的经验期望 ${\mathbb{E}}_{\tilde{P}}[f_j]$。
   • 确定一个常数 $M$，使得对于所有 $(x,y)$，激活特征的总和 $f^{\#}(x,y)={\sum }_{j=1}^k{f}_j(x,y)\le M$。如果 $f^{\#}(x,y)$ 不恒定，则引入一个虚拟特征 $f_0(x,y)=M-{\sum }_{j=1}^k{f}_j(x,y)$。此时特征总数变为 $k+1$，且新的 $f^{\#}(x,y)={\sum }_{j=0}^k{f}_j(x,y)=M$。为 $f_0$ 引入权重 $w_0$。
   • 初始化所有权重 $w_j=0$ (或随机小值)。
2. 迭代过程 (直到收敛)： a. 计算当前模型期望：对于训练数据中的每个 $(x,y^{\prime })$ 对，计算当前权重 $\mathbf{w}$ 下的模型条件概率 $P(y^{\prime }|x;\mathbf{w})$。 b. 计算每个特征的更新量 ${\delta }_j$： 对于每个特征 $j=0,1,\dots ,k$： * 构建单变量非线性方程： ${\mathbb{E}}_{\tilde{P}}[f_j]={\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_j(x,y^{\prime })\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))$ * 使用牛顿法（求根）或其他数值方法，求解此方程得到 ${\delta }_j$。 c. 更新权重： 对于每个特征 $j=0,1,\dots ,k$： * $w_j\leftarrow w_j+{\delta }_j$。 d. 检查收敛：如果所有 ${\delta }_j$ 的绝对值都小于一个预设的小阈值，或者对数似然函数的增量小于一个阈值，则算法停止。

7. 总结

1. 目标：最大化最大熵模型的对数似然函数。
2. 核心策略：通过构造一个辅助函数 $A(\mathbf{\delta })$ 作为似然函数增量的下界，并通过迭代最大化这个下界来逐步提升似然函数。
3. 辅助函数推导（关键不等式）：
   • 最初的推导利用了 $-\log \alpha \ge 1-\alpha$ 这个基本不等式，导致了辅助函数 $A(\mathbf{\delta })={\sum }_{x,y}\tilde{P}(x,y){\sum }_{j=1}^k{\delta }_j{f}_j(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})\exp \left({\sum }_{j=1}^k{\delta }_j{f}_j(x,y^{\prime })\right)$。
   • 重要提示：直接使用这个辅助函数求导后得到的方程中，${\delta }_j$ 仍然与其他 ${\delta }_l$ 耦合在指数内部的求和中，使得每个 ${\delta }_j$ 无法独立求解。
4. 标准 IIS 的解耦技巧：
   • 引入特征总和函数 $f^{\#}(x,y)={\sum }_{j=1}^k{f}_j(x,y)$，并通过可能引入虚拟特征 $f_0(x,y)$ 来保证 $f^{\#}(x,y)$ 为常数 $M$。
   • 利用一个更精巧的辅助函数构建方法（它导致了不同的下界），使得指数项中的 ${\delta }_j$ 被解耦为 $\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))$ 形式。
   • 由此得到的每个 ${\delta }_j$ 的更新方程是单变量的： ${\mathbb{E}}_{\tilde{P}}[f_j]={\sum }_x\tilde{P}(x){\sum }_{y^{\prime }}P(y^{\prime }|x;\mathbf{w})f_j(x,y^{\prime })\exp ({\delta }_j{f}^{\#}(x,y^{\prime }))$
5. 求解 ${\delta }_j$：由于是单变量非线性方程，可以使用**牛顿法（求根）**等数值方法高效求解。
6. 优点：
   • 无需计算和存储 Hessian 矩阵：避免了牛顿法在高维问题上的计算瓶颈。
   • 每次迭代保证似然函数增加：算法具有收敛性保证，能收敛到全局最优解（因为最大熵的对数似然函数是凸函数）。
   • 比梯度下降快：通常比朴素的梯度下降法收敛更快。
7. 缺点：
   • 计算复杂：每次迭代需要对每个特征求解一个非线性方程，这仍然是计算密集型的。
   • 虚拟特征的引入：为了满足 $f^{\#}(x,y)$ 为常数的条件，可能需要引入虚拟特征，这增加了模型的复杂性。
   • 不如L-BFGS流行：在现代大规模机器学习任务中，L-BFGS 通常被认为是更有效和更常用的优化最大熵模型的方法。