牛顿法求根

牛顿法求根 (Newton-Raphson Method for Root Finding)

1. 核心目标：寻找函数的零点

• 目的：牛顿法求根的目标是找到一个或多个 $x$ 值，使得函数 $g(x)=0$。换句话说，它寻找函数图像与 $x$ 轴的交点。
• 与牛顿法优化的区别：
  • 求根：目标是 $g(x)=0$。
  • 优化：目标是 $f^{\prime }(x)=0$ (即函数的导数为零，找到函数的极值点)。实际上，优化中的牛顿法正是将求根牛顿法应用于 $f^{\prime }(x)$。

2. 直观理解：切线法

想象你有一个函数 $g(x)$ 的曲线。在当前点 $x_k$，你知道 $g(x_k)$ 的值，也知道曲线在该点的斜率 $g^{\prime }(x_k)$。

牛顿法求根的直观思路是：

1. 在当前点 $(x_k,g(x_k))$ 绘制一条切线。
2. 这条切线会与 $x$ 轴相交于某一点。
3. 将这个交点作为你对函数根的下一个猜测值 $x_{k+1}$。

这条切线的方程是：$Y-g(x_k)=g^{\prime }(x_k)(X-x_k)$。 当切线与 $x$ 轴相交时，$Y=0$，对应的 $X$ 就是 $x_{k+1}$。 代入并求解： $0-g(x_k)=g^{\prime }(x_k)(x_{k+1}-x_k)$ $x_{k+1}-x_k=-\frac{g(x_k)}{g^{\prime }(x_k)}$

3. 核心迭代公式 (单变量)

$x_{k+1}=x_k-\frac{g(x_k)}{g^{\prime }(x_k)}$

• $x_k$：当前迭代点。
• $g(x_k)$：函数在当前点的值。
• $g^{\prime }(x_k)$：函数在当前点的一阶导数（斜率）。

4. 多变量情况 (寻找向量函数 $G(\mathbf{x})=0$ 的根)

当 $G(\mathbf{x})$ 是一个从 ${\mathbb{R}}^n$ 到 ${\mathbb{R}}^n$ 的向量值函数时（例如，求解一个方程组），迭代公式变为： ${\mathbf{x}}_{k+1}={\mathbf{x}}_k-{\mathbf{J}}_G({\mathbf{x}}_k{)}^{-1}G({\mathbf{x}}_k)$

• ${\mathbf{x}}_k$：当前迭代向量。
• $G({\mathbf{x}}_k)$：向量函数在当前点的值。
• ${\mathbf{J}}_G({\mathbf{x}}_k)$：函数 $G(\mathbf{x})$ 在当前点处的雅可比矩阵 (Jacobian Matrix)。雅可比矩阵是向量值函数对向量求导的结果，包含了所有一阶偏导数。 $({\mathbf{J}}_G(\mathbf{x}){)}_{ij}=\frac{\partial G_i(\mathbf{x})}{\partial x_j}$

5. 与优化中牛顿法的联系

优化问题是找到函数 $f(\mathbf{x})$ 的最小值，这等价于找到其梯度 $\nabla f(\mathbf{x})$ 的零点。

因此，如果我们将求根的函数 $G(\mathbf{x})$ 设为优化目标函数的梯度 $\nabla f(\mathbf{x})$：

• $G(\mathbf{x})=\nabla f(\mathbf{x})$
• 那么 $G(\mathbf{x})$ 的雅可比矩阵 ${\mathbf{J}}_G(\mathbf{x})$ 就是 $\nabla (\nabla f(\mathbf{x}))$，这正是 $f(\mathbf{x})$ 的Hessian 矩阵 $\mathbf{H}(\mathbf{x})$。

所以，将替换代入多变量求根公式： ${\mathbf{x}}_{k+1}={\mathbf{x}}_k-\mathbf{H}({\mathbf{x}}_k{)}^{-1}\nabla f({\mathbf{x}}_k)$ 就得到了用于优化的牛顿法公式。