梯度下降法

梯度下降法 #

梯度下降法 (Gradient Descent) 用于求解无约束优化问题. 无约束优化问题的一般形式为: $$ \min_{x \in \mathbb{R}^n} f(x) $$ 梯度下降法的一般步骤如下:

• 选取初始点 $x_0 \in \mathbb{R}^n$, 置 $k=0$ , 设定精度 $\varepsilon > 0$ .
• 计算 $\nabla f(x_k)$ , 当 $|\nabla f(x_k)| < \varepsilon$ 时, 停止迭代, 得到近似解 $x^* = x_k$ ; 否则, 继续下面的步骤.
• 取 $p^k = -\nabla f(x_k)$ , 求 $\lambda_k$ , 使得 $f(x_k + \lambda_k p^k) = \underset{\lambda \geq 0}\min f(x_k + \lambda p^k)$ . 置 $x_{k+1}= x^k + \lambda_k p^k$ , $k:=k+1$ , 转回上一步.