Наискорейший спуск

1 Постановка задачи

Рассмотрим задачу поиска минимума функции $f(x)\colon \mathbb{R}^n \to \mathbb{R}$

$\begin{align} f(x) \rightarrow \min_{x \in \mathbb{R}^n} \end{align}$

Будем считать, что функция $f(x)$ такова, что можно вычислить её градиент.

1.1 Общее описание алгоритма

Наискорейший спуск — это вариант градиентного спуска: метода нахождения локального экстремума функции с помощью движения вдоль направления градиента.

1.2 Математическое описание алгоритма

Основная идея метода состоит в том, чтобы идти в направлении $-\nabla f$, то есть в направлении, в котором функция быстрее всего убывает при бесконечно малом движении из данной точки:

$\begin{align} x^{k+1} = x^{k} - \lambda^{k}(\nabla f), \end{align}$

где выбирается $\lambda^{k}$по следующему правилу: $\lambda^{k} = \operatorname{arg}\min_{\lambda} f(x^{k} - \lambda^{k}(\nabla f))$.