Участник:Margarita/Градиентный спуск

1 Постановка задачи

Рассмотрим задачу поиска минимума функции [math]f(x)\colon \mathbb{R}^n \to \mathbb{R}[/math]

[math] \begin{align} f(x) \rightarrow \min_{x \in \mathbb{R}^n} \end{align} [/math]

Будем считать, что функция [math]f(x)[/math] такова, что можно вычислить её градиент.

1.1 Общее описание алгоритма

Наискорейший спуск — это вариант градиентного спуска: метода нахождения локального экстремума функции с помощью движения вдоль направления градиента.

1.2 Математическое описание алгоритма

Основная идея метода состоит в том, чтобы идти в направлении [math]-\nabla f[/math], то есть в направлении, в котором функция быстрее всего убывает при бесконечно малом движении из данной точки:

[math] \begin{align} x^{k+1} = x^{k} - \lambda^{k}(\nabla f), \end{align} [/math]

где выбирается [math]\lambda^{k} [/math]по следующему правилу: [math]\lambda^{k} = \operatorname{arg}\min_{\lambda} f(x^{k} - \lambda^{k}(\nabla f))[/math].