Участник:Сорокин Александр/Метод сопряженных градиентов (Решение СЛАУ)

1 Свойства и структура алгоритма

1.1 Общее описание алгоритма

Метод сопряженных градиентов представляет собой итерационный метод для численного решения системы уравнений с симметричной и положительно определенной матрицей, является итерационным методом Крыловского типа. Основная идея метода заключается в том, чтобы минимизировать на подпространствах Крылова А-норму ошибки.

1.2 Математическое описание алгоритма

Рассмотрим систему уравнений $Ax = b$, где $A^* = A \gt 0$.
Выберем произвольное начальное приближение $x^{(0)}$ и перейдем к редуцированной системе $Au = r^{(0)}$, где $r^{(0)} = b - Ax^{(0)}$, $x = x^{(0)} + u$.
Основная идея метода состоит в том, чтобы минимизировать на подпространствах Крылова $K_i(r^{(0)}, A)$ A-норму ошибки $e = x - z$, где $z$ — точное решение системы. Таким образом, $x^{(i)} = x^{(0)} + y^{(i)}$, где $y^{(i)} = \underset{y\in K_i(r^{(0)}, A)}{\operatorname{argmin}} || x^{(i)} - z ||_A = \underset{y\in K_i(r^{(0)}, A)}{\operatorname{argmin}} || x^{(0)} + y - z ||_A$.
По теореме Пифагора: $(z - x^{(i)}, y)_A = 0$ для любого $y \in K_i(r^{(0)}, A) \Leftrightarrow r^{(i)} = b - Ax^{(i)} \perp K_i$.