Участник:Сорокин Александр/Метод сопряженных градиентов (Решение СЛАУ)

1 Свойства и структура алгоритма

1.1 Общее описание алгоритма

Метод сопряженных градиентов представляет собой итерационный метод для численного решения системы уравнений с симметричной и положительно определенной матрицей, является итерационным методом Крыловского типа. Основная идея метода заключается в том, чтобы минимизировать на подпространствах Крылова А-норму ошибки.

1.2 Математическое описание алгоритма

Рассмотрим систему уравнений $Ax = b$, где $A^* = A \gt 0$.
Выберем произвольное начальное приближение $x^{(0)}$ и перейдем к редуцированной системе $Au = r^{(0)}$, где $r^{(0)} = b - Ax^{(0)}$, $x = x^{(0)} + u$.
Основная идея метода состоит в том, чтобы минимизировать на подпространствах Крылова $K_i(r^{(0)}, A)$ A-норму ошибки $e = x - z$, где $z$ — точное решение системы. Таким образом, $x^{(i)} = x^{(0)} + y^{(i)}$, где $y^{(i)} = \underset{y\in K_i}{\operatorname{argmin}} || x^{(i)} - z ||_A = \underset{y\in K_i}{\operatorname{argmin}} || x^{(0)} + y - z ||_A$.
По теореме Пифагора: $(x^{(i)} - z, y)_A = 0$ для любого $y \in K_i \Leftrightarrow r^{(i)} = b - Ax^{(i)} \perp K_i$.
Пусть в $K_i$ построен А-ортогональный базис $p_1, p_2, ... . p_i$. Тогда очевидно коэффициенты $\alpha_j$ разложения $y^{(i)} = \alpha_1 p_1 + \alpha_2 p_2 + ... + \alpha_i p_i$ не зависят от i.
Так $x^{(i)} = x^{(i - 1)} + \alpha_i p_i \Rightarrow r^{(i)} = r^{(i - 1)} - \alpha_i A p_i \Rightarrow \alpha_i = \frac{(r^{(i-1)}, p_i)}{(Ap_i, p_i)}$ так как $r^{(i)} \perp K_i$.