Метод Холецкого (квадратного корня), точечный вещественный вариант

1 Описание свойств и структуры алгоритма

1.1 Словесное описание алгоритма

Метод Холецкого (в советской математической литературе называется также методом квадратного корня) используется для разложения положительно определённых эрмитовых (в вещественном случае - симметрических) матриц в виде A = LL* (L - левая треугольная матрица) или в виде A=U*U (U - правая треугольная матрица; эти разложения совершенно эквивалентны друг другу по вычислениям и различаются только способом представления данных). Он заключается в реализации формул для элементов матрицы L, получающихся из вышеприведённого равенства единственным образом. Получил распространение благодаря следующим особенностям: а) симметричность матрицы позволяет хранить и вычислять только чуть больше половины её элементов, что почти вдвое экономит как необходимые для вычислений объёмы памяти, так и количество операций в сравнении с, например, разложением по методу Гаусса; б) в последовательной архитектуре компьютеров позволял использовать так называемый режим накопления, обусловленный тем, что значительную часть вычислений составляют вычисления скалярных произведений.

1.2 Математическое описание

Исходные данные: положительно определённая симметрическая матрица A (элементы [math]a_{ij}[/math]). Вычисляемые данные: левая треугольная матрица L (элементы [math]l_{ij}[/math]). Формулы метода:

[math]l_{11}= \sqrt{a_{11}}[/math],

[math]l_{j1}= \frac{a_{j1}}{l_{11}}[/math] (при j от 2 до n),

[math]l_{ii}=\sqrt{a_{ii}-\sum_{p=1}^{i-1} l_{ip}^2}[/math] (при i от 2 до n),

[math]l_{ji}=\left (a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}\right )/l_{ii}[/math] (при i от 2 до n-1 , j от i+1 до n ).

Существует также блочная версия метода, однако в данном описании разобран только точечный метод.

1.3 Вычислительное ядро алгоритма

Вычислительное ядро последовательной версии метода Холецкого можно составить из множественных (всего [math]\frac{n(n+1)}{2}[/math] вычислений скалярных произведений строк матрицы:

[math]\sum_{p=1}^{i-1}l_{ip} l_{jp}[/math]

в режиме накопления или без него, в зависимости от требований задачи. В отечественных реализациях, даже в последовательных, упомянутый способ представления не используется. Дело в том, что даже в этих реализациях метода вычисление сумм типа

[math]a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}[/math],

в которых и встречаются скалярные произведения, ведутся не в порядке "вычислили скалярное произведение, потом вычли его из элемента", а путём вычитания из элемента покомпонентных произведений, являющихся частями скалярных произведений. Поэтому следует считать вычислительным ядром метода не вычисления скалярных произведений, а вычисления выражений

[math]a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}[/math]

в режиме накопления или без него.

Тем не менее, в зарубежных реализациях точечного метода Холецкого, в частности, в библиотеках LINPACK и LAPACK, основанных на BLAS, используются именно вычисления скалярных произведений в виде вызова соответствующих подпрограмм BLAS (конкретно - функции SDOT). На последовательном уровне это влечёт за собой дополнительную операцию суммирования на каждый из [math]\frac{n(n+1)}{2}[/math] вычисляемый элемент матрицы L и некоторое замедление работы программы (о других следствиях рассказано ниже в пункте 2.7). Поэтому в данных вариантах ядром метода Холецкого будут вычисления этих скалярных произведений.

1.4 Макроструктура алгоритма

Как уже записано в описании ядра алгоритма, основную часть метода составляют множественные (всего [math]\frac{n(n+1)}{2}[/math]) вычисления сумм

[math]a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}[/math]

в режиме накопления или без него.

1.5 Описание схемы реализации последовательного алгоритма

Чтобы понять последовательность исполнения, перепишем формулы метода так:

1: [math]l_{11}= \sqrt{a_{11}}[/math]

2: [math]l_{j1}= \frac{a_{j1}}{l_{11}}[/math] (при j от 2 до n).

Далее для всех i от 2 до n по нарастанию выполняются

3: [math]l_{ii}=\sqrt{a_{ii}-\sum_{p=1}^{i-1} l_{ip}^2}[/math]

и

4 (кроме i=n): [math]l_{ji}=\left (a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}\right )/l_{ii}[/math] (для всех j от i+1 до n).

После этого (если i<n) происходит переход к шагу 3 с бо́льшим i.

Особо отметим, что вычисления сумм вида

[math]a_{ji}-\sum_{p=1}^{i-1}l_{ip} l_{jp}[/math]

в обеих формулах производят в режиме накопления вычитанием из [math]a_{ji}[/math] произведений [math]l_{ip} l_{jp}[/math] для p от 1 до i-1, c нарастанием p. Другие порядки выполнения суммирования не распространены.

1.6 Последовательная сложность алгоритма

Для разложения матрицы порядка n методом Холецкого в последовательном (наиболее быстром) варианте требуется:

• n вычислений квадратного корня,
• [math]\frac{n(n-1)}{2}[/math] делений,
• по [math]\frac{n^3-n}{6}[/math] умножений и сложений (вычитаний) - основная часть алгоритма.

При этом использование режима накопления требует совершения умножений и вычитаний в режиме двойной точности (или использования функции вроде DPROD в Фортране), что ещё больше увеличивает долю умножений и сложений/вычитаний во времени, требуемом для выполнения метода Холецкого.

При классификации по последовательной сложности, таким образом, метод Холецкого относится к алгоритмам с кубической сложностью.

1.7 Информационный граф

Опишем граф алгоритма как аналитически, так и в виде рисунка.

Граф алгоритма состоит из трёх групп вершин, расположенных в целочисленных узлах трёх областей разной размерности.

Первая группа вершин расположена в одномерной области, соответствующая ей операция вычисляет функцию SQRT. Естественно введённая единственная координата каждой из вершин i - меняется в диапазоне от 1 до n, принимая все целочисленные значения.

Аргумент этой функции

• при i=1 - элемент входных данных, а именно [math]a_{11}[/math];
• при i>1 - результат срабатывания операции, соответствующей вершине из третьей группы, с координатами i-1, i, i-1.

Результат срабатывания операции является выходным данным [math]l_{ii}[/math].

Вторая группа вершин расположена в одномерной области, соответствующая ей операция a/b. Естественно введённые координаты области таковы:

• i - меняется в диапазоне от 1 до n-1, принимая все целочисленные значения;
• j - меняется в диапазоне от i+1 до n, принимая все целочисленные значения.

Аргументы операции следующие:

a -

• при i=1 - элементы входных данных, а именно [math]a_{j1}[/math];
• при i>1 - результат срабатывания операции, соответствующей вершине из третьей группы, с координатами i-1,j,i-1;

b - результат срабатывания операции, соответствующей вершине из первой группы, с координатой i.

Результат срабатывания операции является выходным данным [math]l_{ji}[/math].

Третья группа вершин расположена в трёхмерной области, соответствующая ей операция a - b*c. Естественно введённые координаты области таковы:

• i - меняется в диапазоне от 2 до n, принимая все целочисленные значения;
• j - меняется в диапазоне от i до n, принимая все целочисленные значения;
• p - меняется в диапазоне от 1 до i-1, принимая все целочисленные значения.

Аргументы операции следующие:

a -

• при p=1 элемент входных данных [math]a_{ji}[/math];
• при p>1 - результат срабатывания операции, соответствующей вершине из третьей группы, с координатами i,j,p-1;

b - результат срабатывания операции, соответствующей вершине из второй группы , с координатами p, i;

c - результат срабатывания операции, соответствующей вершине из второй группы , с координатами p, j;

Результат срабатывания операции является промежуточным данным алгоритма.

Описанный граф можно посмотреть на рисунке, выполненном для случая n=5. Здесь вершины первой группы обозначены жёлтым цветом и буквосочетанием sq, вершины второй - зелёным цветом и знаком деления, третьей - красным цветом и буквой f. Вершины, соответствующие операциям, производящим выходные данные алгоритма, выполнены более крупно. Дублирующие друг друга дуги даны как одна.

1.8 Описание ресурса параллелизма алгоритма

Для разложения матрицы порядка n методом Холецкого в параллельном варианте требуется последовательно выполнить следующие ярусы:

• n ярусов с вычислением квадратного корня (единичные вычисления в каждом из ярусов),
• n-1 ярус делений (в каждом из ярусов линейное количество делений, в зависимости от яруса - от 1 до n-1),
• по n-1 ярусов умножений и сложений/вычитаний (в каждом из ярусов - квадратичное количество операций, от 1 до [math]\frac{n^2-n}{2}[/math].

Таким образом, в параллельном варианте, в отличие от последовательного, вычисления квадратных корней и делений будут определять довольно значительную долю требуемого времени. При реализации на конкретных архитектурах наличие в отдельных ярусах ЯПФ отдельных вычислений квадратных корней может породить и другие проблемы. Например, при реализации на ПЛИСах остальные вычисления (деления и тем более умножения и сложения/вычитания) могут быть конвейеризованы, что даёт экономию и по ресурсам на программируемых платах; вычисления же квадратных корней из-за их изолированности приведут к занятию ресурсов на платах, которые будут простаивать большую часть времени. Таким образом, общая экономия в 2 раза, из-за которой метод Холецкого предпочитают в случае симметричных задач тому же методу Гаусса, в параллельном случае уже имеет место вовсе не по всем ресурсам, и главное - не по требуемому времени.

При этом использование режима накопления требует совершения умножений и вычитаний в режиме двойной точности, а в параллельном варианте это означает, что практически все промежуточные вычисления для выполнения метода Холецкого в режиме накопления должны быть двойной точности. В отличие от последовательного варианта это означает увеличение требуемой памяти почти в 2 раза.

При классификации по высоте ЯПФ, таким образом, метод Холецкого относится к алгоритмам с линейной сложностью. При классификации по ширине ЯПФ его сложность будет квадратичной.

1.9 Описание входных и выходных данных

Входные данные: плотная матрица A (элементы [math]a_{ij}[/math]). Дополнительные ограничения:

• А – симметрическая матрица, т.е. [math]a_{ij}= a_{ji}, i,j=1,…,n[/math].
• А – положительно определённая матрица, т.е. для любых ненулевых векторов x выполняется x^TAx>0.

Объём входных данных: [math]\frac{n(n+1)}{2}[/math] (в силу симметричности достаточно хранить только диагональ и над/поддиагональные элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом. Например, в библиотеке, реализованной в НИВЦ МГУ, матрица A хранилась в одномерном массиве длины [math]\frac{n(n+1)}{2}[/math] по строкам своей нижней части.

Выходные данные: левая треугольная матрица L (элементы [math]l_{ij}[/math]).

Объём выходных данных: [math]\frac{n(n+1)}{2}[/math] (в силу треугольности достаточно хранить только ненулевые - диагональ и поддиагональные - элементы). В разных реализациях эта экономия хранения может быть выполнена разным образом. Например, в той же библиотеке, созданной в НИВЦ МГУ, матрица L хранилась в одномерном массиве длины [math]\frac{n(n+1)}{2}[/math] по строкам своей нижней части.

1.10 Свойства алгоритма

Соотношение последовательной и параллельной сложности в случае неограниченных ресурсов, как хорошо видно, является квадратичным (отношение кубической к линейной).

При этом вычислительная мощность алгоритма, как отношение числа операций к суммарному объему входных и выходных данных – всего лишь линейна.

При этом алгоритм почти полностью детерминирован, это гарантируется теоремой о единственности разложения. Использование другого порядка выполнения ассоциативных операций может привести к накоплению ошибок округления, однако это влияние в используемых вариантах алгоритма не так велико, как, скажем, отказ от использования режима накопления.

Дуги информационного графа, исходящие из вершин, соответствующих операциям квадратного корня и деления, образуют пучки т.н. рассылок линейной мощности (то есть степень исхода этих вершин и мощность работы с этими данными - линейная функция от порядка матрицы и координат этих вершин). При этом естественно наличие в этих пучках "длинных" дуг. Остальные дуги локальны.

Наиболее известной является компактная укладка графа - его проекция на треугольник матрицы, который перевычисляется укладываемыми операциями. При этом "длинные" дуги можно убрать, заменив более дальнюю пересылку комбинацией нескольких ближних (к соседям).

2 Программная реализация

2.1 Особенности реализации последовательного алгоритма

В простейшем (без перестановок суммирования) варианте метод Холецкого на Фортране можно записать так:

		DO  I = 1, N
			S = A(I,I)
			DO  IP=1, I-1
				S = S - DPROD(A(I,P), A(I,IP))
			END DO
			A(I,I) = SQRT (S)
			DO  J = I+1, N
				S = A(J,I)
				DO  IP=1, I-1
					S = S - DPROD(A(I,P), A(J,IP))
				END DO
				A(J,I) = S/A(I,I)
			END DO
		END DO

При этом для реализации режима накопления переменная S должна быть двойной точности.

Для метода Холецкого существует блочная версия, которая отличается от точечной не тем, что операции над числами заменены на аналоги этих операций над блоками; её построение основано на том, что практически все циклы точечной версии имеют тип SchedDo в терминах методологии, основанной на исследовании информационного графа и, следовательно, могут быть расщеплены на составляющие. Тем не менее, обычно блочную версию метода Холецкого записывают не в виде программы с расщеплёнными и переставленными циклами, а в виде программы, подобной реализации точечного метода, в которой вместо соответствующих скалярных операций присутствуют операции над блоками.

Для обеспечения локальности работы с памятью представляется более эффективной такая схема метода Холецкого (полностью эквивалентная описанной), когда исходная матрица и её разложение хранятся не в нижнем-левом, а в правом-верхнем треугольнике. Это связано с особенностью размещения массивов в Фортране и тем, что в этом случае вычисления скалярных произведений будут идти с выборкой идущих подряд элементов массива.

Есть и другой вариант точечной схемы: использовать вычисляемые элементы матрицы L в качестве аргументов непосредственно "сразу после" их вычисления. Такая программа будет выглядеть так:

		 DO  I = 1, N
			A(I,I) = SQRT (A(I, I))
			DO  J = I+1, N
				A(J,I) = A(J,I)/A(I,I)
			END DO
			DO  K=I+1,N
				DO J = K, N
					A(J,K) = A(J,K) - A(J,I)*A(K,I)
				END DO	
			END DO
		END DO

Как видно, в этом варианте для реализации режима накопления одинарной точности мы должны будем объявить двойную точность для массива, хранящего исходные данные и результат. Подчеркнём, что граф алгоритма обеих схем - один и тот же (из п.1.7)!

2.2 Описание локальности данных и вычислений

2.2.2 Описание локальности реализации алгоритма

2.2.2.1 Описание структуры обращений в память и качественная оценка локальности

Рисунок 1. Реализация метода Холецкого. Общий профиль обращений в память.

На рисунке 1 представлен профиль обращений в память для реализации метода Холецкого. В программе задействован только 1 массив, поэтому в данном случае обращения в профиле происходят только к элементам этого массива. Программа состоит из одного основного этапа, который, в свою очередь, состоит из последовательности подобных итераций. Пример одной итерации выделен зеленым цветом.

Видно, что на каждой i-й итерации используются все адреса, кроме первых k_i, при этом с ростом i увеличивается значение k_i. Также можно заметить, что число обращений в память на каждой итерации растет примерно до середины работы программы, после чего уменьшается вплоть до завершения работы. Это позволяет говорить о том, что данные в программе используются неравномерно, при этом многие итерации, особенно в начале выполнения программы, задействуют большой объем данных, что приводит к ухудшению локальности.

Однако в данном случае основным фактором, влияющим на локальность работы с памятью, является строение итерации. Рассмотрим фрагмент профиля, соответствующий нескольким первым итерациям.

Рисунок 2. Реализация метода Холецкого. Фрагмент профиля (несколько первых итераций)

Исходя из рисунка 2 видно, что каждая итерация состоит из двух различных фрагментов. Фрагмент 1 – последовательный перебор (с некоторым шагом) всех адресов, начиная с некоторого начального. При этом к каждому элементу происходит мало обращений. Такой фрагмент обладает достаточно неплохой пространственной локальностью, так как шаг по памяти между соседними обращениями невелик, но плохой временно́й локальностью, поскольку данные редко используются повторно.

Фрагмент 2 устроен гораздо лучше с точки зрения локальности. В рамках этого фрагмента выполняется большое число обращений подряд к одним и тем же данным, что обеспечивает гораздо более высокую степень как пространственной, так и временно́й локальности по сравнению с фрагментом 1.

После рассмотрения фрагмента профиля на рис. 2 можно оценить общую локальность двух фрагментов на каждой итерации. Однако стоит рассмотреть более подробно, как устроен каждый из фрагментов.

Рисунок 3. Реализация метода Холецкого. Фрагмент профиля (часть одной итерации)

Рис. 3, на котором представлена часть одной итерации общего профиля, позволяет отметить достаточно интересный факт: строение каждого из фрагментов на самом деле заметно сложнее, чем это выглядит на рис. 2. В частности, каждый шаг фрагмента 1 состоит из нескольких обращений к соседним элементам, причем выполняется не последовательный перебор. Также можно увидеть, что фрагмент 2 на самом деле в свою очередь состоит из повторяющихся итераций, при этом видно, что каждый шаг фрагмента 1 соответствует одной итерации фрагмента 2 (выделено зеленым на рис. 3). Это лишний раз говорит о том, что для точного понимания локальной структуры профиля необходимо его рассмотреть на уровне отдельных обращений.

Стоит отметить, что выводы на основе рис. 3 просто дополняют общее представлении о строении профиля обращений; сделанные на основе рис. 2 выводы относительно общей локальности двух фрагментов остаются верны.

2.2.2.2 Количественная оценка локальности

Первая оценка выполняется на основе характеристики daps, которая оценивает число выполненных обращений (чтений и записей) в память в секунду. Данная характеристика является аналогом оценки flops применительно к работе с памятью и является в большей степени оценкой производительности взаимодействия с памятью, чем оценкой локальности. Однако она служит хорошим источником информации, в том числе для сравнения с результатами по следующей характеристике cvg.

Рисунок 4. Сравнение значений оценки daps

На рисунке 4 значения приведены значения daps для реализаций распространенных алгоритмов, отсортированные по возрастанию (чем больше daps, тем в общем случае выше производительность). Можно увидеть, что реализация метода Холецкого характеризуется достаточно высокой скоростью взаимодействия с памятью, однако ниже, чем, например, у теста Линпак или реализации метода Якоби.

Вторая характеристика – cvg – предназначена для получения более машинно-независимой оценки локальности. Она определяет, насколько часто в программе необходимо подтягивать данные в кэш-память. Соответственно, чем меньше значение cvg, тем реже это нужно делать, тем лучше локальность.

Рисунок 5. Сравнение значений оценки cvg

На рисунке 5 значения приведены значения cvg для того же набора реализаций, отсортированные по убыванию (чем меньше cvg, тем в общем случае выше локальность). Можно увидеть, что, согласно данной оценке, реализация метода Холецкого оказалась ниже в списке по сравнению с оценкой daps.

2.3 Возможные способы и особенности реализации параллельного алгоритма

Как нетрудно видеть по структуре графа алгоритма, вариантов распараллеливания алгоритма довольно много. Например, во втором варианте (см. п.2.1) все внутренние циклы параллельны, в первом - параллелен цикл по J. Тем не менее, простое распараллеливание таким способом "в лоб" вызовет такое количество пересылок между процессорами с каждым шагом по внешнему циклу, которое почти сопоставимо с количеством арифметических операций. Поэтому перед размещением операций и данных между процессорами вычислительной системы предпочтительно разбиение всего пространства вычислений на блоки, с сопутствующим разбиением обрабатываемого массива.

Многое зависит от конкретного типа вычислительной системы. Присутствие конвейеров на узлах многопроцессорной системы делает рентабельным параллельное вычисление нескольких скалярных произведений сразу. Подобная возможность есть и на программировании ПЛИСов, но там быстродействие будет ограничено медленным последовательным выполнением операции извлечения квадратного корня.

В принципе, возможно и использование т.н. "скошенного" параллелизма. Однако его на практике никто не использует, из-за усложнения управляющей структуры программы.

2.5 Динамические характеристики и эффективность реализации алгоритма

Для существующих параллельных реализаций характерно отнесение всего ресурса параллелизма на блочный уровень. Относительно низкая эффективность работы связана с проблемами внутри одного узла, следующим фактором является неоптимальное соотношение между "арифметикой" и обменами. Видно, что при некотором (довольно большом) оптимальном размере блока обмены влияют не так уж сильно.

Для проведения экспериментов использовалась реализация разложения Холецкого, представленная в пакете SCALAPACK библиотеки Intel MKL (метод pdpotrf). Все результаты получены на суперкомпьютере «Ломоносов». Использовались процессоры Intel Xeon X5570 с пиковой производительностью в 94 Гфлопс, а также компилятор Intel с опцией –O2.

На рисунке показана эффективность реализации разложения Холецкого (случай использования нижних треугольников матриц) для разного числа процессов и разной размерности матрицы (10000, 20000 и 50000 элементов). Видно, что общая эффективность достаточно невысока – даже при малом числе процессов менее 10%. Однако при всех размерностях матрицы эффективность снижается очень медленно – в самом худшем случае, при N=10000, при увеличении числа процессов с 16 до 900 (в 56 раз) эффективность падает с 7% до 0,8% (всего в 9 раз). При N=50000 эффективность уменьшается еще медленнее.

Также стоит отметить небольшое суперлинейное ускорение, полученное на 4-х процессах для N=10000 и N=20000 (для N=50000 провести эксперименты на таком малом числе процессов не удалось). Помимо более эффективной работы с кэш-памятью, оно, видимо, обусловлено тем, что эти 4 процесса помещаются на ядрах одного процессора, что позволяет использовать общую память, и, соответственно, не приводит к появлению накладных расходов, связанных с пересылкой данных.

2.6 Выводы для классов архитектур

Как видно по показателям SCALAPACK на суперкомпьютерах, обмены при большом n влияют, но относительно слабее, чем неоптимальные расчёты внутри одного узла. Поэтому, видимо, следует сначала оптимизировать не блочный алгоритм, а используемые на отдельных процессорах подпрограммы, включая как точечный метод Холецкого, так и перемножения матриц и др. подпрограммы. Ниже (в п.2.7) содержится информация о возможном направлении такой оптимизации.

В отношении же архитектуры типа ПЛИС вполне показателен тот момент, что разработчики - наполнители библиотек для ПЛИСов пока что не докладывают об успешных и эффективных реализациях точечного метода Холецкого на ПЛИСах. Это связано с тем важным моментом, что, если операции типа деления или вычисления выражений a - b*c являются не только массовыми, но и параллельными, и легко конвейеризуются, то операции извлечения квадратных корней именно на ПЛИСах являются узким местом алгоритма - отведённое на эту операцию оборудование неизбежно будет простаивать большую часть времени. Поэтому для эффективной реализации на ПЛИСах алгоритмов, столь же хороших по вычислительным характеристикам, как и метод квадратного корня, следует использовать не метод Холецкого, а его давно известную модификацию без извлечения квадратных корней - разложение матрицы в произведение LDL^T.

2.7 Существующие реализации алгоритма

Точечный метод Холецкого реализован как в основных библиотеках программ отечественных организаций, так и в западных пакетах LINPACK, LAPACK, SCALAPACK и др.

При этом в отечественных реализациях, как правило, выполнены стандартные требования к методу с точки зрения ошибок округления, то есть, реализован режим накопления, и обычно нет лишних операций. Правда, анахронизмом в наше время выглядит то, что ряд старых отечественных реализаций использует для экономии памяти упаковку матриц A и L в одномерный массив. При реальных вычислениях на современных вычислительных системах данная упаковка только создаёт дополнительные накладные расходы. Однако отечественные реализации, не использующие такую упаковку, вполне отвечают требованиям современности в отношении вычислительной точности метода.

Реализация точечного метода Холецкого в современных западных пакетах страдает другими недостатками, вытекающими из того, что все эти реализации, по сути, происходят из одной и той же реализации метода в LINPACK, а та использует пакет BLAS. Основным их недостатком является даже не наличие лишних операций, о котором уже написано в п.1.3, ибо их количество всё же невелико по сравнению с главной частью, а то, что в BLAS скалярное произведение реализовано без режима накопления. Это перечёркивает имеющиеся для метода Холецкого хорошие оценки влияния ошибок округления, поскольку они выведены как раз в предположении использования режима накопления при вычислении скалярных произведений. Поэтому тот, кто использует реализации метода Холецкого из LINPACK, LAPACK, SCALAPACK и т.п. пакетов, серьёзно рискует не получить требуемую вычислительную точность, либо ему придётся для получения хороших оценок одинарной точности использовать подпрограммы двойной.