При распараллеливании алгоритма предполагается, что размерность системы (N) больше числа процессоров (Р), т.е. N>P (где N-размерность системы уравнений, Р - число процессоров). И N кратно P. Каждый процессор считает подвектор вектора Х=(x1,x2,x3,...,xn). Перед началом выполнения метода на каждый процессор рассылаются необходимые данные:

1) Размер матрицы (Size).
2) Начальное приближение вектора X (x0).
3) Строки матрицы A и элементы вектора b, необходимые для вычисления соответствующего подвектора xk.

После получения необходимой информации каждый процессор будет вычислять соответствующие компоненты вектора X. И передавать их главному процессору. В свою очередь главный процессор при получении очередного приближения решения Xk должен сравнить его с предыдущим приближением Xk-1. И если норма разности этих векторов окажется меньше заданной точности (eps), то вычисления закончатся. В противном случае вектор Xk будет разослан по всем процессам и будет вычисляться очередное приближение решения.