Lösen riesiger linearer Gleichungssysteme mit einer Multi-GPU beschleunigten CG-Implementierung

Abstract

Das Lösen von linearen Gleichungssystemen (LGS) ist ein zentrales Problem, dass es bei wissenschaftlichen Simulationen zu berechnen gilt. Zum Lösen von LGS mit positiv, symmetrischer Koeffizientenmatrix wird häufig das Verfahren der konjugierten Gradienten (engl. Conjugate Gradient (CG)) verwendet. Moderne Systeme, auf denen wissenschaftliche Simulationen durchgeführt werden, machen häufig sich die überlegene Rechenleistung von Grafikkarten zunutze. So sollte das Conjugate Gradient (CG)-Verfahren ebenfalls auf Grafikkarten gerechnet werden. Ein weiterer Trend der heutigen Zeit ist, dass wissenschaftlicher Simulationen immer größer werden, sodass die zu lösenden LGS ebenfalls an Größe zunehmen. So reicht für große LGS der Speicher von Grafikkarten nicht mehr aus, um alle relevanten Daten zum Lösen des LGS im Speicher zu halten. Die daraus resultierenden regelmäßigen Kopiervorgänge von Daten auf die Grafikkarte verlangsamen die Berechnung erheblich. Mehrere Grafikkarten, mit ihrem kombinierten Speicher können diesem Problem entgegenwirken. In dieser Arbeit wird das CG-Verfahren für mehrere Grafikkarten implementiert. Die Berechnungen des CG-Verfahrens werden in der Implementierung auf alle Grafikkarten verteilt. So kann die kombinierten Rechenleistung, zusätzlich zur erhöhten Speicherkapazität genutzt werden kann. Dadurch ist das Rechnen auf mehreren Grafikkarten erheblich schneller als das Rechnen auf nur einer Grafikkarte. Im Extremfall ist die Laufzeit beim Rechnen auf vier NVIDIA A100-SXM4 über 100-mal geringer als die Laufzeit beim rechnen auf einer NVIDIA A100-SXM4. Beim Rechnen auf einer NVIDIA GTX 1080 Ti ist die Laufzeit im Extremfall über 50-mal größer, als beim Rechnen auf acht NVIDIA GTX 1080 Ti.