Die Berechnung von Wiedereintrittsphänomenen auf hierarchischen Supercomputern mit einem effizienten parallelen Multiblockverfahren

Abstract

Wie in vielen Ingenieurwissenschaften sind auch in der Weltraumforschung Computersimulationen ein wichtiger Bestandteil der Forschung geworden. Auch bei der Entwicklung von Raumfahrzeugen spielt die Simulationsrechnung für die Systemauslegung eine wichtige Rolle. Gerade hier ist die Simulationsrechnung besonders wichtig, da Experimente und Messungen mit enormem Aufwand und extremen Kosten verbunden sind. Allerdings ist auch die Simulation von Raumfahrzeugen, hier speziell die Simulation des Wiedereintritts von Orbitern, erheblich aufwändiger als die Simulation eines ''normalen'' Flugzeugs, da neben den aerodynamischen Effekten auch chemische Reaktionen auftreten und in der Simulation berücksichtigt werden müssen. Für die Berechnung solcher Wiedereintrittsströmungen wurde am Institut für Raumfahrtsysteme der Universität Stuttgart das Programmpaket URANUS entwickelt. Dieses Programm besaß allerdings den Schwachpunkt, dass bisher nur sogenannte C-Netze zur Berechnung eingesetzt werden konnten, mit denen sich komplexere Raumgleiterkonfigurationen, wenn überhaupt, nur sehr schwer vernetzen lassen. Da die Berechnung von Wiedereintrittsströmungen auch erhebliche Anforderungen an Rechenleistung und Speicherbedarf besitzt, soll das neue Programm auch auf modernsten Supercomputerplattformen ohne Leistungsverlust einsetzbar sein.

Um diese Schwachpunkte zu beheben wurde das Programm zur Verwendung von sogenannten Multiblocknetzen erweitert. Dies bedingt allerdings eine völlige Überarbeitung des vorhandenen Simulationsprogramms und zwar sowohl hinsichtlich der verwendeten Datenstrukturen als auch bezüglich des Programmablaufs. Dazu wurden die Eigenschaften der Multiblocknetze genau untersucht und daraus die notwendigen Änderungen des Programms spezifiziert. Zur Integration der Multiblocknetze wurde eine neue Datenstruktur entwickelt, die, soweit möglich, bereits zukünftige Erweiterungen und Verbesserungen zum Beispiel in Richtung Mehrgitterverfahren ermöglicht und berücksichtigt. Die vorhandene Programmstruktur wurde in großen Teilen umgestellt und vor allem die Randbehandlung wurde so erweitert, dass die Randbedingungen unabhängig von der Lage des Blocks im Netz auf all seinen Seiten angewendet werden können. Dies erforderte eine allgemeine Formulierung der Randbedingungen. Für den Einsatz auf einer möglichst breiten Palette moderner Supercomputerplattformen wurde das Multiblockprogramm von vorneherein auf die Verwendung massiv paralleler Systeme ausgelegt. Aber auch eine bereits vorhandene Optimierung für Vektorsysteme wurde weitergeführt. Durch die verschiedenen Größen der in Multiblocknetzen auftretenden Netzblöcke wurde hierbei eine komplexe Lastverteilungsstrategie notwendig. Hierzu wurden Algorithmen entwickelt, die Blöcke je nach Anforderung zerlegen können. Welcher Block welchem Prozess zur Berechnung zugeteilt wird, entscheiden Partitionierungsalgorithmen, die als Tool bereits verfügbar waren und über eine Schnittstelle in das Programm integriert worden sind. Die Schnittstelle dazu wurde so gestaltet, dass hier jederzeit neue Algorithmen einfach integriert werden können.

In einem weiteren Teil der Arbeit werden Technologien vorgestellt, die für URANUS entwickelt wurden, um das Strömungssimulationsprogramm effizient in einer Metacomputingumgebung einsetzen zu können.

Mit Hilfe des neuen parallelen Multiblock URANUS Verfahrens wurden bereits wichtige Simulationsergebnisse für den Wiedereintritt von modernen Raumgleitern erzielt, die ohne dieses Werkzeug nicht möglich gewesen wären.

Simulation technology has become a important part of research within the engineering disciplines. This is also true for space science, where simulation plays a very important role for example in the development and design of space vehicles. The reason is, that experiments and measurements in this area result in an enormous effort in work as well as in costs. But, the simulation of space crafts, especially during the reentry phase is quite more complicated than the simulation of an ordinary plane as not only the aerodynamic effects but also chemical reactions occuring during the reentry and radiation have to be taken into account. For the calculation of these kind of flows, a special simulation program URANUS is developed at the institute for space systems at the University Stuttgart. In this activity, the URANUS program has been enabled to use so called multiblock meshes which allow for an easier meshing and the meshing of complex topologioes compared to the C-meshes used before. In additon, special technologies have been developed to enable the URANUS program for an efficient use in a metacomputing environment.

The introduction of multiblock meshes into the URANUS program results in a complete revision of the existing program concerning the workflow as well as the data structures. The new data structures reflects the requirements of the multiblock meshes as well as requirements for future extensions in the direction of multigrid methods and adaptive refinements. Therefore, these planned extensions should be possible with a limited effort as the data structures are already prepared. The existing program structure has also been changed and adapted. Especially, the handling of the boundary conditions has been made possible on all sides of a block by developing a general formulation. For the use of a broad spectrum of modern supercomputer architectures, the multiblock program is targeting massively parallel platfroms. But, an already existing optimization for vector parallel systems has been continued, too. Due to the different mesh block sizes possible in multiblock meshes, a new complex load balancing strategy has become necessary. For this, algorithms have been developed which devide too large blocks into smaller pieces. The distribution of the mesh blocks to the processors is decided by load balancing algorithms which have been already available as tools. For these tools, interfaces have been integrated into the program. These interfaces have been made flexible allowing an easy integration of future load balancing tools.

The provided results show that URANUS is now able to provide good simulation results even for complex topologies on current supercomputer architectures. The parallel efficiency of the program is in the range of 82 to 97%, depending on the problem size and the number of used processors. Therefore, a scaling of the program into thousands of processors should be possible.

The program is applicable on nearly all available parallel platforms. Calculations have been performed on massively parallel systems as well as on PC-Clusters and vector parallel systems.

The use of this flow solver in a metacomputing environment has shown, that even CFD-programs can benefit from such an environment even as they are not predestined for this due to the strong coupling. The introduced changes like the less communicating solver, the removal of collective communication and the message pipelining decrease the influence of the weak external network connectivity. Especially, the influence of the high latency which occurs from the large distance between the available supercomputer systems is decreased. Calculations on a world wide distributed metacomputer have shown the usability of the URANUS program in such an environment with more than 1000 CPU's. However, as long as one single, most powerful system is available and can be used, metacomputing should not be taken into account.

The new parallel multiblock URANUS program has already been used to calculate results for the reentry of modern space orbiters into the earths atmosphere. This caculations would not have been possible without this newly developed tool.