A light weighted semi-automatically I/O-tuning solution for engineering applications

Abstract

Today’s engineering applications running on high performance computing (HPC) platforms generate more and more diverse data simultaneously and require large storage systems as well as extremely high data transfer rates to store their data. To achieve high performance data transfer rate (I/O performance), computer scientists together with HPC manufacturers have developed a lot of innovative solutions. However, how to transfer the knowledge of their solutions to engineers and scientists has become one of the largest barriers. Since the engineers and scientists are experts in their own professional areas, they might not be capable of tuning their applications to the optimal level. Sometimes they might even drop down the I/O performance by mistake. The basic training courses provided by computing centers like HLRS seem to be not sufficient enough to transfer the know-how required. In order to overcome this barrier, I have developed a semi-automatically I/O-tuning solution (SAIO) for engineering applications. SAIO, a light weighted and intelligent framework, is designed to be compatible with as many engineering applications as possible, scalable with large engineering applications, usable for engineers and scientists with little knowledge of parallel I/O, and portable across multiple HPC platforms. Standing upon MPI-IO library allows SAIO to be compatible with MPI-IO based high level I/O libraries, such as parallel HDF5, parallel NetCDF, as well as proprietary and open source software, like Ansys Fluent, WRF Model etc. In addition, SAIO follows current MPI standard, which makes it be portable across many HPC platforms and scalable. SAIO, which is implemented as dynamic library and loaded dynamically, does not require recompiling or changing application's source codes. By simply adding several export directives into their job submission scripts, engineers and scientists will be able to run their jobs more efficiently. Furthermore, an automated SAIO training utility keeps the optimal configurations up to date, without any manuell efforts of user involved.

Die heutigen Ingenieuranwendungen, die auf Supercomputerplattformen laufen, erzeugen immer mehr unterschiedliche Daten und erfordern große Storage-Systeme sowie extrem hohe Datenübertragungsraten, um ihre Daten zu speichern. Um leistungsstarke Datenübertragungsraten (hiermit ist im Folgenden die I/O-Leistung gemeint) zu erreichen, haben Informatiker zusammen mit Supercomputerherstellern viele innovative Lösungen entwickelt. Jedoch stellt die Übertragung dieses Wissens und dieser Lösungen an Ingenieure und Wissenschaftler eine der größten Barrieren dar. Da Ingenieure und Wissenschaftler zumeist Spezialisten nur auf ihrem eigenen Fachgebiet sind, sind sie oft nicht in der Lage, die I/O-Leistung ihrer Anwendungen zu optimieren. Außerdem liegt die Priorität der Wissenschaftler nicht auf I/O-Optimierung, was zu einer Verschlechterung der I/O-Leistung führen könnte. Obwohl Rechenzentren wie das HLRS verschiedene Ausbildungskurse anbieten, um das benötigte Informatikwissen sowie die Optimierungsmöglichkeiten zu vermitteln, ist der Effekt leider sehr begrenzt. Um diese Barriere zu überwinden, wurde innerhalb dieser Arbeit eine semi-automatische I/O Optimierungslösung (SAIO) für Ingenieuranwendungen entwickelt. SAIO, ein leichtgewichtiges und intelligentes Framework, ist so konzipiert, dass es mit möglichst vielen Ingenieuranwendungen kompatibel, für große Ingenieuranwendungen skalierbar, für Ingenieure und Wissenschaftler mit wenig Kenntnissen über paralleles I/O einfach verwendbar, und über mehrere HPC Plattformen portierbar ist. SAIO ist auf der MPI-IO-Bibliothek aufgebaut und kompatibel zu MPI-IO basierten High-Level I/O-Bibliotheken, wie z.B. Parallel HDF5, Parallel NetCDF sowie kommerzieller und Open Source Software, wie z.B. Ansys Fluent, WRF-Model usw. Darüber hinaus folgt SAIO den aktuellen MPI-Standard, wodurch es über viele HPC Plattformen portierbar und skalierbar ist. SAIO, das als dynamische Bibliothek implementiert und dynamisch geladen wird, erfordert keine Neukompilierung oder Änderung des Anwendungsquellcodes. Ingenieure und Wissenschaftler müssen lediglich einige export Direktiven in ihre Job Submission Skripte einfügen, um ihre Jobs effizienter laufen lassen zu können. Zudem hält ein automatisiertes SAIO Trainingsprogramm die optimalen Konfigurationen auf dem neuesten Stand, ohne dass die Nutzer manuell eingreifen müssen.