Parallel machine learning of fluid-structure interaction

Abstract

This thesis applies machine learning (ML) methods to the numerical simulation of a fluid-structure interaction problem involving an elastic tube containing a liquid. A neural network, utilizing fully connected and recurrent layers, is trained on the simulation data such that the prediction during inference generates the subsequent time step to a given input batch. To make use of the parallelization technique presented in [1], we partition the tube and train a separate neural network on each partition independently. Due to low accuracy and continuity of poor quality in the predictions, we further make use of having adjacent partitions overlap such that information can be shared. Our results suggest using multiple layers in the neural network architecture is superior to only having single layers. Additionally, the application of L2 regularization in form of weight decay has no detrimental effect on the error of the predictions. The overlapping technique demonstrates a highly valuable method of increasing the continuity of the predictions whereas we find no significant difference regarding the amount of overlap used. Finally, the implemented parallelization approach can make better use of machines providing a higher number of CPU cores when compared to the multithreading offered by the used ML library directly.

[1] Totounferoush, Amin, et al. "Parallel Machine Learning of Partial Differential Equations." 2021 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). IEEE, 2021.

In dieser Arbeit werden Methoden des maschinellen Lernens (ML) auf die numerische Simulation eines Fluid-Struktur-Kopplungsproblems angewendet, bei dem ein elastisches Rohr eine Flüssigkeit enthält. Ein neuronales Netz, das vollständig verknüpfte und rekurrente Schichten verwendet, wird auf den Simulationsdaten so trainiert, dass die Vorhersage während der Inferenz den nachfolgenden Zeitschritt für eine gegebene Eingabeserie erzeugt. Um die in [1] vorgestellte Parallelisierungstechnik zu nutzen, partitionieren wir das Rohr und trainieren ein separates neuronales Netz auf jeder Partition unabhängig. Aufgrund der geringen Genauigkeit und Kontinuität schlechter Qualität der Vorhersagen nutzen wir außerdem die Möglichkeit, benachbarte Partitionen zu überlappen, so dass Informationen gemeinsam genutzt werden können. Unsere Ergebnisse deuten darauf hin, dass die Verwendung mehrerer Schichten in der Architektur des neuronalen Netzes besser ist als die Verwendung von nur einer Schicht. Darüber hinaus hat die Anwendung der L2-Regularisierung in Form eines Gewichtsabfalls keine nachteiligen Auswirkungen auf den Fehler der Vorhersagen. Die Überlappungstechnik erweist sich als äußerst wertvolle Methode zur Erhöhung der Kontinuität der Vorhersagen, wobei wir keinen signifikanten Unterschied in Bezug auf die Menge der verwendeten Überlappung feststellen. Schließlich kann der implementierte Parallelisierungsansatz Maschinen mit einer höheren Anzahl von CPU-Kernen besser nutzen als das Multithreading, das die verwendete ML-Bibliothek direkt bietet.

[1] Totounferoush, Amin, et al. "Parallel Machine Learning of Partial Differential Equations." 2021 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). IEEE, 2021.