A flexible framework for multi physics and multi domain PDE simulations

Abstract

Many important problems in physics and engineering like fluid dynamics and continuum mechanics are modeled using partial differential equations. These problems can typically not be solved directly, but have to be approximated numerically, a challenging process at both the mathematical and the computer science level. In this work, we present a novel set of software components that facilitate the creation of simulation programs for multi domain partial differential equation problems. We identify the implementation challenges related to the coupling of multiple spatial domains and their attached physical problems and develop a mathematical framework of clearly defined building blocks that can be used to compose a multi domain problem by combining single physics building blocks (which are typically already well understood by application scientists) with additional components that describe the interactions between those subproblems. We introduce an open source software implementation of these mathematical concepts on top of the well-established DUNE numerics framework. This implementation consists of two major parts: a mechanism to subdivide any existing DUNE mesh into multiple subdomains, and a set of extensions to the high-level partial differential equation toolbox solver PDELab, which make the components of our mathematical framework available within its solvers. Our overall design enables application-level scientists to reuse existing code blocks from single-physics simulations and combine them to solve new multi domain problems. This new functionality is heavily based on PDELab’s recursive tree representation of product function spaces; we replace the internal ad-hoc implementation of these trees with a new C++ library for statically defined, template-based trees of objects. As multi domain problems typically require structured linear algebra solvers that exploit domain decomposition approaches, we develop a mathematical framework for describing the structure of the vectors and matrices generated during the assembly of a partial differential equation problem based on the structure of the underlying function spaces. This framework is implemented in PDELab; it is based on a tree transformation mechanism provided by our tree library. We demonstrate the versatility of our multi domain simulation components and their impact on developer productivity by means of two model examples; our ultimate goal of simplifying the development of real-world applications is shown by a description of the impact of our software on several external research projects. Finally, we measure the performance impact of our extensions on the existing DUNE framework and discuss the mitigation measures we implemented to reduce any existing performance penalties.

Sehr viele Probleme der Physik und Ingenieurswissenschaften wie zum Beispiel Fluiddynamik und Kontinuumsmechanik werden durch Modelle beschrieben, die auf partiellen Differentialgleichungen basieren. Da es von wenigen Ausnahmen abgesehen nicht möglich ist, diese Probleme analytisch zu lösen, wird die Lösung typischerweise numerisch approximiert, wobei die Entwicklung entsprechender Simulations-Software weitreichende Kenntnisse auf mathematischer Ebene wie auch im Feld der Informatik erfordert. In dieser Arbeit stellen wir eine neue Sammlung von Software-Komponenten für die Simulation von sogenannten Mehrgebietsproblemen vor, die aus mehreren partiellen Differentialgleichungen auf unterschiedlichen räumlichen Gebieten bestehen. Wir arbeiten die Schwierigkeiten heraus, die aus der computertechnischen Umsetzung der auf Ebene der Gleichungen und der diskretisierten Simulationsgebiete bestehenden Kopplungen resultieren. Basierend auf dieser Analyse entwickeln wir ein mathematisches Gerüst aus wohldefinierten Komponenten, die es uns erlauben, bereits für die einzelnen Bestandteile unseres Problems bestehende Modelle zu kombinieren. Komplexe Modelle für Multiphysik-Probleme können dann konstruiert werden, indem diese Teilprobleme um zusätzlicher Kopplungsbausteine ergänzt werden, die die Interaktionen zwischen den einzelnen Teilproblemen beschreiben. Wir entwickeln eine Open-Source Software-Umsetzung dieser Konzepte auf Basis des etablierten DUNE Numerik-Frameworks, welche aus zwei zentralen Komponenten besteht: einem Erweiterungsmechanismus, der es uns erlaubt, beliebige DUNE-Gitter in mehrere Teilgebiete zu zerlegen, und einem Satz von Erweiterungen für das hochabstrahierte Löserpaket PDELab, welche unsere mathematischen Abstraktionen auf Software-Komponenten umsetzen und für Programme auf PDE-Lab-Basis verfügbar machen. Unsere Bibliothek ist so gestaltet, dass Anwender existierende Simulationen für einfache Probleme ohne Änderungen am Quellcode wiederverwenden und kombinieren können, um neue Mehrgebietsprobleme zu lösen. Die Umsetzung dieser Anforderungen baut in großem Maße auf der rekursiven Baum-Repräsentation von Mehrkomponenten-Funktionenräumen in PDELab auf; um deren Funktionalität für unsere Zwecke erweitern zu können, ersetzen wir die Ad-hoc-Implementierung dieser Bäume durch eine neuentwickelte, leistungsfähige Bibliothek für statisch definierte, template-basierte Bäume aus heterogenen Objekten. Mehrgebietsprobleme erfordern typischerweise spezielle Löser, die auf die Problemstruktur angepasst sind, z.B. Gebietszerlegungsverfahren. Um derartige Löser effizient zu implementieren, sollte sich die Problemstruktur in den Blockstrukturen der assemblierten Vektoren und Matrizen widerspiegeln. Zu diesem Zweck entwicklen wir ein allgemeines Konzept, um die Umsortierung und Blockung von Freiheitsgraden zu beschreiben, und implementieren dieses als Teil von PDELab, wiederum basierend auf unserer Bibliothek für heterogene Bäume. Wir demonstrieren die Mächtigkeit der gesamten Mehrgebietssimulations-Bibliothek und die erzielte Reduktion des Entwicklungsaufwands anhand zweier Modellbeispiele. Insbesondere Simulationen von realen, applikationsgetriebenenen Problemen können durch unsere Software deutlich vereinfacht werden, was wir durch einen kleinen Überblick über externe Forschungsprojekte, die auf unserer Software aufbauen, untermauern. Schließlich evaluieren wir den Einfluss unserer Erweiterungen auf die Leistung der unterliegenden DUNE-Komponenten und diskutieren die von uns implementierten Maßnahmen zur Minimierung von Leistungsverlusten.