Lossfunction for physics-informed machine learning in groundwater flow

Abstract

Physics-Informed Machine Learning (PIML) methods for solving complex nonlinear partial differential equations (PDEs) have recently gained popularity in the simulation sciences. Unlike purely data-driven approaches, PIML integrates prior knowledge about the underlying physical system - expressed through the governing PDEs - into the learning process. This is done via a loss function that includes the PDE residual, thereby penalizing model outputs that do not fulfill the PDE. Hence, PIML methods are particularly appealing for scenarios with limited data availability, where extensive measurements or numerical simulation costs are prohibitive. However, purely physics-informed models often suffer from various pathologies, rendering purely physics-informed learning ineffective. One major challenge is the complex loss landscape introduced by the PDE residual. This work examines how simplifying the governing PDE can enhance training performance or enable physics-informed learning in cases where it would otherwise be infeasible. Building on the approach proposed by Piller for extending predictions of heat plumes generated by Groundwater Heat Pumps (GWHP), this study verifies the effectiveness of such PDE simplifications. Concretely, this work finds a moderate monotonic correlation (Spearman: 0.59) between the simplified PDE residual and the data loss, indicating that the simplification of the governing PDEs preserves enough of the physics to be useful while making training more tractable. To this end, Physics-Informed Neural Networks for Heat Plume Extension (HPE-PINN) and Physics-Informed-Neural Operators for Heat Plume Extension (HPE-PINO) are developed and compared against Piller's model, which makes use of Singular Value Decomposition (SVD) to reduce the dimensionality of the solution space. Throughout this process, several common PIML pathologies are encountered. A suite of techniques to mitigate their negative effects on training is presented, implemented, and validated to improve training stability and model performance. Comprehensive ablation studies highlight the effectiveness of normalization and hard enforcement of initial and boundary conditions in enhancing convergence, as well as the importance of Fourier feature embeddings to reduce spectral bias. Die Disziplin des Physics-Informed Machine Learning (PIML) zur Lösung nichtlinearer partieller Differenzialgleichungen (PDE) hat in den Simulationswissenschaften in jüngster Zeit an Bedeutung gewonnen. Im Gegensatz zu rein datengetriebenen Ansätzen integriert PIML Vorwissen über das zugrundeliegende physikalische System - ausgedrückt durch die maßgebenden PDEs - in den Lernprozess. Dies geschieht über eine Lossfunction, die das PDE-Residuum beinhaltet und somit Modellausgaben bestraft, die die PDE nicht erfüllen. Daher sind PIML-Verfahren besonders gut geeignet, wenn die Akquisition von Daten durch umfangreiche Messungen oder numerische Simulationen zu teuer ist. Allerdings leidet rein physikgetriebenes Lernen oft unter verschiedenen Pathologien, die den Lernprozess verlangsamen oder ganz verhindern. Ursächlich hierfür ist unter anderem die komplexe Topologie der Lossfunction, die durch das PDE-Residuum bedingt ist. Diese Arbeit untersucht, wie eine Vereinfachung der maßgeblichen PDE den Lernprozess beschleunigen oder überhaupt erst ermöglichen kann. Eine solche Vereinfachung wurde zuletzt von Piller für die Fortsetzung von Vorhersagen von Wärmefahnen, die von Grundwasser-Wärmepumpen (GWHP) erzeugt werden, vorgeschlagen und auch erfolgreich implementiert. Diese Studie bestätigt die Wirksamkeit solcher PDE-Vereinfachungen. Konkret wird eine monotone Korrelation (Spearman: 0,59) zwischen dem Vereinfachten Residuum und dem Datenverlust festgestellt. Dies deutet darauf hin, dass die Vereinfachung der maßgeblichen PDEs genug der Physik bewahrt, um gute Approximationen zu liefern und gleichzeitig den Lernprozess zu beschleunigen. Für die Verifikation der PDE-Vereinfachung werden Physics-Informed Neural Networks for Heat Plume Extension (HPE-PINN) und Physics-Informed-Neural Operators for Heat Plume Extension (HPE-PINO) entwickelt und mit Pillers singulärwertbasiertem Modell verglichen. Während der Entwicklung von HPE-PINN und HPE-PINO werden häufige PIML-Pathologien festgestellt. Um die Trainingsstabilität und Approximationsgüte der Modelle zu verbessern, wird eine Reihe von Techniken zur Reduzierung der negativen Auswirkungen der Pathologien auf den Lernprozess vorgestellt, implementiert und validiert. Umfassende Ablationsstudien unterstreichen die Wirksamkeit der Normalisierung und des Hard Enforcement von Anfangs- und Randbedingungen zur Verbesserung der Konvergenz sowie die Bedeutung von Fourier Feature Embeddings zur Reduzierung des Spectral Bias.