Paving the way for scientific foundation models : constraint-aware learning for enhancing generalization in data-scarce multi-physics systems

Abstract

Partial differential equations (PDEs) are a fundamental tool for describing a wide array of physical phenomena. Obtaining analytical solutions to these equations is often infeasible due to their inherent complexity, such as non-linearity and high dimensionality. As a result, researchers frequently rely on numerical solvers, which, while more practical, often demand extensive expertise and substantial computational resources to achieve the desired levels of accuracy and resolution. Scientific machine learning is an emerging field that seeks to address the limitations of conventional numerical solvers by utilizing data-driven models to solve systems governed by PDEs efficiently. Building on the success of foundation models in domains such as computer vision and natural language processing, scientific foundation models (SciFM) are emerging as a promising tool for learning transferable representations across a diverse set of PDEs. However, akin to the challenges faced by foundation models in other domains, training SciFM requires large amounts of solution data, which are scarce and computationally expensive to generate, given the need to cover a significant range of different parameterizations and PDE operators. To address these challenges, we propose incorporating constraints imposed by the physical systems into the pre-training of SciFM, either as the sole loss signal or in combination with data loss as a hybrid approach, to overcome the limitations of solution-data dependence and introduce a cost-efficient way to train SciFM in multi-physics environments. We evaluate the proposed constraint-aware pre-training across three key benchmarks: (i) adaptation to new physics introduced by parameter shifts within physical systems seen during pre-training, specifically when these parameters lie outside the pre-training distribution; (ii) generalization towards entirely new system operators, introducing new dynamics with respect to pre-training data; and (iii) robustness against noisy fine-tuning data, ensuring stability in real-world downstream applications. Our results demonstrate that incorporating PDE constraints during pre-training significantly enhances model generalization. Specifically, constraint-aware models consistently outperform models trained solely on solution data, exhibiting stronger learning of transferable representations without relying on large solution-driven datasets. These findings highlight the effectiveness of our constraint-aware pre-training method as a vital component for SciFM, offering a scalable and data-efficient approach to developing generalizable PDE solvers. Partielle Differentialgleichungen (PDGs) sind ein grundlegendes Instrument zur Beschreibung einer Vielzahl von physikalischen Phänomenen. Die analytische Lösung dieser Gleichungen ist aufgrund ihrer inhärenten Komplexität, wie Nichtlinearität und hohe Dimensionalität, oft nicht realisierbar. Infolgedessen greifen Forscher häufig auf numerische Lösungsverfahren zurück, die, obwohl praktischer, oft umfangreiches Fachwissen und erhebliche Rechenressourcen erfordern, um die gewünschten Genauigkeits- und Auflösungsgrade zu erreichen. Scientific Machine Learning ist ein wachsendes Feld, das darauf abzielt, die Einschränkungen konventioneller numerischer Löser durch die Nutzung datengesteuerter Modelle zur effizienten Lösung von Systemen, die durch PDGs beschrieben werden, zu überwinden. Aufbauend auf dem Erfolg von Foundation Models in Bereichen wie Computer Vision und Computerlinguistik entwickeln sich Scientific Foundation Models (SciFM) zu einem vielversprechenden Werkzeug für das Erlernen übertragbarer Repräsentationen für eine Vielzahl von PDGs. Ähnlich den Herausforderungen, denen sich Foundation Models in anderen Bereichen gegenübersehen, erfordert das Training von SciFM jedoch große Mengen an Lösungsdaten, die nur begrenzt vorhanden und rechenintensiv zu generieren sind, da eine beträchtliche Vielfalt an unterschiedlichen Parametrisierungen und PDG-Operatoren abgedeckt werden muss. Um diese Herausforderungen zu bewältigen, schlagen wir vor, die von den physikalischen Systemen ausgehenden Beschränkungen in das Pre-Training von SciFM einzubeziehen, entweder als alleinstehende Verlustfunktion oder in Kombination mit der lösungsgestützten Verlustfunktion als hybriden Ansatz, um die Beschränkungen der Lösungs-Daten-Abhängigkeit zu überwinden und eine kosteneffiziente Methode zum trainieren von SciFM in einer multiphysikalischen Umgebung zu entwickeln. Wir evaluieren die vorgeschlagene kosteneffiziente Methode anhand von drei wichtigen Kriterien: (i) Anpassung an neue physikalische Gegebenheiten, durch Parameterverschiebungen innerhalb physikalischer Systeme, insbesondere wenn diese Parameter außerhalb der Pre-Training-Verteilung liegen; (ii) Generalisierung auf vollständig neue Operatoren, die neue Dynamiken in Bezug auf die Pre-Training-Daten einführen; und (iii) Robustheit gegenüber fehlerhaften Fine-Tuning-Daten, um Stabilität in realistischen Zielanwendungen sicherzustellen. Unsere Ergebnisse zeigen, dass die Einbeziehung von PDE-bedingten Beschränkungen während des Pre-Trainings die Modellgeneralisierung deutlich verbessert. Insbesondere übertreffen diese Modelle regelmäßig Modelle, die ausschließlich mithilfe der lösungsgestützten Verlustfunktion, auf Lösungsdaten trainiert wurden, ohne auf große lösungsbasierte Datensätze angewiesen zu sein. Diese Ergebnisse unterstreichen die Wirksamkeit unserer Methode des Vortrainings als eine entscheidende Komponente für SciFM, die einen skalierbaren und dateneffizienten Ansatz zur Entwicklung generalisierbarer PDG-Löser bietet.