Uncertainty quantification for expensive simulations : optimal surrogate modeling under time constraints

Abstract

Motivation and Goal Computer simulations allow us to predict the behavior of real-world systems. Any simulation, however, contains imperfectly adjusted parameters and simplifying assumptions about the processes considered. Therefore, simulation-based predictions can never be expected to be completely accurate and the exact behavior of the system under consideration remains uncertain. The goal of uncertainty quantification (UQ) is to quantify how large the deviation between the real-world behavior of a system and its predicted behavior can possibly be. Such information is valuable for decision making. Computer simulations are often computationally expensive. Each simulation run may take several hours or even days. Therefore, many UQ methods rely on surrogate models. A surrogate model is a function that behaves similarly to the simulation in terms of its input-output relation, but is much faster to evaluate. Most surrogate modeling methods are convergent: with increasing computational effort, the surrogate model converges to the original simulation. In engineering practice, however, results are often to be obtained under time constraints. In these situations, it is not an option to increase the computational effort arbitrarily and so the convergence property loses some of its appeal. For this reason, the key question of this thesis is the following: What is the best possible way of solving UQ problems if the time available is limited? This is a question of optimality rather than convergence. The main idea of this thesis is to construct UQ methods by means of mathematical optimization so that we can make the optimal use of the time available. Contributions This thesis contains four contributions to the goal of UQ under time constraints. 1. A widely used surrogate modeling method in UQ is stochastic collocation, which is based on polynomial chaos expansions and therefore leads to polynomial surrogate models. In the first contribution, I developed an optimal sampling rule specifically designed for the construction of polynomial surrogate models. This sampling rule showed to be more efficient than existing sampling rules because it is stable, flexible and versatile. Existing methods lack at least one of these properties. Stability guarantees that the response surface will not oscillate between the sample points, flexibility allows the modeler to choose the number of function evaluations freely, and versatility means that the method can handle multivariate input distributions with statistical dependence. 2. In the second contribution, I generalized the previous approach and optimized both the sampling rule and the functional form of a surrogate in order to obtain a general optimal surrogate modeling method. I compared three possible approaches to such optimization and the only one that leads to a practical surrogate modeling method requires the modeler to describe the model function by a random field. The optimal surrogate then coincides with the Kriging estimator. 3. I developed a sequential sampling strategy for solving Bayesian inverse problems. Like in the second contribution, the modeler has to describe the model function by a random field. The sequential design strategy selects sample points one at a time in order to minimize the residual error in the solution of the inverse problem. Numerical experiments showed that the sequential design is more efficient than non-sequential methods. 4. Finally, I investigated what impact available measurement data have on the model selection between a reference model and a low-fidelity model. It turned out that, under time constraints, data can favor the use of a low-fidelity model. This is in contrast to model selection without time constraint where the availability of data often favors the use of more complex models. Conclusions From the four contributions, the following overarching conclusions can be drawn. • Under time constraints, the number of possible model evaluations is restricted and the model behavior at unobserved input parameters remains uncertain. This type of uncertainty should be taken into account explicitly. For this reason, random fields as surrogates should be preferred over deterministic response surface functions when working under time constraints. • Optimization is a viable approach to surrogate modeling. Optimal methods are automatically flexible which means that they are easily adaptable to the computing time available. • Under time constraints, all available information about the model function should be used. • Model selection with and without time constraints is entirely different.

Motivation und Ziel Mit Hilfe von Computersimulationen können wir das zukünftige Verhalten von Systemen vorhersagen. In jeder Simulation stecken allerdings vereinfachende Modellannahmen und die benötigten Eingabeparameter sind oft nicht genau bekannt. Daher sind simulationsbasierte Vorhersagen niemals exakt und das tatsächliche zukünftige Verhalten des betrachteten Systems bleibt unsicher. Das Ziel von Unsicherheitsquantifizierung (UQ) ist es die mögliche Abweichung zwischen Vorhersage und tatsächlichem Verhalten zu quantifizieren. Computersimulationen benötigen oft lange Rechenzeiten von mehreren Stunden oder sogar Tagen. Daher verwenden viele UQ-Methoden Surrogatmodelle. Ein Surrogatmodell ist eine mathematische Funktion, die sich bezüglich der Input-Ouput-Beziehung so ähnlich verhält wie die eigentliche Simulation, dabei aber viel schneller auswertbar ist. Die meisten Methoden zur Konstruktion von Surrogatmodellen sind konvergent. Das heißt, dass das Surrogatmodell mit steigendem Rechenaufwand gegen die Simulation konvergiert. In der Praxis steht allerdings oft nur eine begrenzte Rechenzeit zur Verfügung und daher kann nicht jede beliebig hohe Genauigkeit erreicht werden. Die zentrale Frage dieser Arbeit ist daher: Wie sollten UQ-Probleme am besten gelöst werden, wenn die Rechenzeit beschränkt ist? Mit dieser Frage suchen wir also nach optimalen UQ-Methoden. Das Ziel dieser Arbeit ist es UQ-Methoden mit Hilfe von mathematischer Optimierung zu entwickeln, so dass die gegebene Zeit optimal ausgenutzt wird. Beiträge Diese Arbeit liefert vier Beiträge zu dem genannten Ziel. 1. Eine der am weitesten verbreiteten Surrogatmodellmethoden ist die stochastische Kollokation, beruhend auf der polynomiellen Chaosentwicklung. Im ersten Beitrag greife ich diese bestehende Methode auf und optimiere einen Teil davon: die Samplingregel. Die entwickelte, optimale Samplingregel ist speziell dafür geeignet, polynomielle Surrogatmodelle zu konstruieren. In numerischen Experimenten erreicht sie eine bessere Effizienz als bestehende Samplingregeln. 2. Im zweiten Beitrag verallgemeinere ich den Ansatz aus dem ersten Beitrag, so dass neben der Samplingregel auch noch die Funktionsform des Surrogatmodells optimiert wird. Da hier mehr Spielraum in der Wahl der Zielwertfunktion besteht, vergleiche ich drei verschiedene Formulierungen einer solchen Optimierung. Die einzige Formulierung, die zu einer praktikablen Surrogatmodellmethode führt, setzt voraus, dass die Modellfunktion mit einem Zufallsfeld beschrieben wird. Das optimale Surrogat, das sich dann ergibt, stimmt mit dem Kriging-Schätzer überein, der aus der Geostatistik bekannt ist. 3. Im dritten Beitrag stelle ich eine sequentielle Samplingmethode für die Lösung von Bayes'schen inversen Problemen vor. Wie im zweiten Beitrag muss die Modellfunktion dazu mit einem Zufallsfeld beschrieben werden. Das sequentielle Design wählt dann im Parameterraum die Auswertungspunkte nacheinander so aus, dass jeweils der erwartete Fehler in der Lösung des inversen Problems minimiert wird. Das sequentielle Design erreicht in numerischen Experimenten bei gleicher Rechenzeit genauere Ergebnisse als bestehende, nicht-sequentielle Samplingmethoden. 4. Im vierten Beitrag gehe ich der Frage nach, welchen Einfluss verfügbare Messdaten auf die Modellwahl zwischen einem Referenzmodell und einem vereinfachten Modell haben. Anhand eines Infiltrationsproblems zeige ich, dass unter Zeitbeschränkung die Verfügbarkeit von Messdaten die Nutzung eines vereinfachten Modells begünstigen kann. Dieses Ergebnis steht in einem interessanten Gegensatz zu dem üblichen Modellwahlproblem ohne Zeitbeschränkung: Dort ist die Tendenz oft anders herum und die Verfügbarkeit von mehr Messdaten spricht eher für die Nutzung eines komplexeren Modells. Schlussfolgerungen Aus den präsentierten Beiträgen können die folgenden Schlussfolgerungen gezogen werden: • Unter Zeitbeschränkungen ist die Anzahl der Modellauswertungen beschränkt und daher ist das Verhalten des Modells für unbeobachtete Eingabeparameter unsicher. Diese Art von Unsicherheit sollte explizit berücksichtigt werden, z.B. indem Zufallsfelder statt deterministischer Surrogatmodelle verwendet werden. • Mathematische Optimierung ist als Methode zur Konstruktion von Surrogatmodellmethoden geeignet. Optimale Methoden sind automatisch auch flexibel, d.h. sie lassen sich leicht an die gegebene Rechenzeit anpassen. • Unter Zeitbeschränkungen ist es besonders wichtig alle verfügbaren Informationen über die Modellfunktion zu verwenden. • Unter Zeitbeschränkungen verhält sich das Modellwahlproblem komplett anders als ohne Zeitbeschränkungen.