Efficient concepts for optimal experimental design in nonlinear environmental systems

Abstract

In modern scientific and practical applications, complex simulation tools are increasingly used to support various decision processes. Growing computer power in the recent decades allowed these simulation tools to grow in their complexity in order to model the relevant physical processes more accurately. The number of required model parameter that need to be calibrated is strongly connected to this complexity and hence is growing as well. In environmental systems, in contrast to technical systems, the relevant data and information for adequate calibration of these model parameters are usually sparse or unavailable. This hinders an exact determination of model parameters, initial and boundary conditions or even the correct formulation of a model concept. In such cases, stochastic simulation approaches allow to proceed with uncertain or unknown parameters and to transfer this input uncertainty to estimate the prediction uncertainty of the model. Thus, the predictive quality of an uncertain model can be assessed and thus represents the current state of knowledge about the model prediction. In the case that the prediction quality is judged to be insufficient, new measurement data or information about the real system is required to improve the model. For maximizing the benefits of such campaigns, it is necessary to assess the expected data impact of measurements that are collected according to a proposed campaign design. This allows to identify the so called 'optimal design' that promises the highest expected data impact with respect to the particular model purpose. This thesis addresses data impact analysis of measurements within nonlinear systems or nonlinear parameter estimation problems. In contrast to linear systems, data impact in nonlinear systems depends on the actual future measurement values, which are unknown at the stage of campaign planing. For this reason, only an expected value of data impact can be estimated, by averaging over many potential sets of future measurement values. This nonlinear analysis repeatedly employs nonlinear inference methods and is therefore much more computationally cumbersome than linear estimates. Therefore, the overall purpose of this thesis is to develop new and more efficient methods for nonlinear data impact analysis, which allow tackling complex and realistic applications for which in the past only linear(ized) methods were applicable. This thesis separated efficiency of data impact estimation into three different facets: Accuracy: The first goal of this thesis is the development of a nonlinear and fully flexible reference framework for the accurate estimation of data impact. The core of the developed method is the bootstrap filter, which was identified as the most efficient method for fast and accurate simulation of repeated of nonlinear Bayesian inference for many potential future measurement values. The method is implemented in a strict and rigorous Monte-Carlo framework based on a pre-computed ensemble of model evaluations. The non-intrusive nature of the framework allows its application for arbitrary physical systems and the consideration of any type of uncertainty. Computational speed: The second part of this thesis investigates the theoretical background of data impact analysis in order to identify potentials to speed up this analysis. The key idea followed in this part originates from the well-known symmetry of Bayes Theorem and of a related information measure called Mutual Information. Both allow considering a reversal of the direction of information analysis, in which the roles of potential measurement data and the relevant model prediction are exchanged. Since the space of potential measurements is usually much larger than the space of model prediction values and since both have fundamentally different properties, the reversal of the information assessment offers a high potential for increasing the evaluation speed. Robustness: The last basic facet of an efficient data impact estimation considers the robustness of such estimates with regard to the uncertainty of the underlying model. Basically, model-based data impact estimates are subject to the same uncertainty as any other model output. Thus, the data impact estimate can be regarded as just another uncertain model prediction. Therefore, the high uncertainty of the model (which is the reason for the search for new calibration data) also affects the process of evaluating the most useful new data. In summary, the developed methods and theoretic principles allow for more efficient evaluation of nonlinear data impact. The use of nonlinear measures for data impact lead to an essential improvement of the resulting data acquisition design with respect to a relevant prediction quality. These methods are flexibly applicable for any physical model system and allow the consideration of any degree of statistical dependency. Especially the interactive approach that counters the high initial uncertainties of the model does lead to huge improvement in the design of data acquisition. All achieved conceptual and practical improvements in the evaluation of nonlinear data impact assessment allow using such powerful nonlinear methods also for complex and realistic problems.

In der modernen Wissenschaft, sowie in praktischen Anwendungen, bilden Simulationsmodelle in immer größerem Maße die Grundlage für komplexe Entscheidungsprozesse. Die Komplexität solcher Simulationsmodelle steigt stetig mit der verfügbaren Rechenleistung, mit dem Ziel die komplexen Prozesse im realen System bestmöglich wiederzugeben. Damit erhöht sich gleichzeitig die Anzahl der Modellparameter, welche mit Hilfe von Messdaten oder anderen Informationen über das reale System kalibriert werden müssen. Für Umweltsysteme sind, im Gegensatz zu technischen Anwendungen, die nötigen Messdaten für die adäquate Bestimmung von Modellparametern, Rand- und Initialbedingungen und für Entscheidungen über das korrekte konzeptionelle Modell häufig nicht ausreichend verfügbar. Daher werden stochastische Simulationsmethoden angewendet um unsichere oder unbekannte Parameter in numerischen Simulation handhaben zu können. Solche stochastischen Verfahren erlauben es ebenfalls, von der Unsicherheit der Eingangsparameters auf die Vorhersageunsicherheit des Modells zu schließen. Im Falle einer zu großen Vorhersageunsicherheit werden zusätzliche Messdaten aus dem modellierten System benötigt. Messungen in Umweltsystemen und speziell im Untergrund sind sehr teuer und erfordern oft aufwändige Messtechnik. Direkte Methoden liefern lediglich lokale Informationen, welche zusätzlich durch Störungen bei der Beprobung fehlerbehaftet sein können. Im Gegensatz dazu erlauben indirekte Messmethoden lediglich Abschätzungen räumlich gemittelter Größen. Daher ist es besonders in diesem Zusammenhang notwendig, den (Informations-)Wert solcher (fehlerbehafteter) Messdaten im Voraus abzuschätzen. Dieser Informationswert potentieller zukünftiger Messdaten ist jeweils von der relevanten Modelvorhersage und damit von der Zielstellung abhängig und muss problemspezifisch definiert werden. Für die Planung einer effizienten und kostenoptimierten Messkampagne ist es ebenfalls notwendig, den Datennutzwert zukünftiger Messdaten abzuschätzen. Diese Doktorarbeit beschäftigt sich speziell mit der Datenwertanalyse für nichtlineare Probleme. Im Gegensatz zu linearen Problemen, ist der Datenwert für nichtlinear Zusammenhänge von dem zukünftigen (und daher unbekannten) Messwert anhänig. Der Nutzwert kann daher nur als Erwartungswert über alle möglichen Messwerte abgeschätzt werden. Diese Abschätzung erfordert nichtlineare Inferenzmethoden für jeden potenziellen Messwert und ist deshalb, im Gegensatz zu linearen Schätzern, rechnerisch sehr aufwändig. Das Ziel dieser Arbeit ist es neue effiziente Methoden für die nichtlineare Datenwertanalyse zu entwickeln, welche eine optimale Datenerhebung in komplexen nichtlinearen Systemen ermöglicht. Diese Arbeit geht ins Besondere auf drei wesentliche Gesichtspunkte ein, welche im weiteren Sinne eine effiziente Datenwertanalyse erlauben: Genauigkeit: Dieser Teil der Arbeit entwickelt eine allgemeine und flexibel anwendbare Methode für die nichtlineare Datenwertschätzung. Den Kern der Methode bildet der Bootstrap Filter, welcher wiederholt für nichtlineare Inferenz möglicher Daten genutzt wird. Die vollständige Simulation der Bayesschen Inferenz und deren Auswirkungen auf das Modell ermöglicht eine umfassende nichtlineare Analyse aller statistischen Zusammenhänge zwischen den vorgeschlagenen Messdaten und der maßgeblichen Modellvorhersage. Die statistischen Abhängigkeiten werden nach dem Monte-Carlo Prinzip und basierend auf einem Ensemble vorberechneter Modellauswertungen approximiert. Das zu Grunde gelegte nicht-intrusive Prinzip lässt sich mit beliebigen Simulationswerkzeugen kombinieren und unabhängig von den physikalischen Eigenschaften des Systems anwenden. Rechenaufwand: Die Flexibilität, jegliche Arten von Unsicherheiten zu berücksichtigen, zusammen mit einer nichtlinearen Analyse erfordern einen sehr hohen Rechenaufwand. Daher beschäftigt sich der zweite Teil dieser Arbeit mit Möglichkeiten die nichtlineare Analyse zu beschleunigen, ohne dabei auf Vereinfachungen zurückzugreifen. Dabei wird die Symmetrie des zu Grunde liegenden Bayes-Theorem für die Inferenz von Daten und ein daraus resultierendes Maß für Information näher betrachtet. Diese Symmetrie erlaubt es in der Daten- oder Informationsanalyse die Rolle von Messdaten und Modellvorhersage zu vertauschen. Robustheit: Ein grundsätzliches Problem der modellbasierten Datenwertanalyse besteht darin, dass das numerische Modell mit unzureichender Vorhersagequalität gleichzeitig die beste verfügbare Grundlage für die Datenwertanalyse für potentielle Messdaten darstellt. Eine solche Datenwertanalyse und die daraus abgeleitete optimale Messkampagne leidet deshalb unter der gleichen Vorhersageunsicherheit. Da diese anfängliche Unsicherheit nur durch die Nutzung neuer Daten reduziert werden kann, muss ein möglicher Lösungsansatz sich mit der frühest möglichen Einbeziehung verfügbarer Daten in den Optimierungsprozess für die weitere Messkampagne befassen. Der dritte Teil der Arbeit untersucht daher interaktive Planungsstrategien, welche in der Lage sind eine laufende Messkampagne adaptiv auf neu verfügbare Messungen anzupassen. Die Messkampagne wird dabei in Sequenzen aufgeteilt, welche nacheinander geplant und ausgeführt werden. Die resultierenden Messdaten jeder Sequenz werden in der darauffolgenden Sequenz berücksichtigt und führen damit zu einer spezifischeren und damit verbesserten Planung der nächsten Sequenz. Zusammenfassend erlauben die erarbeiteten Methoden und theoretischen Grundlagen dieser Arbeit eine effizientere und schnellere Datenwertanalyse für komplexe Systeme unter Berücksichtigung von nichtlinearen Zusammenhängen und beliebigen Arten von Unsicherheiten. Die erreichte Beschleunigung der Datenwertanalyse erlaubt es, diese auf komplexere und realistischere Problemstellungen anzuwenden. Zusätzlich führen die entwickelten interaktiven Planungsverfahren zu einer beträchtlichen Steigerung des Informationsgewinns in Messkampagnen.