Quantifying and visualizing model similarities for multi-model methods

Abstract

Modeling environmental systems is typically limited by an incomplete system understanding due to scarce and imprecise measurements. This leads to different types of uncertainties, among which conceptual uncertainty plays a key role, but is difficult to address. Conceptual uncertainty refers to the problem of finding the most appropriate model representation of the physical system. This includes the problem of choosing from several plausible model hypotheses, but also the problem that the true system description might not even be among this set of hypotheses. In this thesis, I address the first of these issues, the uncertainty of choosing a model from a finite set. To account for this uncertainty of model choice, modelers typically use multi-model methods. This means that they consider not only one but several models and apply statistical methods to either combine them or select the most appropriate one. For any of these methods, it is crucial to know how similar the individual models are. But even though multi-model methods have become increasingly popular, no methods were available that quantify the similarities between models and visualize them intuitively. This dissertation aims at closing these gaps. In particular, it tackles the challenges of judging whether simplified models are a suitable replacement for a more detailed model, and of visualizing model similarities in a way that helps modelers to gain an intuitive understanding of the model set. I defined three research questions that address these challenges and form the basis of this thesis. 1. How can we systematically assess how similar conceptually simplified model versions are compared to an original, more detailed model? 2. How can we extend the similarity analysis so it is suitable for computationally expensive models? 3. How can we visualize the similarities between probabilistic model predictions? With the first contribution, I show that the so-called model confusion matrix can be used to quantify model similarities and thus identify the best conceptual simplification of a detailed reference model. This matrix was introduced by Schöniger et al. [2015] to estimate the data need of competing models. Here, I demonstrate that the matrix can be used, beyond this original purpose, to analyze model similarities. With the second contribution, I address the problem of assessing this matrix for computationally expensive models. Since calculating this matrix requires many model runs, the existing method was not yet suitable for models that have long run times. This problem is solved by extending the surrogate-based Bayesian model selection [Mohammadi et al., 2018] so that two models can be compared based on their surrogates while accounting for approximation errors. With the third contribution, I demonstrate how the similarity of probabilistic model predictions can be quantified based on so-called energy statistics. By comparing different visualization techniques, I show how multi-model ensembles can be visualized intuitively so that modelers can get a better understanding of the model set. The presented methods are widely applicable and can thus help to bring the importance of model similarities further into the focus of multi-model developers and users. Thus, depending on the research problem, the individual models or an appropriate multi-model method can be selected in a more targeted manner.

Die Modellierung von Umweltsystemen wird in der Regel durch ein unvollständiges Systemverständnis aufgrund von wenigen und ungenauen Messdaten erschwert. Dies führt zu verschiedenen Arten von Unsicherheiten, unter denen die konzeptionelle Unsicherheit zwar eine Schlüsselrolle spielt, jedoch schwer zu berücksichtigen ist. Konzeptionelle Unsicherheit bezeichnet das Problem, die geeignetste Modellrepräsentation des physikalischen Systems zu finden. Dies umfasst zum einen die Wahl zwischen mehreren plausiblen Modellhypothesen und zum anderen das Problem, dass die wahre Systembeschreibung möglicherweise nicht unter diesen Hypothesen ist. In dieser Arbeit befasse ich mich mit dem ersten dieser Probleme, der Unsicherheit bei der Wahl eines Modells aus einer endlichen Menge. Um dieser Unsicherheit Rechnung zu tragen, werden häufig Multi-Modell-Methoden verwendet. Das bedeutet, dass man nicht nur ein, sondern mehrere Modelle berücksichtigt und statistische Methoden anwendet, um diese entweder zu kombinieren oder das geeignetste auszuwählen. Für jede dieser Methoden ist es entscheidend wie ähnlich die einzelnen Modelle untereinander sind. Trotz der zunehmenden Anwendung von Multi-Modell-Methoden gab es bisher jedoch keine Methode, die die Ähnlichkeiten zwischen den Modellen quantifiziert und intuitiv visualisiert. Diese Dissertation hat zum Ziel diese Lücke zu schließen. Sie befasst sich insbesondere mit den Fragen, ob vereinfachte Modelle ein geeigneter Ersatz für ein detaillierteres Modell sind, und wie wir Modellähnlichkeiten so visualisieren können, dass Modelliererinnen und Modellierer ein intuitives Verständnis des verwendeten Modellensembles erlangen. Ich habe drei Forschungsfragen definiert, die sich mit diesen Herausforderungen befassen und die Grundlage dieser Arbeit bilden: 1. Wie können wir systematisch erfassen, wie ähnlich konzeptionell vereinfachte Modelle im Vergleich zu einem detaillierten Referenzmodell sind? 2. Wie können wir die Modellähnlichkeitsanalyse so erweitern, dass sie für rechenzeitintensive Modelle geeignet ist? 3. Wie können wir die Ähnlichkeiten zwischen probabilistischen Modellvorhersagen visualisieren? Mit dem ersten Beitrag zeige ich, dass die sogenannte Modell-Konfusionsmatrix zur Quantifizierung von Modellähnlichkeiten und damit zur Identifikation der besten Vereinfachung eines detaillierten Referenzmodells verwendet werden kann. Diese Matrix wurde von Schöniger et al. [2015] verwendet, um den Datenbedarf konkurrierender Modelle abzuschätzen. In der vorliegenden Arbeit zeige ich, dass die Matrix über diesen ursprünglichen Zweck hinaus zur Analyse von Modellähnlichkeiten genutzt werden kann. Mit dem zweiten Beitrag gehe ich auf das Problem der Berechnung dieser Matrix für rechenzeitintensive Modelle ein. Da die Erstellung der Matrix viele Modellläufe erfordert, war diese Methode für rechenzeitintensive Modelle nicht geeignet. Dieses Problem wird durch die Erweiterung einer surrogatbasierten Bayes'schen Analyse [Mohammadi et al., 2018] gelöst, sodass zwei Modelle basierend auf ihren Surrogaten unter Berücksichtigung von Approximationsfehlern verglichen werden können. Mit dem dritten Beitrag zeige ich, wie die Ähnlichkeit probabilistischer Modellvorhersagen auf Grundlage der sogenannten "energy statistics" quantifiziert werden kann. Durch den Vergleich verschiedener Visualisierungstechniken stelle ich außerdem dar, wie Modellensembles intuitiv visualisiert werden können, um ein besseres Verständnis des gewählten Modellraums zu ermöglichen. Die vorgestellten Methoden sind vielseitig anwendbar und können so helfen, die Bedeutung von Modellähnlichkeiten für Multi-Modell-Methoden weiter in den Fokus von Entwicklerinnen und Anwendern zu bringen. Dadurch können, je nach Problemstellung, die einzelnen Modelle oder eine geeignete Multi-Modell-Methode gezielter ausgewählt werden.