Visual analysis of a machine learning approach applied to turbulence data

Abstract

Maschinelles Lernen ist ein Teilbereich der künstlichen Intelligenz, der die letzten Jahrzehnte durch seine bemerkenswerte Leistung im Vergleich zu herkömmlichen Methoden in den Bereichen Wissenschaft und Informationstechnologie revolutioniert hat. Ein durch maschinelles Lernen trainiertes Modell wird aufgrund der Intransparenz seiner internen Funktionsweise als Blackbox-Modell betrachtet. Diese Intransparenz schränkt die Interpretierbarkeit derartiger Modelle ein, weshalb sie in kritischen Anwendungen wie der Aerodynamik oder Medizintechnik oft nicht verwendet werden kann. Aufgrund ihrer Unsicherheit können diese Modelle erst dann eingesetzt werden, wenn ihre interne Funktionsweise gründlich erforscht und verstanden wurde. Folglich ist das Verständnis ihrer internen Funktionsweise von entscheidender Bedeutung. Um dieses Problem zu lösen, bietet die Visualisierung die Möglichkeit, die interne Struktur und Funktionsweise von solchen trainierten Modellen zu verstehen. Die Interpretierbarkeit von neuronalen Netzen ist aufgrund der großen Anzahl von Parametern mühsam. Insbesondere die internen Zustände von rekurrenten neuronalen Netzen müssen mit berücksichtigt werden. Daher wird in dieser Arbeit ein visuelles Analysewerkzeug für die Analyse und Untersuchung der internen Zustandsinformationen rekurrenter neuronaler Netzmodelle vorgestellt. Dieses Werkzeug ermöglicht eine interaktive Untersuchung der internen Zustandsinformationen, die von dem neuronalen Netz verarbeitet werden, wenn ihm eine Datenreihe zugeführt wird. Dieses Tool hilft bei der Erforschung des Verhaltens eines rekurrenten neuronalen Netzes, wenn es auf Turbulenzdaten aus der Aerodynamik trainiert und angewandt wird. Um eine bessere Interpretierbarkeit zu erreichen, wird das Training von Modellen basierend auf sogenannten Gated Recurrent Units für eine Reihe von Hyperparameterkonfigurationen unter Verwendung verschiedener Visualisierungsansätze wie Dimensionalitätsreduktion, Heatmaps und parallelen Koordinatenplots bewertet und verglichen.

Machine learning is a subsection of artificial intelligence that has revolutionized recent decades with its remarkable performance when compared to the conventional state-of-the-art methods in the fields of science and information technology. However, a trained machine learning model is regarded as a black box model due to the non-transparent nature of its internal workings. This lack of transparency reduces the interpretability of trained machine learning models, making them less desirable in life-critical applications such as aerodynamics or the medical industry. Because of their uncertainty, these models cannot be employed until their internal workings have been thoroughly explored. As a result, understanding their internal working knowledge is critical. To solve this problem, visualization provides the ability to understand the internal structure and workflow of trained machine learning models. Meanwhile, the interpretability of neural networks is tedious due to the large number of parameters. In particular, the internal hidden state information of the recurrent neural network models is yet to be explored. Hence, this thesis introduces a visual analytics tool for analyzing and examining the internal hidden state information of recurrent neural network models. This tool allows an interactive exploration of the hidden state information, which is processed by the neural layers when an input sequence is provided to it. This tool aids in exploring the behavior of a recurrent neural network model when demonstrated with turbulence data from an aerodynamics domain. To achieve better interpretability, we assess and compare the training of the gated recurrent unit model for a number of hyperparameter configurations using various visualization approaches such as dimensionality reduction, heat maps, and parallel coordinates plots.