Visualization of neural networks for diagnostic hydrological modeling

Abstract

Long short-term memory (LSTM) networks are known to be extremely accurate at working with temporal features and time series data, for their ability to memorize sequences of data. This is practical for predicting the rainfall-runoff process, as the input is typically a sequence of weather features for a certain duration. Furthermore a modeled system of a river catchment has an inherent memory, namely all the accumulating weather circumstances that effect the generation of runoff over time, which can be reflected in an LSTM model by its hidden states. A model has been implemented and trained using weather data from 1961-2011 extracted from the upper Neckar catchment in southwest Germany that had very satisfactory results. To assess and understand the black box nature of the LSTM model in its application in regards to rainfall runoff predictions, as well as understanding the reason for its good performance in solving problems in regards to hydrological modeling, a visualization tool has been developed. Different aspects of the neural network have been explored through the visualization tool such as the hidden states throughout testing, input sequences dimensionality reduction, correlation between individual hidden layer cells and weather features and internal model features, etc. A suggested workflow has been explored for using the tool, that derives some insights into the model and its performance. Finally different observations have been thoroughly explored and interpreted.

Keywords: Machine Learning, Deep Learning, Long Short-Term Memory (LSTM), Neural Network, Rainfall Runoff Modeling, Visualization, Interpretation, Explainable AI

Long-short-term-memory-Netze (LSTMs) sind dafür bekannt, dass sie bei der Arbeit mit zeitlichen Merkmalen und Zeitreihendaten extrem genau sind, da sie sich Datenfolgen einprägen können. Dies ist praktisch für die Vorhersage des Niederschlagsabflusses, da die Eingabe typischerweise eine Abfolge von Wettermerkmalen für eine bestimmte Dauer ist. Darüber hinaus verfügt ein modelliertes System eines Flusseinzugsgebiets über ein inhärentes Gedächtnis, nämlich alle sich im Laufe der Zeit ansammelnden Wetterumstände, die sich auf die Entstehung des Abflusses auswirken, was in einem LSTM-Modell durch seine verborgenen Zustände wiedergegeben werden kann. Es wurde ein Modell implementiert und mit Wetterdaten aus dem oberen Neckareinzugsgebiet in Südwestdeutschland aus den Jahren 1961-2011 trainiert, das sehr zufriedenstellende Ergebnisse lieferte. Um den Black-Box-Charakter des LSTM- Modells bei seiner Anwendung in Bezug auf Niederschlagsabflussvorhersagen zu bewerten und zu verstehen, sowie den Grund für seine gute Leistung bei der Lösung von Problemen im Bereich der hydrologischen Modellierung zu verstehen, wurde ein Visualisierungstool entwickelt. Mit Hilfe des Visualisierungstools wurden verschiedene Aspekte des Neuronalen Netzes untersucht, wie z.B. die versteckten Zustände während des gesamten Tests, die Dimensionsreduktion der Eingabesequenzen, die Korrelation zwischen einzelnen Zellen der versteckten Schicht und Wettermerkmalen sowie die internen Modellmerkmale etc. Es wurde ein vorgeschlagener Arbeitsablauf für die Verwendung des Tools erforscht, der einige Einblicke in das Modell und seine Leistung ermöglicht. Schließlich wurden verschiedene Beobachtungen gründlich untersucht und interpretiert.