Visual Parameter Space Analysis for Classification Models

Abstract

We present a batch training and visualization system that enables users to visually compare different classifiers and parameter configurations in their performance and behavior. Our approach is plugin-based and classifier-agnostic and allows users to add their own datasets and classifier implementations. It provides multiple visualizations, including a multivariate ranking, a similarity map, a scatterplot that shows correlations between parameters and scores, as well as a training history chart. We enable users to interactively filter, highlight, colorize, sort, and group the displayed data. Using an iterative process, we developed our approach over the course of six months in cooperation with domain experts who apply machine learning for natural language processing. Our evaluation consists of two pair analytics studies and a survey with students. It demonstrates the effectiveness and usability of the implementation and shows desire to use it from domain experts, teachers and students.

Wir präsentieren ein System zum einfachen Trainieren und Vergleichen von Klassifikatoren mit vielen unterschiedlichen Parameterkonfigurationen. Es ermöglicht Benutzern, die Ergebnisse des Trainings anhand der Performance und des Verhaltens zu vergleichen. Unser Konzept basiert auf Plugins, mit denen Benutzer eigene Datensätze und Klassifikatoren hinzufügen können. Es bietet eine Reihe von unterschiedlichen Visualisierungen, unter anderem eine multivariate Rangliste, eine Visualisierung des Trainingsverlaufes und ein Streudiagramm, das Korrelationen zwischen Parametern und Metriken wie Exaktheit und Trainingszeit zeigt. Wir ermöglichen den Benutzern interaktives Filtern, Hervorheben, Einfärben, Sortieren und Gruppieren der angezeigten Daten. Unser Konzept enstand in einem iterativen Prozess in Zusammenarbeit mit dem Institut für Maschinelle Sprachverabeitung der Universität Stuttgart. Wir evaluierten unsere Implementierung in zwei Pair Analytics Studien und einer Umfrage. Die Ergebnisse der Evaluierung zeigen die Effektivität und Benutzerfreundlichkeit unseres Systems und die Nachfrage von Fachexperten, Lehrpersonal und Lernenden.