An exploratory approach on information visualization using unsupervised machine learning

Abstract

Nowadays, we use various types of charts in academic papers, journals, and newspapers for several purposes. Information Visualizations are powerful tools that researchers use to describe the data. It makes it easier to detect hidden information and patterns from the data, such as trends and relationships. However, the huge increase in data amount and complexity leads to escalating the number of visualizations as well and complicating its design process. Designers should analyze all those factors to choose the best design decisions for readable and straightforward visualization. For this reason, researchers have been using machine learning approaches in building automated systems that extract information and attributes from visualizations and infographics. The ML-based automated system would simplify the evaluation of visualizations which makes it easy to automate generating charts from data, based on the visual encodings it has learned. This project explores the research problem that states the ability of the machine to form a good representation of heterogeneous charts. These representations let the users compare and classify them from a meaningful human perspective. We aim to apply unsupervised machine learning methods on charts image to get a simplified representation from heterogeneous charts. Our method applies transfer knowledge methods in computer vision. It uses a pre-trained CNN on the ImageNet dataset to get a chart representation vector and uses dimension reduction methods on the network output to project all charts representation on a 2D plane. We evaluate this approach by applying it on different use-case scenarios of different charts’ datasets that explain the projection results and determines the context of the distance measure on the output space.

Heutzutage verwendet man verschiedene Arten von Diagrammen in akademischen Arbeiten, Zeitschriften und Zeitungen für verschiedene Zwecke. Diagramme und Informationsvisualisierungen sind gute Werkzeuge, die Forscher zur Beschreibung der Daten nutzen. Sie erleichtern es, verborgene Informationen und Muster aus den Daten zu erkennen, wie zum Beispiel Tendenz und Beziehungen. Die enorme Zunahme der Datenmenge und -komplexität führt jedoch dazu, dass auch die Anzahl der Visualisierungen ansteigt und der Designprozess erschwert wird. Designer sollten all diese Faktoren analysieren, um die besten Designentscheidungen für eine lesbare und unkomplizierte Visualisierung zu treffen. Aus diesem Grund haben Forscher beim Aufbau automatisierter Systeme, die Informationen und Attribute aus Visualisierungen und Infografiken extrahieren, Ansätze des maschinellen Lernens verwendet. Das ML-basierte automatisierte System würde die Auswertung von Visualisierungen vereinfachen, so dass die Generierung von Diagrammen aus Daten auf der Grundlage der gelernten visuellen Kodierungen leicht automatisiert werden kann. In diesem Projekt wird das Forschungsproblem untersucht, das die Fähigkeit der Maschine angibt, eine gute Darstellung heterogener Diagramme zu bilden. Diese Darstellungen ermöglichen es den Benutzern, sie aus einer sinnvollen menschlichen Perspektive zu vergleichen und zu klassifizieren. Der Zweck dieser Arbeit ist die Anwendung von unsupervised Methoden des maschinellen Lernens auf das Bild von Diagrammen, um eine vereinfachte Darstellung von heterogenen Diagrammen zu erhalten. Unsere Methode wendet (Trasnfer knowledge) Methoden im Bereich des Bildverarbeitung an. Sie verwendet einen pre-trained CNN auf dem ImageNet-Datensatz, um einen Diagrammdarstellungsvektor zu erhalten, und verwendet Dimensionsreduktionsmethoden auf der Netzwerkausgabe, um alle Diagrammdarstellungen auf eine 2D-Ebene zu projizieren. Wir evaluieren diesen Ansatz, indem wir ihn auf verschiedene Use-Case-Szenarien verschiedener Datensätze von Diagrammen anwenden, die die Projektionsergebnisse erklären und den Kontext der Abstandsmessung auf dem Ausgaberaum bestimmen.