Browsing by Author "Hollenbeck, Jo"

Now showing 1 - 1 of 1

Open Access
GPT-4-based visualization reasoning dataset
(2024) Hollenbeck, Jo
Grafische Darstellungen von Daten, wie Diagramme und Tabellen, sind eine weit verbreitete Methode, um Daten strukturiert und verständlich zusammenzufassen. Mit dem Fortschritt in der Künstlichen Intelligenz wurden viele Modelle entwickelt, die Nutzern Antworten auf ihre Fragen bezüglich dieser visuellen Daten liefern. Die Analyse der Modelle zeigt, dass sowohl die Evaluation der Genauigkeit als auch die Transparenz hinsichtlich der Schritte zum Erlangen des Ergebnisses unzureichend sind. Diese beiden Schwachstellen wurden in dieser Arbeit adressiert. Die verwendete KI ist das Modell von OpenAI, GPT-4. Tabellen werden in reiner Textform übermittelt und Diagramme als Bilder hochgeladen. Eine erweiterte Eingabe garantiert eine Begründung der Antwort seitens der KI. Mit den gesammelten Daten werden quantitative Analysen durchgeführt, um die numerischen Daten und ihren Einfluss auf die Antwort zu untersuchen. Darüber hinaus wird eine qualitative Analyse durchgeführt, um die Qualität der Antwort in Bezug auf Klarheit, Relevanz und Begründung zu bestimmen. Zusätzlich werden Antworten auf Tabellen und Diagramme verglichen, um tiefere Einblicke in die Leistung des Modells zu erhalten und mögliche Schwachstellen zu identifizieren. Die Ergebnisse zeigen, dass GPT-4 bei den meisten Diagrammarten beeindruckend genau arbeitet, mit Ausnahme von Liniendiagrammen und insbesondere Grafiken mit hoher Informationsdichte. Das Modell erreicht eine durchweg gute Antwortqualität, sowohl bei rein textbasierten als auch bei bildbasierten Eingaben. Diese Arbeit zeigt, dass GPT-4 bei Aufgaben auf visuellen Darstellungen gut abschneidet, aber bei komplexen Diagrammen Verbesserungspotenzial aufweist.