Combining magic lenses with large language models for text corpus exploration

Abstract

In this work, we take the novel approach of combining the interpretative power of large language models (LLMs) with the interaction possibilities of magic lenses. We present the ResearchExplorer, a tool to provide researchers with an explorative approach to interact with scientific literature that is both efficient and engaging. The ResearchExplorer incorporates GPT-4o and GPT-4o-mini into a user-centered magic lens application to explore contributions to the visualization field. We project the embedding vector representations of the abstracts of visualization articles of the publicly available VisPub dataset into 2D space and present them in a scatterplot. A better overview is created by clustering the data points and adding cluster labels. The magic lens can be moved over different regions on the scatterplot to generate insights into the underlying articles with GPT. The ResearchExplorer shows summaries and essential details from a selected collection of articles. It can be used to emphasize the similarities and differences among them. We incorporate additional features designed to facilitate exploration and assist in information-gathering tasks. The ResearchExplorer provides comprehensive textual information about articles and authors. Additionally, users can request explanations for technical terms and search the collection of abstracts for them. Adjusted representations of the visualization and the revelation of new information texts encourage users to explore the dataset further. The tool demonstrated its capacity to integrate into existing literature research workflows. In dieser Arbeit verfolgen wir den neuartigen Ansatz, die Interpretationskraft von Large Language Models (LLMs) mit den Interaktionsmöglichkeiten von magischen Lupen zu koppeln. Der ResearchExplorer wird als ein Tool vorgestellt, das Forschenden einen explorativen Ansatz zur Interaktion mit wissenschaftlicher Literatur bietet, der sowohl effizient als auch ansprechend ist. Der ResearchExplorer integriert GPT-4o und GPT-4o-mini in eine nutzerorientierte Magische-Lupen-Anwendung, um wissenschaftliche Beiträge im Bereich der Visualisierung zu erforschen. Die Vektordarstellungen der Abstracts von Visualisierungsartikeln aus dem öffentlich zugänglichen VisPub-Datensatz werden in den 2D-Raum projiziert und in einem Scatterplot dargestellt. Eine bessere Übersicht wird durch das Clustern der Datenpunkte und das Hinzufügen von Cluster-Labels geschaffen. Die magische Lupe kann über verschiedene Regionen auf dem Scatterplot bewegt werden, um Einblicke in die zugrunde liegenden Artikel mit GPT zu erhalten. Der ResearchExplorer zeigt Zusammenfassungen und wesentliche Details aus einer ausgewählten Sammlung von Artikeln an. Er kann verwendet werden, um die Parallelen und Unterschiede zwischen den Artikeln hervorzuheben. Es wurden zusätzliche Funktionen integriert, die die Erkundung erleichtern und bei der Informationsbeschaffung helfen. Der ResearchExplorer bietet umfassende Informationen zu Artikeln und Autoren in Textform. Darüber hinaus können Nutzer Erklärungen zu Fachbegriffen anfordern und die Sammlung der Abstracts nach diesen Fachbegriffen durchsuchen. Angepasste Darstellungen der Visualisierung und die Offenlegung neuer Informationstexte regen den Nutzer an, den Datensatz weiter zu erkunden. Es wurde gezeigt, dass sich das Tool in bestehende Arbeitsabläufe der Literaturrecherche integrieren lässt.