ReViewer : an AI-assisted interactive document editor

Abstract

As neural language models become increasingly effective, their integration into real-world applications is expanding. Despite this, many of these applications are often limited in the types of interactions they facilitate, with text-based chats being one of the most common modes of engagement. One area that remains largely unexplored is the use of AI in the scientific peer review process, particularly in the crucial editing phase. There have been many different tools that support the writing process, but recent advances in AI have created the potential for novel features. This thesis introduces ReViewer, an AI-assisted interactive editing tool designed to enhance the editing stage of the peer review process. ReViewer leverages the capabilities of large language models (LLMs) to assist editors by automating content analysis and extracting actionable suggestions from reviewer feedback. The application offers several innovative features, including statement-based highlighting, severity classification, contextual improvement suggestions, and visualizations for review overlap analysis. These features empower editors to make informed, objective decisions while maintaining control through a human-in-the-loop system that supports but does not replace their expertise. To assess the effectiveness and usability of ReViewer, we conducted a preliminary study involving both novice and expert participants in the context of scientific peer review. This study offered valuable insights into users' attitudes towards integrating AI-assisted features into their scientific editing workflows, as well as their experiences with the specific features we implemented. The findings not only highlight the benefits and challenges of using AI tools in the review process but also provide a deeper understanding of how these tools can complement human expertise. Finally, we outline potential directions for future research and development, focusing on refining AI-driven features further to improve their usability and trust for AI-assisted editing. Da neuronale Sprachmodelle immer effektiver werden, werden sie immer häufiger in reale Anwendungen integriert. Trotzdem sind viele dieser Anwendungen in Bezug auf die Art der Interaktion, die sie ermöglichen, oft begrenzt, wobei textbasierte Chats eine der häufigsten Formen der Interaktion sind. Ein Bereich, der noch weitgehend unerforscht ist, ist der Einsatz von KI im wissenschaftlichen Peer-Review-Verfahren, insbesondere in der entscheidenden Bearbeitungsphase. Es gibt viele verschiedene Tools, die den Schreibprozess unterstützen, aber die jüngsten Fortschritte in der KI haben das Potenzial für neue Funktionen geschaffen. In dieser Arbeit wird ReViewer vorgestellt, ein KI-gestütztes interaktives Bearbeitungswerkzeug, das die Bearbeitungsphase des Peer-Review Prozesses verbessern soll. ReViewer nutzt die Fähigkeiten großer Sprachmodelle (Large Language Models, LLMs), um Autoren bei der automatischen Inhaltsanalyse zu unterstützen und umsetzbare Vorschläge aus dem Feedback der Rezensenten zu extrahieren. Die Anwendung bietet mehrere innovative Funktionen, einschließlich aussagenbasierter Text-Hervorhebung, Schweregradklassifizierung, kontextbezogener Verbesserungsvorschläge und Visualisierungen für die Analyse von Überschneidungen der Reviews. Diese Funktionen ermöglichen es den Autoren, fundierte, objektive Entscheidungen zu treffen und gleichzeitig die Kontrolle über das System zu behalten, das ihre Fachkenntnisse unterstützt, aber nicht ersetzt. Um die Effektivität und Benutzerfreundlichkeit von ReViewer zu bewerten, haben wir eine Vorstudie durchgeführt, an der sowohl Anfänger als auch Experten im Kontext der wissenschaftlichen Peer Reviews teilnahmen. Diese Studie bot wertvolle Einblicke in die Einstellung der Nutzer zur Integration von KI-gestützten Funktionen in ihre wissenschaftlichen Redaktionsabläufe sowie in ihre Erfahrungen mit den von uns implementierten spezifischen Funktionen. Die Ergebnisse zeigen nicht nur die Vorteile und Herausforderungen des Einsatzes von KI-Tools im Begutachtungsprozess auf, sondern vermitteln auch ein tieferes Verständnis dafür, wie diese Tools die menschliche Expertise ergänzen können. Abschließend skizzieren wir mögliche Richtungen für zukünftige Forschung und Entwicklung, wobei wir uns auf die weitere Verfeinerung von KI-gesteuerten Funktionen konzentrieren, um ihre Benutzerfreundlichkeit und das Vertrauen in KI-gestütztes Editieren zu verbessern.