Optimierung der Klassifikation von Figurenauf- und -abtritten in Dramentexten mittels Prompt Engineering

Abstract

Mit der Veröffentlichung von ChatGPT im Jahr 2022 wurde ein Paradigmenwechsel in der natürlichen Sprachverarbeitung eingeleitet, der die breite Anwendung von Prompting als eine effektive Strategie zur Textklassifizierung und -analyse beinhaltet. In dieser Arbeit wird ein Methodenwechsel von einem regelbasierten Algorithmus hin zu Prompting untersucht, um Regieanweisungen deutscher Dramen in Figurenauf- und -abtritte zu klassifizieren und die dazugehörigen Figuren zu erkennen. Mittels Prompt Engineering wird herausgefunden, welche Prompt-Templates und zusätzlichen Informationen aus den Dramentexten, wie die Figurenliste oder Figurenrede, in Verbindung mit Zero-, One- und Few-Shot Prompting am effektivsten sind, um das Ziel zu erreichen, bessere Ergebnisse als der regelbasierte Algorithmus zu erzielen. Die Ergebnisse zeigen, dass das beste Prompt-Template in Verbindung mit 5-Shot Prompting einen F1-Score von 0,75 bei der Erkennung von Figurenauf- und -abtritten und 0,82 bei der Figurenerkennung erreicht. Obwohl diese Ergebnisse um 0,1 bzw. 0,05 knapp unter denen des regelbasierten Algorithmus liegen und somit das Ziel nicht vollständig erreicht wurde, bietet die Methode dennoch Vorteile gegenüber dem regelbasierten Ansatz. Sie ist universell anwendbar, flexibler und ermöglicht die Erkennung verschiedener Ereignisse neben Figurenauf- und -abtritten.