Prompt-based personality profiling : filtering social media posts using reinforcement learning

Abstract

Author profiling is the task of inferring characteristics about individuals by analyzing content they share. To date, systems that perform this task automatically, predominantly use supervised machine learning approaches and borrow from advances in the field of natural language understanding. However, while for many language understanding tasks immense progress has been made in recent years (e.g. by using pre-train then fine-tune paradigm), such progress most often does not transfer to automated profiling systems directly. One reason for this is that author profiling is inherently different from typical text inference tasks due to the possibly large amounts of content associated with an author. Therefore, this work proposes a new method for profiling that tries to select the most relevant parts of content shared by an author before inferring a characteristic. Here, instead of relying on ground-truth labels, this work uses the feedback from the zero-shot capabilities of a large language model to learn such a selection model via reinforcement learning, and evaluates this approach for personality profiling in social media. In experiments predicting big five personality traits, this work finds that prediction quality of such a system is comparable yet slightly worse to using all content associated to a profile in a zero-shot setting, while prediction time is reduced significantly due to the limited amount of content used for inferring personality in the proposed method. In addition, this work finds that simply selecting content arbitrarily leads to performance degradation for most traits, and therefore, this work concludes that, to some extent, the proposed method is able to distinguish between relevant and irrelevant content. Further, this work compares the proposed approach to existing supervised approaches and finds that such methods outperform the proposed method substantially. Still, since the ability of the proposed system to distinguish between relevant and irrelevant content of authors is closely tied to the capabilities of large language models, it can be expected that, with advances of such models, prediction quality of the proposed approach will increase in the future. Die Erstellung eines Autorenprofils beschäftigt sich mit der Aufgabe aufgrund von Inhalten, welche mit einem Autor assoziiert sind, Merkmale über diesen zu schließen. Bislang werden in System, die diese Aufgabe automatisiert durchführen, vorwiegend Ansätze des maschinellen Lernens genutzt, welche auf dem Prinzip des überwachten Lernens basieren und Fortschritte im Bereich des Verstehens von natürlicher Sprache durch Software nutzen. Während jedoch für vielen Aufgaben in diesem Bereich in den letzten Jahren große Fortschritte erzielt wurden (z.B. mithilfe des "Pre-train then Fine-tune" Paradigmas), lassen sich diese Fortschritte meist nicht auf Profiling-Systeme übertragen. Ein Grund dafür ist, dass sich die Erstellung von Profilen aufgrund der deutlich größeren Menge an Inhalten, stark von typischen Aufgaben im Bereich des Verstehens von Sprache unterscheidet. Daher wird in dieser Arbeit eine neue Methode für Profiling vorgestellt, welche zunächst versucht möglichst relevante Inhalte eines Autors zu bestimmen. Dazu stellt diese Arbeit ein Model vor, welches diese Aufgabe durch das Feedback eines Sprachmodells mithilfe bestärkendem Lernen erlernt und untersucht diesen Ansatz für die automatische Erstellung von Persönlichkeitsprofilen in sozialen Medien. Die Experimente dieser Arbeit zeigen, dass die Qualität der Vorhersagen eines solchen Systems vergleichbar, jedoch etwas schlechter sind als bei einem System welches alle mit einem Profil verbundenen Inhalte nutzt, wenn Big Five Persönlichkeitsfaktoren mittels Zero-Shot Klassifikation vorhergesagt werden. Diese Experimente zeigen jedoch auch, dass sich durch den stark reduzierten Inhalt, wie er in der vorgeschlagene Methode genutzt wird, die benötigte Zeit um eine Vorhersage zu treffen signifikant reduzieren lässt. Weitere Experimente zeigen zudem, dass eine zufällige Auswahl von Inhalten für die meisten der fünf Persönlichkeitsfaktoren zu schlechteren Ergebnissen führt. Aufgrund dieser Ergebnisse schließt diese Arbeit, dass die vorgeschlagene Methode zu einem gewissen Grad in der Lage ist, zwischen relevanten und irrelevanten Inhalten zu unterscheiden. Weiterhin vergleicht diese Arbeit die vorgestellte Methode mit Methoden, welche auf dem Prinzip des überwachten Lernens basieren und findet, dass Vorhersagen dieser Methoden die der vorgeschlagenen Methode deutlich übertreffen. Dennoch ist anzunehmen, dass die Vorhersagequalität des vorgeschlagenen Ansatzes in Zukunft steigen wird, da die Fähigkeiten dieses Systems stark an die Fähigkeiten großer Sprachmodelle gebunden sind.