Optimizing human annotation of word usage graphs in a realistic simulation environment

Abstract

Word Usage Graphs (WUGs) are an approach of representing relations between word usage pairs, where each word usage is considered as a node and the weighted undirected edge between such a pair represents its semantic proximity. This shifts problems of Computational Linguistics into the graph problem space. There is only little research into how such WUGs can be annotated efficiently and effectively. Therefore, we build a simulation to test a broad range of sampling, clustering and stopping procedures with respect to their impact on finding good solutions. We show that it is possible to simulate graphs which share characteristics close to the observed WUGs. Based on this we are able to scrutinize various annotation procedures and are able to extract their advantages and disadvantages for the annotation process.

Wortverwendungsgraphen (WUGs) sind ein Ansatz zur Darstellung von Beziehungen zwischen Wortverwendungspaaren, wobei jede Wortverwendung als Knoten dargestellt wird und die gewichtete ungerichtete Kante zwischen einem solchen Paar die semantische Nähe darstellt. Somit können Probleme der Computerlinguistik in den Bereich der Graphen verlagert werden. Es gibt nur wenig Forschung darüber, wie solche WUGs effizient und effektiv annotiert werden können. Daher entwickeln wir eine Simulation, um eine breite Auswahl an Sampling, Cluster und Stop-Prozeduren hinsichtlich ihrer Auswirkungen auf das Finden guter Lösungen zu testen. Wir zeigen, dass es möglich ist, Graphen zu simulieren, deren Eigenschaften nah der beobachteten WUGs ähnelt. Auf dieser Grundlage sind wir in der Lage, verschiedene Annotationsverfahren zu untersuchen und ihre Vor- und Nachteile für den Annotationsprozess zu extrahieren.