Erschließen von Freitextfeldern mittels Text Mining und die Qualität der gewonnenen Informationen

Abstract

Vermehrt fallen innerhalb von Firmen neben den einfach auszuwertenden strukturierten Daten, auch unstrukturierte Daten in Form von Freitexten an. In dieser Ausarbeitung werden Techniken zur Strukturierung von Freitexten sowie verwandte Arbeiten und Vor- und Nachteile der Nutzung von Freitexten vorgestellt. Der Fokus liegt auf der Repräsentation der Daten als Vektoren und der Filterung von Stoppwörtern. Außerdem wird ein Prototyp zum Clustern von Freitextfeldern vorgestellt und auf einen Datensatz der NHTSA angewendet. Durch die Anwendung des Prototyps auf den NHTSA-Datensatz wird geklärt, inwiefern dieser Informationen in den Freitextfelder enthält, die nicht in den strukturierten Daten enthalten sind. Und ob das Clustering zu vollständigeren Informationen, das heißt zur erhöhter Datenqualität führt. Die Beantwortung geschieht durch Datenanalysen auf den vom Prototyp erweiterten Datensatz. Eine zusätzliche Anwendung und Auswertung des Prototyps, findet auf einen Datensatz aus der Industrie statt.