Automatisierte Transformation von Daten aus Software Repositories und ihre Vorbereitung für Data Mining

Abstract

Bei dem Prozess der Softwareentwicklung werden viele verschiedene Dokumente und Daten erstellt, die wichtig für das Projekt sind, aber gleichzeitig nicht zu dem Programmcode gehören. Seien es die Arbeitspakete jedes einzelnen Entwicklers, die Dokumentationen zur Einarbeitung in einzelne Themengebiete und Testfälle oder auch Metadaten der Versionsverwaltung. Diese Daten sollen eingelesen, verarbeitet und in eine Datenbank gespeichert werden, damit sie danach analysiert und ausgewertet werden können. Der Prozess der Transformation soll mithilfe von Datenströmen durchgeführt werden, ohne dass weitere Dateien erstellt werden können. Im Rahmen dieser Bachelorarbeit wurde ein Programm entwickelt, welches die Daten von drei bestehenden Formaten erfasst, verarbeitet und abspeichert. Dazu wurde analysiert mit welchem Verfahren die Transformationen durchgeführt wurden und wie der gewünschte Ablauf funktionieren sollte. Aus diesen Informationen ist ein Konzept für das Programm entstanden und aus diesem wurde die Software entwickelt wurde. Das komplette Programm ist bisher für Datentransformation von Metadaten eines Repositories und Datenformate wie CSV-Dateien konstruiert. Dabei werden alle Transformationen in einer MySQL-Datenbank gespeichert. Ein wichtiger Aspekt des Konzepts ist die Erweiterbarkeit. Es sollen noch weitere Formate transformiert werden können und deswegen muss das Programm leicht erweitert sein.

In the process of software development many different documents and sets of data are created. These are important for the project but at the same time do not belong in the program code. This may be the work of each single developer or the documentation for incorporation into individual topics and test cases or metadata of the software repository. These sets of data should be read, processed and stored in a database so they can be analyzed and evaluated. The process of transformation should be executed with data streams without creating new files or other external data while the process is running. In the context of this thesis a program was developed that captured, processed and stored data out of three different formats. For this cause it was analyzed through which method the transformation was executed and how the desired process had to work. With this information a software concept was created and out of this the software itself was developed. The complete program was developed for the data transformation of metadata of a repository and data format like CSV-files. With this all the transformations are stored in a MySQL database. An important aspect of the plan is the extensibility. There are other formats that should be transformed and because of that the software should be easy to extend.