Migration des Datenmanagements einer datenintensiven Anwendung in ein Big-Data Framework

Abstract

Das Ziel der vorliegenden Arbeit ist es, die Migration des Datenmanagements einer datenintensiven Anwendungen auf Basis relationaler Daten anhand einer entworfenen generischen Vorgehensweise in ein Big-Data-Framework zu migrieren und die Ergebnisse zu evaluieren. Nach einer Ist-Analyse der zu migrierenden Anwendung wurde Spark als potentielles Framework für die Umsetzung durch ausgewählte gewichtete Kriterien ermittelt. Nach der Konzeption und problembehafteten Implementierung der Anwendung in Sparks Java API wurden die Vorgehensweise und die erzielten Ergebnisse evaluiert. Die resultierende Hinterfragung der Tauglichkeit von bestimmten Datenmanagements und deren Umsetzung in einem horizontal skalierten System spiegelt sich in der Vorgehensweise als Reflexion wider. Entwickler profitieren von der Möglichkeit im Vorfeld abschätzen zu können, ob der Versuch der Migration zielführend wäre. Es werden drei Indikatoren bereitgestellt, mit denen die Daten anhand von Abhängigkeiten untereinander und der Art der Verarbeitung beurteilt werden können. Die Probleme, die durch Ignorieren der Reflexion und ihres Ergebnisses entstehen können, werden in dieser Arbeit identifiziert und evaluiert.

This work provides a generic approach to migrate a data intensive application based on relational data to a big data framework. The generic approach is characterized by the exemplary implementation of the approach itself and the results of this implementation. During the course of this work challenges and problems of the migration of a typical data management are ex-posed. The underlying source of this data management is the data of multi-variant complex products from serial production. The interdependency of these data and their processing leads to several difficulties. Based on these characteristics the implementation in Spark undergoes performance and memory issues, because the data processing is not suitable for parallelization. These problems are identified and discussed, resulting in indicators for the preliminary decision making about the benefit of the migration. This step, called reflection, is integrated into the generic approach.