Realisierung von umfassenden Analysetechniken in einer hybriden Datenverarbeitungsarchitektur

Abstract

Es gibt heutzutage viele Bereiche, in denen große Mengen an Daten anfallen, wie zum Beispiel in der Industrie 4.0, bei eHealth und bei Überwachung und Regelung des öffentlichen Personennahverkehrs (ÖPNVs). Um möglichst viele vorteilhafte Informationen aus den Daten zu gewinnen, werden umfassende Analysen benötigt, die nicht nur historische, sondern auch Echtzeitdaten berücksichtigen und die Analyseergebnisse in Echtzeit anwenden können. Es gibt hybride Architekturen, welche die Analyse beider Arten von Daten durch die Nutzung von Stream- und Batchverarbeitung unterstützen. Eine solche Architektur ist Hybrid Processing Architecture for Big Data (BRAID), wobei BRAID zusätzlich die Zusammenarbeit zwischen Batch und Stream ermöglicht. Diese Arbeit untersucht, inwiefern BRAID für die Umsetzung solcher umfassender Analysen geeignet ist. Hierfür wird ein Anwendungsfall aus dem Bereich des ÖPNV entwickelt, welcher umfassende Analysen benötigt, und es werden Anforderungen abgeleitet, welche ein System erfüllen muss, um dem Anwendungsfall gerecht zu werden. Beispiele aus der Literatur werden untersucht. Dabei zeigt sich, dass die Anforderungen von bestehenden Systemen noch nicht voll erfüllt werden können. Unter Nutzung der Architektur BRAID wird ein System entwickelt, welches die Anforderungen erfüllt. Es werden verschiedene Machine Learning (ML)-Verfahren und Frameworks, welche für solch ein System genutzt werden können, diskutiert, untereinander verglichen und evaluiert. Das geeignetste wird jeweils für die Umsetzung ausgewählt und das System wird prototypisch implementiert. Das entwickelte System wird gegen die Anforderungen evaluiert, wobei sich zeigt, dass das System alle Anforderungen erfüllen kann. Insgesamt zeigt sich hierdurch, dass BRAID zur Umsetzung eines Systems für umfassende Analysen geeignet ist.