LAKE - eine flexible Datenstromverarbeitungsarchitektur

Abstract

Forschungsgebiete wie die Industrie 4.0 können nicht auf eine konstante Überwachung verschiedener Komponenten verzichten. Zahlreiche Sensoren sind nötig, um beispielsweise autonome Fabriken sicher betreiben zu können. Über diese Sensoren werden gewaltige Mengen an Daten verfügbar, die sowohl persistent gespeichert, als auch möglichst schnell verarbeitet werden sollen. Die Genauigkeit von Analysen steigt mit der Anzahl verarbeiteter Datensätze, wodurch auch die Verarbeitungszeit wächst. Gleichzeitig müssen aktuelle Informationen in Echtzeit zur Verfügung stehen. Dieses Problem wird durch zwei Architekturen zur Datenverarbeitung adressiert: Die Lambda- und die Kappa-Architektur verbinden Datenstrom- und Stapelverarbeitung, um sowohl genaue Datenanalysen als auch Echtzeitverarbeitung zu ermöglichen. Beide Architekturen haben allerdings ihre Schwachstellen. So können beispielsweise Ergebnisse der Stapelverarbeitung in Lambda nicht in der Datenstromverarbeitung verwendet werden oder der Ressourcenverbrauch in Kappa steigt mit den vorhandenen Datensätzen. Diese Arbeit stellt darum LAKE als Verbindung aus beiden Architekturen vor. LAKE adressiert die Schwachstellen und bietet die Möglichkeit, die Art der Verarbeitung jederzeit flexibel auf verschiedene Anwendungsfälle anzupassen. Zusammen mit dem Konzept beschreibt diese Arbeit auch verschiedene Systeme, die für die Realisierung eines LAKE-Prototypen verwendet werden können. Zwei Implementierungen eines solchen Prototypen werden in dieser Arbeit mit Apache Flink und Apache Spark umgesetzt. Zudem wird am Beispiel einer Klassifikation von Datenobjekten die Flexibilität von LAKE gezeigt. In der abschließenden Evaluation wird sichtbar, dass die Kombination aus Lambda- und Kappa-Architektur nicht nur die Schwächen der jeweiligen Architektur ausgleicht, sondern zudem weitere Möglichkeiten zur Datenverarbeitung bietet.