Konzept und Umsetzung eines Data Lakes für Connected-Car-Umgebungen

Abstract

Die Ausstattung von Fahrzeugen und deren Infrastruktur mit Sensorik und Rechenressourcen ermöglicht eine umfangreiche Datenerfassung im Verkehrswesen. Diese Daten können an andere Fahrzeuge oder zentrale Server weitergeleitet werden. Dabei werden Fahrzeuge, die mit Sensorik ausgestattet sind, als Connected Cars bezeichnet. In Connected-Car-Umgebungen müssen Fahrzeuge direkt auf Ereignisse reagieren, weshalb eine Echtzeitverarbeitung essentiell ist. Nicht nur eine Echtzeitverarbeitung der Daten muss beachtet werden, sondern auch unterschiedliche Strukturen und Formate. Diese unterscheiden sich je nach Datenquelle und Hersteller. Deshalb stellen Datenspeicherung und -verarbeitung in Connected-Car-Umgebungen eine große Herausforderung dar. Eine sinnvolle Option hierfür ist ein Data Lake. Ein Data Lake ist ein effektiver Datenspeicher, der heterogene Daten zusammen bringt. Außerdem werden Metadaten genutzt, um auf relevante Daten zuzugreifen. Nur so ist eine Analyse und Auswertung der Daten für komplexe Verkehrsszenarien möglich. Aus diesem Grund wird in dieser Arbeit ein Konzept eines verteilten Data Lakes vorgestellt. Dazu werden zunächst Anforderungen definiert, die ein Data Lake in Connected-Car-Umgebungen erfüllen sollte. Basierend auf diesen Anforderungen wird das Konzept von mehreren verteilten Data Lagoons und einem zentralen Data Lake eingeführt. Eine Data Lagoon ist ein Teil des Data Lake, der z.B. auf den Rechenressourcen von Ampeln oder Laternen gehostet werden kann. Data Lagoons sammeln Daten der Connected Cars. Diese werden an den zentralen Data Lake weitergeleitet. Dabei besitzen sowohl Data Lake als auch Data Lagoon eine Datenhaltung und Datenverarbeitung. Die Architekturen der Komponenten basieren auf Lambda- und Kappa-Architektur. Im Verlauf der Arbeit wird eine prototypische Implementierung des Konzepts angefertigt. Dieser Prototyp erhält Daten unterschiedlicher Strukturen und Arten. Für diese Daten werden verschiedene Verarbeitungsprozesse aufgezeigt. Weiterhin werden Metadaten, die während der Verarbeitung erweitert werden, mitgesendet. Deren Speicherung wird separat behandelt.