Architekturkonzepte zur Datenverwaltung in Data Lakes

Abstract

Die zunehmende Digitalisierung in zahlreichen Bereichen und die damit verbundene Vielzahl an heterogenen Daten, die gespeichert, verwaltet und analysiert werden müssen, stellen eine Herausforderung für traditionelle Datenmanagementkonzepte dar. Insbesondere gilt es, den potentiellen Wert der Daten auszunutzen und durch neue Erkenntnisse Kosten zu senken und Effizienz zu erhöhen. Um die Verwaltung und flexible Analyse der generierten Daten zu ermöglichen, wurde das Konzept des Data Lake entwickelt. Daten heterogener Struktur werden hier in ihrer Rohform gespeichert, sodass auch lange nach ihrer Erfassung beliebige Anwendungsfälle darauf realisiert werden können. Soll allerdings ein solcher Data Lake für die praktische Nutzung in z.B. einem Unternehmen umgesetzt werden, zeigen sich zahlreiche Probleme und Lücken auf. Methodische Grundlagen sind unvollständig, vage oder fehlen ganz. So gibt es keine vollständige Data-Lake-Architektur oder einen Leitfaden, um eine solche zu erstellen. Auch fehlt es an einer passenden Datenorganisation, um die Vielzahl an Anwendungsfällen und Nutzergruppen eines unternehmensweiten Data Lake zu unterstützen. In dieser Arbeit werden diese Lücken adressiert. Hierzu werden drei Forschungsziele formuliert: Z1-Identifikation der Eigenschaften eines Data Lake, Z2-Erstellung eines Leitfadens zur Definition einer vollständigen Data-Lake-Architektur und Z3-Erarbeitung einer internen Data-Lake-Organisation. Diese Forschungsziele werden durch insgesamt sieben Forschungsbeiträge abgedeckt. Hierfür wird zunächst in einer vollständigen Literaturrecherche das Konzept des Data Lake identifiziert und definiert. Im zweiten Schritt stellt diese Arbeit das Data Lake Architecture Framework (DLAF) vor, welches die Definition einer vollständigen Data-Lake-Architektur ermöglicht. Abschließend bietet das Zonenreferenzmodell einen systematischen Ansatz zur Datenorganisation in Data Lakes. Die Umsetzbarkeit der erarbeiteten Lösungen wird mithilfe einer prototypischen Implementierung für ein reales Anwendungsszenario gezeigt. Eine abschließende Evaluation bestätigt, dass die entwickelten Lösungen vollständig sind, zahlreiche Vorteile bieten und so die Industrialisierung von Data Lakes unterstützen.