Implementation strategies for a low-code approach to develop data products

Abstract

The preparation of data in a valuable and usable way is crucial for data-driven applications. The paradigm of data products was therefore introduced as a domain-centric, shareable, and valuable unit. To create relevant data products, it is essential to incorporate domain expertise. Consequently, low-code approaches have gained increasing attention, as they facilitate modeling of development steps through a graphical editor. Conceptual frameworks such as LALO and BARENTS address data product development through low-code approaches, but to translate these concepts into practice, a concrete implementation strategy is required. Therefore, different components of BARENTS and LALO and possible existing approaches were examined and discussed. A limitation in the way heterogeneous sources and sinks are connected to the system was identified. Current approaches fail to adequately address the complexity of heterogeneous sources and sinks by not making the connection process sufficiently accessible for domain experts. To address this limitation, an adapter-based approach was introduced in this work, allowing data providers and data consumers to define connections, mappings, and metadata. This ensures that the available data is both understandable and usable. In addition, it enables the involvement of domain experts in the development process. To demonstrate its applicability, a prototype with example implementations and a user interface was developed. Die Aufbereitung von Daten in einer wertvollen und nutzbaren Form ist für datengesteuerte Anwendungen von entscheidender Bedeutung. Das Paradigma der Datenprodukte wurde daher als domänenzentrierte, teilbare und wertvolle Einheit eingeführt. Um relevante Datenprodukte zu erstellen, ist es wichtig, Domänenewissen einzubeziehen. Daher finden Low-Code Ansätze zunehmend Beachtung, da sie die Modellierung von Transformationsschritten durch einen grafischen Editor ermöglichen. Konzeptionelle Arbeiten wie LALO und BARENTS adressieren die Entwicklung von Datenprodukten durch einen Low-Code Ansatz, jedoch ist eine konkrete Implementierungsstrategie erforderlich, um diese Konzepte in die Praxis umzusetzen. Daher wurden verschiedene Komponenten von BARENTS und LALO sowie mögliche bestehende Ansätze untersucht und diskutiert. Dabei wurden bei der Anbindung von heterogenen Quellen und Senken mit dem System fehlende Implementierungsstrategien festgestellt. Aktuelle Ansätze werden der Komplexität heterogener Quellen und Senken nicht ausreichend gerecht, da sie den Verbindungsprozess für Domänenexperten nicht ausreichend zugänglich machen. Um dies zu verbessern, wurde in dieser Arbeit ein adapterbasierter Ansatz eingeführt, der es Datenanbietern und Datenkonsumenten ermöglicht, Verbindungen, Transformationen und Metadaten zu definieren. Dadurch werden die verfügbaren Daten sowohl verständlicher als auch nutzbarer und Experten können in den Entwicklungsprozess mit einbezogen werden. Um die Anwendbarkeit zu demonstrieren, wurde ein Prototyp mit Beispielimplementierung und einer Benutzeroberfläche entwickelt.