Browsing by Author "Schmidt, Simone"

Now showing 1 - 3 of 3

Open Access
A recommender approach to enable effective and efficient self-service analytics in data lakes
(2023) Stach, Christoph; Eichler, Rebecca; Schmidt, Simone
As a result of the paradigm shift away from rather rigid data warehouses to general-purpose data lakes, fully flexible self-service analytics is made possible. However, this also increases the complexity for domain experts who perform these analyses, since comprehensive data preparation tasks have to be implemented for each data access. For this reason, we developed BARENTS, a toolset that enables domain experts to specify data preparation tasks as ontology rules, which are then applied to the data involved. Although our evaluation of BARENTS showed that it is a valuable contribution to self-service analytics, a major drawback is that domain experts do not receive any semantic support when specifying the rules. In this paper, we therefore address how a recommender approach can provide additional support to domain experts by identifying supplementary datasets that might be relevant for their analyses or additional data processing steps to improve data refinement. This recommender operates on the set of data preparation rules specified in BARENT-i.e., the accumulated knowledge of all domain experts is factored into the data preparation for each new analysis. Evaluation results indicate that such a recommender approach further contributes to the practicality of BARENTS and thus represents a step towards effective and efficient self-service analytics in data lakes.
Open Access
Concepts towards an automated data pre-processing and preparation within data lakes
(2021) Schmidt, Simone
The Internet of Things produces huge amounts of heterogeneous data. Fields like Industry 4.0, smart city development, or the healthcare sector analyse this big data to serve as a basis for many applications. With their central storage, where heterogeneous data is stored in its original format, data lakes allow the analysis of data towards any use case. This schema-on-read approach leaves the transformation of data into an appropriate schema to the user. To achieve this, users need knowledge about the stored data, domain knowledge, and IT knowledge. The people who need the analysis results however are often domain experts and not IT experts. Possibilities for assisting users in data preparation for novel use cases in data lakes are explored in the scope of this work. Reasons for the difficulty of data pre-processing in data lakes are explored and requirements for a concept for user assistance are derived. Steps are extracted, which a user takes in developing data preparation for a new use case in data lakes. Existing concepts in literature for assisting users in those steps are explored. It is found, that sufficient assistance in data discovery is provided by existing solutions. The support for technical realisation is almost sufficient, but assistance in choosing the right transformations is still lacking. Based on the lessons learned from the analysis of existing solutions a new concept is developed. The concept is based on BARENTS, a data lake concept that enables specification of data preparation in the form of ontologies and automatically performs specified transformations. A new transformation recommender helps users in choosing transformations and creating the ontology to specify data preparation. With a prototypical implementation of the concept, it is demonstrated, how users are assisted in specifying their data preparation needs. The concept is shown to fulfill the stated requirements and enables flexible, user-friendly specification of data pre-processing needs within data lakes.
Open Access
Realisierung von umfassenden Analysetechniken in einer hybriden Datenverarbeitungsarchitektur
(2018) Schmidt, Simone
Es gibt heutzutage viele Bereiche, in denen große Mengen an Daten anfallen, wie zum Beispiel in der Industrie 4.0, bei eHealth und bei Überwachung und Regelung des öffentlichen Personennahverkehrs (ÖPNVs). Um möglichst viele vorteilhafte Informationen aus den Daten zu gewinnen, werden umfassende Analysen benötigt, die nicht nur historische, sondern auch Echtzeitdaten berücksichtigen und die Analyseergebnisse in Echtzeit anwenden können. Es gibt hybride Architekturen, welche die Analyse beider Arten von Daten durch die Nutzung von Stream- und Batchverarbeitung unterstützen. Eine solche Architektur ist Hybrid Processing Architecture for Big Data (BRAID), wobei BRAID zusätzlich die Zusammenarbeit zwischen Batch und Stream ermöglicht. Diese Arbeit untersucht, inwiefern BRAID für die Umsetzung solcher umfassender Analysen geeignet ist. Hierfür wird ein Anwendungsfall aus dem Bereich des ÖPNV entwickelt, welcher umfassende Analysen benötigt, und es werden Anforderungen abgeleitet, welche ein System erfüllen muss, um dem Anwendungsfall gerecht zu werden. Beispiele aus der Literatur werden untersucht. Dabei zeigt sich, dass die Anforderungen von bestehenden Systemen noch nicht voll erfüllt werden können. Unter Nutzung der Architektur BRAID wird ein System entwickelt, welches die Anforderungen erfüllt. Es werden verschiedene Machine Learning (ML)-Verfahren und Frameworks, welche für solch ein System genutzt werden können, diskutiert, untereinander verglichen und evaluiert. Das geeignetste wird jeweils für die Umsetzung ausgewählt und das System wird prototypisch implementiert. Das entwickelte System wird gegen die Anforderungen evaluiert, wobei sich zeigt, dass das System alle Anforderungen erfüllen kann. Insgesamt zeigt sich hierdurch, dass BRAID zur Umsetzung eines Systems für umfassende Analysen geeignet ist.