Distributed data store for internet of things environments

Abstract

The Internet of Things (IOT) is a rapidly uprising technology. It is gaining importance in smart factories, often referred to as Industry 4.0. Given the amount of data that is collected in these environments, storing and analysing the accumulated data is a major concern. The aim of this thesis is to develop and evaluate a concept for a distributed data store, in which data is first collected at the edge of the Network, on premise, and then sent on to a central data store where observations spanning multiple edge deployments can be made. The final concept proposes the use of a database, a stream processing framework for reacting to messages as they arrive at the servers and a message queueing system to act as a common interface for the other components on both the data centre and the on premise deployments. The edge and central servers are connected through a service subscribing to selected edge queues and publishing their content on the central data store. An example deployment was implemented and proved to be capable of processing 10.000 messages per second with a mean latency of less than 4ms for the on premise deployment and 67ms for the central data store.

Das Internet der Dinge (Internet of Things, IoT) ist eine schnell aufsteigende Technologie. Sie gewinnt an Wichtigkeit in intelligenten Fabriken, oft auch Industrie 4.0 genannt. Wegen der großen anfallenden Datenmengen in diesen Umgebungen ist die Speicherung und Analyse der gesammelten Daten von großer Bedeutung. Ziel der Thesis ist es, ein Konzept für einen verteilten Datenspeicher zu entwickeln, in dem Daten erst am Rande des Netzwerks (on premise) gesammelt werden und anschließend an einen zentralen Datenspeicher weitergeleitet werden, wo Beobachtungen über mehrere Edge-Deployments gemacht werden können. Das finale Konzept sieht die Benutzung einer Datenbank, eines Stream-Processing-Frameworks, zum Reagieren auf Nachrichten, sobald sie bei den Servers ankommen, und eines Message-Queuing-Systems vor, das als gemeinsame Schnittstelle der anderen Komponenten der on-premise und zentralen Deployments dient. Die Edge-Datenspeicher sind durch einen Dienst mit dem zentralen Datenspeicher verbunden, der ausgewählte Edge-Queues abonniert und deren Inhalt auf dem zentralen Datenspeicher veröffentlicht. Ein Beispiel wurde implementiert und aufgesetzt, das sich als fähig erwies 10.000 Nachrichten pro Sekunde mit einer durchschnittlichen Latenz von 4ms bis zum Edge-Datenspeicher und 67ms zum zentralen Speicher.