Supporting consumptions in parallel complex event processing operators on multicore architectures

Abstract

Complex Event Processing hat in letzter Zeit durch das Internet of Things und die steigende Anzahl an Sensordaten immer mehr an Bedeutung gewonnen. Diese zu verwendeten Events müssen in Zusammenhang gestellt werden. Dadurch entstehen aus mehreren Events ein Complex Event. Um das Erstellen der Complex Events zu beschleunigen wird normalerweise auf parallele Verarbeitung zurückgegriffen. So werden die einzelnen Events an mehrere Worker verteilt und dupliziert. Es existieren bereits Systeme, die das parallele Verarbeiten solcher Events unterstützen. Häufig wird allerdings das Konsumieren der Events gefordert. Das heißt, es steht den anderen Workern nicht mehr zur Verfügung. Dadurch entstehen Abhängigkeiten zwischen den Workern. Aktuelle Systeme sind aufgrund dieser Abhängigkeiten nicht in der Lage, parallel zu arbeiten. In dieser Arbeit wird das SPECTRE Framework vorgestellt und evaluiert, das durch ein spekulatives Model auf Basis von Markov Ketten, die parallele Verarbeitung dieser Events ermöglicht.

Complex Event Processing has grown in importance over the last few years trough the Internet of Things and the increasing sensor data generated. Through interpreting and combining those Events, Complex Events are generated. In order to increase the processing speed, this task is usually performed multithreaded. Events are distributed to different Threads and duplicated. There are already systems capable of processing Events multithreaded. Regularly event consumption is required, so an event can only be used to generate a single Complex Event. Since sometimes threads share an event, this results in dependencies. Current systems are not able to handle this dependencies while processing in parallel. So they have to process sequentially. This thesis introduces and evaluates the SPECRTE Framework, which is capable of parallel processing by using a speculative Model based on Markov Chains.