Threshold analysis for low-overhead control of load shedding mechanisms

Abstract

Complex event processing is a concept and a group of technologies that realize real-time event processing. An input data stream of events are being processed by a CEP system in order to extract patterns and information about the data source. The volume of this data stream can be enormous and the need for a mechanism to ease the CEP system's workload is needed. For this, a load-shedder mechanism is deployed on the system. But in order for the load-shedder to have a clear insight of the CEP system, a monitoring mechanism must be applied, to feed the load shedder with the information needed. But this monitoring solution must not impose additional overhead to the already overloaded system. In this thesis, multiple monitoring strategies are being assessed, by carrying out experiments using a monitoring mechanism with different configurations for sampling, deviation threshold, and scope and slide time frames for sampling, with the help of two projects, i.e. CoDaEFC and Precept. The goal of these experiments is to analyze the monitoring solutions' approach. A mechanism's goal should be to give insight to the system, yet without adding too much workload on the system. The result metrics of the experiments are then being logged and presented in a visual form. Conclusions are being drawn, based on the results of the experiments and how these configurations affect the CEP system's performance.

Complex Event Processing (CEP) ist ein Konzept und eine Gruppe von Technologien, die die Verarbeitung von Ereignissen in Echtzeit ermöglichen. Ein Eingangsdatenstrom von Ereignissen wird von einem CEP-System verarbeitet, um Patterns und Informationen über die Datenquelle zu extrahieren. Das Volumen dieses Datenstroms kann enorm sein, so dass ein Mechanismus benötigt wird, der die Arbeitslast des CEP-Systems verringert. Zu diesem Zweck wird ein Mechanismus zur Load-shedding auf dem System eingesetzt. Damit der Load-sheddingmechanismus jedoch einen klaren Einblick in das CEP-System erhält, muss ein Monitoringmechanismus eingesetzt werden, der den Load-sheddingmechanismus mit den benötigten Informationen versorgt. Diese Monitoringmechanismus darf jedoch keinen zusätzlichen Overhead für das bereits überlastete System bedeuten. In dieser Arbeit werden mehrere Monitoringstrategien bewertet, indem Experimente mit einem Monitoringmechanismus mit verschiedenen Konfigurationen für Stichproben, Abweichungsschwellen, Scope und Slidezeitrahmen für Stichproben mit Hilfe von zwei Projekten, d.h. CoDaEFC und Precept, durchgeführt werden. Das Ziel dieser Experimente ist es, den Ansatz der Monitoring-Lösungen zu analysieren. Das Ziel eines Mechanismus sollte es sein, Einblick in das System zu geben, ohne das System zu sehr zu belasten. Die Ergebnismetriken der Experimente werden protokolliert und in visueller Form dargestellt. Basierend auf den Ergebnissen der Experimente werden Schlussfolgerungen gezogen, wie diese Konfigurationen die Leistung des CEP-Systems beeinflussen.