Handling interferences on a multi-operator CEP node with load shedding

Abstract

The complex event processing (CEP) paradigm defines a set of systems that have the goal of finding important patterns in a streams of low-level events. They combine them in order to form informationwith a higher level of abstraction.These systems are susceptible to fluctuation in the workload of the event streams. Load peaks can lead to an increased latency which is undesirable in realtime scenarios. On limited hardware nodes this effect can be mitigated by using load shedding i.e. dropping a portion of the incoming events. The latency is also influenced by other operators sharing the same physical node. This thesis proposes a workflow which reduces processing time and therefore the latency by using this interference effect. For this purpose a neural network is trained. It is used for constructing a lookup table containing target system states leading to a specific reduction in processing time. These states are then translated into shedding configurations. While the implemented solution has its limitations, the result strongly indicates that the handling of the interference effect can be used to reduce processing times.

Complex Event Processing (CEP) is ein Paradigma, dass eine Reihe von Systemen definiert, deren Ziel es ist, bedeutsame Muster in einem Strom von Ergeignissen zu finden. Sie kombinieren diese, um Informationen auf einer höheren Abstraktionsebene zu erhalten. Diese Systeme sind anfällig für Schwankungen in der Arbeitslast der Ereignisströme. Lastspitzen können zu einer erhöhten Latenz führen, die in Echtzeitszenarien unerwünscht ist. Auf begrenzten Hardware-Knoten kann dieser Effekt durch Load-Shedding gemildert werden. Load-Shedding erreicht dies durch das Verwerfen eines Teils der eingehenden Ereignisse. Die Latenz wird auch von anderen Prozessen (Operatoren) beeinflusst, die sich denselben physischen Knoten teilen. In dieser Thesis wird ein Vorgehen erarbeitet, das die Verarbeitungszeit und damit die Latenzzeit durch Ausnutzung dieses Interferenzeffekts verringert. Zu diesem Zweck wird ein neuronales Netz trainiert. Es wird verwendet, um eine Tabelle mit Zielsystemzustände zu erstellen, die zu einer spezifischen Reduzierung der Verarbeitungszeit führen. Diese Zustände werden dann in Load-Shedding-Konfigurationen übersetzt. Obwohl die umgesetze Lösung ihre Grenzen hat, deutet das Ergebnis stark darauf hin, dass die Bewältigung des Interferenzeffekts zur Reduzierung der Verarbeitungszeiten genutzt werden kann.