Modeling interferences of CEP operators on limited resources

Abstract

Complex Event Processing (CEP) systems are used to combine low-level data from an input stream into high-level information. To account for workload peaks load shedding can be used to drop events. To determine when to drop events, the delay of the CEP system needs to be predicted by its workload. But if multiple operators of the CEP system share a resource, the workload of one operator does also influence the performance of the other operators. In this thesis, we examine the interference effect between multiple operators by building a prediction model. To solve this task we consider it a regression problem, where we use the arrival rate of an operator to predict the processing time of another operator on the same node. To also take into account the difference between the arrival rates of different event types, we introduce the balance score as the second input variable. Next, we design an experiment to generate diverse data. The data generated this way is then used to build prediction models by using two different methods: regression analysis and a neural network. After finding the best prediction model for each method, we compare the performance of these models. Here we show that which model is better mostly depends on the specific use case of the CEP system.

Complex Event Processing (CEP) Systeme werden verwendet um Low-Level-Daten aus einem Eingabe-Stream zu High-Level-Informationen zu kombinieren. Um Workload-Spitzen zu berücksichtigen, kann Load-Sheding zum Verwerfen von Ereignissen verwendet werden. Um zu bestimmen, wann Ereignisse verworfen werden sollen, muss die Verzögerung des CEP-Systems anhand seiner Arbeitslast vorhergesagt werden. Wenn sich jedoch mehrere Operatoren des CEP-Systems eine Ressource teilen, beeinflusst die Arbeitslast eines Operators auch die Leistung der anderen Operatoren. In dieser Arbeit untersuchen wir den Interferenzeffekt zwischen mehreren Operatoren, indem wir ein Vorhersagemodell erstellen. Um diese Aufgabe zu lösen, betrachten wir sie als ein Regressionsproblem, bei dem wir die Ankunftsrate eines Operators verwenden, um die Verarbeitungszeit eines anderen Operators auf demselben Knoten vorherzusagen. Um auch den Unterschied zwischen den Ankunftsraten verschiedener Ereignistypen zu berücksichtigen, führen wir den Balance Score als zweite Eingabevariable ein. Als nächstes entwerfen wir ein Experiment, um vielfältige Daten zu generieren. Die so generierten Daten werden dann verwendet, um Vorhersagemodelle zu erstellen, wofür zwei verschiedene Methoden verwendet werden: Regressionsanalyse und ein Neurales Netzwerk. Nachdem wir für jede Methode das beste Vorhersagemodell gefunden haben, vergleichen wir die Leistung dieser Modelle. Hier zeigen wir, dass das bessere Modell hauptsächlich vom spezifischen Anwendungsfall des CEP-Systems abhängt.