Monitoring serverless applications : an SLO-based approach

Abstract

The serverless paradigm in cloud computing is definitely here to stay as it offers cloud service customers the possibility to focus even more on business and forget about operational and infrastructural concerns, which are handled by the cloud service provider. Thus, an increasing amount of cloud applications make use of Function-as-a-Service components, which are characteristic for the serverless cloud execution model. The possibilities for monitoring such cloud applications, are for the most part restricted to the cloud monitoring services provided by the cloud service providers, thus, the approaches to monitoring are limited. What is lacking is a flexible solution which allows its users an easy way to set up Service Level Objectives (SLOs) and which ensures that these are not violated unnoticed. This should be the case even if the monitored application is made up of different serverless components, such as Function-as-a-Service components, or even deployed across different environments. Although some monitoring tools are starting to support the monitoring of SLOs, these solutions are not freely available and not SLO-centered. The objective of this thesis is the extension of an existing software prototype to allow an SLO-centered monitoring of serverless cloud applications. In order for the resulting tool, which is called SoLOMON, to be as generally applicable and as useful as possible, it is implemented in such a way that it does not rely on the instrumentation of the monitored application and can easily be extended. To aid the selection of the most suited implementation approach for our goal, there is a prior investigation of what metrics apply meaningfully in serverless applications and which different possibilities exist to obtain them. Furthermore, a format for defining the SLOs which are to be modelled in SoLOMON is developed and presented. After implementing the new functionalities for SoLOMON, the tool is tested and evaluated in a real cloud application environment, namely the Connectivity Feature Service backend application developed by the company Vector Informatik GmbH. The evaluation shows that SoLOMON is successful in achieving its main goals and shows great potential to help its users manage the complexity of creating and monitoring SLOs for their serverless applications.

Das Serverless Paradigma im Bereich Cloud Computing hat weiterhin Zukunft, da es den Cloud-Nutzern die Möglichkeit gibt sich auf geschäftliche Aspekte zu fokussieren. Operationelle und infrastrukturelle Anliegen werden hier nämlich von dem Cloud-Serviceanbieter gehandhabt. Wegen dieser Vorteile verwenden immer mehr Cloud-Anwendungen sogenannte Function-as-a-Service Komponenten, welche charakteristisch für das Serverless Cloud-Modell sind. Die Auswahl der Monitoring-Lösungen für Serverless Cloud-Anwendungen ist größtenteils auf die Monitoring-Dienste der Cloud-Anbieter beschränkt und damit relativ limitiert. Was fehlt ist eine flexible Lösung die ihren Nutzern einen einfachen Weg zum Erstellen von Service Level Objectives (SLOs) anbietet und die sicherstellen kann, dass diese nicht unbemerkt verletzt werden. Dies soll sogar dann möglich sein, wenn die zu überwachende Anwendung aus verschiedenen Serverless-Komponenten, wie zum Beispiel den Function-as-a-Service-Komponenten, besteht, oder wenn die Anwendung über verschiedene Umgebungen hinweg verteilt läuft. Inzwischen unterstützen manche Monitoring-Tools das Überwachen von SLOs, jedoch sind diese Tools nicht kostenlos erhältlich und nicht SLO-zentriert. Das Ziel dieser Masterarbeit ist die Erweiterung eines existierenden Software-Prototypen, so dass dieser Serverless Cloud-Anwendungen in einer SLO-zentrierten Art überwachen kann. Damit die resultierende Anwendung, die SoLOMON heißt, so allgemein anwendbar und nützlich wie möglich ist, wird sie so entwickelt dass sie leicht erweiterbar ist und dass die zu überwachende Anwendung nicht instrumentiert werden muss. Für die Auswahl des Implementierungsansatzes der am besten für das Erreichen unserer Ziele geeignet ist, findet eine vorbereitende Untersuchung statt. In dieser geht es darum welche Metriken im Kontext von Serverless-Anwendungen sinnvoll sind und wie diese gesammelt werden können. Weiterhin entwickeln und präsentieren wir ein Format für SLOs, welches in SoLOMON verwendet werden soll. Nachdem die neue Funktionalität für SoLOMON entwickelt wurde, wird das Tool in einem realistischen Cloud-Umfeld getestet und evaluiert. Dieses Cloud-Umfeld ist durch die Connectivity Feature Service (CFS) Backend-Anwendung gegeben, die von der Firma Vector Informatik GmbH entwickelt wird. Die Evaluation demonstriert, dass SoLOMON seine Hauptziele erfüllt und großes Potenzial darin zeigt seinen Nutzern zu ermöglichen die Komplexität des Erstellens und des Überwachens von SLOs für Serverless-Anwendungen handzuhaben.