Concern-driven reporting of declarative performance analysis results using natural language and visualization

Abstract

Recent trends in the development of software architectures show that an increasing interest in the quality assurance of software solutions exists. To sustain the value of these programs, continuous testing and performance analysis has to be performed in every layer of the application. This process is usually performed by performance analysts, which are aware of pitfalls and unsuspected problems. Moreover is the development of software shifting into the culture of DevOps, the practice of managing all steps of the software construction in one department. This requires developers to be flexible and perform a diverse amount of tasks. In the case of performance analysis, a developer has to take the place of a software analyst. It requires profound expertise in the field of software performance evaluation. With an exceeding amount of analysis technologies, it is impossible to be an expert in every analysis solution. This suggests that the process of performance analysis has to be altered and simplified. On the one hand, people outside the performance analysis community have to be provided with tools for easier access. On the other hand, the complexity of such tools should support advanced expert configurations as well.

Declarative Performance Engineering (DPE) tries to abstract the definition of performance relevant questions and the execution of the performance evaluation. The idea behind DPE is to hide complex configuration from inexperienced users and provide existing use cases to perform simple and advanced performance analysis. This thesis aims to provide users of performance evaluation with such a declarative approach. Users can formulate questions in human language and receive a range of evaluation options through the format of the question. The results of those evaluation methodologies are independently processed and presented to the user based on the asked question. This is done with declarative methods and advanced visualization technologies.

To get a prospect on the possibilities in declarative performance reporting, a prototype is created that will be evaluated by two user groups in a user study. Experts in performance analysis will show what level of detail is necessary to make accurate predictions. Inexperienced users with no background in performance analysis will report which level of support is needed to perform basic evaluations. The outcome of the study will be examined on the differences in user behavior between the two user groups and reflects on the possible use of the prototype in the future. Collected data will be discussed and set into context with existing projects in the area of declarative performance analysis.

Kürzliche Trends in der Entwicklung von Softwarearchitekturen zeigen, dass sich das Interesse an Qualitätssicherung gesteigert hat. Um die Qualität eines Programms zu erhalten muss auf jeder Ebene der Architektur kontinuierlich getestet sowie Performanzanalysen durchgeführt werden. Dieser Prozess wurde bisher von Performanzanalysten durchgeführt, die Fallstricke und unerwartete Probleme erkennen können. Überdies verlagert sich die Entwicklung von Software in die DevOps-Kultur - der Prozess, in der alle Schritte der Softwareentwicklung zentral zusammengeführt werden. Dies hat dazu geführt, dass es für Softwareentwickler anspruchsvoller geworden ist, die Aufgaben eines Performanzanalysten zu erledigen. Im diesem Fall fungiert ein Softwareentwickler als Performanzanalyst. Es erfordert tiefgreifende Kenntnisse, um die breite Auswahl an Evaluationsmöglichkeiten zu benutzen und macht es damit unmöglich, ein Experte in jeder Methode zu sein. Dies legt nahe, dass der Prozess der Performanzanalyse abgeändert und vereinfacht werden muss. Zum einen muss für Personen außerhalb der Gemeinschaft der Performanzanalysten ein erleichteter Zugang geboten werden, zum anderen sollten die Ansprüche erfahrener Performanzanalysten weiterhin erfüllt werden.

Declarative Performance Engineering (DPE) versucht die Definitionen performanz-relevanter Fragen und die Ausführung von Performanzanalysen zu abstrahieren. Die Idee von DPE ist es, komplexe Konfigurationen von unerfahrenen Benutzern zu verbergen und vorhandene Anwendungsfälle bereitzustellen, um einfache Performanzanalysen durchzuführen. Diese Arbeit zielt darauf ab Nutzern von Performanzanalysen eine solche Alternative, zu bestehenden Methoden, zu bieten. Nutzer können Fragen in menschlicher Sprache formulieren und erhalten durch das Format der Frage eine Auswahl an Evaluationsmöglichkeiten. Die Ergebnisse einer solchen Evaluation werden selbstständig verarbeitet und dem Nutzer, basierend auf der gestellten Frage, präsentiert. Dies geschieht mit deklarativen Methoden und bewährten Visualisierungsmethoden.

Um einen Überlick zu schaffen, welche Möglichkeiten es in der deklarativen Berichterstattung gibt, wird ein Prototyp entwickelt, der von zwei Benutzergruppen bewertet wird. Experten der Performanzanalyse werden aufzeigen, welches Maß an Detail nötig ist, um Vorhersagen zu machen. Unerfahrene Nutzer, die keinen Hintergrund in der Performanzanalyse haben, werden berichten wie groß die Unterstützung sein muss, um eine Performanzanalyse durchzuführen. Das Ergebnis der Studie wird auf die unterschiedliche Nutzung der zwei Nutzergruppen untersucht und reflektiert im Anschluss über den potentiellen Nutzen des Prototypen in der Zukunft. Die gesammelten Daten werden diskutiert und in den Kontext bereits existierender Projekte im Bereich der deklarativen Berichterstattung von Performanzanalysen gestellt.