Specification and runtime extraction of enterprise application architectures for expert-guided performance problem diagnosis

Abstract

The non-functional requirements (NFRs) of enterprise application systems (EASs) have a significant impact on the Key Performance Indicators (KPIs) of companies. Among NFRs like accessibility, security, and reusability is performance considered as one of the top most important. Performance quantifies the degree to which an application meets the requirements, with respect to response times and resource utilization. To enable early performance problem detection, so-called Application Performance Management (APM) tools are integrated in an EAS life cycle.

Due to the high initial and ongoing configuration effort of APM tools, they have hardly been accepted in the industry. This results in time-consuming and error-prone manual performance problem diagnosis. These vulnerabilities of APM tools are addressed by the diagnoseIT research project. The main objective of the project is to enrich existing APM processes with automated configuration of instrumentations as well as automated performance problem detection and diagnosis. Since there is already a wide variety of APM tools, diagnoseIT does not implement a new tool to measure performance metrics. Instead, already existing APM tools provide their monitoring data to diagnoseIT. As part of this research project arose this work and contributed three components to the diagnoseIT framework.

As a basis for performance problem diagnosis, diagnoseIT needs to know a variety of information (e.g., system architecture, execution environment, and dynamic runtime data) about the monitored EAS. Therefore, an Enterprise Performance Model (EPM) was designed and implemented in the first part of this thesis. The second part of the work was to provide a maintenance service for the EPM and an associated integration interface for third-party APM tools. The implemented components were assembled to a prototypical implementation of the diagnoseIT framework. The final evaluation of the implemented solution has shown that we are able to maintain the EPM by connecting the Kieker application performance monitoring tool to diagnoseIT. The evaluation results of extensive load tests showed, however, that the processable amount of data is limited by the current implementation of the persistence unit.

Die nicht-funktionalen Qualitätseigenschaften (NFRs) von Enterprise-Anwendungen (EASs) haben eine signifikante Auswirkung auf die Leistungskennzahlen von Firmen. Unter den NFRs wie Zugänglichkeit, Sicherheit und Wiederverwendbarkeit gilt die Performance als eine der allerwichtigsten. Die Performance entscheidet darüber, in welchem Ausmaß eine Anwendung in punkto Antwortzeit und Nutzung der Ressourcen den Anforderungen entspricht. Um das frühe Erkennen von Performance-Problemen zu ermöglichen, werden sogenannte Application Performance Management (APM)-Tools in den EAS-Lebenszyklus integriert. Wegen des hohen anfänglichen, aber auch anhaltenden Pflegeaufwands von APM-Tools werden sie in der Industrie kaum eingesetzt. Das alles läuft auf eine zeitraubende und fehlerbehaftete manuelle Problemdiagnose der Performance heraus. Diese Unzulänglichkeit der APM-Tools wird durch das diagnoseIT -Forschungsprojekt angegangen. Das Hauptziel des Projektes ist es, schon bestehende APM-Prozesse sowohl mit automatisierter Konfiguration von Instrumentierungen anzureichern als auch mit automatisierter Entdeckung und Diagnose von Performance-Problemen. Da es bereits eine große Auswahl von APM-Tools gibt, führt diagnoseIT kein neues Tool ein, um die Performance-Metrik zu messen. Stattdessen stellen bereits bestehende APM-Tools ihrer Daten für diagnoseIT zur Verfügung. Aus diesem Forschungsprojekt heraus entstand die vorliegende Arbeit. Das Ziel dieser Arbeit war es, drei Komponenten für diagnoseIT bereitzustellen. Ein sogenanntes Enterprise Performance Model (EPM) wurde definiert und implementiert, um einlaufende monitoring data zu speichern und zu verarbeiten. Um das EPM zugänglich zu machen, wurde ein System Model Maintenance Interface (SMMI) implementiert. Die Tool-Integration für bereits existierende APM-Lösungen wurde als Adapter realisiert. Alle Komponenten sind zusammengefügt als prototypische Implementierung des diagnoseIT-Frameworks. Die abschließende Evaluation der implementierten Lösung hat gezeigt, dass wir das EPM befüllen und auswerten können, indem wir das Kieker APM-tool mit diagnoseIT verbinden. Die Resultate der Evaluation von ausführlichen Belastungstests zeigten jedoch, dass die verarbeitbare Datenmenge durch die aktuelle Implementierung der Persistenzschicht beschränkt ist.