Controlled user study : usability and efficiency evaluation of the parallel performance catalogue extension for the Palladio-Bench

Abstract

For the last two decades, the number of cores in modern CPUs has been steadily increasing. This enables a significant leap in the performance of modern software when the right parallel programming approaches and strategies are being used. One tool used by software performance engineers to examine and evaluate the performance and reliability of pieces of software is the Palladio-Bench. This tool allows its users to analyse these and many more Quality of Software (QoS) properties such as sizing, scalability, and load balancing, based only on graphical models of the software architecture. After various pieces of research showed that the Palladio-Bench does not fully support parallelism, and the modelling of parallel programming strategies, a new extension for the tool was developed. This new extension for the Palladio-Bench incorporates fundamental parallel programming approaches into its already existing toolkit. The researchers that proposed the extension also claimed that it has higher usability and better time efficiency than the standard modelling toolkit of the Palladio-Bench. However, they were not able to prove it since the extension was not yet developed. The purpose of this thesis is to put the supposed usability gains to the test. It compares the standard toolkit and the new extension in the context of the modelling of parallel behaviours. To support this study, a set of research questions was defined. The chosen research method was the conduction of a controlled empirical user study. Sixteen participants were recruited and split into two groups. Each group had to complete different modelling tasks with the standard toolkit and the extension. While they were working on the tasks, several metrics were recorded: task completion time, time spent in errors, number of errors, and usability evaluation. Afterwards, this data was statistically analysed and tested. The results of the analysis prove that the extension increases the usability and the time efficiency of the Palladio-Bench. A reduction in the time spent in errors and the number of errors, however, could not be proved.

In den letzten zwei Jahrzehnten ist die Anzahl von Kernen in modernen Prozessoren stetig gestiegen. Dies ermöglicht einen signifikanten Anstieg in der Performanz moderner Software, wenn die richtigen Strategien und Ansätze für parallele Programmierung angewandt sind. Ein Software-Werkzeug, das von Software-Performance-Ingenieuren verwendet wird, um die Performanz und Zuverlässigkeit zu analysieren und evaluieren, ist die Palladio-Bench. Dieses Werkzeug ermöglicht auch die Analyse von mehreren weiteren Softwarequalitätseigenschaften, wie Skalierbarkeit und Lastverteilung, basierend nur auf grafischen Modellen der Softwarearchitektur. Nachdem mehrere wissenschaftliche Arbeiten gezeigt haben, dass die Palladio-Bench Parallelität und die Modellierung von parallelen Programmieransätzen nicht völlig unterstützt, wurde eine neue Erweiterung für das Werkzeug entwickelt. Diese neue Erweiterung integriert fundamentale parallele Programmierstrategien in das schon existierende Toolkit von Palladio. Die Autoren, die die Erweiterung vorgeschlagen haben, behaupten, dass diese eine höhere Usability und Zeiteffizienz als das Standardtoolkit hat. Dies konnten sie aber nicht beweisen, da die Erweiterung noch nicht implementiert wurde. Das Ziel dieser Thesis ist die Analyse der behaupteten Usability-Verbesserungen. Sie vergleicht das Standardtoolkit und die Erweiterung im Zusammenhang mit der Modellierung paralleler Verhalten. Um die Recherche zu unterstützen, wurden vier Forschungsfragen definiert. Die gewählte Forschungsmethode war die Durchführung einer kontrollierten empirischen Nutzerstudie. Sechzehn Teilnehmer wurden rekrutiert und in zwei Gruppen unterteilt. Während der Durchführung wurden mehrere Metriken gemessen: Zeit zur Aufgabenerfüllung, Zeit verbracht mit Fehlern, Fehleranzahl und Usability-Evaluation. Die Resultate der Analyse haben die Verbesserungen in der Usability und der Zeiteffizienz erfolgreich bewiesen. Eine Reduzierung der Zeit, die mit Fehlern verbracht wurde und der Fehleranzahl konnte aber nicht bewiesen werden.