Experimentelle Untersuchung des Placeboeffekts beim Verstehen von Quellcode

Abstract

Hintergrund: Softwaremetriken zur Messung von Komplexität sind fester Bestandteil der Softwaretechnik. Metriken werden zum Beispiel verwendet, um die Komplexität von Quellcode zu quantifizieren, viele dieser Metriken sind jedoch nicht ausreichend validiert. In der Softwaretechnik sind Placeboeffekte – nach unserem Wissen – bisher nicht untersucht. Außerhalb der Softwaretechnik sind sie in einer Vielzahl von Kontexten bekannt und können sich zum Beispiel auf Kognition auswirken. Es ist ungeklärt, ob nicht ausreichend validierte Metriken durch Placeboeffekte einen Einfluss auf Kognition von Softwareentwicklern haben. Ziel: In dieser Arbeit untersuchen wir den Einfluss von nicht validierten Softwaremetriken im Kontext von Placeboeffekten beim Verstehen von Quellcode in Hinblick auf das Codeverständnis von Softwareentwicklern. Methode: Wir führen ein doppelt-blindes Experiment mit 45 Teilnehmern, einer unabhängigen Variable und zwei Treatment-Gruppen durch. Teilnehmer müssen Java-Methoden verstehen und Rückgabewerte berechnen. Als Treatment wird jeder Gruppe eine andere Bewertung der Verständlichkeit, in Form einer manipulierten Metrik, präsentiert. Wir untersuchen, welchen Einfluss eine manipulierte Metrik auf die subjektive Wahrnehmung hat (RQ1) und, ob die Manipulation einen Einfluss auf das Codeverständnis hat (RQ2). Weiter untersuchen wir explorativ, welche individuellen Charakteristiken dabei eine Rolle spielen (RQ3). Ergebnisse: Die beiden Gruppen haben identische Java-Methoden signifikant unterschiedlich bewertet (RQ1). Die Gruppen waren bezüglich ihres Codeverständnisses nicht signifikant unterschiedlich (RQ2). In der explorativen Analyse wurde eine Korrelation mit dem Grad, mit dem Teilnehmer sich an den vorgegebenen Metrikwert gehalten haben, und dem individuellen Charakteristikum „Ängstlichkeit“ gefunden (RQ3). Limitationen: Um einen möglichen starken Placeboeffekt zu erreichen, haben wir die Metrik sehr prominent platziert und beworben, in Entwicklungsumgebungen ist dies meistens nicht der Fall. Schlussfolgerung: Diese Arbeit zeigt, dass Verankerung durch Softwaremetriken möglich ist und bei Experimenten, die Teilnehmer nach einer subjektiven Bewertung fragen, darauf geachtet werden sollte, dass Teilnehmer nicht durch angezeigte Metriken in ihrer Bewertung verankert werden. In der Praxis könnte sich dies beispielsweise bei Aufwandsschätzungen unter Zuhilfenahme von Metriken zeigen.