Browsing by Author "Muñoz Barón, Marvin"

Now showing 1 - 2 of 2

Open Access
Validating the threats to validity in program comprehension experiments
(2022) Muñoz Barón, Marvin
HINTERGRUND: Der Entwurf von empirischen Softwareentwicklungsmethoden setzt die Existenz von Beweisen voraus, um die angewandte Methodik auf empirische Fakten zu stützen. Das Verstehen der Faktoren, die experimentelle Ergebnisse beeinflussen können, wie man geeignete Stichproben und Versuchsobjekte auswählt und wie man statistische Methoden korrekt anwendet, ist Voraussetzung zur Entwicklung fundierter Forschungsmethoden. Dies gilt insbesondere in einem Bereich wie dem des Programmverstehens, bei dem hunderte verschiedene kontextuelle Faktoren die Validität der erzielten Ergebnisse beeinflussen können. Hier haben Forscher oft Intuitionen darüber, was die Validität ihrer Studien gefährden könnte, haben aber keine Beweise, um ihre Behauptungen zu unterstützen. ZIEL: Diese Studie untersucht die Risikofaktoren für die Validität von Experimenten über das Programmverstehen, um Beweise für ihre Existenz zu sammeln, den Kontext und die Art zu verstehen, in dem sie auftreten und schließlich Forschern zu helfen, kontrollierte Experimente mit hoher Validität zu entwerfen. METHODEN: Zunächst führen wir ein systematisches Review über bestehende Experimente zum Programmverstehen durch und fassen zusammen, welche Risikofaktoren für die Validität sie nennen. Anschließend gehen wir den drei am häufigsten genannten Faktoren nach, indem wir im begrenzten Umfang systematische Reviews durchführen und die gesammelten Beweise mithilfe eines Evidenzprofils auswerten, um ihren Einfluss als Faktor zu untersuchen. ERGEBNIS: Wir fanden heraus, dass nur 31 von 409 (8 %) individuellen Risikofaktoren mit entsprechenden Beweisen aufgeführt wurden. Für die drei häufigsten Faktoren - Programmiererfahrung, Programmlänge und das Maß für Verständnis - haben wir außerdem festgestellt, dass kontextbezogene Faktoren wie die Messmethoden, die individuellen Merkmale der Bevölkerungsstichprobe und die konkreten experimentellen Aufgaben die Art und Weise verändern, wie sich ein Faktor auf die Ergebnisse einer Studie auswirkt. FAZIT: Risikofaktoren für die Validität sind in hohem Maße kontextabhängig und müssen daher auf unterschiedliche Weise kontrolliert werden. Forscher sollten sich bei ihrer Entscheidungsfindung auf vorhandene Evidenz stützen und explizit darauf eingehen, warum ein Faktor die Validität gefährdet und wie sie im Kontext ihrer Studie kontrolliert wurde. Aus diesem Grund benötigen wir strukturierte Richtlinien für die Meldung von Risikofaktoren für die Validität und öffentliche Wissensdatenbanken, die Faktoren, Beweise und Mitigationsmaßnahmen für Experimente zum Programmverständnis enthalten.
Open Access
A Validation of Cognitive Complexity as a Measure of Source Code Understandability
(2019) Muñoz Barón, Marvin
Das Verstehen von Quellcode ist ein wesentlicher Bestandteil des Softwareentwicklungsprozesses. Es hat bereits zahlreiche Versuche gegeben, Quellcodemetriken zu beschreiben, die mit der Verständlichkeit korrelieren, aber nur wenige werden empirisch ausgewertet und diejenigen, die es sind, zeigen keine bedeutsame Unterstützung für ihren Zweck. Eine neuere Anstrengung ist Cognitive Complexity, ein Maß, das speziell als Metrik für die Verständlichkeit beschrieben wird. Das primäre Ziel dieser Studie war es, Beweise für die Bestimmung der Validität von Cognitive Complexity als Maß für die Verständlichkeit von Quellcode zu finden. Um dies zu erreichen, haben wir eine systematische Literaturrecherche geplant und durchgeführt, um Quellcode-Schnipsel zu finden, die in früheren Studien hinsichtlich ihrer Verständlichkeit bewertet wurden. Die Cognitive Complexity dieser Schnipsel wurde dann mit den in den Studien verwendeten Maßen der Verständlichkeit korreliert. Die Literaturrecherche identifizierte Daten aus 14 Studien, die 324 Code-Schnipsel und ungefähr 24.400 individuelle menschliche Auswertungen umfassten und in der Korrelationsanalyse verwendet wurden. Die Ergebnisse zeigen, dass die Cognitive Complexity bei den meisten Maßen aus bestehenden Studien signifikant mit der Verständlichkeit des Quellcodes korreliert. Der Mittelwert der signifikanten Korrelationen betrug 0,654 für die Zeit zum Verstehen und 0,411 für die subjektive Bewertung der Verständlichkeit, Lesbarkeit und der Zuversicht der Studienteilnehmer. Die Korrelation mit der Korrektheit der Veständnisaufgaben zeigte gemischte Ergebnisse, mit einigen signifikanten positiven und einigen signifikanten negativen Korrelationen. Insgesamt zeigen die in dieser Studie gesammelten Beweise eine signifikante Unterstützung für die Validität von Cognitive Complexity. Nach unserer Kenntnis ist Cognitive Complexity die erste rein codebasierte Metrik, die in bedeutsamer Weise mit der Verständlichkeit von Quellcode korreliert.