How to speed up BDD automated acceptance testing for safety-critical systems

Abstract

An important aspect of developing safety-critical systems is testing, and in some cases an agile development and testing approach is desirable. To reflect and test safety requirements, a process based on Behavior Driven Development (BDD) is considered in this work. The goal is to have an as efficient as possible process for BDD automated acceptance testing. The original process for this, used in an earlier experiment, is examined and automatable parts are identified. Based on this, improvements to the process are proposed and implemented. This results in an updated process, that utilizes a newly implemented command line tool written for the purpose of producing test cases. These can then be used for the BDD automated acceptance testing process. Finally, an evaluation with students BDD acceptance testing a sample system is conducted, to determine the effectiveness of the improved process. The results of the evaluation show benefits in productivity when using the improved process.

Beim Entwickeln sicherheitskritischer Systeme ist das Testen ein wichtiger Aspekt. Es kann sinnvoll sein, hier auf agile Methoden wie BDD zurückzugreifen. In dieser Ausarbeitung wird ein Prozess basierend auf BDD betrachtet, der das Testen von Sicherheitsanforderungen erleichtert. Das Ziel ist es, diesen Prozess zu modifizieren um möglichst effizient ein System, mittels BDD Akzeptanztests, testen zu können. Der ursprünglich betrachtete Prozess stammt aus einem früheren Experiment. Im Rahmen dieser Ausarbeitung werden Verbesserungen gesucht, indem Teile des Prozesses mit Hilfe eines neu entwickelten Kommandozeilen-Werkzeugs automatisiert werden. Zum Abschluss wird eine Evaluation durchgeführt, bei der Studenten den neuen Prozess anwenden, um ein Mustersystem zu testen. Das Ergebnis der Evaluation zeigt Verbesserungen bei der Produktivität mit Hilfe des neuen Prozesses auf.