AI-assisted authoring in the Software Engineering domain : an empirical study on using ChatGPT

Abstract

ChatGPT is a popular AI tool with potentially many uses. This thesis looks at how ChatGPT 3.5 can be utilized to improve the academic writing process in the Software Engineering domain by interviewing ChatGPT users from this domain and performing a literature review. The result is a guideline that offers a general workflow and prompting templates for utilizing ChatGPT as an editing tool. An evaluation experiment was performed, suggesting, but not proving, major time savings and quality improvements for individuals with linguistic barriers. In addition, a final interview with the participants resulted in an improved version of the guideline ChatGPT ist ein beliebtes AI Werkzeug mit vielen potentiellen Einsatzgebieten. Diese Thesis untersucht, wie man ChatGPT 3.5 zur Verbesserung des wissenschaftlichen Schreibens in der Software Engineering Domäne nutzen kann. Hierfür wurden Nutzer dieser Domäne interviewt und eine Literaturrecherche durchgeführt. Daraus ist eine Guideline hervorgegangen, welche einen allgemeinen Arbeitsablauf und prompting Muster anbietet, um ChatGPT als Editierhilfe zu nutzen. Die Guideline wurde Mithilfe eines Experimentes ausgewertet, welches darauf hindeutet, aber nicht beweist, dass ChatGPT sowohl den Zeitaufwand verringern als auch die Qualität verbessern kann, wenn der Nutzer sprachliche Barrieren hat. Zusätzlich wurde ein finales Interview mit den Experimentteilnehmern durchgeführt, welches zu einer verbesserten Version der Guideline führte.