Analyzing student knowledge status

Abstract

Over time, various learning management systems have been developed. One of these is MEITREX, a gamified intelligent tutoring system, which has been developed specifically for software engineering eduction at higher education institutions. By providing students with individual feedback and learning material adapted based on students’ individual process MEITREX should increase students motivation. To provide students with individual feedback and to adapt learning materials based on students’ current knowledge status, the student’s current knowledge status needs to be automatically and reliably determined. Currently, MEITREX uses a simple score to determine students current knowledge. This approach has several drawbacks. This approach for example doesn’t determine students’ knowledge of a single skill, but of the content of a chapter. Additionally, a student needs to repeat each assessment of a chapter a certain number of times to master the content of a chapter, despite having mastered the content before. Over the past decades, different approaches for the estimation of students’ knowledge status have been introduced. The introduced approaches range from simple machine learning models to complicated neural networks, hidden markov models and approaches, that have their origins in the chess world but have been modified. All approaches have in common, that their estimation of students’ knowledge status is based on the students’ performance on exercises. One of these established and reliable approaches should replace the old score. Not all models are equally well suited for usage in an MEITREX. Therefore the requirements such a model needs to meet are defined and a requirement analysis based on the existing literature is conducted to find promising model groups, as the existing approaches can be grouped into eight groups of models. Based on the results of this requirement analysis the performance of eight promising models from three different model groups is tested. Of all tested models, that fulfill the most important requirements M-Elo showed the best performance and therefore M-Elo was integrated into MEITREX. Junit Tests and a short evaluation showed, that the integration M-Elo into MEITREX was successful. Im Lauf der Zeit wurden verschiedene Learning Management Systeme entwickelt. Eines davon ist MEITREX, ein gamified intelligent tutoring system, welches für die Software Engineering Lehre an Universitäten und Hochschulen entwickelt wurde. MEITREX soll die Motivation von Studierenden durch das Zurverfügungstellen von individuellem Feedback und an die individuellen Bedürfnisse der Studierenden angepasste Lernmaterialen erhöhen. Um Studierenden individuelles Feedback geben zu können, muss der Wissensstand der Studierenden ermittelt werden. Aktuell verwendet MEITREX hierfür einen einfachen Score. Dieser Ansatz verfügt allerdings über einige Nachteile. So wird der Wissenstand von Studierenden nicht für einzelne Kompetenzen, sondern für einzelne Kapitel erhoben. Desweitern muss ein Studierender um eine Kompetenz zu meistern, alle Assessments, die zu einem Kapitel gehören mehrfach bearbeiten, auch wenn der Studierende die Kompetenz bereits gemeistert hat. Im Lauf der letzten Jahrzehnte wurden verschiedene Ansätze, welche den aktuellen Wissenstands eines Studierenden anhand dessen excersise record erheben können, vorgestellt. Diese Ansätze reichen von einfachen Machine Learning Ansätzen über hidden Markov Modelle und komplizierte neuronale Netze bis hin zu Ansätzen, die ihren Ursprung in der Schachwelt haben. Einer dieser etablierten und nachgewiesen zuverlässigen Ansätze soll im Rahmen dieser Arbeit den alten Score ersetzen. Allerdings erfüllen nicht alle Ansätze die Anforderungen, die ein Einsatz in MEITREX an diese Modelle stellt, gleich gut. Um ein passendne Ansatz zu finden, wurde im Rahmen dieser Arbeit alle Anforderungen, die ein Einsatz in MEITREX an dieses Modell stellt, definiert und mit Hilfe der zur Verfügung stehenden Literatur eine Anforderungsanalyse durchgeführt. Die bestehenden Ansätze können in acht Gruppen gruppiert werden, davon können drei Gruppen anhand der Ergebnisse der Anforderungsanalyse als vielversprechend eingestuft werden. Anschließend wurde die Performance von 8 Modellen, die zu den 3 vielversprechenden Modellgruppen gehören, getestet. Anhand der Ergebnisse dieser Tests und der Anforderungsanalyse wurde M-Elo als das Modell gewählt, das in MEITREX integriert werden soll. Anschließend wurde M-Elo in MEITREX integriert und die erfolgreiche Integration durch JUnit Tests und zwei User Stories sichergestellt.