EvalQuiz : self-assessment generated through language transformer models

Abstract

This thesis explores the constraints of self-assessment creation in higher education, focusing on the lack of tools, standardization, and time. We conduct didactic field expert interviews to investigate how teaching evolves towards learning management systems (LMS) with new possibilities for selfassessment generation. We propose EvalQuiz, a novel system that enables language model-assisted self-assessment creation. The system generates questions of different types, improving upon related work while addressing language model restrictions through filtering. EvalQuiz aims to bridge the gap between lecturers and students, enabling lecturers to work with educational objectives and lecture materials to provide student-centered self-assessment. The thesis aims to answer questions about the reliability and quality of self-assessment generation. EvalQuiz proposes a message composer scheme to reliably generate output according to a specification. The thesis defines a standardized self-assessment specification used with EvalQuiz. We conduct a survey evaluating EvalQuiz’s real-world performance.

Die Bachelorabeit untersucht Einschränkungen bei der Erstellung von Lernstandsquizze im universitären Umfeld, mit Fokus auf fehlenden Tools, Standardisierung und Zeit. Die Ausarbeitung umfasst Interviews mit Didaktikexperten um die Generierung von Lernstandsquizzen und dessen Integration in Lernplatformen zu erörtern. Wir präsentieren EvalQuiz, ein System zur Erstellung von Lernstandsquizzen mit Sprachmodellen. EvalQuiz kann Fragen verschiedener Typen generieren und verbessert somit vorherige Arbeiten. EvalQuiz filtert Materialien für die Nutzung mit Sprachmodellen. EvalQuiz strebt beiderseits die Unterstützung von Dozenten und Studenten an. Es ermöglicht Dozenten ihre Lernziele und Vorlesungsmaterialien mit EvalQuiz zu nutzen, um Lernquizze zu erstellen, die relevant für die Studierenden sind. Die Arbeit beantwortet Fragen zur Zuverlässigkeit und Qualität der Erstellung von Lernstandsquizzen mit Sprachmodellen. Die Arbeit beschreibt eine Methode um zuverlässig Daten bestimmter Datentypen mit Sprachmodellen zu erzeugen. Die Ausarbeitung standardisiert Datentypen von Fragetypen. Eine Studie liefert Einblicke in die Performance von EvalQuiz.