ChatGPT 3.5 im Hochschul-E-Assessment: Prüfungsleistung, akademische Integrität und zukünftige Bewertungsansätze
Fokuswoche E-Learning 2023
Angesichts der einfachen Zugänglichkeit von LLM-Modellen könnte Künstliche Intelligenz zukünftig entscheidend beeinflussen, was und wie an Hochschulen geprüft wird. Eine konkrete Frage betrifft hierbei die Prüfungsleistung von ChatGPT 3.5 im Vergleich zu Studierenden unterschiedlicher Fachbereiche und die möglichen Auswirkungen auf die akademische Integrität. Unsere Studie umfasste 19 Prüfungen aus Agrarökologie, BWL, Erziehungswissenschaften, Informatik und Sozialwissenschaften und liefert einen ersten Einblick in diese Frage. Unsere Ergebnisse zeigen, dass ChatGPT 3.5 in einigen Prüfungen den durchschnittlichen Studierendenleistungen entspricht oder diese sogar leicht übertrifft, während es in anderen Fällen nicht gelingt, die für das Bestehen des Kurses notwendige 50%-Marke zu erreichen. Die Grundlage für unsere Studie bildete ein Basis-Szenario der GPT-Fähigkeiten ohne menschliche Denkleistung. Es ist anzunehmen, dass Studierende, die über Fachkenntnisse, Prompting-Fähigkeiten und/oder fortgeschrittene LLM-Tools verfügen, potenziell noch bessere Ergebnisse erzielen könnten. Auf Basis unserer Erkenntnisse und ergänzt durch Fallstudien sowie eine Fokusgruppe von Studienteilnehmenden präsentieren wir Überlegungen für zukünftige Assessment-Strategien.
Zu den Personen: Dr. Evgenia (Zhenya) Samoilova, PhD arbeitet an der Professur "Komplexe Multimediale Anwendungsarchitekturen" der Universität Potsdam und ist wissenschaftliche Mitarbeiterin im Projekt TrainDL. Dr.
Tobias Moebert beschäftigt sich mit der Entwicklung von Anwendungen für mobile Geräte mit Schwerpunkt auf iOS Apps.
