Am Beispiel von ChatGPT und vergleichbaren Lösungen werden neue Formen des Lehrens, Lernens und Prüfens vorgestellt und diskutiert. Dazu gehören auch rechtliche und ethische Aspekte, die auf eine „neue“ Prüfungskultur an Hochschulen hindeuten und zugleich die Frage der Bewertung aufwerfen: Mehr „Chancen“ als „Challenge“?

Zur Person: Prof. Dr. Doris Weßels ist u. a. Forschungssprecherin Digitalisierung der Fachhochschule Kiel und Leiterin des Virtuellen Kompetenzzentrums "Schreiben lehren und lernen mit KI".

KI-Sprachmodelle wie ChatGPT sind derzeit in aller Munde. Auch für Lehrende an Universitäten stellen sich große Fragen, wie mit den beeindruckenden Werkzeugen umzugehen ist. Gerade bezüglich der Betreuung wissenschaftlicher Arbeiten werden zentrale Fragen heiß diskutiert: Sollte ChatGPT beim Erstellen wissenschaftlicher Arbeiten einfach verboten werden? Haben Haus- und Abschlussarbeiten als Prüfungsformate ausgedient? Müssen Studierende in einer Welt mit ChatGPT überhaupt noch lernen, wissenschaftlich zu schreiben? In diesem Vortrag wurden Ideen, konkrete Handlungsvorschläge und praktische Beispiele vorgestellt, wie ein didaktisch sinnvoller Umgang mit ChatGPT & Co bei der Betreuung studentischer Hausarbeiten aussehen kann.

Zur Person: Dr. Sabrina Sontheimer - Ludwig-Maximilians-Universität München, Leitung des Lehrendenprogramms am Schreibzentrumund freiberufliche Trainerin für wissenschaftliches Schreiben, Hochschuldidaktik, E-Learning und Kommunikation Als promovierte Anglistin und mit einer fast 15-jährigen Erfahrung als Hochschuldozentin ist Sabrina Sontheimer Gründungsmitglied des Münchner Dozierenden-Netzwerks.

Das BMBF hat 2021 mit der Ankündigung der Förderlinie zur "Nationalen Bildungsplattform" für Aufregung gesorgt. Viele Hoffnungen, aber auch einige Sorgen sind mit dieser Entwicklung verbunden. Der Vortrag erläutert das Anliegen und den aktuellen Stand des Vorhabens, räumt gängige Missverständnisse beiseite und zeigt Perspektiven für die Zukunft auf, insbesondere mit einem Fokus auf die Universität Potsdam.
 

Zur Person:  Prof. Dr. Ulrike Lucke von der Universität Potsdam leitet unter anderem das E-Assessment Projekt.

Angesichts der einfachen Zugänglichkeit von LLM-Modellen könnte Künstliche Intelligenz zukünftig entscheidend beeinflussen, was und wie an Hochschulen geprüft wird. Eine konkrete Frage betrifft hierbei die Prüfungsleistung von ChatGPT 3.5 im Vergleich zu Studierenden unterschiedlicher Fachbereiche und die möglichen Auswirkungen auf die akademische Integrität. Unsere Studie umfasste 19 Prüfungen aus Agrarökologie, BWL, Erziehungswissenschaften, Informatik und Sozialwissenschaften und liefert einen ersten Einblick in diese Frage. Unsere Ergebnisse zeigen, dass ChatGPT 3.5 in einigen Prüfungen den durchschnittlichen Studierendenleistungen entspricht oder diese sogar leicht übertrifft, während es in anderen Fällen nicht gelingt, die für das Bestehen des Kurses notwendige 50%-Marke zu erreichen. Die Grundlage für unsere Studie bildete ein Basis-Szenario der GPT-Fähigkeiten ohne menschliche Denkleistung. Es ist anzunehmen, dass Studierende, die über Fachkenntnisse, Prompting-Fähigkeiten und/oder fortgeschrittene LLM-Tools verfügen, potenziell noch bessere Ergebnisse erzielen könnten. Auf Basis unserer Erkenntnisse und ergänzt durch Fallstudien sowie eine Fokusgruppe von Studienteilnehmenden präsentieren wir Überlegungen für zukünftige Assessment-Strategien.

Zu den Personen: Dr. Evgenia Samoilova und Dr. Tobias Moebert sind an der Universität Potsdam am Lehrstuhl für Komplexe Multimediale Anwendungsarchitekturen beschäftigt.
Dr. Evgenia Samoilova studierte Soziologie an der Universität Bremen und arbeitet derzeit im Projekt TrainDL. Ihr Schwerpunkt liegt auf der Integration verschiedener Datenquellen zur Bewertung der Datenqualität sowie der Beantwortung inhaltlicher Forschungsfragen, Wirkungsevaluation und Monitoring.
Dr. Tobias Moebert hat Informatik an der Universität Potsdam studiert. Er forscht zur Wahrnehmung von Komplexität in der Mensch-Technik-Interaktion. In seiner Lehrtätigkeit ist er momentan als Dozent in den Kursen "Pervasive Computing" und "Ethik für Nerds" tätig.

Inhalt:

In der Hochschulbildung nimmt der Einsatz von E-Prüfungen erkennbar zu. Bei dessen Akzeptanz spielen jedoch empirisch nachgewiesen verschiedene Diversitätsdimensionen der Studierenden eine Rolle, aber gleichzeitig auch der Einfluss von individuellen Erfahrungen im Umgang mit E-Prüfungen. Daher wurden im Eröffnungsvortrag von Prof. Dr. Stefan Stürmer wesentliche Aspekte und praktische Auswirkungen der systematischen Integration von E-Prüfungen in Studium und Lehre aus Sicht eines Lehrenden, einschlägig Forschenden und Hochschulentscheiders zur Diskussion gestellt.

Zur Person:

Prof. Dr. Stefan Stürmer - FernUniversität in Hagen, Professor für Sozialpsychologie und Prorektor für Lehre und Studium. Vor dem Hintergrund seiner sozialpsychologischen Forschung war und ist Stefan Stürmer maßgeblich beteiligt an zahlreichen Projekten auch zur Weiterentwicklung digitaler Lehre, beispielsweise dem Projekt Diversity Inclusion in der mediengestützten Fernlehre oder Innovationscluster NOVA.ea.

Zielsetzungen bezogen auf "E-Assessment"

Während wir in der Lehrkräftebildung neue Lern- und Prüfungskulturen für den Unterricht erforschen und dazu lehren, bleiben Vorlesungen und Klausuren an der Universität meist in klassischen alten Formaten verhaftet. Das wollte ich ändern und meine Vorlesung so gut wie möglich nach Kriterien einer neuen Lern- und Prüfungskultur gestalten. Die Vorlesung sollte auf unterschiedliche Bedürfnisse reagieren, echte Partizipation ermöglichen, transparent auf die Prüfung vorbereiten und Lernen und Bewerten verschränken.

Umsetzung des Szenarios

Die Vorlesung wurde in Präsenz durchgeführt, live online übertragen und als Aufzeichnung zur Verfügung gestellt, um möglichst vielen Studierenden eine Teilnahme zu ermöglichen (z. B. bei zeitlichen Überschneidungen, längeren Zugausfällen (Königs-Wusterhausen), kranken Kindern, zur Nachbereitung der Sitzung, etc.). Jede Vorlesungssitzung begann mit einem konkreten, interaktiven Fallbeispiel aus der Unterrichtspraxis und teilte sich dann in einen 60 minütigen (ebenfalls interaktiven) Input-Teil (Theorien und Konzepte) und eine 30-minütige Übung (Anwendung dieser Theorien und Konzepte auf den konkreten Geographieunterricht). Dabei wurde in jeder Sitzung eine potentielle Klausuraufgabe (immer im Kompetenzbereich Transfer/Anwendung/Reflexion, immer materialbasiert und fallbezogen) von den Studierenden bearbeitet und gemeinsam besprochen (aus technischen und rechtlichen Gründen leider nur mit den Präsenzteilnehmenden). Zudem wurden für jede Sitzung Kompetenzerwartungen formuliert, sodass die Studierenden einen guten Überblick hatten, was bei der Klausur verlangt wird. So wurde einerseits ein formatives Assessment angestrebt, gleichzeitig ermöglichte mir der Übungsteil jeweils eine gute Diagnostik über den Lernstand der Gruppe und ein Nachsteuern. Während des Semesters wurde mehrfach Feedback von den Studierenden zur Gestaltung der Vorlesung eingeholt, dazu wurden digitale Tools wie Tricider, Mentimeter oder Padlet genutzt (um die Online-Teilnehmenden zu integrieren). Das Thema der letzten Vorlesungssitzung (Wunschsitzung) wurde komplett frei von den Studierenden ausgehandelt und bestimmt. Zum Ende der Vorlesung konnten die Studierenden alle Themen der Vorlesung dahingehend bewerten, wie verständlich und machbar die Konzepte für sie waren und über Tricider Argumente sammeln, inwieweit sich die Themen für die Klausur eignen. Daraus ergab sich eine Rangfolge favorisierter Klausurthemen, die ich so tatsächlich übernahm und entsprechende Aufgaben konzipierte. Die Studierenden bestimmten damit über die Inhalte der Klausur. Diese wurde in Präsenz als Open-Book-Klausur geschrieben, d.h. die Studierenden durften zwar kein Internet nutzen, aber alle ihre Notizen und Vorlesungsfolien mitbringen (um Kompetenzen statt Auswendiglernen zu prüfen und Ängste zu verringern). Die Klausur war auf 90 Minuten angesetzt, die Aufgaben wurden allerdings so konzipiert, dass sie in 60 Minuten zu bearbeiten waren. Den Studierenden wurde hier bewusst Zeit zum Überlegen, Umformulieren und Überarbeiten gegeben und das auch mehrfach deutlich so vermittelt. Dadurch sollte ebenfalls Angst abgebaut werden, um kein Arbeiten unter Zeitdruck zu prüfen, sondern so weit wie möglich an die Kompetenz zu gelangen. Zudem war es möglich, zwischen verschiedenen Aufgaben zu wählen. Alle Aufgaben waren kompetenzorientiert ergebnisoffen, bewertet wurde anhand von Performanzerwartungen, die aus den Kompetenzerwartungen jeder Sitzung abgeleitet wurden.
Das Lernen während der Vorlesung sollte also mit dem Prüfen verschränkt und abgestimmt sein und Vorlesung und Klausur partnerschaftlich mit den Studierenden gestaltet werden.

Erfahrungen

Meine Erfahrung war, dass die Studierenden sich erst an dieses neue Format gewöhnen mussten. Anfangs waren sie noch sehr im "Sich-Berieseln-Lassen"-Modus, von Woche zu Woche übernahmen sie aber mehr Verantwortung, immer mehr Studierende verstanden, dass der Übungsteil eine ganz konkrete Prüfungsvorbereitung war und ich war begeistert, wie intensiv sich die Studierenden über das Thema für die letzte Sitzung austauschten (sie wählten übrigens "Neue Lern- und Prüfungskulturen") und wie sie gegen Ende der Vorlesung die Sitzungen miteinander verknüpften (dann wechselte ich z. T. agil an die Tafel und versuchte spontan ein Tafelbild aus der parallel stattfindenden Diskussion der Studis zu entwickeln). Es war eine sehr steile Lernkurve zu erkennen und ein richtiger Wandel des Miteinanders. Wir wurden aus meiner Sicht wirklich zu gemeinsamen Gestalter:innen von Vorlesung und Klausur. Einziger Wermutstropfen: Ich habe es nicht geschafft, nebenbei noch die Online-Teilnehmenden im Chat zu betreuen, das war zu überfordernd und die Diskussion der Studierenden durften wir aus rechtlichen Gründen nicht aufzeichnen. Hier muss ich mir für nächstes Jahr noch überlegen, wie ich die Arbeitsergebnisse aus dem Übungsteil der Online-Teilnehmenden besser feedbacken kann (sie hörten nur meine Kommentare zu den Ergebnissen der Präsenzteilnehmenden). Die Klausurergebnisse waren ebenfalls sehr spannend: Ein Drittel der Studierenden erreichte die Note eins, hier war klar zu erkennen, dass die Studierenden die angestrebten Kompetenzen erworben hatten. Einige Studierenden waren allerdings enttäuscht, weil das kompetenzorientierte Prüfungsformat zu einem für sie schlechteren Ergebnis geführt hatte als bei einer reinen Reproduktionsklausur. Ich selbst war mit der Vorlesung und der Klausur sehr zufrieden und fühle mich darin bestärkt, Neue Lern- und Prüfungskulturen auch weiterhin in meine Lehre zu implementieren.

Rahmenbedingungen

Es handelte sich um eine Vorlesung für Bachelor-Lehramtsstudierende im 6. Semester. Aus meiner Sicht kann das mit jeder Gruppengröße in dieser Art durchgeführt werden. Um auch diejenigen zu beteiligen, dich sich lieber nicht im einem Hörsaal zu Wort melden möchten, eignen sich aus meiner Sicht Padlet, Mentimeter, Jamboard, Miro etc. sehr gut. Um Papier zu sparen, stellten wir den Studierenden für die Klausur ein Tablet zur Verfügung, auf dem alle Vorlesungsfolien digital gespeichert waren. Ihre persönlichen digitalen Notizen konnten sie uns im Vorfeld zum Update zuschicken (oder ihre Notizen in Papierform mitbringen). Bei größeren Gruppen ist die Zahl der vorhandenen Tablets dann ein beschränkender Faktor - dann muss erwogen werden, eigene Geräte nutzen zu lassen. Das wollten wir vermeiden - weniger wegen KI (die half bei diesen materialbezogenen und sehr spezifischen Aufgaben nicht weiter), sondern Chancengleichheit (z. B. würde chatten in einer Gruppe einen Chancenvorteil bieten gegenüber allein arbeitenden Studierenden)

Offengebliebene Aspekte

Aus meiner Sicht lassen sich Aspekte einer Neuen Lern- und Prüfungskultur sehr gut auf andere Fächer übertragen und ich würde mich freuen, mit anderen Dozierenden in einen Austausch zu treten, wie man diese klassischen Formate der Hochschullehre noch weiter im Sinne Neuer Lern- und Prüfungskulturen umgestalten kann.

Kontakt der Einreichenden:
Prof. Dr. Nina Brendel
E-Mail: ninabrendel@uni-potsdam.de

Zielsetzungen bezogen auf "E-Assessment"

Der Kurs sowie dessen spezifischer Einsatz von E-Learning Methoden verfolgt zwei zentrale Zielsetzungen und reagiert damit auf entsprechende Herausforderungen in der Lehre:

1. die Umsetzung einer standortübergreifenden und interdisziplinären Hochschullehre: Die zentrale Herausforderung für die Lehre liegt darin begründet, dass die Studierenden in unterschiedlichen Fächern und an unterschiedlichen Standorten bzw. zwei Hochschulen (Uni Potsdam und TU München) studieren und ihr Vorwissen dementsprechend divers ist. Somit besteht das Ziel darin, eine effektive Lehr- und Lernumgebung zu schaffen, die Studierende verschiedener Standorte und Fachrichtungen anspricht und unterstützt. 
Dabei lernen die Studierenden auf der Basis eines umfangreichen und selbständigen Literaturstudiums in Einzel- oder Gruppenarbeit, fachwissenschaftliche Inhalte in Vorträgen zu präsentieren und in wissenschaftlichen Arbeiten wiederzugeben. Sie setzen sich in der Diskussion mit neueren Veröffentlichungen auseinander. 
Weiterhin wird angestrebt, eine angemessene Integration von Online- und Präsenz-Elementen in der Lehre zu realisieren. So wird einerseits mithilfe der Online-Anteile das E-Assessment in Form von formativen, summativen und Peer-Assessment durchgeführt. Andererseits sind die Präsenz-Anteile wichtig, um eine diskursive Grundkultur und Vertrauen für ethische Diskussionen zu fördern und zu pflegen. Dieser sensible Diskurs lässt sich besonders gut in den Präsenz-Anteilen der Lehre umsetzen, weshalb nicht auf diese verzichtet werden soll.
Als didaktischer Ansatz wurde das 4C/ID-Modell gewählt. Zum einen geht dieses auf die vielfältigen Vorkenntnisse der Studierenden aus verschiedenen Fachrichtungen ein. Zum anderen wird damit auf die Notwendigkeit eines handlungsorientierten Lernens reagiert. Hierbei bezieht sich die Herausforderung darauf, den Prozess des wissenschaftlichen Schreibens als wissenschaftliche Tätigkeit in den Mittelpunkt zu stellen und zu fördern.. Somit fördert der didaktische Rahmen die Studierenden in dem Prozess, wissenschaftliche Ergebnisse schriftlich und in einem Vortrag zu präsentieren und unterstützt somit auch die Zielsetzung eines individuellen und handlungsorientierten Lernens. Über die enthaltenen Komponenten “Learning Task” sowie die in den Kursverlauf eingebettenen, kleineren “Part-task Practices” wird ein semesterbegleitendes (formatives) Self-Assessment mit unmittelbaren Handlungsbezug realisiert. 

2. die Förderung einer kontinuierlichen Leistungserbringung der Studierenden:
Wissenschaftliches Schreiben erscheint durch die Verfügbarkeit von generativen Sprachmodellen, wie z.B. ChatGPT, zunehmend automatisierbar. Einer derart unreflektierten Textproduktion “auf Knopfdruck”, die gerade kurz vor Ablauf von Einreichungsfristen verlockend wirkt, treten wir durch ein semesterbegleitendes, formatives E-Assessment entgegen, welches die Studierenden dazu befähigt, wissenschaftliche Arbeiten zu schreiben und zu verstehen, die Validität der Schlussfolgerungen zu bewerten, und wissenschaftliche Ergebnisse schriftlich und in einem Vortrag zu präsentieren. In diesem Sinne unterstützt der portfoliobasierte Ansatz die kontinuierliche Leistungserbringung und Reflektion durch die Studierenden selbst.

Insgesamt zeigt dieses Beispiel, wie E-Learning-Methoden erfolgreich eingesetzt werden können, um auf komplexe Herausforderungen in der standortübergreifenden und interdisziplinären Hochschulbildung sowie auf Herausforderungen der Förderung einer kontinuierlichen Leistungserbringung der Studierenden zu reagieren. 

Umsetzung des Szenarios

Die Kursreihe wird bereits seit mehreren Jahren mit jeweils leicht angepassten Themenschwerpunkten (u.a. Emotionen & Computer, Digitalisierung und Ethik, BlockChain, Ethik und KI), mit wechselnden Partnern (aus Psychologie, Soziologie, Philosophie, Recht und BWL) und sich weiter entwickelnder Methodik (auch in Reaktion auf sich verändernde Rahmenbedingungen der Lehre) angeboten. Inzwischen treten das E-Assessment und die Selbstlerneinheiten stärker in den Vordergrund. Darauf bezugnehmend wurde das kooperative Bildungsprojekt als hybrides Lehr- und Lernangebot mit Online- und Präsenzanteilen konzipiert.

Die Wahl der offenen Moodle-Plattform „Open.UP“ ermöglicht es Studierenden und Lehrenden beider Hochschulen, auf die jeweiligen Kursinhalte zuzugreifen. Der Kurs wird mittlerweile mithilfe verschiedener Tools in Moodle (einschließlich verschiedener H5P-Tools) interaktiv gestaltet und basiert auf dem 4C/ID-Modell. Dieses ist besonders geeignet für unsere Zwecke, da es die unterschiedlichen Bedürfnisse der Studierenden berücksichtigt, individuelle Lernwege ermöglicht und den Prozess des wissenschaftlichen Schreibens als wissenschaftliche Tätigkeit in den Mittelpunkt stellt. Somit fördert es individuelles und handlungsorientiertes Lernen.

Die vier Komponenten des 4C/ID-Modells sind vollständig in digitaler Form umgesetzt:
1. Lernaufgaben (Learning Tasks): Komplettaufgaben (verpflichtend), z.B. als Einreichungen zu größeren methodischen Einheiten des wissenschaftlichen Arbeitens (Recherche, Gliederung, Ausarbeitung, …) via Moodle.
2. Übungsaufgaben (Part-Task Practice): zur Festigung des Gelernten (optional) an besonders schwierigen Stellen im Handlungsablauf (innerhalb der größeren methodischen Einheiten), realisiert z.B. durch H5P-Aufgaben mit automatischer Auswertung; durch die Möglichkeit, Aufgaben optional nach eigenem Ermessen auszuwählen, kann man den individuellen Bedürfnissen der Studierenden besser nachkommen.
3. Unterstützende Informationen: als „Theorie“ bzw. „Wissensgrundlage“ z.B. als Vortragsfolien, Videoaufzeichnung oder themenspezifische Literatur.
4. Just-In-Time (oder Prozedurale) Informationen: z.B. Tooltips zu formalen Anforderungen der Einreichungen.

Das E-Assessment wird folgendermaßen umgesetzt:
1. Formatives Assessment: das kontinuierlich geführte Lerntagebuch (Moodle-Journal) und die Zielscheibe von oncoo.de (via H5P-Element in den Moodle-Kurs eingebunden) dienen dazu, die Lernfortschritte der Studierenden zu dokumentieren und Feedback an die Lehrpersonen zu geben.
2. Summatives Assessment: bezieht sich in unserem Kurs hauptsächlich auf Einreichungen wie z.B. eine Ausarbeitung oder eine Präsentation.
3. Peer Assessment: die gegenseitige Bewertung mithilfe der Moodle-Aktivität „Gegenseitige Beurteilung“ fördert die Zusammenarbeit und Peer-to-Peer-Lernprozesse der Studierenden untereinander.

Erfahrungen

Der Kurs wird bereits seit einigen Jahren in wechselnden Konstellationen erfolgreich durchgeführt. Unter den besonderen Bedingungen der Corona-Pandemie haben Online-Anteile eine größeren Stellenwert erhalten. Teile davon sind inzwischen wieder auf den unmittelbaren Austausch in Präsenz zurückgeführt worden, während andere Online-Aktivitäten weiter verfeinert wurden.

So haben bspw. die beobachteten Schwierigkeiten, Studierende auch im Online-Modus fortwährend aktiv zu halten, zur Einführung kleinerer Aufgaben geführt, die eine beständige Mitwirkung und Reflektion (inhaltlich und methodisch) erfordern.

Die Erfahrungen aus der gemeinsamen Durchführung mit einer anderen Hochschule haben (angesichts der damit verbundenen Reisekosten) zu einer sorgsamen Abwägung des Verhältnisses von Online- und Präsenzanteilen geführt.

Die Anwendung des 4C/ID-Modells hat nicht nur für die Studierenden Vorteile, sondern führte auch bei uns Lehrenden nicht nur  zu einer tiefergehenden didaktischen Analyse und klareren Strukturierung des konkreten Kurses, sondern auch des darin adressierten Themenfelds des wissenschaftlichen Arbeitens, z.B.:
Untergliederung in Learning-Tasks. Was sind die wesentlichen Handlungsschritte, die es im Prozess zu absolvieren gilt? Wie können sie mit anfangs größerer und dann sukzessive abnehmender Unterstützung in Lehr-/Lern-Aktivitäten abgebildet werden?

Einfügen von Part-Task Practice. An welchen Hürden treten wiederkehrend Schwierigkeiten auf? Welche Einzelschritte sollten intensiver trainiert werden? Wie lässt sich hier ein mediengestütztes Online-Assessment einsetzen?

Diese Überlegungen haben auch zu einer weitergehenden Reflexion unserer Prozesse des wissenschaftlichen Arbeitens geführt, was wir Lehrende als sehr bereichernd empfinden.

Die durchweg guten bis sehr guten Ergebnisse, die die Studierenden in der Seminarreihe erbringen, bestätigen den Erfolg des Ansatzes. Künftig wollen wir auf eine noch bessere Binnendifferenzierung achten, um bspw. Studierende aus Bachelor und Master mit verschiedenen fachlichen Hintergründen mit ihren jeweiligen Bedürfnissen und Fähigkeiten noch gezielter adressieren zu können. 

Rahmenbedingungen

Das Seminar fand in der gegenwärtigen Form bereits im WiSe 2022/23 und findet auch im lfd. Semester wieder als Kooperation zwischen der Universität Potsdam und der Technischen Universität München statt. Hintergrund der Lehrkooperation ist das BMBF-Verbundprojekt „BB-KI Chips“ (Brandenburg/Bayern Aktion für KI- Hardware-Themen im Lehrplan der Universitäten). Es zielt darauf ab, die Rolle von KI-Hardware in der Informatik-Lehre zu stärken. Denn trotz der zentralen Bedeutung von Künstlicher Intelligenz als Forschungsfeld blieben KI-Hardware-Aspekte bisher in der Hochschullehre (aufgrund getrennter Teildisziplinen) weitgehend unberücksichtigt. Dort setzt das Projekt „BB-KI Chips“ an, das entlang des sog. Dagstuhl-Dreiecks eine enge Verzahnung der Lehre zwischen verschiedenen KI-Anwendungen, dedizierter KI-Hardware und KI-Methoden herstellt.

Der hier vorgestellte Kurs widmet sich insbesondere den Ethik-Aspekten, d.h. der Anwendungs- bzw. gesellschaftlichen Perspektive. Das Seminar wurde im Kontext des Projekts ausgehend von den früheren Durchgängen dieses Kurses systematisch weiterentwickelt.

Im vergangenen Jahr hatten wir (in gleicher Konstellation) ca. 30 Studierende aus München, Heilbronn und Potsdam im Kurs. Sie verteilten sich über verschiedene Bachelor- und Master-Studiengänge, vorwiegend Informatik, Computational Science, Computer Engineering, Wirtschaftsinformatik, Betriebswirtschaftslehre und Marketing. Im lfd. Semester haben wir derzeit etwa 20 Anmeldungen an beiden Hochschulen zusammen. Auffallend ist aktuell der große Anteil weiblicher Studierender im Kurs (>50%), im letzten Jahr waren es ca. 30%.

Frühere Durchführungen des Kurses hatten ähnliche Teilnehmendenzahlen (während Corona eher weniger, davor eher mehr). Je nach beteiligten Lehrenden, kamen die Studierenden etwa zur Hälfte aus einem Informatik- und einem anderen Fach (v.a. Psychologie, Soziologie).

Aufgrund der verschiedenen fachlichen Einflüsse hat sich das Seminar im Laufe der Jahre durch das vielfältige kollegiale Feedback aus unterschiedlichen Disziplinen stark weiterentwickelt. Wir beobachten eine deutlich gestiegene Qualität der durch die Studierenden erbrachten Leistungen und erhalten durchweg positives Feedback von ihnen nach dem Abschluss des Kurses.

Offengebliebene Aspekte

Im Rahmen unseres Projekts legen wir großen Wert auf die fächerübergreifende Übertragbarkeit und die effiziente Nutzung von Lehrressourcen. In diesem Kontext stellt der aktuelle Kurs einen Meilenstein dar, da er als erster Kurs im Rahmen des Projektes nach dem 4C/ID-Modell konzipiert wurde. Wir planen, nach und nach alle Projekt-Kurse nach diesem Modell zu gestalten.

Zu diesem Zweck entwickeln wir im Rahmen dieses Kurses ein 4C/ID-Modell-spezifisches Moodlekurs-Template. Dieses Template kann für andere Kurse genutzt werden, um sie ebenfalls nach dem 4C/ID-Modell zu gestalten. Wir stellen es unseren Projektpartnern für künftige Kurse zur Verfügung. Mit dem Template fördern wir nicht nur die Verbreitung von Wissen im Bereich KI-Hardware-Themen im Lehrplan der Universitäten, sondern generell den Aufbau handlungsbezogener Kompetenzen im Studium.

Weiterführende Links

Link zum Moodle-Kurs: openup.uni-potsdam.de/course/view.php;
(ohne Einschreibeschlüssel)
Link zur Website des BB-KI Chips Projektes: www.bb-ki.de/ 

Kontakt der Einreichenden:

Prof. Dr. Ulrike Lucke

E-Mail: ulrike.lucke@uni-potsdam.de

Zielsetzungen bezogen auf "E-Assessment"

Das Modul „Einführung in die Betriebswirtschaftslehre“ (EBWL) gibt einen Überblick über die verschiedenen Funktionen der Betriebswirtschaftslehre, wobei Themen aufgrund des umfassenden, einführenden Charakters des Kurses in der Breite anstatt in der Tiefe behandelt werden. Das Gesamtziel der Prüfung bestand also darin, das Wissen über eine breite Palette von Themen zu testen, die im Modul behandelt werden. Durch die Veröffentlichung von ChatGPT im November 2023 musste der Ansatz für die Modulklausur grundlegend überdacht werden. Einfache Wissensabfragen wurden bereits von der ersten Version sehr gut beantwortet, auch wenn teilweise Fehler auftraten. Ein Beispiel der schnellen Entwicklung waren einfache mathematische Textaufgaben. Zu Beginn wurde diese noch fehlerhaft berechnet, aber ca. ab Ende des Jahres 2022/Anfang 2023 berechnete ChatGPT auch mathematische Textaufgaben ohne Fehler.

Die Methodik des E-Assessments wurde ausgewählt, um verschiedene Aspekte des erlernten Wissens zu testen. Durch eine Mischung aus Multiple-Choice-Fragen, Richtig-/Falsch-Aufgaben, Berechnungen und dem Ausfüllen von Lückentexten konnten die Studierenden ihr Wissen in Bereichen wie Rentabilitätsberechnung, Anwendung theoretischer Konzepte auf praktische Beispiele und Einordnung von wirtschaftlichen Kernbegriffen in den richtigen Kontext nachweisen. Im Vordergrund standen Anwendungsaufgaben anstatt reiner Wiedergabe auswendiggelernten Wissens.
Angesichts der Herausforderungen und Unsicherheiten, die durch die Covid 19-Pandemie aufgeworfen wurden, schien die Durchführung einer Online-Prüfung für 400 Studierende von zu Hause als eine gute Alternative. Die technische Umsetzung wurde durch die Plattform Exam.UP erleichtert, die eine sichere Identifizierung der Studierenden durch Selfies und eine Verifizierung per Zoom während der Prüfung ermöglichte. Im Falle von Unregelmäßigkeiten konnten die Studierenden in einen separaten Raum geleitet und dort angesprochen werden, um die Integrität der Prüfung zu gewährleisten.

Umsetzung des Szenarios

In der durchgeführten Prüfung wurden insgesamt 56 Aufgaben an jede:n Studierende:n gestellt. Besonders bei den mathematischen Aufgaben wurde eine breite Variation eingeführt, wobei jede der sechs Mathematikaufgaben 20 verschiedene Varianten hatte. Die meisten Aufgaben verfügten über mindestens zwei verschiedene Fragestellungen, die zufällig ausgewählt wurden. Durch diese strukturierte Variation in der Fragestellung erhielt somit jede:r Studierende eine individuelle Klausur, wobei die Integrität und Fairness des Prüfungsprozesses gewahrt blieb. Diese Vorgehensweise ermöglichte eine umfassende Bewertung der Kenntnisse und Fähigkeiten der Studierenden, während zugleich die Herausforderungen der Online-Prüfungsadministration in einem großen Maßstab adressiert wurden. Um die Studierenden auf das E-Assessment-Format vorzubereiten, wurden im Vorfeld mehrere Übungsquizze mit insgesamt 20 Fragen bereitgestellt, die alle in der Prüfung vorkommenden Fragentypen abdeckten und das Online-Format der Klausur widerspiegelten. Diese Quizze dienten dazu, den Studierenden ein Verständnis für das Format und den Zeitbedarf für die verschiedenen Aufgabentypen zu vermitteln. Darüber hinaus konnte das vorhandene Wissen bereits in der Mitte des Semesters von den Studierenden selbstständig überprüft werden. Zudem ermöglichten die Quizzes uns als Lehrenden, die Qualität und Angemessenheit der Fragen zu bewerten.

Das Klausurformat war darauf ausgelegt, eine breite Palette an Kenntnissen und Fähigkeiten zu prüfen, die im Verlauf der Lehrveranstaltung vermittelt wurden. Die Studierenden wurden über die verschiedenen Aufgabentypen und die zugehörige Punkteverteilung im Voraus informiert, was für Transparenz in Bezug auf die Bewertungskriterien sorgte. Die klare Definition der erlaubten Hilfsmittel und der Regeln für die Kommunikation während der Prüfung, zusammen mit der Möglichkeit für die Studierenden, zwischen den Fragen zu wechseln und bereits beantwortete Fragen erneut zu bearbeiten, trug zur Transparenz und Fairness des Assessment-Formats bei. Ein wesentliches Instrument zur Qualitätsentwicklung waren die Vorab-Quizze, die über Moodle durchgeführt und ausgewertet wurden. Diese Quizze dienten nicht nur der Vorbereitung der Studierenden, sondern auch der Überprüfung und Verbesserung des Fragenpools. Durch die statistische Auswertung der Quizantworten in Moodle konnten die Lehrenden die Verständlichkeit, Relevanz und Fairness der Fragen analysieren. Nach der Prüfung wurde der Schwierigkeitsgrad der Fragen und die Unterschiede zwischen den verschiedenen Fragevarianten überprüft, um sicherzustellen, dass keine Fragestellung einen unfairen Vorteil bot. Besonders bei den Satzergänzungsaufgaben half die Auswertungsstatistik von Exam-UP, die akzeptablen Formulierungen zu optimieren und anzupassen. Bei Bedarf wurden leichte Anpassungen vorgenommen, um eine faire Bewertung sicherzustellen.

Erfahrungen

Die besonderen Rahmenbedingungen dieser Klausur umfassen eine hohe Anzahl an Teilnehmenden sowie eine Vielzahl unterschiedlicher Fachrichtungen, die berücksichtigt werden mussten. Unser E-Assessment-Ansatz für die Open-Book-Prüfung im Modul "Einführung in die Betriebswirtschaftslehre" (EBWL), durchgeführt am 15.02.2023, spiegelt unseren Wunsch nach einer stetigen Verbesserung des Prüfungsprozesses wider. Durch sorgfältige Planung und Umsetzung konnten wir ein Konzept entwickeln, das darauf abzielt, allen Studierenden eine gerechte und zugängliche Prüfungserfahrung zu bieten. Eine besondere Herausforderung war die Veröffentlichung von ChatGPT (November 2022) nach der Ankündigung unseres Prüfungsformats (Oktober 2022). Dies brachte neue Herausforderungen in Bezug auf die Integrität der Online-Prüfung mit sich, die wir durch eigene Tests und die Umstellung der Aufgaben teilweise lösen konnten.

Rahmenbedingungen

Die besonderen Rahmenbedingungen dieser Klausur umfassen eine hohe Anzahl an Teilnehmenden sowie eine Vielzahl unterschiedlicher Fachrichtungen, die berücksichtigt werden mussten. Unser E-Assessment-Ansatz für die Open-Book-Prüfung im Modul "Einführung in die Betriebswirtschaftslehre" (EBWL), durchgeführt am 15.02.2023, spiegelt unseren Wunsch nach einer stetigen Verbesserung des Prüfungsprozesses wider. Durch sorgfältige Planung und Umsetzung konnten wir ein Konzept entwickeln, das darauf abzielt, allen Studierenden eine gerechte und zugängliche Prüfungserfahrung zu bieten. Eine besondere Herausforderung war die Veröffentlichung von ChatGPT (November 2022) nach der Ankündigung unseres Prüfungsformats (Oktober 2022). Dies brachte neue Herausforderungen in Bezug auf die Integrität der Online-Prüfung mit sich, die wir durch eigene Tests und die Umstellung der Aufgaben teilweise lösen konnten.

Offengebliebene Aspekte

-keine-

Kontakt des Einreichenden:

David Bender

E-Mail: david.bender@uni-potsdam.de

Zielsetzungen bezogen auf "E-Assessment"

Bis 2020 wurden an der Juristischen Fakultät jedes Semester studentische Hilfskräfte als Fachtutoren angestellt, um im Wege des Peer-Teaching & Learning andere Studierende beim Lernen zu unterstützen, insbesondere in Bereichen, die durch das Lehrangebot der Fakultät noch nicht 100%ig abgedeckt waren. Da das Lehrangebot der Fakultät immer weiter ausgebaut wurde, sank das Interesse der Studierenden, an den Tutorien teilzunehmen. Gleichzeitig stellte sich heraus, dass die finanziellen Mittel für dieselbe Zielgruppe effektiver eingesetzt werden können. Das bevorstehende Ende der Tutorien hinterließ den Bedarf, ein zeit- und personenunabhängiges, niedrigschwelliges Angebot zu schaffen, welches die Studierenden beim Lernen und Wiederholen unterstützt. Dieser Herausforderung stellte sich Frau Terzic, heutige E-Learning-Koordinatorin, damals noch Studentin, unter der Betreuung durch die damalige E-Learning-Koordinatorin Anja van Bernum, für den Bereich des Strafrechts Allgemeiner Teil. 
Das Ergebnis, das Online-Fachtutorium im Strafrecht, stellt einen studienbegleitenden, freiwilligen, zusätzlichen, automatisiert korrigierten Selbstlern-Kurs dar, der dem „Assessment for Learning“ zuzuordnen sein dürfte. Die Teilnehmenden können durch den Kurs einerseits eigene Lernlücken aufdecken, erkennen, was sie alles schon können und auch Neues dazulernen, da die Antwortberichte inhaltlich erklären und nicht nur richtig oder falsch angeben.

Umsetzung des Szenarios

Basis des Online-Tutorium ist ein Moodle-Kurs als Sonderkurs, sodass dieser nicht in den Semestern verschoben werden muss. 
Nach einer Anleitung zur Nutzung des Kurses, die auch deutlich macht, was der Kurs bietet, was er aber auch nicht bieten kann, sowie einer Eingangsbefragung, die als Voraussetzung für die Freischaltung der Inhalte eingestellt sind, folgen thematisch dem ersten Fachsemester nachgebildete Blöcke zu den Bereichen Tatsubjekt und -objekt, Kausalität, objektive Zurechnung, Rechtfertigung und Schuld. Zu jedem Themenblock gibt es eine Feedbackschleife, die es uns ermöglichte, auf Fragen, Wünsche und Anregungen aus dem Teilnehmendenkreis gezielt einzugehen. 
In den einzelnen Blöcken finden sich verschiedene Test-Varianten. Hier wurden die vielfältigen Möglichkeiten von Moodle2 genutzt, um ein abwechslungsreiches und interessantes Selbstlernangebot zu erschaffen. Neben Multiple-Choice und Single-Choice-Fragen gibt es auch Fragen mit Drop-Down-Auswahl, Drag-&-Drop-Fragen. Zudem wurden Mini-Fälle entwickelt, zu denen Fragen gestellt wurden. 

Die zentralen Charakteristika des Kurses liegen in seinen zwei Besonderheiten begründet: Zunächst war dieser Kurs der erste seiner Art an einer Fakultät, die vor Corona nicht viel von E-Learning wissen wollte. Für ein solches Format finanzielle und zeitliche Ressourcen zur Verfügung zu stellen, bedurfte daher erheblicher Überzeugungsarbeit, die nur dadurch zu leisten war, dass wir selbst so überzeugt vom Nutzen dieses Kurses waren. Dadurch ist ein Kurs entstanden, der es den Studierenden im ersten Semester im Fachbereich Strafrecht ermöglicht, den gesamten Semesterinhalt immer wieder zu wiederholen und den eigenen Lernstand zu testen.

Das zweite Element ist noch mehr herauszustellen. Während es in anderen Studiengängen/Fächern Usus ist, Prüfungsaufgaben in Form vom MC-/SC-Fragen etc. zu stellen, sodass man für einen derartigen Selbstlernkurs auf frühere Prüfungsaufgaben zurückgreifen, sich jedenfalls von diesen inspirieren lassen kann, besteht das Jurastudium ausschließlich aus Prüfungen, bei denen die Studierenden einen Sachverhalt erhalten, diesen rechtlich auswerten und als Prüfungsleistung ein Gutachten zu formulieren haben. Dies lässt sich mit automatisierten E-Assessments schlicht nicht abbilden. 
Daher war es eine besonders große Herausforderung Prüfungsaufgaben erstmals zu erfinden, die automatisiert kontrolliert werden können, zugleich aber auch einen sinnvollen Nutzen für die Teilnehmenden bieten. Normalerweise lautet die Antwort auf jede juristische Frage „Es kommt darauf an!“. So skurril es klingt, ist es ein besonderes Charakteristikum dieses Kurses, dass Fragen erarbeitetet wurden, die mit eindeutig richtigen und falschen Antworten zu beantworten sind, um den großen Vorteil des E-Assesments – automatisiert kontrolliertes Selbstlernen – auch für Jurastudierende nutzbar zu machen. Der Kurs ist unter weiterführende Links verlinkt. Alle Beteiligten sind gern eingeladen, einmal ihr Jura-Wissen zu testen.

Erfahrungen

Die zwei wichtigsten Erfahrungen waren der bestätigte Nutzen für die Teilnehmenden sowie die Erkenntnis, wie aufwendig die Erstellung eines solchen Kurses ist. 
Die Feedbacks, die wir erhalten haben, loben durchgehend das Grundkonzept des Kurses. Spannend ist dabei auch, dass die Teilnehmenden, überwiegend Studierende des ersten Fachsemesters, anfangen, die Fragen und Antwortoptionen selbst zu hinterfragen und sich damit noch einmal auf einer ganz anderen Ebene mit der Thematik beschäftigen. Dies bereichert sowohl die Teilnehmenden selbst, als auch den Kurs, da berechtigte Kritik und Anregungen selbstverständlich in die Weiterentwicklung einfließen. 
Der Aufwand, einen solchen Kurs zu erstellen, muss leider als echte Hürde angesehen werden, die kaum neben dem „Daily Business“ zu bewältigen ist. Für das Online-Tutorium im Strafrecht war Frau Terzic als SHK für zwei Semester mit 6h/Woche nur für die Entwicklung angestellt. Sie hat die Fragenkataloge entworfen und die technischen Möglichkeiten ausgelotet und umgesetzt. Dies allein hat die Arbeitszeit nur allzu gut ausgefüllt. Noch nicht abgedeckt und damit überobligatorisch erledigt, sind die immer wieder erforderlichen Kontroll- und Überarbeitungsschleifen, die nötig sind, um die o.g. didaktischen Herausforderungen zu bewältigen und alle inhaltlichen und technischen Eventualitäten zu antizipieren. Die gemeinsame Konzeptionierung sowie die Betreuung, Kontrolle und Überarbeitung fiel zwar genau in den Arbeitsbereich von Frau van Bernum als damaliger E-Learning-Koordinatorin (50%) und Fachbreichskoordinatorin für das Strafrecht (50%). Jedoch war der Umfang des Erforderlichen so groß, dass auch dies nur mit überobligatorischer Tätigkeit neben den alltäglichen Dienstaufgaben zu bewältigen war.

Rahmenbedingungen

In den Moodle-Kurs sind derzeit 505 Studierende, alle aus dem Studiengang Rechtswissenschaft, eingeschrieben. Insgesamt haben bereits 673 Studierende an der Eingangsbefragung teilgenommen, davon 407 aus dem ersten Fachsemester und 266 aus höheren Fachsemestern, bis hin zu Studierenden in der Examensvorbereitung. Die Tests im ersten Block des Kurses wurden von ca. 300 Teilnehmenden vollständig bearbeitet, die im letzten Block noch von ca. 100. Der Anfang 2020 veröffentlichte Kurs wird auch heute noch von Studierenden genutzt.

Offengebliebene Aspekte

Das Konzept hat sich bewährt und wurde im Anschluss auf Themen aus anderen Rechtsgebieten (Zivilrecht und Öffentliches Recht) übertragen. Eine Ausweitung auf weitere Themengebiete wird derzeit geprüft.

Kontakt der Einreichenden:
Ass. Jur. Anja van Bernum, Dipl. Jur. Jenessa Terzic
E-Mail: anja.van.bernumuuni-potsdampde, jenissa.terzicuuni-potsdampde

Zielsetzungen bezogen auf "E-Assessment"

Unser Ziel war es, den Prozess zur Abwicklung von Probeklausuren und Hausarbeiten zu optimieren, um den nicht mehr zu bewältigenden Verwaltungsaufwand und benötigten Lagerplatz zu reduzieren. Die Planungen zur Erreichung dieses Ziels mittels Veränderung des Prüfungs- und Korrekturablaufs starteten kurz vor Beginn der Covid-19 Pandemie. Durch diese wurde die Umstellung auf einen digitalen Prozess in sehr kurzer Zeit notwendig. Der Examensklausurenkurs, das Probeexamen und die Übungen für Fortgeschrittene (siehe Rahmenbedingungen) umfassen große Studierendengruppen, für welche keine Räumlichkeiten mit ausreichendem Sicherheitsabstand vorhanden waren. Im Rahmen der Übung für Fortgeschrittene werden auch drei Aufsichtsarbeiten pro Übung angeboten. Diese mussten während der Pandemie als open-Book Klausuren von zu Hause aus bearbeitet werden. Der neue Prozess musste somit nicht nur für die flexibel abzugebenden Probeklausuren funktionieren, sondern auch für die bis zu 300 Abgaben innerhalb einer kurzen Zeit über Moodle. Die Klausuren im Rahmen der Übung für Fortgeschrittene wurden nur zu den Hochzeiten der Pandemie digital durchgeführt. Hinzu kommt, dass die Juristische Fakultät wegen des enorm hohen Aufkommens an zu korrigierenden Bearbeitungen bei nahezu allen Prüfungen mit externen Korrekturkräften arbeitet. Insbesondere während der Pandemie, aber auch aus allgemeinen Effizienzgründen war das Ausmachen von Abholterminen und das persönliche Entgegennehmen und Abgeben der Papierklausuren aus Sicht der Korrekturkräfte ein Hemmnis.
Bei der Optimierung des Prozesses sollte jedoch auch die Flexibilität für die Studierenden erhöht werden. Die Studierenden können die Probeklausuren und Hausarbeiten digital zu einem beliebigen Zeitpunkt innerhalb einer vorgegebenen Spanne abgeben. Die verantwortlichen Personen müssen den Eingang nicht mehr händisch bestätigen und keine Abholtermine mehr mit den Korrekturkräften organisieren und durchführen. Die Korrekturkräfte können die Bearbeitungen digital abrufen. Dadurch können wir deutschlandweit Korrekturkräfte beauftragen und diese haben mehr Zeit für die Korrektur. Der Prozess umfasst circa 2600 Probeklausuren und 800 Hausarbeiten pro Jahr, sodass im Vergleich zum vorher genutzten Prozess eine geringere Fehleranfälligkeit und die zeitliche Optimierung bei der Planung im Vordergrund standen. Schnell wurde deutlich, dass wir für die Studierenden, die verantwortlichen Personen und die Korrekturkräfte Anleitungen erstellen und wegen der Verarbeitung personenbezogener Daten auch den Datenschutz stets mitdenken müssen. Der hierfür erforderliche Gesamtprozess wurde von den E-Learning-Koordinatorinnen Anja van Bernum (bis Januar 2021) und Jenissa Terzic (ab Februar 2021) konzipiert, getestet, in der Fakultät etabliert und kontinuierlich weiterwickelt.

Umsetzung des Szenarios

Basis des Online-Tutorium ist ein Moodle-Kurs als Sonderkurs, sodass dieser nicht in den Semestern verschoben werden muss. 
Nach einer Anleitung zur Nutzung des Kurses, die auch deutlich macht, was der Kurs bietet, was er aber auch nicht bieten kann, sowie einer Eingangsbefragung, die als Voraussetzung für die Freischaltung der Inhalte eingestellt sind, folgen thematisch dem ersten Fachsemester nachgebildete Blöcke zu den Bereichen Tatsubjekt und -objekt, Kausalität, objektive Zurechnung, Rechtfertigung und Schuld. Zu jedem Themenblock gibt es eine Feedbackschleife, die es uns ermöglichte, auf Fragen, Wünsche und Anregungen aus dem Teilnehmendenkreis gezielt einzugehen. 
In den einzelnen Blöcken finden sich verschiedene Test-Varianten. Hier wurden die vielfältigen Möglichkeiten von Moodle2 genutzt, um ein abwechslungsreiches und interessantes Selbstlernangebot zu erschaffen. Neben Multiple-Choice und Single-Choice-Fragen gibt es auch Fragen mit Drop-Down-Auswahl, Drag-&-Drop-Fragen. Zudem wurden Mini-Fälle entwickelt, zu denen Fragen gestellt wurden. 

Die zentralen Charakteristika des Kurses liegen in seinen zwei Besonderheiten begründet: Zunächst war dieser Kurs der erste seiner Art an einer Fakultät, die vor Corona nicht viel von E-Learning wissen wollte. Für ein solches Format finanzielle und zeitliche Ressourcen zur Verfügung zu stellen, bedurfte daher erheblicher Überzeugungsarbeit, die nur dadurch zu leisten war, dass wir selbst so überzeugt vom Nutzen dieses Kurses waren. Dadurch ist ein Kurs entstanden, der es den Studierenden im ersten Semester im Fachbereich Strafrecht ermöglicht, den gesamten Semesterinhalt immer wieder zu wiederholen und den eigenen Lernstand zu testen.

Das zweite Element ist noch mehr herauszustellen. Während es in anderen Studiengängen/Fächern Usus ist, Prüfungsaufgaben in Form vom MC-/SC-Fragen etc. zu stellen, sodass man für einen derartigen Selbstlernkurs auf frühere Prüfungsaufgaben zurückgreifen, sich jedenfalls von diesen inspirieren lassen kann, besteht das Jurastudium ausschließlich aus Prüfungen, bei denen die Studierenden einen Sachverhalt erhalten, diesen rechtlich auswerten und als Prüfungsleistung ein Gutachten zu formulieren haben. Dies lässt sich mit automatisierten E-Assessments schlicht nicht abbilden. 
Daher war es eine besonders große Herausforderung Prüfungsaufgaben erstmals zu erfinden, die automatisiert kontrolliert werden können, zugleich aber auch einen sinnvollen Nutzen für die Teilnehmenden bieten. Normalerweise lautet die Antwort auf jede juristische Frage „Es kommt darauf an!“. So skurril es klingt, ist es ein besonderes Charakteristikum dieses Kurses, dass Fragen erarbeitetet wurden, die mit eindeutig richtigen und falschen Antworten zu beantworten sind, um den großen Vorteil des E-Assesments – automatisiert kontrolliertes Selbstlernen – auch für Jurastudierende nutzbar zu machen. Der Kurs ist unter weiterführende Links verlinkt. Alle Beteiligten sind gern eingeladen, einmal ihr Jura-Wissen zu testen.

Erfahrungen

Die zwei wichtigsten Erfahrungen waren der bestätigte Nutzen für die Teilnehmenden sowie die Erkenntnis, wie aufwendig die Erstellung eines solchen Kurses ist. 
Die Feedbacks, die wir erhalten haben, loben durchgehend das Grundkonzept des Kurses. Spannend ist dabei auch, dass die Teilnehmenden, überwiegend Studierende des ersten Fachsemesters, anfangen, die Fragen und Antwortoptionen selbst zu hinterfragen und sich damit noch einmal auf einer ganz anderen Ebene mit der Thematik beschäftigen. Dies bereichert sowohl die Teilnehmenden selbst, als auch den Kurs, da berechtigte Kritik und Anregungen selbstverständlich in die Weiterentwicklung einfließen. 
Der Aufwand, einen solchen Kurs zu erstellen, muss leider als echte Hürde angesehen werden, die kaum neben dem „Daily Business“ zu bewältigen ist. Für das Online-Tutorium im Strafrecht war Frau Terzic als SHK für zwei Semester mit 6h/Woche nur für die Entwicklung angestellt. Sie hat die Fragenkataloge entworfen und die technischen Möglichkeiten ausgelotet und umgesetzt. Dies allein hat die Arbeitszeit nur allzu gut ausgefüllt. Noch nicht abgedeckt und damit überobligatorisch erledigt, sind die immer wieder erforderlichen Kontroll- und Überarbeitungsschleifen, die nötig sind, um die o.g. didaktischen Herausforderungen zu bewältigen und alle inhaltlichen und technischen Eventualitäten zu antizipieren. Die gemeinsame Konzeptionierung sowie die Betreuung, Kontrolle und Überarbeitung fiel zwar genau in den Arbeitsbereich von Frau van Bernum als damaliger E-Learning-Koordinatorin (50%) und Fachbreichskoordinatorin für das Strafrecht (50%). Jedoch war der Umfang des Erforderlichen so groß, dass auch dies nur mit überobligatorischer Tätigkeit neben den alltäglichen Dienstaufgaben zu bewältigen war.

Rahmenbedingungen

In den Moodle-Kurs sind derzeit 505 Studierende, alle aus dem Studiengang Rechtswissenschaft, eingeschrieben. Insgesamt haben bereits 673 Studierende an der Eingangsbefragung teilgenommen, davon 407 aus dem ersten Fachsemester und 266 aus höheren Fachsemestern, bis hin zu Studierenden in der Examensvorbereitung. Die Tests im ersten Block des Kurses wurden von ca. 300 Teilnehmenden vollständig bearbeitet, die im letzten Block noch von ca. 100. Der Anfang 2020 veröffentlichte Kurs wird auch heute noch von Studierenden genutzt.

Offengebliebene Aspekte

Das Konzept hat sich bewährt und wurde im Anschluss auf Themen aus anderen Rechtsgebieten (Zivilrecht und Öffentliches Recht) übertragen. Eine Ausweitung auf weitere Themengebiete wird derzeit geprüft.

Kontakt der Einreichenden:
Ass. Jur. Anja van Bernum, Dipl. Jur. Jenessa Terzic
E-Mail: anja.van.bernumuuni-potsdampde, jenissa.terzicuuni-potsdampde

Zielsetzungen bezogen auf "E-Assessment"

Ausgangspunkt für die Entwicklung einer eigenen Software, mit dem Namen Poodle, war die langatmige und ressourcenfressende, online-basierte Arbeit an Moodle-E-Assessements für wiederkehrende, standardisierte MC-Klausuren in grundständigen Lern- und Lehrfeldern an der Sozial- und Wirtschaftswissenschaftlichen Fakultät. Hieraus entstand früh die Idee, einer offline basierten Lösung mit lokal erzeugten Klausurdateien, die in Moodle eingelesen werden sollten. Zur Umsetzung der Software-Idee wurde auf ein Zusammenspiel aus Python und MongoDB gesetzt. 

Poodle ermöglicht heute eine zügige, lokale Erstellung und Evaluation von Fragen und Klausuren, wendet ein an den Lerninhalten orientiertes Frageschema inklusive Anforderungsgrad an und gibt übersichtlich Fragen über Klausuren in einer Matrix aus. Das Frageschema und die Funktion der Evaluation helfen umfassend, die Prüfungsfairness auszubalancieren. Ein wichtiges Tool ist in diesem Zusammenhang, dass relativ einfach in Fragen und Antworten Ergebnisse von Zufallszahlen in definierten Wertebereichen generiert werden können. Mittels Poodle entstehen dabei mit den integrierbaren Zufallszahlen einzigartige, gleichwertige und unkopierbare Klausuren pro Prüfling. 

Die Software erzeugt am Ende einer Klausurerstellung eine xml-Dateien, die als komplette Klausur in Moodle/Examup hochgeladen wird. Online finden vor der Klausur, letzte kleinere Anpassungen statt. Poodle ist extrem schnell und wächst mit der Anzahl integrierter Fragen hin zu einem extrem hilfreichen Tool für ein qualitativ hochwertiges E-Assessment.

Umsetzung des Szenarios

Poodle ist über mehrere Jahre an der Funktionsstelle für Methoden der Empirischen Sozialforschung sowie dem Lehrstuhl für Methoden für Empirische Sozialforschung an der Universität Potsdam entwickelt worden und ist aktuell in einer leistungsfähigen 2.0 Version für 3 E-Assessments in den grundständigen Studiengängen für über 800 Klausuren pro Jahr in unterschiedlichen Lehrbereichen erfolgreich im Einsatz. Programmiert wurde Poodle auf Basis von MongoDB und Python durch Lukas Höttges nach Anforderungen und Ideen von Marian Krawietz. Die Programmierung und Umsetzung fand somit in engster Rückbindung an die tägliche Prüfungspraxis der Universität statt. Einen userfreundlichen Quantensprung machte die Softwarentwicklung innerhalb der vergangenen 6 Monaten. In diesem Zeitraum wurde eine übersichtliche grafischen Oberfläche entwickelt, die auch User-Neulinge die Software leicht beherrschen lässt.

Erfahrungen

Die Erfahrungen mit der Software sind gut. Poodle löst angesprochene Probleme, insbesondere die Erstellung von Klausuren unter Zeitdruck. Das Betreiben der Software ist allerdings eher sogenannten Powerusern vorbehalten, die auch nicht vor Linux-Umgebungen und der Kommando-Zeile zurückschrecken. Ohne einen computerversierten Service hinter der Software, sollte die Aufnahme des Betriebes von Poodle, (noch) überdacht oder an Dritte vergeben werden.

Rahmenbedingungen

Poodle ist in einer 1.0 Version seit ca. 2016/17 im Einsatz. Mittlerweile wurden mehrere tausend individuelle Klausuren auf Basis der Software gestellt. Eine aktualisierte Software in einer 2.0 Version ist deutlich anwenderfreundlich. Poodle 2.0 besitzt ein grafisches Interface, mit dem fehlerfreier Fragen und Klausuren erstellt werden können.

Offengebliebene Aspekte

Offen geblieben ist, wie Poodle auf einem Server betrieben werden kann, so dass parallele Anwendungen mehrere Nutzer möglich sind. Weiterhin ist offen, wie bereits in Moodle geschriebene Fragen, in Poodle importiert werden können. Hier fehlt eine entsprechende Schnittstelle, die Poodle noch attraktiver machen könnte. Weiterhin läuft Poodle momentan nur in einer Linux Umgebung. Eine Anwendung unter Windows könnte ebenfalls die Attraktivität von Poodle deutlich erhöhen. Für alle angesprochenen Punkte bedarf es jedoch umfassenderer, nicht unerheblicher, finanzieller Mittel.

Kontakt des Einreichenden:

Dr. Marian Krawietz

E-Mail: marian.krawietz@uni-potsdam.de