Designing transparent assessment strategies for online learning in HE (German language)

An der Vytautas Magnus Universität verwenden die Dozenten eine Vielzahl verschiedener Moodle-Tools, um die Lernergebnisse der Studierenden zu bewerten. So bietet die Moodle-Lernumgebung den Dozentenn beispielsweise die Möglichkeit, die angestrebten Lernergebnisse zu bewerten, z. B. können die Dozenten Tests und Quiz erstellen, interaktive Tools zur Bewertung verwenden (z. B. das H5P-Tool (siehe Abbildung 1) usw.).

Abbildung 1. Beispiel eines Testsegments, erstellt mit dem H5P-Tool (VMU Moodle-Umgebung)

Einer der Vorteile der Verwendung des H5P-Tools besteht darin, dass die Studierenden die Möglichkeit haben, die Aufzeichnung der Vorlesung anzuhören, die Vorlesungsfolien oder anderes zugehöriges Material oder Links für weitere Informationen zu sehen und dann einen Selbsttest durchzuführen. Außerdem können das H5P-Tool und die mit diesem Tool erstellten Tests entweder als Teil einer formativen oder summativen Bewertungsstrategie eingesetzt werden, je nachdem, welchem Zweck der Test dienen soll. Insgesamt lässt sich sagen, dass dieses Tool einen interaktiveren Ansatz für das Lernen und die Bewertung ermöglicht. 

Außerdem können Dozenten die Moodle-Umgebung nutzen, um verschiedene Tests für ihre Studiderenden zu entwerfen. Die Moodle-Umgebung bietet eine breite Palette von Testaufgaben, mit denen die inhaltlichen Kenntnisse, Fähigkeiten und Kompetenzen der Studierenden bewertet werden können. Die Dozenten können verschiedene Tests entwerfen, indem sie Multiple-Choice-Fragen, Richtig/Falsch-Aussagen, Lückentexte, Drag-and-Drop-Zuordnungsaufgaben usw. verwenden.

Abbildung 2. Beispiele für verschiedene Fragen (VMU Moodle-Umgebung)

Darüber hinaus bietet Moodle Dozenten die Möglichkeit, mehr intrinsische Fähigkeiten zu bewerten. Durch die Gestaltung offener, aufsatzartiger Fragen können sie beispielsweise das Verständnis des Themas und die Schreibfähigkeiten sowie die Fähigkeiten zum kritischen Denken der Studierenden bewerten (siehe Abbildung 3 unten).

Abbildung 3. Beispiel für eine Frage vom Typ Aufsatz (VMU Moodle-Umgebung)

Wenn der Test kein geeignetes Format ist, um die Fähigkeiten, das Wissen und die Kompetenz eines Studierenden zu bewerten, hat der Dozent die Möglichkeit, Aufgaben in Moodle zu stellen und die Studierenden aufzufordern, ihre Arbeiten in der Moodle-Umgebung über das Tool zur Abgabe von Arbeiten einzureichen (siehe Abbildung 4). Der Dozent kann die Aufgabenstellung genau beschreiben, Bewertungskriterien angeben und Fälligkeitstermine festlegen. Sobald der Studierende seine Arbeit über das System einreichen, kann der Dozent die Arbeit in Moodle benoten und Feedback dazu geben, ohne dass die eingereichten Arbeiten erst heruntergeladen werden müssen. 

Abbildung 4. Beispiel für ein Tool zur Übermittlung von Aufgaben (VMU Moodle-Umgebung)

Zusammenfassend können Dozenten Moodle-Tools verwenden, um Tests zu erstellen, mit denen sie das Wissen der Studierenden über ein bestimmtes Thema überprüfen und bewerten können, ob die angestrebten Lernergebnisse erreicht worden sind. Hier wurden nur ein paar verschiedene Optionen beschrieben, es sollte jedoch angemerkt werden, dass es mehrere verschiedene Tools gibt, die sowohl für die Bewertung des Lernerfolgs der Studierenden als auch für die Bewertung der Lernergebnisse verwendet werden können. Außerdem sollte berücksichtigt werden, dass externe Tools mit der Moodle-Umgebung kompatibel sind und in diese integriert werden können, so dass den Dozentenn eine große Auswahl an Tools zur Verfügung steht, um die gewählte Bewertungsstrategie umzusetzen. 

2. Chatbots und KI-Lehrassistent verwenden

Über eine text- oder sprachbasierte Konversationsschnittstelle können Chatbots mit dem Nutzer kommunizieren, Fragen beantworten und stellen, Studierende anleiten und bei der Problemlösung helfen. Dies bedeutet, dass die Studierenden auch dann Fortschritte machen können, wenn ein Dozent nicht verfügbar ist oder nicht helfen kann. Chatbots nutzen zunehmend Techniken der künstlichen Intelligenz, um menschliche Sprachen, Stimmen, Körpersprache und Verhaltensweisen zu verstehen und Sprach- oder Verhaltensmuster zu erkennen. Chatbots eröffnen neue Möglichkeiten, wenn es darum geht, den Widerspruch zwischen großem Umfang und hoher Qualität beim Lernen zu überwinden. Sie ermöglichen eine stärkere Personalisierung, indem sie Daten aus Dialogen und dem Verhalten der Studierenden sammeln, um Unterstützung zu bieten, die speziell auf die Anforderungen jedes Studierenden zugeschnitten ist, was auch dazu beitragen könnte, die Arbeitsbelastung der Dozenten zu verringern. Diese auf künstlicher Intelligenz (KI) basierenden Tools könnten Sprachübungen durch einfache Aktivitäten wie das Stellen und Beantworten von Fragen ermöglichen, bis hin zu fortgeschritteneren Konversationsdesigns, die es dem Studierenden z. B. erlauben, sich an einer Geschichte zu beteiligen, indem er auf die vom Chatbot angebotenen Auswahlmöglichkeiten antwortet. Chatbots sind derzeit vor allem für individuelle Interaktionen konzipiert, könnten aber in Zukunft mehr kollaborative Dialoge unterstützen.

In der Bildungspraxis haben Forscher des Georgia Institute of Technology untersucht, wie Chatbots in Online-Kursen eingesetzt werden können. Sie entwickelten eine KI-Lehrassistentin namens "Jill Watson", die auf Dialogen und Lerndaten aus früheren Kursen basiert. Anhand dieser Daten konnte Jill die Fragen der Studierenden analysieren und sofortige Antworten geben. Der Chatbot wurde in mehreren Kursen eingesetzt, um den Studierenden bei inhaltsbezogenen Fragen und durch sinnvolle Dialoge zu helfen. Die Forscher fanden heraus, dass die Studierenden den Chatbot nicht von der Dozent unterscheiden konnten, was darauf hindeutet, dass Chatbots in bestimmten Kontexten gut als Online-Lernhilfen funktionieren könnten.

Forscher des Advanced Innovation Center for Future Education (AICFE) an der Beijing Normal University haben die Rolle eines Chatbots bei der moralischen Erziehung untersucht. Bei der moralischen Erziehung konzentrieren sich die Lehrer darauf, den Studierenden zu helfen, moralische Probleme zu verstehen und Moral zu kultivieren. In dieser Forschung wurde ein KI-Bot (KI-gesteuerter Chatbot) entwickelt, der die moralischen Probleme der Studierenden über Dialoge erkennt und den Studierenden adaptive Lösungen anbietet. Wenn der Studierende beispielsweise negative Emotionen äußert, diagnostiziert der KI-Bot die Ursache im Chat. Danach würde der KI-Bot beurteilen, ob der Studierende ungerecht behandelt wurde. Dann würde er einige Optionen vorschlagen und Beispiele für den Umgang mit dem Problem geben. Die Ergebnisse zeigten, dass der KI-Roboter Lehrer mit 8-9 Jahren Erfahrung imitieren konnte.

Im Bereich des Sprachenlernens können Chatbots für informelle Konversation und zum Üben der Aussprache eingesetzt werden, was einige Studierende bevorzugen, da sie so verschiedene Möglichkeiten ausprobieren können, etwas zu sagen, und beim Sprechen Gefühle der Verlegenheit (affektiver Filter) vermeiden können.

In einer Fremdsprache haben Forscher Chatbots auch in der Bildung eingesetzt, um die Zusammenarbeit zu unterstützen. Sie entwarfen und erprobten ein spielbasiertes Tool zur Bewertung der Fähigkeit zur kollaborativen Problemlösung, "Circuit Runner", das das Potenzial von Chatbots bei der Bewertung von Fähigkeiten auf höherem Niveau in der Bildung zeigte. Schließlich haben Forscher gezeigt, dass Chatbots auch kreativ sein können. So wurde zum Beispiel ein Chatbot entwickelt, der dabei helfen könnte, auf der Grundlage vorhandener Materialien qualitativ hochwertige Quizze zu erstellen.

Forscher, die die Rolle von Chatbots in realen Lernkontexten untersuchen, räumen ein, dass sich die Anwendung von Chatbots noch in einem sehr frühen Stadium befindet. Chatbots können nicht effektiv arbeiten, ohne die menschlichen Lernmechanismen zu verstehen. Um die Lücke zwischen den Techniken hinter den Chatbots und den menschlichen Lernmechanismen zu schließen, ist ein Lerndesign notwendig. Die meisten Lerndesigns könnten mit detaillierteren Informationen über die Studierenden und Kenntnissen über das Lernen oder Lehren verbessert werden. KI-Techniken haben Chatbots hervorgebracht, die in der Lage sind, Informationen zu sammeln und die Anforderungen der Studierenden zu erkunden, bevor sie den Studierenden intelligente Lernumgebungen und adaptive Unterstützung bieten. Chatbots könnten ein neuer Weg zu einem lernerzentrierten Unterricht sein. Außerdem wird dies dazu beitragen, die Arbeitsbelastung der Dozenten zu verringern.

Im Vergleich zum traditionellen Lernen und Lehren bieten Chatbots neue Möglichkeiten, wie z. B. sofortige Problemdiagnosen und Interventionen, die den Studierenden das Gefühl geben, dass sie während des Lernprozesses nicht allein sind. Die Studierenden könnten auch entspannter sein und sich freier ausdrücken, da sie nicht mit Menschen interagieren, die sie beurteilen könnten. Diese entspannte Umgebung kann sich positiv auf das Lernen auswirken.

3. Andere Online-Tools zur formativen Beurteilung

Das Bolton College ging über geschlossene Fragen hinaus und untersuchte, ob Studierende Antworten geben und automatisiertes Feedback auf der Grundlage von Modellantworten der Dozenten erhalten können. Die Mitarbeiter haben das Potenzial von Plattformen für die Verarbeitung natürlicher Sprache und die Klassifizierung natürlicher Sprache erforscht, die von den führenden Anbietern in diesem Bereich wie IBM, Amazon, Google und Microsoft angeboten werden. Die ersten Ergebnisse sind vielversprechend, und die Rückmeldungen von Schülern und Lehrern sind positiv. Den Schülern gefiel es, bei der Beantwortung offener Fragen ein Echtzeit-Feedback zu erhalten, und die Lehrer gaben an, dass diese Dienste zu einer Verringerung des Arbeitsaufwands bei der Benotung führen könnten.

Das Aufkommen dieses neuen Bewertungsinstruments ermöglichte es den Dozentenn des Bolton College, ein umfassenderes Medium für die Bewertung ihrer SchülerInnen zu nutzen. Traditionell werden bei der Online-Beurteilung geschlossene Fragetechniken wie Ja/Nein-Fragen, Multiple-Choice-Fragen oder Drag-and-Drop-Aktivitäten eingesetzt. Ihre Lösung für die formative Beurteilung ermöglicht es den Dozentenn, offene Fragen zu stellen, die automatisch von einem Computer analysiert und bewertet werden können. Die Möglichkeit, Feedback in Echtzeit zu geben, bedeutet, dass die Schüler ihre Antworten qualifizieren und präzisieren können.

Es ist wichtig zu erwähnen, dass die Lehrer eine wichtige Rolle spielen. Sie trainieren die Klassifizierungsmodelle, die den offenen Fragen zugrunde liegen, die sie ihren Schülern vorlegen wollen. Die Lehrer können auch die Tatsache begrüßen, dass sich die Genauigkeit der Klassifizierungsmodelle verbessert, je mehr Schüler sich mit jeder offenen Frage beschäftigen und je größer die Menge der Trainingsdaten ist.      

Ein klares Anliegen ist das Ausmaß, in dem die Technologie die Interaktion zwischen Studierenden und akademischem Personal verringern könnte, und inwieweit die menschliche Beurteilung vollständig ersetzt werden könnte oder sollte - daher die Notwendigkeit einer "angemessenen" automatisierten Bewertung. Die Studierenden am Bolton College gaben an, dass sie neben dem automatisierten Feedback auch das Feedback der Tutoren bevorzugen.

Für Studierende, die einen Aufsatz schreiben und sofortiges Feedback zum Stil, wenn auch nicht zum Inhalt, wünschen, bietet écree (ecree.com), das sich selbst als "Ihr persönlicher KI-Tutor für das Schreiben" bezeichnet, Echtzeit-Feedback zum Schreiben, zur Rechtschreibung und zur Grammatik sowie zur Frage, ob die Arbeit als akademischer Aufsatz mit ausgearbeiteten Punkten und einem starken Schluss gut strukturiert ist. Ziel ist es, den Studierenden dabei zu helfen, ihre Aufsätze zu verbessern, bevor ihr Tutor sie sieht. Dadurch wird Zeit gespart, grundlegende Fehler zu markieren, und es bleibt mehr Zeit, sich auf die Rückmeldung zum Inhalt und die Lernpunkte zu konzentrieren.

Ähnlich wie das Bolton College haben auch die Universitäten von Edinburgh, Glasgow und Manchester die Technologie der adaptiven vergleichenden Beurteilung (Adaptive Comparative Judgment, ACJ) eingesetzt. Die vergleichende Beurteilung beruht auf dem Prinzip, dass es dem menschlichen Gehirn leichter fällt, zwei Gegenstände zu vergleichen und zu entscheiden, dass der eine besser oder schlechter ist als der andere, als eine objektive Bewertung der Qualität eines der beiden Gegenstände anhand einer vorgegebenen Rubrik vorzunehmen. ACJ nutzt Technologie, um den Vergleichsprozess zu automatisieren. Während die Skripte zunächst nach dem Zufallsprinzip verglichen werden, kommt das adaptive Element zum Tragen, wenn der Computeralgorithmus beginnt, die Paare auszuwählen, die die Zuverlässigkeit der Rangliste am meisten verbessern. Der Vergleich zwischen sehr guten und sehr schlechten Skripten ist offensichtlich, und es werden mehr Anstrengungen unternommen, um diejenigen zu bewerten, die am ehesten übereinstimmen. Der Benotungsprozess wird beschleunigt, und die Rangliste kann zur Benotung von Arbeiten und zur Festlegung von Notengrenzen verwendet werden. Außerdem können die Studierenden so Rückmeldungen von mehreren verschiedenen Prüfern oder Evaluatoren erhalten, sei es von Mitarbeitern oder von Kollegen.