Designing transparent assessment strategies for online learning in HE (Polish language)

1. Przykłady dobrych praktyk na Uniwersytecie Witolda Wielkiego na Litwie

Na uniwersytecie Vytautas Magnus nauczyciele włączają i używają różnych narzędzi Moodle do oceny efektów uczenia się uczniów. Na przykład środowisko uczenia się Moodle zapewnia nauczycielom możliwość przeprowadzania oceny zamierzonych efektów uczenia się, np. nauczyciele mogą tworzyć testy, quizy, korzystać z interaktywnych narzędzi do oceniania (np. narzędzie H5P (zob.

Ilustracja 1. Przykład Segmentu Testowego utworzonego za pomocą narzędzia H5P (środowisko VMU Moodle)

Jedną z zalet korzystania z narzędzia H5P jest to, że studenci mają możliwość odsłuchania nagrania wykładu, obejrzenia slajdów z wykładu lub innych powiązanych materiałów lub linków w celu uzyskania dalszych informacji, a następnie wykonania testu samosprawdzającego. Ponadto narzędzie H5P i testy utworzone za jego pomocą mogą być wykorzystywane jako część strategii oceniania formatywnego lub sumatywnego, w zależności od celu, któremu ma służyć test. Podsumowując, należy stwierdzić, że narzędzie to umożliwia bardziej interaktywne podejście do uczenia się i oceniania.

Ponadto nauczyciele mogą eksplorować środowisko Moodle w celu projektowania różnych testów dla swoich uczniów. Środowisko Moodle oferuje szeroką gamę elementów testowych, które można wykorzystać do oceny wiedzy, umiejętności i kompetencji ucznia. Nauczyciele mogą projektować różne testy, używając pytań wielokrotnego wyboru, stwierdzeń prawda/fałsz, wypełniając puste pytania, przeciągając i upuszczając pasujące elementy itp.

Ilustracja 2. Przykłady różnych pozycji pytań (środowisko VMU Moodle)

Co więcej, Moodle daje nauczycielom możliwość oceny bardziej wewnętrznych umiejętności. Na przykład, projektując otwarte pytania typu esej, nauczyciele mogą ocenić zrozumienie tematu przez ucznia i umiejętności pisania, a także umiejętności krytycznego myślenia (patrz ilustracja nr 3 poniżej).

Ilustracja nr 3. Przykład elementu pytania typu esej (środowisko VMU Moodle)

Poza tym, jeśli test nie jest odpowiednim formatem do oceny umiejętności, wiedzy i kompetencji ucznia, nauczyciel ma możliwość przydzielenia zadań na Moodle i poproszenia uczniów o przesłanie prac w środowisku Moodle za pomocą narzędzia do przesyłania prac (patrz ilustracja nr 1). 4). Prowadzący może dokładnie opisać zadanie, podać kryteria oceny, ustalić terminy. Gdy uczeń prześle swoją pracę za pośrednictwem systemu, nauczyciel może ją ocenić i przekazać opinię na temat pracy w Moodle bez konieczności wcześniejszego pobierania przesłanych prac.

Ilustracja nr 4. Przykład narzędzia do przesyłania zadań (środowisko VMU Moodle) Elementu pytania typu esej (środowisko VMU Moodle)

W skrócie, nauczyciele mogą wykorzystać narzędzia Moodle do tworzenia testów sprawdzających wiedzę uczniów na określony temat i oceniających, czy osiągnięto zamierzone efekty uczenia się. Tutaj opisano tylko kilka różnych opcji, należy jednak zauważyć, że istnieje kilka różnych narzędzi, które można wykorzystać zarówno do oceny uczenia się ucznia, jak i oceny efektów uczenia się. Należy również wziąć pod uwagę fakt, że zewnętrzne narzędzia mogą być kompatybilne i integrować się ze środowiskiem Moodle, dzięki czemu nauczyciele mają szeroki wybór narzędzi do realizacji wybranej strategii oceniania.

2. Korzystanie z Chatboxa i asystenta nauczyciela AI

Korzystając z tekstowego lub głosowego interfejsu konwersacyjnego do komunikacji z użytkownikiem, chatboty mogą odpowiadać i zadawać pytania, kierować uczniami i pomagać w rozwiązywaniu problemów. Oznacza to, że kiedy nauczyciel jest niedostępny lub nie może pomóc, uczniowie nadal mogą zrobić pewne postępy. Coraz częściej chatboty wykorzystują techniki sztucznej inteligencji do rozumienia ludzkich języków, głosów, mowy ciała i zachowań oraz do zrozumienia wzorców w językach lub zachowaniach. Chatboty przyniosły możliwości w walce ze sprzecznością między nauczaniem na dużą skalę a wysoką jakością. Umożliwiają większą personalizację, zbierając dane z dialogów i zachowań uczniów, aby zapewnić wsparcie, które jest specjalnie dostosowane do wymagań każdego ucznia, co może również pomóc zmniejszyć obciążenie pracą nauczycieli. Narzędzia te, oparte na sztucznej inteligencji (AI), mogą umożliwić ćwiczenie języka poprzez proste czynności, takie jak zadawanie pytań i odpowiadanie na nie, aż po bardziej zaawansowane projekty konwersacji, takie jak umożliwienie uczniowi udziału w historii poprzez odpowiadanie na wybory oferowane przez chatbota. Chatboty są obecnie przeznaczone głównie do interakcji indywidualnych, ale w przyszłości mogą wspierać więcej dialogów opartych na współpracy.

W praktyce edukacyjnej naukowcy z Georgia Institute of Technology zbadali, w jaki sposób można wykorzystać chatboty na zajęciach online. Opracowali asystenta nauczyciela AI o nazwie „Jill Watson” w oparciu o dialogi i dane dotyczące nauki z poprzednich kursów. Dzięki tym danym Jill mogła analizować pytania uczniów i udzielać natychmiastowych odpowiedzi. Chatbot był używany na kilku kursach, aby pomóc uczniom w zadawaniu pytań związanych z treścią i poprzez sensowne dialogi. Naukowcy odkryli, że uczniowie nie byli w stanie odróżnić chatbota od nauczyciela, co sugeruje, że w niektórych kontekstach chatboty mogą dobrze działać jako osoby ułatwiające naukę online.

Naukowcy z Advanced Innovation Center for Future Education (AICFE) na Beijing Normal University zbadali rolę chatbota w edukacji moralnej. W edukacji moralnej nauczyciele koncentrują się na pomaganiu uczniom w zrozumieniu problemów moralnych i kultywowaniu moralności. W ramach tych badań opracowano bota AI (chatbota napędzanego sztuczną inteligencją), aby wykrywać problemy moralne uczniów za pomocą dialogów i zapewniać uczniom adaptacyjne rozwiązania. Na przykład, gdy uczeń wyrażał negatywne emocje, AI-bot diagnozował przyczynę za pomocą czatu. Następnie AI-bot oceni, czy uczeń doświadczył niesprawiedliwego traktowania. Następnie zasugerowałby kilka opcji i podał przykłady, jak poradzić sobie z ich problemem. Wyniki pokazały, że AI-bot może naśladować nauczycieli z 8-9-letnim doświadczeniem.

W dziedzinie nauki języków chatboty mogą być wykorzystywane do nieformalnych rozmów i ćwiczenia wymowy, co niektórzy uczący się preferują, ponieważ pozwala im to wypróbować różne sposoby mówienia czegoś i uniknąć uczucia zażenowania (filtr afektywny) podczas mówienia.

W języku obcym badacze wykorzystali również chatboty w edukacji, aby wspierać współpracę. Zaprojektowali i przetestowali oparte na grze narzędzie do oceny umiejętności wspólnego rozwiązywania problemów „Circuit Runner”, które wykazało potencjał chatbotów w ocenie umiejętności wyższego poziomu w edukacji. Wreszcie, naukowcy wykazali, że chatboty mogą być również kreatywne. Na przykład opracowano chatbota, który może pomóc w generowaniu wysokiej jakości quizów na podstawie istniejących materiałów.

Naukowcy badający rolę chatbotów w rzeczywistych kontekstach uczenia się przyznają, że zastosowanie chatbotów jest wciąż na bardzo wczesnym etapie. Chatboty nie mogą działać efektywnie bez zrozumienia mechanizmów uczenia się człowieka. Aby wypełnić lukę między technikami stojącymi za chatbotami a mechanizmami uczenia się ludzi, konieczne jest projektowanie uczenia się. Większość projektów uczenia się można wzbogacić o bardziej szczegółowe informacje o uczniach i wiedzy na temat uczenia się lub nauczania. Techniki sztucznej inteligencji stworzyły chatboty, które są w stanie zbierać informacje i badać wymagania uczniów, zanim zapewnią uczniom inteligentne środowiska uczenia się i wsparcie adaptacyjne. Chatboty mogą być nowym sposobem na osiąganie instrukcji skoncentrowanych na uczniu. Ponadto pomoże to zmniejszyć obciążenie nauczycieli pracą.

W porównaniu do tradycyjnego uczenia się i nauczania, chatboty dają nowe możliwości

3. Inne narzędzia online do oceniania formatywnego

Bolton College wyszedł poza pytania zamknięte, aby zbadać, czy studenci mogą udzielać odpowiedzi i otrzymywać automatyczne informacje zwrotne na podstawie modelowych odpowiedzi udzielanych przez nauczycieli. Personel badał potencjał, jaki mają do zaoferowania platformy przetwarzania języka naturalnego i klasyfikacji języka naturalnego od wiodących dostawców w tej dziedzinie, takich jak IBM, Amazon, Google i Microsoft. Wstępne wyniki są obiecujące, a uczniowie i nauczyciele otrzymali pozytywne opinie. Uczniowie lubili otrzymywać informacje zwrotne w czasie rzeczywistym, gdy odpowiadali na pytania otwarte, a nauczyciele stwierdzili, że usługi te mogą prowadzić do zmniejszenia obciążenia pracą oceniającą.

Pojawienie się tego nowego narzędzia do oceniania umożliwiło nauczycielom Bolton College korzystanie z bogatszego medium do oceniania swoich uczniów. Tradycyjnie ocenianie formatywne online jest przeprowadzane przy użyciu technik zadawania pytań zamkniętych, takich jak pytania tak/nie, pytania wielokrotnego wyboru lub czynności typu „przeciągnij i upuść”. Ich rozwiązanie do oceniania formatywnego umożliwiło nauczycielom zadawanie pytań otwartych, które mogą być automatycznie analizowane i oceniane przez komputer. Możliwość przekazywania informacji zwrotnych w czasie rzeczywistym oznacza, że uczniowie mogą kwalifikować i wyjaśniać swoje odpowiedzi.

Należy zauważyć, że ważną rolę odgrywają nauczyciele. Trenują modele klasyfikacji, które stanowią podstawę pytań otwartych, które chcą przedstawić swoim uczniom. Nauczyciele mogą również z zadowoleniem przyjąć fakt, że dokładność modeli klasyfikacyjnych poprawia się, gdy więcej uczniów angażuje się w każde pytanie otwarte i wraz ze wzrostem ilości danych szkoleniowych.

Wyraźnym problemem jest zakres, w jakim technologia może ograniczyć interakcje między studentem a nauczycielem akademickim oraz w jakim stopniu ludzki osąd mógłby lub powinien zostać całkowicie zastąpiony – stąd potrzeba „odpowiednio” zautomatyzowanej oceny. Studenci Bolton College wyrazili preferencje dotyczące informacji zwrotnej od nauczyciela obok automatycznej informacji zwrotnej.

Dla studentów piszących eseje, którzy chcą natychmiastowej informacji zwrotnej na temat stylu, jeśli nie treści, écree (ecree.com) określa się jako „Twój osobisty nauczyciel pisania AI” i zapewnia wsparcie w pisaniu, pisowni i gramatyce w czasie rzeczywistym, w tym, czy praca jest dobrze skonstruowany jako esej akademicki z rozwiniętymi punktami i mocnym wnioskiem. Celem jest pomoc uczniom w poprawieniu ich esejów, zanim ich nauczyciel je zobaczy, oszczędzając w ten sposób czas na zaznaczanie podstawowych błędów i dając więcej czasu na skupienie się na przekazywaniu informacji zwrotnych na temat treści i punktów uczenia się.

Podobnie jak Bolton College, uniwersytety w Edynburgu, Glasgow i Manchesterze wykorzystały technologię Adaptive Comparative Judgment (ACJ). Osąd porównawczy działa na zasadzie, że mózgowi ludzkiemu łatwiej jest porównać dwie pozycje i zdecydować, która z nich jest lepsza lub gorsza od drugiej, niż dokonać obiektywnej oceny jakości jednej z nich w odniesieniu do danej rubryki. ACJ wykorzystuje technologię do automatyzacji procesu porównywania. Podczas gdy skrypty są początkowo porównywane losowo, element adaptacyjny pojawia się, gdy algorytm komputerowy zaczyna wybierać pary, które najbardziej poprawią wiarygodność rankingu. Porównanie bardzo dobrych i bardzo złych scenariuszy jest oczywiste i więcej wysiłku wkłada się w ocenę tych, które są bardziej dopasowane. Przyspiesza to proces oceniania, a ranking może służyć do oceniania prac i określania granic ocen. Umożliwia także uczniom otrzymywanie informacji zwrotnych od wielu różnych markerów, zarówno pracowników, jak i rówieśników.