Concepção de estratégias de avaliação transparentes para a aprendizagem online no Ensino Superior (Portuguese language)

1. Exemplos de boas práticas na Universidade Vytautas Magnus (Lituânia)

Na universidade Vytautas Magnus, os professores incorporam e utilizam uma variedade de diferentes ferramentas do Moodle para avaliar os resultados de aprendizagem dos estudantes. Por exemplo, o ambiente de aprendizagem Moodle oferece aos professores oportunidades de realizar a avaliação dos resultados de aprendizagem pretendidos. A título de exemplo, os professores podem criar testes, questionários, utilizar ferramentas interativas para avaliação como a ferramenta H5P (ver Ilustração 1), etc.

Ilustração 1. Exemplo de um segmento de teste, criado utilizando a ferramenta H5P (ambiente Moodle da VMU)

Uma das vantagens de utilizar a ferramenta H5P é que os estudantes têm a oportunidade de ouvir a gravação de uma palestra, analisar a apresentação de diapositivos usada na palestra ou qualquer outro material relacionado, e depois podem realizar um teste de autoverificação. Além disso, a ferramenta H5P e os testes criados com esta ferramenta podem ser utilizados como parte de uma estratégia de avaliação formativa ou sumativa, dependendo da finalidade para ele definida. De um modo geral, pode-se afirmar que esta ferramenta permite uma abordagem interativa à aprendizagem e avaliação. 

Além disso, os professores podem explorar o ambiente Moodle para conceber diferentes testes para os seus estudantes. Este VLE oferece uma vasta gama de itens para criar testes, que podem ser utilizados para avaliar os conhecimentos, aptidões e competências dos estudantes. Os professores podem conceber vários testes utilizando perguntas de resposta de escolha múltipla, de verdadeiro/ falso, de preenchimento de lacunas, correspondência, etc.

Ilustração 2. Exemplo de diferentes itens de perguntas (ambiente Moodle da VMU)

O Moodle abre ainda a possibilidade aos professores de avaliarem competências mais intrínsecas. Por exemplo, ao conceber perguntas abertas do tipo ensaio, os professores podem avaliar a compreensão do tema e as capacidades de escrita de um estudante, bem como as competências de pensamento crítico (ver Ilustração 3 abaixo).

Ilustração 3. Exemplo do tipo de pergunta “ensaio” (ambiente Moodle da VMU)

Se o teste não for um formato adequado para avaliar as aptidões, conhecimentos e competência de um estudante, o professor tem a opção de atribuir tarefas no Moodle e pedir aos estudantes para submeterem trabalhos no ambiente Moodle através da ferramenta de submissão de trabalhos (ver Ilustração 4). O professor pode fornecer uma descrição precisa da tarefa, indicar critérios de avaliação e definir prazos de submissão. Assim que o estudante submete o seu trabalho através do sistema, o professor pode avaliar e dar feedback sobre o trabalho no próprio Moodle, sem qualquer necessidade de descarregar primeiro os trabalhos submetidos.

Ilustração 4. Exemplo de ferramenta de submissão de tarefa (ambiente Moodle da VMU)

Em suma, os professores podem utilizar as ferramentas do Moodle para criar testes, para verificar os conhecimentos dos estudantes sobre um determinado tópico e para avaliar se os resultados de aprendizagem pretendidos foram alcançados. Aqui, apenas algumas opções diferentes foram descritas, no entanto, salienta-se a existência de várias ferramentas diferentes que podem ser utilizadas tanto para a avaliação da aprendizagem dos estudantes quanto para a avaliação dos resultados de aprendizagem. Além disso, podem ainda considerar-se o uso de ferramentas externas que sejam compatíveis e passíveis de ser integradas no ambiente Moodle. Os professores dispõem, assim, de um vasto leque de ferramentas para implementar a estratégia de avaliação definida. 

2. O uso da Chatbox e do assistente de ensino de IA

Ao utilizar uma interface de conversação baseada em texto ou voz para comunicar com o utilizador, os chatbots podem responder e colocar questões, orientar os aprendentes, e ajudar na resolução de problemas. Isto significa que, quando um professor não está disponível ou não pode ajudar, os aprendentes ainda são capazes de fazer alguns progressos. Os chatbots utilizam técnicas de inteligência artificial (IA) para compreender línguas, vozes, linguagem corporal e comportamentos humanos, e para dar sentido a padrões nas línguas ou comportamentos. Os chatbots trouxeram novas oportunidades para aprendizagem em grande escala e de alta qualidade. Permitem uma maior personalização através da recolha de dados de diálogos e comportamentos dos aprendentes para fornecer apoio especificamente adaptado às necessidades de cada um, o que também pode ajudar a reduzir a carga de trabalho dos professores. Estas ferramentas, baseadas na inteligência artificial (IA), poderiam permitir a prática da língua através de atividades simples como perguntar e responder a perguntas, através de conversação mais avançada, tais como permitir a um aprendente participar numa história respondendo às escolhas oferecidas pelo chatbot. Os chatbots são atualmente concebidos principalmente para a interação individuais, mas no futuro poderão vir a apoiar diálogos mais colaborativos.

Na prática educacional, investigadores do Instituto de Tecnologia da Geórgia investigaram como os chatbots podem ser utilizados em aulas online. Desenvolveram uma assistente de ensino de IA chamada ‘Jill Watson’ com base em diálogos e dados de aprendizagem de cursos anteriores. Com estes dados, a ‘Jill’ pode analisar as perguntas dos estudantes e encontrar respostas imediatas. O chatbot tem sido utilizado em vários cursos para ajudar os estudantes com questões relacionadas com conteúdos, através de diálogos significativos. Os investigadores descobriram que os estudantes não conseguiam distinguir o chatbot do professor, o que sugere que, em alguns contextos, os chatbots podem funcionar bem como facilitadores da aprendizagem online.

Investigadores do Centro de Inovação Avançada para a Educação do Futuro (AICFE) da Universidade de Pequim investigaram o papel de um chatbot na educação moral. Na educação moral, os professores concentram-se em ajudar os estudantes a compreender os problemas morais e a cultivar a moralidade. Nesta investigação, foi desenvolvido um chatbot (alimentado por IA) para detetar os problemas morais dos estudantes através de diálogos e lhes apresentar soluções adaptativas. Por exemplo, quando o aprendente exprimia emoções negativas, o chatbot diagnosticava a causa através de conversas. Depois disso, o "AI-bot" avaliava se o aprendente tinha sofrido um tratamento injusto. Depois sugeria algumas opções e daria exemplos de como se poderia lidar com o problema. Os resultados mostraram que o "AI-bot" podia agir de forma semelhante a professores com 8/9 anos de experiência.

No campo da aprendizagem de línguas, os chatbots podem ser usados para conversas informais e prática de pronúncia, o que alguns aprendentes preferem, uma vez que lhes permite experimentar diferentes formas de dizer algo e evitar sentimentos de constrangimento (filtro afetivo) ao falar.

Numa língua estrangeira, os investigadores também utilizaram chatbots na educação para apoiar a colaboração. Conceberam e testaram uma ferramenta de avaliação da capacidade de colaboração baseada no jogo 'Circuit Runner', que demonstrou o seu potencial na avaliação de competências de nível superior na educação. Finalmente, os investigadores demonstraram que os chatbots também podem ser criativos. Por exemplo, foi desenvolvido um chatbot que poderia ajudar a gerar questionários de alta qualidade com base em materiais existentes.

A investigação sobre o papel dos chatbots em contextos reais de aprendizagem revela que a sua aplicação ainda se encontra numa fase muito embrionária. Os chatbots não podem funcionar eficazmente sem compreenderem os mecanismos de aprendizagem humana. Para colmatar a lacuna entre as técnicas por detrás dos chatbots e os mecanismos de aprendizagem humana, é necessária uma conceção da aprendizagem. A maioria dos modelos de aprendizagem poderia ser melhorada com informações mais detalhadas sobre os aprendentes e os conhecimentos que se pretende que estes desenvolvam. As técnicas de IA criaram chatbots com a capacidade de recolher informação e explorar as necessidades dos aprendentes antes de lhes apresentar ambientes de aprendizagem inteligentes e de apoio adaptativo. Os chatbots poderiam ser uma nova forma de alcançar uma aprendizagem centrada no estudante. Além disso, tal poderá ajudar a reduzir a carga de trabalho dos professores.

Por comparação com a aprendizagem e ensino tradicionais, os chatbots trazem novas oportunidades, tais como o diagnóstico imediato de problemas e intervenções necessárias para que os aprendentes não se sintam sozinhos durante o processo de aprendizagem. Os aprendentes podem também estar mais relaxados e expressar-se mais livremente, uma vez que não estão a interagir com seres humanos que os possam julgar. Este ambiente descontraído pode ser propício à promoção da aprendizagem.

3. Outras Ferramentas de Avaliação Formativa Online

O Bolton College foi além das perguntas fechadas para explorar se os estudantes podem dar respostas e receber feedback automatizado com base em respostas modelo fornecidas pelos professores. Empresas como a IBM, a Amazon, a Google e a Microsoft têm ainda vindo a explorar o potencial que o processamento de língua natural e as suas plataformas de classificação têm para oferecer. Os resultados iniciais são promissores, com feedback positivo recebido por parte de estudantes e professores. Os estudantes gostaram de receber feedback em tempo real ao responderem a perguntas abertas, e os professores declararam que estes serviços poderiam levar a uma redução na carga de trabalho.

O aparecimento desta nova ferramenta de avaliação permitiu aos professores do Bolton College utilizarem funcionalidades diversas para avaliar os seus estudantes. Tradicionalmente, as atividades de avaliação formativa online incluem perguntas fechadas (de resposta sim/não, de escolha múltipla, etc.). A sua solução para a avaliação formativa permitiu aos professores colocar perguntas abertas que podem ser automaticamente analisadas e avaliadas por um computador. A capacidade de oferecer feedback em tempo real significa que os estudantes podem analisar e clarificar as suas respostas.

É importante notar que os professores desempenham um papel importante, uma vez que são eles que constroem os modelos de classificação que sustentam as perguntas abertas que pretendem apresentar aos seus estudantes. Os professores veem também vantagem na exatidão dos modelos de classificação, que estão a melhorar à medida que mais estudantes se envolvem com cada pergunta aberta e que o volume de dados de formação aumenta.      

Uma preocupação atual é até que ponto a tecnologia pode reduzir a interação estudante/professor, e até que ponto o julgamento humano pode ou deve ser inteiramente substituído – daí a necessidade de uma avaliação "adequadamente" automatizada. Os estudantes do Bolton College manifestaram a sua preferência pelo feedback dos tutores, juntamente com o feedback automatizado.

Para os estudantes que redigem ensaios, estes preferem o feedback instantâneo sobre estilo, e não o conteúdo, o écree (ecree.com) descreve-se a si próprio como tutor pessoal de escrita de IA e dá feedback de escrita, ortografia e gramática, em tempo real –  mesmo quando o trabalho está bem estruturado e de acordo com o estilo que se pretende de um ensaio académico, com os pontos desenvolvidos e uma forte conclusão. O objetivo é ajudar os estudantes a melhorar as suas redações antes de o seu tutor as analisar, para que este não desperdice o seu tempo a assinalar erros básicos e se possa concentrar mais nos conteúdos e no processo de aprendizagem.

Tal como no Bolton College, as universidades de Edimburgo, Glasgow e Manchester utilizaram a tecnologia Adaptive Comparative Judgment (ACJ). O julgamento comparativo funciona com base no princípio de que para o cérebro humano é mais fácil comparar dois itens e decidir que um é melhor ou pior do que o outro do que fazer uma avaliação sobre a qualidade de qualquer um deles em função dos critérios inscritos numa determinada rubrica. ACJ utiliza a tecnologia para automatizar o processo de comparação. Enquanto os textos são inicialmente comparados de forma aleatória, o elemento adaptativo entra à medida que o algoritmo informático começa a selecionar os pares que poderão melhorar a fiabilidade da classificação. A comparação entre textos muito bons e muito maus é óbvia e um maior esforço vai para a avaliação daqueles que são mais estreitamente combinados. Também permite que os estudantes recebam feedback de vários marcadores diferentes, sejam eles de professores ou de pares.