Num estudo inovador conduzido pelo Prof Scarfe e a sua equipa na Universidade de Reading, foi revelado que as respostas escritas pela Inteligência Artificial (IA) superaram as escritas por estudantes humanos em exames universitários.
Os pesquisadores descobriram que as respostas da avaliação gerada pela IA eram “ praticamente indetectáveis ” quando avaliadas por marcadores humanos. Isto realça a crescente preocupação com a má conduta académica e a necessidade de abordar a utilização da IA nas avaliações educacionais.
O estudo envolveu a criação de 33 identidades estudantis falsas que usaram ChatGPT para responder a “exames em casa” oficiais como parte do bacharelado em psicologia da universidade.
Essas respostas geradas por IA foram posteriormente enviadas juntamente com as respostas escritas por alunos reais para avaliação. Os marcadores, que desconheciam o estudo, atribuíram notas mais altas aos envios de IA do que os seus homólogos humanos.
Na verdade, 83% dos envios de IA receberam notas melhores do que as respostas dos alunos reais. Isto levanta questões significativas sobre a justiça e a precisão da avaliação do desempenho dos alunos à luz do desempenho superior da IA.
Preocupações sobre má conduta acadêmica com o uso de IA
As descobertas do estudo despertam preocupações nas universidades sobre o impacto imediato da IA no sector da educação.
Os estudantes usam cada vez mais a IA para trapacear, aproveitando as inadequações dos sistemas de detecção atuais. Houve apelos para cortar métodos de avaliação, como cursos e ensaios, enquanto outros defendem a integração responsável e ética da IA nas práticas educativas.
Uma pesquisa realizada pelo serviço de admissão Ucas descobriu que 53% dos alunos usaram IA generativa para se preparar para os exames. No entanto, o atual software de detecção de IA tem sido amplamente malsucedido na detecção de conteúdo gerado por IA, deixando a responsabilidade de identificar práticas de trapaça para marcadores humanos.
Inadequações do software de detecção de IA
A baixa taxa de “falsos positivos” produzidos pelo software de detecção de IA faz com que as universidades hesitem em acusar os alunos de trapaça. Isto coloca sobre os marcadores humanos a tarefa de identificar conteúdos gerados por IA, o que se torna cada vez mais difícil à medida que a IA se torna mais sofisticada.
O estudo conduzido pela Universidade de Reading demonstra que os atuais processadores de IA estão passando no “teste de Turing”, o que significa que podem passar sem serem detectados por juízes experientes.
Apela às universidades para que adotem a IA de forma ética
Em meio aos desafios colocados pela IA nas avaliações, há apelos para que as universidades adotem uma abordagem proativa na adoção ética da IA.
O Grupo Russell, que inclui universidades importantes como Oxford, Cambridge e University College London, comprometeu-se a permitir o uso ético da IA no ensino e nas avaliações.
Riscos de desqualificar os alunos com o uso de IA
A disponibilidade de ferramentas de IA que podem gerar respostas e fornecer assistência em diversas tarefas pode prejudicar a capacidade dos alunos de se envolverem no pensamento crítico, na análise e na escrita sem a assistência da IA.
A professora Karen Yeung, bolsista de direito, ética e informática da Universidade de Birmingham, disse que permitir o uso de IA em exames em escolas e universidades poderia criar seus próprios problemas de “desqualificação” dos alunos.