O projeto de iniciação científica "Avaliação dos sistemas de correção automática de redação disponíveis para o português do Brasil" acaba de ser aprovado no âmbito do Edital de Iniciação Científica nº 01/2024, da UnDF. O projeto será desenvolvido pelo estudante Moisés dos Santos Brandão Moniz, do curso de licenciatura em Matemática, e será orientado pelo professor Ronaldo Martins, em parceria com outros professores do grupo.
Como o próprio nome diz, o projeto tem por objetivo o recenseamento e a avaliação do desempenho dos sistemas de correção automática de redações para o português brasileiro (como o Coredação, o CIRA, o CRIA e o Glau). Todos esses sistemas usam inteligência artificial para atribuir notas às redações do ENEM, mas não existe nenhuma avaliação externa e imparcial sobre sua eficiência.
O projeto parte da hipótese de que o desempenho dos sistemas de correção automática de redações disponíveis para o português brasileiro está ainda muito aquém da expectativa dos usuários. Os sistemas existentes seriam ainda caracterizados por inúmeras limitações, entre as quais:
a não detecção de muitos dos desvios do texto normalmente identificáveis por um corretor humano (falsos negativos);
a sobrecorreção do texto, com a identificação de desvios inexistentes (as chamadas "alucinações” de sistemas de inteligência artificial, ou falsos positivos);
a atribuição de notas discrepantes das atribuídas pelo avaliador humano; e
o fornecimento de feedbacks insuficientes ou enganadores para o usuário.
Essas hipóteses serão verificadas, durante o curso do projeto, por meio de avaliação quantitativa e qualitativa do desempenho dos sistemas para um corpus de testes constituído por redações previamente corrigidas por avaliadores humanos, que será tomado como parâmetro para a comparação.