Avaliando os avaliadores

O texto avalia eficácia dos sistemas de correção automática de redações em português do Brasil, comparando suas avaliações com as de professores experientes. Foram analisados três sistemas disponíveis no mercado brasileiro: coRedação, CRIA e Glau, utilizando um corpus de 40 redações de alunos do ensino médio. Os resultados revelaram divergências significativas entre as avaliações dos sistemas e as dos avaliadores humanos, especialmente na avaliação geral das redações. Embora os sistemas mostrem alguma convergência na avaliação isolada das competências do ENEM, o desempenho global apresentou discrepâncias consideráveis. As análises estatísticas, incluindo correlação de Pearson, erro médio absoluto e diferença média quadrática, confirmaram a variabilidade no desempenho dos sistemas. A pesquisa destaca a necessidade de aprimoramentos nos sistemas de correção automática para que possam ser utilizados de forma mais eficaz como ferramentas de apoio ao ensino.