Os programadores recorrem a chatbots como o ChatGPT da OpenAI para os ajudar a programar. Até aqui tudo bem, mas um estudo recente revela que há um problema. 52% das respostas de programação geradas pelo ChatGPT estão incorretas. Isso mesmo, leu bem, 52%!
Para o estudo, os investigadores analisaram 517 perguntas no Stack Overflow e analisaram a tentativa de resposta do ChatGPT.
Descobrimos que 52% das respostas do ChatGPT têm informações incorretas, 77% das respostas são mais detalhadas do que as respostas humanas e 78% das respostas têm diferentes graus de inconsistência em relação às respostas humanas
De referir que para o estudo os investigadores escolheram o GPT-3.5 em vez do GPT-4 , a versão mais recente do modelo de linguagem no momento do estudo. Deve-se notar que os investigadores realizaram também testes paralelos com o GPT-4 e concluíram que, embora o modelo mais recente tenha um desempenho “ligeiramente melhor”, ambos apresentam uma alta taxa de imprecisão.
