Em 18 de abril de 2025, a OpenAI anunciou seus mais recentes modelos de IA focados em raciocínio: o3 e o4-mini. Esses modelos prometem avanços significativos na capacidade de “pensar” passo a passo. No entanto, testes internos revelaram que eles também apresentam um aumento nas chamadas “alucinações” — respostas factualmente incorretas ou inventadas.
O Que São Alucinações em Modelos de IA?
Alucinações ocorrem quando um modelo de linguagem gera informações que parecem plausíveis, mas são incorretas ou inexistentes. Por exemplo, um modelo pode afirmar que uma pessoa famosa nasceu em uma data errada ou citar um livro que não existe.
Desempenho dos Novos Modelos
Nos testes da OpenAI utilizando o benchmark interno PersonQA, que avalia o conhecimento dos modelos sobre pessoas, os resultados foram os seguintes:
- o3: alucinou em 33% das perguntas.
- o1: alucinou em 16% das perguntas.
- o3-mini: alucinou em 14,8% das perguntas.
- o4-mini: alucinou em 48% das perguntas.
Esses números indicam que, embora os novos modelos tenham capacidades de raciocínio aprimoradas, eles também são mais propensos a gerar informações incorretas.
Implicações para Usuários e Desenvolvedores
O aumento nas alucinações levanta preocupações sobre a confiabilidade desses modelos, especialmente em aplicações que exigem precisão, como assistência médica, jurídica ou educacional. Desenvolvedores e usuários devem estar cientes dessas limitações e considerar estratégias para mitigar os riscos, como validação cruzada de informações e uso de modelos adicionais para verificação de fatos.
Caminhos para o Futuro
A OpenAI reconhece a necessidade de mais pesquisas para entender por que as alucinações aumentam com modelos de raciocínio mais avançados. A empresa está explorando métodos para melhorar a precisão, incluindo ajustes nos processos de treinamento e desenvolvimento de benchmarks mais robustos.
Enquanto isso, é crucial que a comunidade de IA continue monitorando e abordando essas questões para garantir que os avanços em capacidades não comprometam a confiabilidade dos sistemas.
Para mais detalhes, confira o artigo completo da TechCrunch: OpenAI’s new reasoning AI models hallucinate more
