A OpenAI anunciou, na última semana, que está treinando um novo modelo de inteligência artificial chamado de “CriticGPT”, que é capaz de detectar erros na saída de código do ChatGPT. Segundo a empresa, quando usuários recebem ajuda da tecnologia para revisar o código gerado, eles superam a precisão dos resultados em 60% dos casos.

Ao longo do tempo, o ChatGPT se torna cada vez mais preciso, e seus erros ficam mais sutis. Isso pode dificultar a detecção de imprecisões e erros de saída quando eles ocorrem. Com isso, o CriticGPT pode escrever “críticas” que destacam imprecisões nas respostas do chatbot que podem passar despercebidas por humanos.

O CriticGPT é baseado na família de modelos GPT-4, que é projetada para ter aprendizado por reforço com base no feedback humano — um sistema chamado de Reinforcement Learning from Human Feedback (RLHF). Essa tecnologia consiste em analisar comparações em que usuários treinadores de IA avaliam as respostas do ChatGPT.

É enfatizado que as sugestões feitas pelo novo modelo podem nem sempre estar corretas, mas ajudam os treinadores a detectar muito mais problemas com respostas escritas por outros modelos. Sua flexibilidade permite que seja adaptado para diferentes atividades de treinamento além da revisão de códigos de programação.

Pesquisadores buscaram aplicar o novo modelo em um subconjunto de dados de treinamento do ChatGPT que haviam sido classificados como “impecáveis” pela equipe de treinadores humanos. No entanto, o CriticGPT encontrou erros e imprecisões em 24% dos casos que, antes, eram considerados perfeitos por revisores.

O CriticGPT ainda possui certas limitações. Por exemplo, ele foi treinado em informações relativamente curtas geradas pelo ChatGPT, portanto, ainda não está claro se há algum feedback sobre a eficácia do modelo em tarefas maiores e mais complexas. Além disso, ele ainda é uma inteligência artificial, e pode ter suas próprias “alucinações”.

A OpenAI afirma que planeja integrar o novo modelo ao seu sistema de aprendizado por reforço com feedback humano, de modo a disponibilizar suporte baseado em IA aos seus treinadores e simplificar a avaliação dos resultados de serviços como o ChatGPT.