A OpenAI divulgou em 19 de outubro de 2026 os resultados de dois testes criados pela própria empresa para medir como seus modelos programam em linguagens com pouco código público disponível, como COBOL, Fortran, OCaml e Visual Basic. Segundo a OpenAI, o GPT-6 Astra acertou em média 87,4% dos testes de um benchmark em que precisou construir um banco de dados do zero em 20 linguagens, contra 26,8% do GPT-5.6 Sol. Para bancos, seguradoras e órgãos públicos brasileiros que ainda mantêm sistemas antigos em COBOL, a notícia aponta para uma ferramenta possível de manutenção e migração, mas os números vêm da fabricante, sem auditoria independente e sem nenhum caso testado no Brasil.
O segundo teste mediu a migração de programas COBOL para linguagens modernas. Nele, de acordo com a empresa, o GPT-6.1 Sol acertou 86,6% das migrações com baixo esforço de raciocínio, contra 5,4% do GPT-5.6 Sol, e chegou a 97,9% com esforço mais alto. A própria OpenAI ressalvou que aplicar isso a software em produção ainda exige revisão de especialistas.
O que a OpenAI anunciou
O anúncio saiu como texto de pesquisa no blog da companhia, intitulado “Advancing coding in low-resource programming languages”. A empresa chamou de linguagens de poucos recursos aquelas que têm menos código e documentação disponíveis para treinar modelos do que Python ou JavaScript, embora sustentem infraestrutura considerada crítica.
Para justificar o foco, a OpenAI citou dados de uma página da IBM sobre COBOL. Segundo a OpenAI, a linguagem sustenta mais de 40% dos sistemas de internet banking, 80% das transações presenciais com cartão de crédito e 95% das transações em caixas eletrônicos. Esses percentuais têm alcance global e não foram medidos pela ias.news nem se referem especificamente ao Brasil.
A empresa disse ainda que o trabalho partiu de queixas de desenvolvedores e clientes corporativos. Segundo o texto, esses usuários relataram que modelos de código costumam ter dificuldade com essas linguagens, em sistemas onde a documentação é incompleta e regras de negócio importantes existem apenas no próprio código.
Como funciona o MultiLangBench
O primeiro teste, batizado de MultiLangBench, pediu que o modelo construísse um motor de banco de dados compatível com o SQLite, do zero, em uma linguagem determinada. Segundo a OpenAI, a tarefa obrigou o modelo a organizar um código extenso, controlar estado, tratar erros e acrescentar funções sem quebrar o que já funcionava.
O repositório público do projeto no GitHub detalhou as regras. O alvo foi a versão 3.40.1 do SQLite, o modelo recebeu apenas a documentação oficial e trabalhou sem acesso à internet, em um ambiente do qual qualquer cópia do SQLite precisou ser removida.
Cada teste teve três partes: um banco inicial, uma consulta que o programa do modelo precisou executar e uma consulta de validação rodada pelo SQLite verdadeiro sobre o arquivo resultante. O teste só contou como aprovado quando a saída bateu exatamente com a esperada, e travamentos ou execuções acima de 60 segundos contaram como falha.
De acordo com o README, cerca de 24 mil testes foram convertidos a partir dos 51 mil da suíte original do SQLite. Por causa do custo, o próprio repositório recomendou rodar só 272 deles nas avaliações de rotina. A pontuação final combinou taxa de aprovação e custo de API, e um código escrito na linguagem errada, ou misturando linguagens, recebeu nota zero.
Os números do benchmark
Segundo a OpenAI, no esforço máximo de raciocínio o GPT-6 Astra melhorou em todas as 20 linguagens testadas. Em COBOL, a taxa subiu de 10,9% para 72,1%; em OCaml, de 25,6% para 85,8%; em Fortran, de 21,4% para 83,5%; e em Visual Basic, de 27,5% para 89,4%, sempre na comparação com o GPT-5.6 Sol.
A empresa afirmou que o Astra passou de 83% em 19 das 20 linguagens. O COBOL ficou como a mais difícil, perto de 72%, o que indica que justamente a linguagem mais associada a sistemas bancários antigos continuou sendo o ponto fraco do modelo de topo.
O gráfico publicado pela OpenAI também mostrou que o GPT-6.1 Sol ficou praticamente empatado com o Astra, com média de 87,04% contra 87,39%. No mesmo gráfico, o GPT-6 Sol registrou 57,66% e o GPT-5.6 Terra, 37,92%.
O GPT-6 Luna, opção mais barata, ficou bem atrás, com média de 40,3%. Segundo a OpenAI, ele chegou a 17,1% em COBOL e custou em média US$ 0,77 por amostra, contra US$ 3,48 do GPT-5.6 Sol, uma redução estimada de cerca de 78% no gasto de API.
Migração de COBOL com testes ocultos
O segundo teste pediu que os modelos convertessem programas COBOL para C++, Java, Kotlin, Python ou Rust sem alterar o comportamento. A OpenAI citou um exemplo típico de armadilha: a aritmética de ponto fixo do COBOL descarta casas decimais excedentes, a menos que o arredondamento seja pedido de forma explícita.
Segundo a empresa, uma reescrita que arredonde esses valores pode rodar sem erro e ainda assim gerar resultados financeiros diferentes. Para pegar esse tipo de desvio, os modelos foram avaliados com testes ocultos que exigiram saídas idênticas byte a byte, e uma migração só contou como bem-sucedida quando passou em todos eles.
Nesse teste, de acordo com a OpenAI, o GPT-6.1 Sol acertou 86,6% com baixo esforço de raciocínio, contra 5,4% do GPT-5.6 Sol no mesmo ajuste, gastando 61% do custo de API do modelo anterior. Com esforço mais alto, a taxa foi a 97,9%, o que a própria empresa descreveu como perto de saturar a avaliação.
O texto da OpenAI trouxe ressalva explícita. A empresa escreveu que aplicar a técnica a software em produção “ainda requer revisão de especialistas” e testes contra as regras de negócio e dependências de cada sistema.
O que está provado e o que é promessa
Os dois testes foram desenhados, executados e divulgados pela própria OpenAI, que também vende os modelos avaliados. Até a publicação desta reportagem, nenhum laboratório independente havia reproduzido os resultados, e a ias.news não encontrou caso público de banco ou empresa brasileira usando os modelos para migrar COBOL.
Há ainda diferenças entre o anúncio e o material publicado. O texto da OpenAI disse que os resultados por linguagem estariam no GitHub, mas, quando a ias.news consultou o repositório em 20 de outubro, ele trazia testes, scripts e instruções, sem arquivo de resultados nem um sistema pronto para rodar um modelo de ponta a ponta.
O histórico do repositório mostrou que a avaliação foi adicionada em 29 de setembro, a licença Apache 2.0 em 6 de outubro e o nome MultiLangBench no dia do anúncio. Já o teste de migração de COBOL não teve o conjunto de programas divulgado, o que impede verificação externa.
Outro ponto é a escala. Construir um SQLite em 272 testes de rotina e migrar programas de um conjunto fechado não equivale a modernizar um sistema bancário com décadas de remendos, integrações e regras regulatórias, cenário que nenhum dos testes reproduziu.
O que muda para empresas e desenvolvedores no Brasil
Bancos, seguradoras e órgãos públicos brasileiros mantêm há décadas sistemas em mainframe escritos em COBOL, e a falta de profissionais que dominem a linguagem é uma queixa antiga do setor. Para essas equipes, um modelo que entenda o código legado pode ajudar a documentar regras de negócio, corrigir falhas e planejar migrações.
O ganho possível, se os números se confirmarem fora do laboratório, é reduzir tempo e custo de projetos de modernização. O risco é tratar uma taxa de acerto de benchmark como garantia, já que um erro de arredondamento em sistema financeiro pode passar despercebido e afetar saldos e cobranças.
A OpenAI convidou desenvolvedores a testar os modelos pela API nas linguagens que usam. Segundo o changelog da API, o GPT-6.1 Sol foi lançado em 29 de setembro, descrito como mais barato que o GPT-6 Astra, e custa US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de saída, para prompts de até 272 mil tokens, com cobrança em dólar.
O anúncio não tratou de suporte a comentários, nomes de variáveis ou documentação em português, comuns em sistemas legados nacionais. Quem quiser avaliar a ferramenta precisará testar no próprio código, com especialistas revisando cada mudança, como recomendou a própria OpenAI.
Próximos passos
A empresa afirmou que quer levar as habilidades de engenharia de software dos modelos a mais linguagens, incluindo entender repositórios desconhecidos, usar ferramentas de build, rodar testes e depurar falhas. Ela pediu retorno dos usuários sobre onde os modelos falham e quais linguagens devem receber atenção.
Com o MultiLangBench aberto, outros laboratórios e pesquisadores podem rodar o teste em modelos concorrentes e confirmar ou contestar os números. Até que isso aconteça, os resultados seguem como dados da fabricante.
Fontes: OpenAI, “Advancing coding in low-resource programming languages”; repositório MultiLangBench no GitHub; changelog da API da OpenAI; IBM, página sobre COBOL (citada pela OpenAI).