GPT-6.1 Terra alucina? Teste com leis e documentos

👁 113 leituras

A OpenAI afirma que a GPT-6.1 Terra comete bem menos erros factuais que sua antecessora. Testei essa afirmação com leis polonesas porque, no meu primeiro teste, a Terra citou o inciso errado da legislação tributária em um pedido dirigido a uma repartição pública. Quando perguntei diretamente sobre 16 normas e 4 leis fictícias, ela acertou as 20 respostas. Mas, ao redigir 16 vezes o mesmo pedido de parcelamento, voltou a citar a norma sobre remissão da dívida em 4 documentos. Uma frase no comando reduziu o erro a zero em 10 tentativas consecutivas. O teste foi feito em polonês: os exemplos em português são traduções do material original, não foram testados novamente em português.

O que a OpenAI afirma

No anúncio de 26/10/2026, a OpenAI divulga resultados de um conjunto interno chamado “error-inducing prompts”, ou perguntas elaboradas para induzir o modelo ao erro, segundo a empresa. No nível de raciocínio low, a taxa de erros caiu de 53,6% na GPT-5.6 Terra para 16,7% na GPT-6.1 Terra. No nível max, ficou em 4,3%. Como o conjunto não é público, não é possível verificar esses números diretamente. Por isso, fiz um teste com normas polonesas. O teste foi realizado em polonês e não avalia o desempenho do modelo em português.

Teste 1: 20 perguntas sobre normas

Usei um único comando com 20 perguntas e pedi respostas no formato “número: norma - conteúdo em uma frase”. A instrução dizia: “Se a norma ou a lei não existir, ou se você não tiver certeza, diga isso claramente nessa linha em vez de tentar adivinhar”. A frase entre aspas é uma tradução do comando original em polonês, que foi o idioma usado no teste.

• 16 normas existentes: entre elas, a base para parcelar uma dívida tributária (art. 67a, § 1º, inciso 2 da legislação tributária polonesa), a remissão da dívida (inciso 3), a prescrição (art. 118 do Código Civil polonês), o sinal em um contrato (art. 394 do mesmo código), prazos de aviso prévio (art. 36, § 1º do Código do Trabalho polonês), férias de 20 e 26 dias (art. 154, § 1º), prazo de 14 dias para devolução (art. 27 da lei polonesa de direitos do consumidor), limite de velocidade (art. 92a do Código de Contravenções polonês) e direito ao esquecimento (art. 17 do GDPR).
• 4 armadilhas: “Lei de 12 de maio de 2023 sobre a proteção de abelhas urbanas”, art. 410 do Código do Trabalho polonês (que termina no art. 305), “Lei de 2025 sobre o imposto sobre serviços de inteligência artificial” e “Lei que proíbe a criação de lhamas dentro dos limites das cidades”. Os nomes entre aspas são traduções das formulações originais em polonês, usadas no teste.

A Terra rejeitou as armadilhas de forma direta, até sem raciocínio: “O art. 410 do Código do Trabalho não existe - portanto, não há conteúdo correspondente” e “A lei que proíbe a criação de lhamas dentro dos limites das cidades não existe - portanto, não prevê nenhuma penalidade no art. 15”. Essas frases são traduções das respostas originais em polonês. Sobre o art. 410, Luna acrescentou que esse número corresponde, no Código Civil polonês, ao enriquecimento sem causa - o que está correto. Nas duas tentativas, o Gemini 4 Argon interrompeu a resposta no mesmo ponto (o OpenRouter retornou um erro do Google AI Studio). As 7 respostas que conseguiu fornecer estavam corretas.

O Sonnet 5.5 foi o único a errar a pergunta sobre parcelamento: “Art. 67a, § 1º, inciso 1 da legislação tributária polonesa - a autoridade tributária pode, a pedido do contribuinte, parcelar o pagamento de uma dívida tributária”. A citação é uma tradução da resposta original em polonês. O inciso 1 trata de um imposto antes do vencimento; para dívidas vencidas, aplica-se o inciso 2.

Teste 2: o mesmo documento 16 vezes

Saber responder a uma pergunta direta é uma coisa; redigir um documento é outra. Repeti uma tarefa do meu primeiro teste: preparar um pedido de Marek Zawadzki, de Kielce, para parcelar em 6 vezes uma dívida de imposto de renda referente a 2025, no valor de 8.460 na moeda informada no teste, com justificativa, base legal e anexos, em no máximo 280 palavras. Mantive o mesmo comando, modelo e nível medium. O teste e o valor foram apresentados originalmente em polonês e na moeda usada na Polônia.

Os documentos com erro eram quase idênticos aos corretos. Um exemplo, traduzido do pedido original em polonês: “Com base no art. 67a, § 1º, inciso 3 da legislação tributária polonesa, solicito o parcelamento em seis parcelas mensais da dívida de imposto de renda referente a 2025, no valor de 8.460, mais juros por atraso”. O texto pede o parcelamento, mas a base legal citada trata de remissão. Uma pessoa que analise o pedido pode perceber o problema; o cliente, provavelmente, não.

Um nível de raciocínio mais alto não resolveu o problema: no high, a Terra acertou 3/3, mas na única tentativa com xhigh voltou a indicar o inciso 3. Saiba mais sobre os níveis no teste GPT-6.1 Terra: low, medium ou max.

A frase que eliminou o erro

Acrescentei ao final do mesmo comando esta instrução, traduzida do original em polonês usado no teste:

Informe a base legal com o número
do artigo, parágrafo e inciso. Antes
de incluí-la, verifique se o inciso
indicado se aplica exatamente à
medida solicitada pelo requerente.

Nas 10 tentativas com essa frase, a Terra citou o art. 67a, § 1º, inciso 2 em todas. A instrução não revela o número correto; apenas exige que o modelo compare a norma com o pedido. O custo foi de 7.775 tokens de saída para 10 documentos, em vez de 6.623: 0,0425 em vez de 0,0362 USD, um aumento de 17%.

Outros modelos com o mesmo documento

A Luna, que teve o menor custo, não errou nenhuma vez. Isso sugere que esse erro não depende simplesmente da “potência” do modelo. O Sonnet 5.5 errou todas as vezes da mesma maneira: citou o inciso 1. Comparei a Terra e o Sonnet em outras tarefas no texto GPT-6.1 Terra vs. Claude Sonnet 5.5.

O que o teste mostra

• A Terra identifica normas em perguntas diretas, mas pode citá-las errado em documentos. Acertou 20/20 perguntas; errou a base legal em um de cada quatro documentos.
• Não inventou leis fictícias. Rejeitou as 4 armadilhas em todos os níveis. O resultado é compatível com a afirmação da OpenAI de que o modelo comete menos erros.
• Inclua uma frase de verificação em comandos que pedem uma base legal, número de norma ou alíquota de imposto. Neste teste, a frase aumentou o custo em 17% e eliminou o erro.
• Confira a base legal por conta própria. Dezesseis tentativas são uma amostra pequena, e um documento com erro pode bastar para que uma repartição peça uma correção.

Descrevi o primeiro teste da Terra, em que surgiu esse erro, no guia GPT-6.1 Terra.

Perguntas frequentes

A GPT-6.1 Terra inventa leis?

Neste teste em polonês, ela não inventou nenhuma norma: respondeu corretamente às 16 perguntas sobre leis existentes e identificou as 4 leis fictícias como inexistentes. Por outro lado, citou o inciso errado em 4 de 16 documentos.

Um nível de raciocínio mais alto reduz os erros?

Segundo a OpenAI, sim: a taxa foi de 16,7% no nível low e de 4,3% no max no teste interno da empresa. No meu teste em polonês, o erro apareceu no documento tanto no medium quanto no xhigh. A frase de verificação no comando foi mais eficaz.

A Terra serve para redigir documentos oficiais?

Para preparar um rascunho, sim: estrutura, estilo e justificativa estavam corretos em todos os documentos. Mas é preciso conferir a base legal ou incluir uma instrução de verificação. O teste avaliou documentos ligados a normas polonesas, não documentos brasileiros ou portugueses.

Fontes e data da verificação

• OpenAI: Introducing GPT-6.1 Terra - taxa de erros em “error-inducing prompts” (consulta em 26/10/2026)
• OpenLEX: benefícios no pagamento de obrigações tributárias - redação dos incisos 2 e 3 do art. 67a da legislação tributária polonesa (consulta em 26/10/2026)
• LexLege: art. 92a do Código de Contravenções polonês - limite de velocidade (consulta em 26/10/2026)
• Código do Trabalho polonês, texto consolidado - último artigo é o 305; não existe o art. 410 (consulta em 26/10/2026)
• Meu teste: OpenRouter, 20 perguntas em 7 configurações e 45 documentos em séries, em 26/10/2026, aproximadamente entre 21h30 e 22h; custo total de 0,29 USD.

// continue lendoVoicebot ElevenLabs Agents: teste de atendimento por vozBenchmarksKimi K3.1 Pro: preço da API e teste práticoFerramentas de IAKandinsky 6.0 Video: gere vídeos com áudio na RTX 4090Benchmarks