Gemini 4 Carbon: benchmark com resultados de 19 testes

👁 113 leituras

O Google publicou junto com o Gemini 4 Carbon um documento com os resultados de 19 testes. O Carbon é comparado com Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 e Claude Fable 5.1. Reproduzi a tabela completa, expliquei o que cada teste avalia e listei onde o Carbon não vence. Estes são resultados divulgados pelo fabricante. Não testei o Carbon, pois ele está disponível apenas no programa Fairwind.

Tabela completa: resultados dos 19 testes

O melhor resultado de cada linha está em negrito. O traço indica que não há resultado disponível para aquele modelo.

Resultado: o Carbon tem o melhor desempenho em 17 dos 19 testes. Perde em dois: no FrontierSWE 2 para o GPT-6 Astra e no OSWorld-2.1 para o Claude Opus 5.5.

O que cada benchmark avalia

Inteligência geral

• Artificial Analysis Index v5.0 - ranking independente que combina vários testes; na versão 5.0, inclui ferramentas. O Carbon marcou 59 pontos, o Opus 5.5 fez 58 e o GPT-6 Astra, 57. É a única linha da tabela baseada integralmente em uma empresa externa, e também aquela em que a vantagem do Carbon é menor.
• Vals Index v2.2 - índice geral de tarefas profissionais da Vals AI. O Carbon marcou 70,4% e o Opus 5.5, 70,2%: praticamente um empate.

Programação

• SWE-sweep - tarefas de programação muito difíceis, nas quais todos os modelos têm resultados de um dígito. O Carbon fez 9,6%; o GPT-6 Astra, 9,5%. O Google calculou o resultado do Carbon por conta própria, usando a ferramenta mini-swe-agent, e usou resultados dos concorrentes publicados em uma tabela pública.
• FrontierSWE 2 - tarefas de engenharia de software de um ranking público da Proximal. Aqui, o GPT-6 Astra vence, com 65,5% contra 61,2%. O Opus 5.5 também fica à frente, com 62,3%.
• Terminal-Bench 4.0 - avaliação de um agente que trabalha no terminal, com resultado da Artificial Analysis. O Carbon marcou 65,2%, quase 6 pontos a mais que o Opus. É o resultado de programação mais convincente, pois não vem do Google.

Uso do computador

• Agents’ Last Exam v1.1 - 122 tarefas de agente em uma janela de cinco horas. O Carbon marcou 77,4%. O Google calculou o resultado por conta própria e usou dados de uma tabela pública para o Astra e o Opus.
• OSWorld-2.1 - o modelo interage com um sistema operacional real usando apenas capturas de tela, em 82 tarefas sem acesso à internet. O Opus 5.5 vence, com 87,2% contra 81,5%. Se você está criando um agente para usar aplicativos com interface gráfica, o Claude ainda é mais forte neste teste.

Trabalho de escritório e negócios

• AutomationBench - automações no estilo do Zapier. O Carbon marcou 53,9%, enquanto o Opus 5.5 e o GPT-6 Astra ficaram em torno de 42%, bem atrás.
• Vending-Bench 2 - o modelo administra uma máquina de venda de lanches simulada por um longo período, e o resultado considera o saldo final. O Carbon ganhou 16.484 USD; o Opus 5.5, apenas 9.235 USD. O teste mostra como o modelo mantém uma estratégia ao longo de várias etapas.

Imagens e gráficos

• Chartography - leitura de gráficos sem ferramentas. O Carbon marcou 72,5%, pouco acima do Argon, com 71,6%.
• Blueprint-Bench 2 - compreensão de plantas e projetos, com pontuação baseada em similaridade. O Carbon fez 58,6%.

Contexto longo

• GraphWalks 256k-1M - o modelo percorre um grafo descrito em um texto com entre 256 mil e 1 milhão de tokens. O Carbon marcou 96,2%; entre os concorrentes, o melhor foi o GPT-6 Astra, com 71,8%. É a maior vantagem de toda a tabela. Atenção: o Google calculou os resultados de todos os modelos neste teste. Expliquei como funciona o limite de 1 milhão de tokens do Argon no texto um milhão de tokens no Gemini 4 Argon.

Ciência e matemática

• RiemannBench - tarefas de matemática de um ranking público da Surge. O Carbon marcou 80,0%.
• Terminal-Bench-Science 0.1 - tarefas científicas no terminal, avaliadas pela Artificial Analysis. O Carbon fez 64,8%; o GPT-6 Astra, 63,3%.

Segurança cibernética

• SEC-bench Pro - identificação de vulnerabilidades reais em um mecanismo JavaScript, em 183 tarefas. O Carbon marcou 88,2%; o GPT-6 Astra, 85,4%.
• ExploitGym - avaliação de se uma vulnerabilidade pode ser explorada. O Carbon fez 54,8%, mais de 12 pontos à frente do Astra, com 42,4%.
• CWE-bench - correção da vulnerabilidade na origem; o ranking é mantido pela Collinear. O Carbon marcou 71,0%; Argon e Astra fizeram 68,0% cada.

O Google executou os testes ExploitGym e SEC-bench Pro por conta própria, no ambiente Antigravity, sem internet e com as proteções do modelo desativadas. Os resultados dos concorrentes vêm dos relatórios deles, não de execuções nas mesmas condições.

Como interpretar a tabela sem tirar conclusões precipitadas

1. Quem calculou os resultados. Alguns vêm de rankings independentes: Artificial Analysis, Vals, Surge, Zapier, Andon Labs e Collinear. Outros foram calculados pelo próprio Google: SWE-sweep, Agents’ Last Exam, OSWorld, GraphWalks, ExploitGym e SEC-bench Pro. As maiores vantagens do Carbon aparecem justamente em testes calculados pelo Google.
2. Configurações. Carbon e Argon foram avaliados com as configurações de raciocínio mais altas, pela Gemini API e com uma única tentativa. Em geral, os concorrentes também usaram as configurações máximas, mas os dados vêm dos relatórios dos próprios fabricantes.
3. Diferenças pequenas. No Artificial Analysis, o Carbon fez 59 pontos, o Opus, 58, e o Astra, 57. Diferenças assim podem se inverter na próxima atualização do ranking.

Na avaliação anterior do Argon, o Google apresentou 19 testes e o modelo venceu 13. Escrevi sobre isso no artigo benchmarks do Gemini 4 Argon. No caso do Carbon, o saldo é de 17 vitórias em 19 testes. O maior avanço em relação ao Argon aparece em contexto longo, ciência e segurança cibernética. A descrição completa do modelo, os preços e as informações de acesso estão no guia sobre o Gemini 4 Carbon.

Fontes

• Google DeepMind: Gemini 4 Carbon - avaliação do modelo, metodologia e resultados (PDF), 28/10/2026
• Google: Gemini 4 Carbon: nosso próximo modelo de fronteira, 28/10/2026
• Artificial Analysis Intelligence Index

Verificado em: 28/10/2026.

// continue lendoEleven Music: gerador de música com IA, testadoBenchmarksHiggsfield: preços, créditos e regras após cancelarBenchmarksAplicativo para identificar cogumelos: erros e limites da IABenchmarks