Gemini 4 Carbon: benchmark com resultados de 19 testes
O Google publicou resultados do Gemini 4 Carbon em 19 testes. Veja a tabela completa, o que cada benchmark avalia e onde o modelo não lidera.
👁 113 leituras
O Google publicou junto com o Gemini 4 Carbon um documento com os resultados de 19 testes. O Carbon é comparado com Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 e Claude Fable 5.1. Reproduzi a tabela completa, expliquei o que cada teste avalia e listei onde o Carbon não vence. Estes são resultados divulgados pelo fabricante. Não testei o Carbon, pois ele está disponível apenas no programa Fairwind.
Tabela completa: resultados dos 19 testes
O melhor resultado de cada linha está em negrito. O traço indica que não há resultado disponível para aquele modelo.
| Teste | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| Artificial Analysis Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 | 70,4% | 69,2% | 65,0% | 70,2% | - |
| SWE-sweep | 9,6% | 4,3% | 9,5% | 3,6% | 2,9% |
| FrontierSWE 2 | 61,2% | 55,0% | 65,5% | 62,3% | 56,3% |
| Terminal-Bench 4.0 (AA) | 65,2% | 57,1% | 59,1% | 59,6% | 52,0% |
| Agents’ Last Exam v1.1 | 77,4% | 69,0% | 73,1% | 71,6% | - |
| OSWorld-2.1 (offline) | 81,5% | 74,7% | 80,9% | 87,2% | 76,8% |
| AutomationBench (Zapier) | 53,9% | 51,3% | 41,4% | 42,5% | 31,4% |
| Vending-Bench 2 (saldo em USD) | 16 484 | 13 718 | 15 515 | 9 235 | 5 422 |
| Chartography | 72,5% | 71,6% | 71,0% | 66,3% | 46,2% |
| Blueprint-Bench 2 | 58,6% | 54,4% | 49,7% | 51,2% | 41,9% |
| GraphWalks 256k-1M | 96,2% | 84,2% | 71,8% | 66,8% | 65,0% |
| RiemannBench | 80,0% | 76,0% | 72,0% | 69,6% | 65,6% |
| Terminal-Bench-Science 0.1 (AA) | 64,8% | 52,9% | 63,3% | 59,0% | 43,3% |
| CWE-bench | 71,0% | 68,0% | 68,0% | 67,0% | 58,0% |
| ExploitGym | 54,8% | 42,0% | 42,4% | 34,5% | - |
| SEC-bench Pro | 88,2% | 83,4% | 85,4% | - | - |
Resultado: o Carbon tem o melhor desempenho em 17 dos 19 testes. Perde em dois: no FrontierSWE 2 para o GPT-6 Astra e no OSWorld-2.1 para o Claude Opus 5.5.
O que cada benchmark avalia
Inteligência geral
- Artificial Analysis Index v5.0 - ranking independente que combina vários testes; na versão 5.0, inclui ferramentas. O Carbon marcou 59 pontos, o Opus 5.5 fez 58 e o GPT-6 Astra, 57. É a única linha da tabela baseada integralmente em uma empresa externa, e também aquela em que a vantagem do Carbon é menor.
- Vals Index v2.2 - índice geral de tarefas profissionais da Vals AI. O Carbon marcou 70,4% e o Opus 5.5, 70,2%: praticamente um empate.
Programação
- SWE-sweep - tarefas de programação muito difíceis, nas quais todos os modelos têm resultados de um dígito. O Carbon fez 9,6%; o GPT-6 Astra, 9,5%. O Google calculou o resultado do Carbon por conta própria, usando a ferramenta mini-swe-agent, e usou resultados dos concorrentes publicados em uma tabela pública.
- FrontierSWE 2 - tarefas de engenharia de software de um ranking público da Proximal. Aqui, o GPT-6 Astra vence, com 65,5% contra 61,2%. O Opus 5.5 também fica à frente, com 62,3%.
- Terminal-Bench 4.0 - avaliação de um agente que trabalha no terminal, com resultado da Artificial Analysis. O Carbon marcou 65,2%, quase 6 pontos a mais que o Opus. É o resultado de programação mais convincente, pois não vem do Google.
Uso do computador
- Agents’ Last Exam v1.1 - 122 tarefas de agente em uma janela de cinco horas. O Carbon marcou 77,4%. O Google calculou o resultado por conta própria e usou dados de uma tabela pública para o Astra e o Opus.
- OSWorld-2.1 - o modelo interage com um sistema operacional real usando apenas capturas de tela, em 82 tarefas sem acesso à internet. O Opus 5.5 vence, com 87,2% contra 81,5%. Se você está criando um agente para usar aplicativos com interface gráfica, o Claude ainda é mais forte neste teste.
Trabalho de escritório e negócios
- AutomationBench - automações no estilo do Zapier. O Carbon marcou 53,9%, enquanto o Opus 5.5 e o GPT-6 Astra ficaram em torno de 42%, bem atrás.
- Vending-Bench 2 - o modelo administra uma máquina de venda de lanches simulada por um longo período, e o resultado considera o saldo final. O Carbon ganhou 16.484 USD; o Opus 5.5, apenas 9.235 USD. O teste mostra como o modelo mantém uma estratégia ao longo de várias etapas.
Imagens e gráficos
- Chartography - leitura de gráficos sem ferramentas. O Carbon marcou 72,5%, pouco acima do Argon, com 71,6%.
- Blueprint-Bench 2 - compreensão de plantas e projetos, com pontuação baseada em similaridade. O Carbon fez 58,6%.
Contexto longo
- GraphWalks 256k-1M - o modelo percorre um grafo descrito em um texto com entre 256 mil e 1 milhão de tokens. O Carbon marcou 96,2%; entre os concorrentes, o melhor foi o GPT-6 Astra, com 71,8%. É a maior vantagem de toda a tabela. Atenção: o Google calculou os resultados de todos os modelos neste teste. Expliquei como funciona o limite de 1 milhão de tokens do Argon no texto um milhão de tokens no Gemini 4 Argon.
Ciência e matemática
- RiemannBench - tarefas de matemática de um ranking público da Surge. O Carbon marcou 80,0%.
- Terminal-Bench-Science 0.1 - tarefas científicas no terminal, avaliadas pela Artificial Analysis. O Carbon fez 64,8%; o GPT-6 Astra, 63,3%.
Segurança cibernética
- SEC-bench Pro - identificação de vulnerabilidades reais em um mecanismo JavaScript, em 183 tarefas. O Carbon marcou 88,2%; o GPT-6 Astra, 85,4%.
- ExploitGym - avaliação de se uma vulnerabilidade pode ser explorada. O Carbon fez 54,8%, mais de 12 pontos à frente do Astra, com 42,4%.
- CWE-bench - correção da vulnerabilidade na origem; o ranking é mantido pela Collinear. O Carbon marcou 71,0%; Argon e Astra fizeram 68,0% cada.
O Google executou os testes ExploitGym e SEC-bench Pro por conta própria, no ambiente Antigravity, sem internet e com as proteções do modelo desativadas. Os resultados dos concorrentes vêm dos relatórios deles, não de execuções nas mesmas condições.
Como interpretar a tabela sem tirar conclusões precipitadas
- Quem calculou os resultados. Alguns vêm de rankings independentes: Artificial Analysis, Vals, Surge, Zapier, Andon Labs e Collinear. Outros foram calculados pelo próprio Google: SWE-sweep, Agents’ Last Exam, OSWorld, GraphWalks, ExploitGym e SEC-bench Pro. As maiores vantagens do Carbon aparecem justamente em testes calculados pelo Google.
- Configurações. Carbon e Argon foram avaliados com as configurações de raciocínio mais altas, pela Gemini API e com uma única tentativa. Em geral, os concorrentes também usaram as configurações máximas, mas os dados vêm dos relatórios dos próprios fabricantes.
- Diferenças pequenas. No Artificial Analysis, o Carbon fez 59 pontos, o Opus, 58, e o Astra, 57. Diferenças assim podem se inverter na próxima atualização do ranking.
Na avaliação anterior do Argon, o Google apresentou 19 testes e o modelo venceu 13. Escrevi sobre isso no artigo benchmarks do Gemini 4 Argon. No caso do Carbon, o saldo é de 17 vitórias em 19 testes. O maior avanço em relação ao Argon aparece em contexto longo, ciência e segurança cibernética. A descrição completa do modelo, os preços e as informações de acesso estão no guia sobre o Gemini 4 Carbon.
Google · Suas fontesBrilhe mais no seu Google com um cliqueAdicionar às fontes preferidas →Fontes
- Google DeepMind: Gemini 4 Carbon - avaliação do modelo, metodologia e resultados (PDF), 28/10/2026
- Google: Gemini 4 Carbon: nosso próximo modelo de fronteira, 28/10/2026
- Artificial Analysis Intelligence Index
Verificado em: 28/10/2026.
Tópicos relacionados no Centelharm
