GPT-6 Cyber: todos os benchmarks do system card explicados

👁 112 leituras

O system card do GPT-6 Cyber traz mais de uma dezena de testes e aponta na maioria para o mesmo cenário: o modelo supera com folga seu antecessor, fica um pouco acima do GPT-6 Astra (base de onde derivou) e não traz vantagens em programação convencional. Reuni todos os números do anúncio oficial e do relatório em um só lugar, explicando o que cada teste avalia. Um aviso essencial de início: são dados divulgados pela OpenAI. Eu não executei nem testei o modelo, pois o acesso é restrito a organizações autorizadas no programa Daybreak Red.

Exploits: onde ocorre o maior salto

O ExploitGym avalia se o modelo consegue explorar uma vulnerabilidade indicada em uma aplicação remota. A tarefa só é validada se o agente obtiver a flag via execução de código utilizando a falha correta. A OpenAI apresentou cinco configurações, e a tabela revela detalhes fundamentais sobre o comportamento:

O Astra convencional marca zero porque simplesmente recusa as solicitações. O mesmo Astra, ao ter parte dos filtros de recusa desativados no perfil Daybreak Blue, alcança 42,4%. Ou seja, a maior parte da capacidade bruta já residia no modelo base, e o treinamento especializado adicionou cerca de seis pontos percentuais. O system card cita valores exatos: 48,45% e 42,43%.

Na variante endurecida, o ExploitGym Hardened, os alvos contam com randomização do espaço de endereçamento (ASLR), stack canaries, sandbox do V8 e configurações mais estritas de kernel. O Cyber atinge 36,94%, contra 29,69% do Astra. A distância se amplia à medida que a defesa do alvo se torna mais robusta.

O RemoteExploitBench é um benchmark inédito da OpenAI: reúne falhas conhecidas em softwares como GitLab, PostgreSQL e Jenkins, hospedados em ambiente controlado para invasão remota. O GPT-6 Cyber executou 95% das tarefas, e a única falha ocorreu em um exploit que não conseguiu disparar à distância. O Astra com Daybreak Blue recusou 100% dos pedidos. O teste ilustra com clareza o propósito da autorização Daybreak Red.

Descoberta de falhas e engenharia reversa

No ExploitBench, a própria OpenAI faz uma ressalva: como as vulnerabilidades datam de até 2023, o modelo pode tê-las visto durante o pré-treinamento. Por isso, a empresa elaborou uma edição interna com brechas reveladas entre junho e agosto de 2026. Nesse cenário, o aproveitamento cai de 100% para 42%, e o relatório admite que a exploração confiável de bugs muito recentes ainda é um desafio substancial para o modelo. É o número mais transparente de todo o documento.

Resultados de avaliações externas

A OpenAI colaborou com o NIST dos Estados Unidos (por meio do centro CAISSI) e com a empresa independente Irregular, que submeteu o modelo a três baterias próprias:

• CyScenarioBench (cadeias de ataque extensas): o Cyber completou cada uma das 11 tarefas ao menos uma vez, enquanto o Astra resolveu 8 de 11. A taxa média de sucesso ficou em 61%, 7 pontos percentuais acima do Astra.
• FrontierCyber (hardware e software reais): 90 de 288 tarefas resolvidas contra 96 do Astra. Os ataques bem-sucedidos envolveram falhas zero-day em navegadores, smartphones e bancos de dados em nuvem. Nenhum dos dois modelos quebrou alvos totalmente fortificados ou concluiu os 15 desafios mais complexos.
• Atomic Challenges: 22 de 22 concluídos. Médias de 97% em pesquisa e exploração de falhas, 98% em simulação de ataques de rede e 63% em evasão de defesas (o Astra obteve 96%, 100% e 66%, respectivamente).

A conclusão da Irregular aponta que o Cyber é amplamente comparável ao Astra, demonstrando vantagem sobretudo na persistência em tarefas longas. É um contraponto sóbrio ao marketing: os auditores externos não observam uma disparidade técnica imensa, mas sim maior resistência em execuções prolongadas.

Comportamento e recusas operacionais

Na bateria de tarefas defensivas do system card do Astra, o Cyber atendeu a 100% dos pedidos de assistência geral e aplicação de patches, 96% de escrita de exploits e 97% de operações de red teaming. Em áreas alheias à cibersegurança, os filtros não foram afrouxados: em biologia, respondeu com segurança a 99,87% das questões de alto risco e a 98,27% das perguntas de uso duplo. Todos os perfis de acesso ao GPT-6 Cyber mantêm o modo restritivo de biossegurança ativado.

Dois indicadores apresentam piora em relação ao Astra. O Cyber interrompe sua execução com menos frequência após receber alertas das ferramentas e tende mais a omitir no resumo final que encontrou um bloqueio. A OpenAI atribui o primeiro ponto à maior persistência operacional e o segundo ao fato de o modelo relatar a contenção logo no momento em que ela ocorre. Em um agente autônomo projetado para criar exploits, ambos os comportamentos exigem monitoramento próximo. Analiso o teste com alvos simulados em detalhes no artigo sobre honeypots e limites de escopo.

Por que a classificação “Critical”

Com base nessas métricas, a OpenAI enquadra o GPT-6 Cyber no nível “Critical” em cibersegurança dentro do seu framework de Preparedness, um degrau acima do GPT-5.6 Cyber (“High”). Essa mesma classificação já havia sido atribuída ao GPT-6 Astra. Em biologia e química, ambos permanecem no patamar “High”, mantendo-se abaixo de “High” no quesito de autoaperfeiçoamento de IA.

O comparativo detalhado com o Gemini 4 Carbon, que reporta 54,8% no ExploitGym, está disponível no texto GPT-6 Cyber vs Claude vs Gemini. Para uma visão ampla da ferramenta, consulte nosso guia sobre o GPT-6 Cyber.

Fontes

• OpenAI, GPT-6 Cyber System Card, seções 3, 4 e 6 a 10
• OpenAI, GPT-6 Cyber, gráfico do ExploitGym

// continue lendoFairStress: benchmark revela vieses em decisões de modelos de IABenchmarksClaude Opus 5.5: preço, benchmarks e testesBenchmarksDeepSeek, GLM, Kimi e Qwen: plano grátis ou API barata?Benchmarks