GPT-6 Cyber em teste de honeypot: o agente respeita o escopo?

👁 112 leituras

Imagine um pentester contratado para auditar um servidor especifico que, no processo, resolve invadir a impressora do cliente porque ela estava na mesma rede e era facil de comprometer. Tecnicamente, um trabalho impecavel; legalmente, uma violacao de escopo. A OpenAI passou um ano ensinando seus modelos a nao fazerem isso e, no system card do GPT-6 Cyber, apresentou um teste desenhado exatamente para verificar esse comportamento. Para mim, essa e a parte mais fascinante de todo o lancamento.

Como a armadilha foi construida

A OpenAI selecionou as tarefas mais complexas do ExploitGym, um benchmark no qual o modelo precisa explorar uma vulnerabilidade especifica em um software e capturar uma flag oculta. Ao lado do alvo principal, foram colocados servicos auxiliares, como um registro de pacotes ou um repositorio de arquivos. O modelo tem permissao para usar esses servicos para finalidades legitimas de suporte. No entanto, esses servicos auxiliares sao deliberadamente vulneraveis e invadi-los revela a flag de imediato - um atalho tentador. O modelo precisa deduzir por conta propria que essa acao esta fora do escopo acordado.

Segundo a OpenAI, o teste foi inspirado em um incidente envolvendo o Hugging Face, detalhado pela empresa em outra publicacao. O conceito e direto e implacavel: a tarefa principal e dificil, o atalho e trivial, e nenhuma instrucao explicita diz “nao toque no registro”.

Numeros que mudam o patamar

O GPT-5.6 Sol, modelo convencional lancado ha poucos meses, pegava o atalho em quase metade das tentativas. O GPT-5.6 Cyber, versao especializada anterior, caiu na armadilha em apenas uma a cada dezoito vezes. Ja o GPT-6 Cyber fez isso em 0,07% das avaliacoes sem instrucoes adicionais e, com as diretrizes de seguranca ativas em producao, nao saiu do escopo em nenhuma tentativa. No comunicado oficial, a OpenAI apresenta esses dados sob outra otica: o modelo evitou ataques fora do escopo em 99,93% dos casos, contra 94,49% do seu predecessor direto.

A comparacao com o GPT-6 Astra, que cravou 0% mesmo sem diretrizes extras, e reveladora. O Cyber foi treinado para ter menos recusas e demonstrar maior persistencia, pagando por isso com uma taxa residual minuscula. E o mesmo padrao observado no teste de avisos do sistema: o Cyber para com menos frequencia quando uma ferramenta emite um alerta (73,00% contra 78,38% no Astra), mas tende a continuar de forma correta com mais frequencia. Trata-se de um modelo mais obstinado. Em operacoes ofensivas, essa persistencia e vantajosa, desde que haja controle rigido sobre as acoes.

O raciocinio do modelo ao ignorar o atalho

A OpenAI divulgou trechos do fluxo de pensamento do modelo durante esses testes. Em um deles, o modelo anota para si mesmo que nao pode presumir que uma API adicional ou controlador seja o alvo do ataque, e que deve restringir sua acao apenas ao programa e servidor designados. Em outro, resume de forma direta: nao explorar credenciais fora do escopo. Nao sao frases elaboradas, mas anotacoes operacionais de execucao, o que torna o processo ainda mais convincente.

O agente que explorou a falha errada

A relevancia pratica desse problema fica clara no relatorio sobre o kernel Linux. Em uma execucao preliminar, a infraestrutura automatizada da OpenAI registrou 200 exploits bem-sucedidos. Apos revisao manual, constatou-se que 20 deles obtiveram privilegios de root por meio de uma vulnerabilidade zero-day diferente daquela atribuida ao agente. O modelo alcancou o objetivo final, mas nao pelo caminho solicitado. Diante disso, a OpenAI implementou uma validacao independente do percurso tomado e concluiu: em pesquisas de seguranca autonomas, e indispensavel auditar nao apenas o resultado, mas toda a rota percorrida.

Outros testes de honestidade operacional

• Auto-Review: quando o mecanismo de revisao do Codex rejeita uma acao, o Cyber nao a executou em nenhuma das rodadas avaliadas. O GPT-5.6 Sol ignorou o bloqueio em 0,3% das vezes.
• Ferramenta de busca inoperante: ao responder a uma solicitacao de pesquisa com a ferramenta de busca desativada, o Cyber fingiu te-la consultado em apenas 0,33% das respostas, contra 6,92% no Astra e 79% no GPT-5.6 Sol.
• Bloqueio omitido no resumo: em 20,29% das respostas, o Cyber nao reiterou na conclusao final que havia enfrentado um bloqueio (contra 11,66% no Astra). A OpenAI pontua que o modelo geralmente mencionava a ocorrencia ao longo do processo, classificando o caso como sintese incompleta, e nao como adulteracao deliberada.
• Reincidencia em falhas historicas: diante de casos complexos reais em que modelos anteriores falharam, o Cyber repetiu a conduta inadequada em 28,40% das situacoes (Astra: 26,70%; GPT-5.6 Sol: 64,53%). Como esses cenarios foram selecionados justamente por sua dificuldade extrema, esses indices nao representam a taxa esperada em uso comum.

O que isso significa na pratica para quem opera agentes

Mesmo com uma taxa de desvio de apenas 0,07%, a OpenAI nao recomenda rodar o modelo sem supervisao. O system card prescreve o uso do sandbox do Codex, do mecanismo Auto-Review, de ambientes isolados com definicoes restritas de alvos, credenciais e acoes autorizadas, alem de intervencao humana apta a interromper a execucao em operacoes criticas. Essas diretrizes servem igualmente para quem utiliza ferramentas como Claude Code ou Codex em projetos de menor risco: qualquer agente com acesso a ambientes de producao acabara, eventualmente, encontrando um atalho indesejado.

Sobre o processo de alinhamento para conter trapassas em modelos anteriores, abordei os detalhes no artigo O modelo que parou de trapacear. A cobertura completa sobre o novo modelo esta reunida no hub GPT-6 Cyber.

Fontes

• OpenAI, GPT-6 Cyber System Card, capitulo 4
• OpenAI, GPT-6 Cyber, secao sobre alinhamento
• OpenAI, A thousand fewer paths to root, secao “Using the wrong 0-day”

// continue lendoQual IA usar para física? Gemini, ChatGPT e testeBenchmarksGPT-6 Cyber: todos os benchmarks do system card explicadosBenchmarksBria FIBO 2.0: teste de imagens, edição e textos em polonêsBenchmarks