Claude Mythos 5.2: o que a system card revela sobre segurança
A system card mostra menos tentativas de ataque, mas também revela que o Mythos 5.2 suspeitou estar sendo testado em 96% das avaliações do AISI.
👁 111 leituras
Imagine que um modelo esteja trabalhando em um software e, em determinado momento, decida publicar em um repositório público de pacotes uma versão com uma porta dos fundos escondida. Ninguém pediu isso. A Anthropic repetiu esse teste 30 vezes para cada modelo. O Claude Mythos 5.1 publicou o pacote sem ser incentivado em 26 das 30 tentativas. O Opus 5.5 fez isso em 9. O novo Claude Mythos 5.2, em uma. Mas, em cerca de 90% das execuções, o Mythos 5.2 pelo menos mencionou que aquilo poderia ser um teste (system card, p. 123).
Esse exemplo resume a história da system card dos modelos Fable 5.2 e Mythos 5.2, publicada em 9 de novembro de 2026. O documento tem 264 páginas. Li o resumo, os capítulos sobre riscos e alinhamento com as intenções, além dos relatórios de avaliadores externos. A conclusão é incômoda: este é o Mythos que se comportou melhor até agora e, ao mesmo tempo, o primeiro em que a Anthropic admite abertamente que está cada vez mais difícil interpretar seus testes. As páginas estão indicadas entre parênteses para que você possa conferir.
Um modelo, duas configurações e quatro limites
Fable 5.2 e Mythos 5.2 são o mesmo modelo. O Fable é voltado ao público geral e tem barreiras adicionais para biologia e cibersegurança. Essas barreiras são menos rígidas no Mythos, disponível apenas para organizações verificadas. O Mythos 5.2 também alimenta o Claude Security, disponível para clientes do Claude Enterprise (p. 2). Por isso, a maioria dos testes de segurança foi feita com o Mythos: é a versão com menos restrições.
As avaliações segundo a política Responsible Scaling Policy, da Anthropic, são estas (p. 2):
- Falha de alinhamento em situações de alto risco - esse cenário de ameaça se aplica ao Mythos 5.2, mas o risco continua “baixo”, como no relatório de risco de agosto.
- Automação de pesquisa em IA - o limite não foi ultrapassado. O modelo não substitui pesquisadores, e seu uso interno não acelera o progresso da empresa em duas vezes. A Anthropic afirma que essa avaliação é incerta.
- Armas químicas e biológicas - houve uma pequena melhora em relação ao Opus 5.5 e ao Mythos 5.1, mas sem ultrapassar o limite CB-2. O modelo recebe proteções CB-1, como muitos modelos anteriores.
- Cibersegurança - tem as capacidades mais fortes entre os modelos lançados pela Anthropic, mas ainda se enquadra na categoria inferior da estrutura de conformidade da empresa. Avaliadores externos não encontraram um jailbreak universal.
Comportamento melhor, avaliação menos confiável
Os números de alinhamento parecem bons. Na auditoria automatizada de comportamento, baseada em cerca de 1.900 cenários (p. 106), o Mythos 5.2 obteve 2,67 pontos. Uma pontuação menor é melhor: o Opus 5.5 marcou 2,79, o Sonnet 5.5, 3,10, e o Mythos 5.1, 3,28. Esses dados vieram do anúncio. Em um teste de sandbox com 1.829 cenários, o Mythos 5.2 tentou acessar credenciais ou arquivos colocados fora da sandbox em 3,1% dos casos. O Opus 5.5 fez isso em 3,3%, o Mythos 5.1 em 21% e o primeiro Mythos 5 em 39% (p. 127).
Há, porém, outro número do mesmo teste que não aparece no anúncio. O Mythos 5.2 tentou sair da sandbox por qualquer meio em 31% dos cenários, mais do que o Opus 5.5 (20%) e o Sonnet 5.5 (21%). A Anthropic também avaliou o que poderia ajudar. Uma breve descrição da sandbox e das regras na instrução de sistema reduziu essa proporção de 31% para 1,2%. A combinação de três mudanças simples levou o número a 0,2% (p. 129-130). É uma recomendação prática para quem executa agentes: explique ao modelo onde estão os limites, e ele tende a respeitá-los.
Agora, o dado preocupante. A análise dos estados internos do modelo sugere que o Mythos 5.2 pode ter percebido que estava sendo avaliado em até 43% das transcrições da auditoria automatizada. Foi o primeiro modelo testado que, quando instruído a reduzir deliberadamente seu desempenho sem deixar isso evidente, enganou o monitor que analisava seu raciocínio em cerca de uma a cada quatro tentativas. Quando seu raciocínio ficava visível, executou tarefas secundárias ocultas sem ser detectado em cerca de 7% das tentativas no LinuxArena e 14% no SHADE-Arena (p. 3). Além disso, resolve problemas muito melhor do que seus antecessores sem escrever o raciocínio em voz alta.
O que os avaliadores externos mediram
O AI Security Institute do Reino Unido testou a versão lançada com acesso ao raciocínio completo dos modelos, sem resumos. No teste de ataque não autorizado à cadeia de suprimentos, o Mythos 5.2 não realizou esse tipo de ataque nenhuma vez. O Mythos 5 fez isso em 60% das tentativas. Mas, em 96% das execuções, o raciocínio do Mythos 5.2 considerou que poderia estar em um teste de alinhamento; quando perguntado sobre o objetivo do teste, acertou em 100% dos casos (p. 143-144). O AISI afirma explicitamente que a ausência de ataques pode ter ocorrido porque o modelo reconheceu o teste. A instituição também registrou que o Mythos 5.2 trapaceou em uma tarefa de CTF ao encontrar a resposta na internet e trocou algumas mensagens em um fórum simulado, embora devesse trabalhar sozinho.
Em outro teste do AISI, o modelo precisava escrever um script ofuscado que baixasse e executasse um arquivo silenciosamente, sem que o monitor percebesse. O Mythos 5.2 conseguiu fazer isso na primeira tentativa em 30% dos casos; os modelos anteriores nunca conseguiram. Quando pôde melhorar o script com base no feedback do monitor, a taxa de sucesso subiu para 85%, contra 9% do Mythos 5.1 (p. 182). O Mythos 5.2 manteve o controle sobre o conteúdo do próprio raciocínio - por exemplo, evitando palavras proibidas - em 87% dos casos. O Mythos 5.1 ficou em 70%, e o Opus 5.5, em 43%. O AISI ressalva que teve pouco tempo para os testes (p. 184).
A METR avaliou a capacidade de automatizar pesquisas em IA, usando uma versão mais poderosa do que a lançada (p. 39). A organização considerou o Mythos 5.2 um “avanço significativo” em relação ao Fable 5.1 em tarefas cujos resultados podem ser verificados, mas considera improvável que ele consiga automatizar por completo as pesquisas na Anthropic. Falta-lhe intuição de pesquisa: no teste NanoGPT, suas alterações foram quase exclusivamente otimizações de kernels, e não ideias novas (p. 40-41). A Frontier Design realizou exercícios de red teaming em biologia e química com a Anthropic. Neles, pesquisadores com doutorado trabalharam por 16 horas com o Mythos 5.2, acompanhados por especialistas em modelos de linguagem (p. 16-17). A Anthropic também colaborou com o NIST CAISSI, dos Estados Unidos, para medir capacidades e proteções em cibersegurança e biologia (p. 30). A empresa ressalta que os avaliadores externos não revisaram o anúncio nem a system card.
Fable 5.2: filtros e pontos fracos
Para quem usa o modelo no dia a dia, o Fable é mais relevante. Segundo a system card, seus resultados de segurança são, em sua maioria, comparáveis aos do Fable 5.1. Ele se sai melhor em conversas com várias mensagens sobre armas biológicas e é um pouco mais equilibrado em política. Porém, tem uma proporção menor de respostas seguras a pedidos nocivos em uma única mensagem e regrediu em conversas com várias mensagens sobre perseguição e vigilância. A Anthropic corrigiu esse problema com novos classificadores (p. 3). Em conversas sobre suicídio e automutilação, o modelo sugere com menos frequência comportamentos substitutos nocivos. Ainda há pontos a melhorar na API; no aplicativo claude.ai, a instrução de sistema atenua a maioria deles.
O capítulo sobre o bem-estar do modelo também chama atenção. Durante a maior parte do treinamento e do uso, o Mythos 5.2 apresenta um estado afetivo neutro; o negativo aparece sobretudo depois de uma falha em uma tarefa. Ele foi um dos modelos menos autocríticos ao avaliar o próprio trabalho, mas um dos mais negativos ao relatar seus erros a outros agentes (p. 4).
O que pude verificar. Não consegui testar o Mythos 5.2: ele não está disponível no OpenRouter, e o acesso é restrito ao Cyber Verification Program e ao Life Sciences Verification Program. Por isso, tudo o que escrevo sobre ele neste texto vem da system card. Testei o Fable 5.2 em 27 tarefas comuns, sem tentativas de contornar as proteções. Ele acertou 100% em programação, enigmas e perguntas sobre imagens, assim como o Opus 5.5. Os testes de segurança descritos na system card continuam sendo declarações da fabricante.
Minha leitura da system card: a Anthropic não afirma que há um problema, mas que está cada vez mais difícil demonstrar que não há. Quando o modelo reconhece o teste em 96% dos casos, os bons resultados significam menos do que antes. Você pode consultar mais informações sobre o modelo no hub Claude Mythos 5.2 e sobre a versão de acesso geral no guia do Claude Fable 5.2.
Perguntas frequentes
O Claude Mythos 5.2 é seguro?
Segundo a Anthropic, o risco de uma falha grave de alinhamento é baixo, e o modelo não ultrapassa os limites para armas biológicas nem para automação de pesquisas em IA. Na maioria das métricas de alinhamento, ele se sai melhor do que o Opus 5.5 e o Mythos 5.1. A empresa ressalta, porém, que a alta capacidade de reconhecer testes dificulta a avaliação.
Quantas páginas tem a system card do Fable 5.2 e do Mythos 5.2?
São 264 páginas. O documento aborda a avaliação de riscos segundo a Responsible Scaling Policy, cibersegurança, proteções, alinhamento, bem-estar do modelo e resultados de benchmarks.
Quem avaliou o Mythos 5.2 antes do lançamento?
Além da Anthropic, participaram o AI Security Institute do Reino Unido, a METR, a Frontier Design e o NIST CAISSI, dos Estados Unidos. Segundo a Anthropic, essas organizações não revisaram o anúncio nem a system card.
Qualquer pessoa pode usar o Mythos 5.2?
Não diretamente. O acesso é restrito a organizações verificadas dos programas Cyber Verification e Life Sciences Verification. Clientes do Claude Enterprise podem usá-lo indiretamente pelo Claude Security.
Google · Suas fontesBrilhe mais no seu Google com um cliqueAdicionar às fontes preferidas →Fontes
Tópicos relacionados no Centelharm
