Como testar agentes de defesa com Microsoft Defender XDR
Estudo sobre agentes autônomos de defesa mostra por que é difícil medir o que eles fazem quando o próprio EDR também toma decisões.
👁 114 leituras
Kerri Prinos e Lilianne Brush publicaram no arXiv (2606.08168) um artigo de 17 páginas sobre os desafios de avaliar agentes autônomos de defesa que operam com sistemas comerciais de EDR (detecção e resposta em endpoints). A primeira versão foi disponibilizada em 6 de junho de 2026; a segunda, em 21 de outubro de 2026.
Por que é difícil avaliar agentes de defesa
Os sistemas comerciais modernos de EDR deixaram de ser ferramentas passivas configuradas por operadores. Segundo as autoras, esses produtos passaram de conjuntos de regras definidos por operadores a sistemas com vários componentes, nos quais elementos autônomos de IA atuam junto com as políticas configuradas por operadores e, cada vez mais, no lugar delas. Em outras palavras, quando um agente de defesa autônomo tenta configurar um desses sistemas, não está apenas ajustando uma ferramenta passiva: está interagindo com uma caixa-preta que toma decisões por conta própria, segundo a lógica do fabricante.
Isso levanta uma questão fundamental: como avaliar se um agente de defesa está sendo útil quando parte das ações de defesa é executada pelo próprio EDR, e não pelo agente?
Como o estudo foi conduzido
Prinos e Brush apresentam o que descrevem como a primeira estrutura de avaliação para agentes autônomos de defesa que configuram sistemas comerciais de EDR. A estrutura foi executada no laboratório Game of Active Directory (GOAD). Para atuar como pentester autônomo, foi usado o NodeZero, da Horizon3; o principal EDR avaliado foi o Microsoft Defender XDR. Em seguida, as autoras ampliaram a estrutura para incluir CrowdStrike Falcon e SentinelOne Singularity e verificar se as conclusões dos testes com o Defender eram específicas da Microsoft ou se também se aplicavam a outros produtos.
Em um benchmark experimental de agentes de defesa, foram usados dois modelos de linguagem como base: Claude Sonnet 4.6 e Cisco Foundation-Sec-8B. O documento não apresenta resultados numéricos detalhados desse benchmark. As autoras se concentram na metodologia e em conclusões qualitativas.
Três desafios que as simulações não mostram
As autoras relatam três lições que, segundo elas, não podem ser extraídas de simulações nem de testes com software de código aberto.
Primeiro, a telemetria dos EDRs comerciais é projetada para os fluxos de trabalho de analistas de SOC, não para medir a eficácia de políticas. Isso significa que os dados recebidos pelo agente não são diretamente adequados para avaliar se as ações dele fizeram alguma diferença.
Segundo, é fundamental atribuir cada ação à política correspondente para distinguir o que foi feito pelo agente do que o próprio EDR fez de forma autônoma. Sem essa distinção, não é possível saber a quem atribuir o mérito ou a responsabilidade pelo resultado.
Terceiro, o comportamento do EDR muda entre execuções, principalmente porque o “containment”, ou seja, o isolamento de ameaças, se acumula e altera o estado do ambiente. Por isso, os testes não são necessariamente reproduzíveis de uma execução para outra.
O que o estudo conclui sobre testes de defesa com IA
Em conjunto, as três observações apontam para o que as autoras chamam de “lacuna entre simulação e realidade” (“sim-to-real gap”): a diferença entre os testes em simulação e o comportamento em um ambiente corporativo real. Na avaliação delas, isso reforça a necessidade de uma nova metodologia para comparar agentes de defesa em ambientes que incluem caixas-pretas com autonomia própria.
Google · Suas fontesBrilhe mais no seu Google com um cliqueAdicionar às fontes preferidas →O que isso significa para a segurança com IA
Na minha avaliação, o artigo aborda uma questão que raramente é discutida de forma direta: quando colocamos um defensor autônomo diante de um atacante autônomo, e esse defensor configura um sistema que também age por conta própria, temos três camadas de agentes sem uma maneira simples de saber quem fez o quê. O valor do texto não está nos resultados do benchmark, que praticamente não são apresentados, mas em identificar com precisão três problemas metodológicos. É um trabalho sobre como medir, não sobre medições já concluídas e seus resultados. Para quem desenvolve ou avalia sistemas de segurança com IA em ambientes corporativos, as três lições servem como um guia prático do que não presumir ao projetar testes.
Fonte: arXiv cs.AI: Closing the Sim-to-Real Gap: An Evaluation Framework for Autonomous Cyber Defense Configuration of Commercial EDR (documento de 2026-10-22). Este artigo foi elaborado com base no texto completo do documento, não em relatos de outros veículos.
Tópicos relacionados no Centelharm
