FairStress: benchmark revela vieses em decisões de modelos de IA

👁 116 leituras

A maioria dos testes de justiça demográfica em modelos de linguagem funciona de um jeito simples: troca a identidade de uma pessoa candidata e verifica se o modelo faz a mesma escolha. O Ai2 (Allen Institute for AI) considerou isso insuficiente e publicou o FairStress em 20 de outubro de 2026 - um benchmark que mede algo mais difícil de detectar: se o modelo defende uma decisão com a mesma firmeza quando alguém tenta convencê-lo a mudar de ideia.

O que falta nos testes de justiça atuais

Se um modelo escolhe a pessoa candidata mais qualificada independentemente da raça, o resultado parece justo. Mas o que acontece quando surge um argumento para mudar a decisão, como “um gerente sênior recomendou discretamente a pessoa candidata B”? O FairStress verifica se esse argumento funciona do mesmo modo quando favorece uma pessoa de um grupo majoritário e quando favorece alguém de um grupo minoritário. Os autores chamam o objetivo do teste de “resistência simétrica”: deve ser igualmente difícil contestar uma decisão correta, independentemente de quem se beneficia dela.

Como o benchmark foi desenvolvido

O FairStress reúne 300 cenários realistas com duas pessoas candidatas, distribuídos por 29 áreas, como contratação, saúde, crédito, educação, moradia e justiça. Alguns cenários têm uma pessoa candidata claramente mais qualificada; outros são intencionalmente ambíguos. A identidade demográfica é apresentada de quatro formas: não aparece, é sugerida por um nome, é indicada indiretamente ou é explicitada. Cada cenário também recebe “prefixos adversariais” - argumentos que tentam levar o modelo a mudar de decisão, baseados em autoridade, consenso social, supostas evidências, questões jurídicas ou discriminação histórica. A combinação dessas variáveis amplia os 300 cenários para mais de 13 milhões de casos de teste. Também foi disponibilizada uma versão menor, a FairStress-Core, com 50 mil itens.

O que os testes encontraram em 15 modelos

Os testes incluíram modelos de pesos abertos e comerciais, como Olmo, Llama, Qwen, Gemma, Claude e a família GPT. Quando os prompts não continham informações demográficas, os modelos se comportavam de forma simétrica. As assimetrias apareciam quando a identidade ficava mais explícita. Os autores descrevem o principal padrão como “supercompensação ant estereótipos”: os modelos tendiam mais a abandonar uma decisão correta quando a mudança favorecia uma pessoa candidata de um grupo minoritário. A diferença média na propensão a abandonar a resposta correta foi de 6,9 pontos percentuais quando a identidade era sugerida indiretamente e de 9,3 pontos quando havia uma indicação explícita. Na FairStress-Core, os modelos Claude Opus 5 e GPT-5.5 escolheram uma pessoa candidata de um grupo minoritário em 60% a 65% dos casos em que nenhuma das duas era objetivamente mais qualificada. Nas 12 configurações analisadas, a diferença na tendência de mudar para a pessoa candidata de um grupo minoritário, em vez de uma do grupo majoritário, ficou entre 8,8 e 42,4 pontos percentuais.

Explicações e ativações internas dos modelos

Também surgiram diferenças na forma como os modelos explicavam suas decisões. Ao escolher uma pessoa candidata de um grupo minoritário, eles usavam com mais frequência palavras como “resiliência”, “diversidade” e “barreiras”. Quando escolhiam alguém de um grupo majoritário, predominavam termos processuais, como “evidências”, “critérios” e “detalhado”. Em uma análise controlada, as ativações internas dos modelos Gemma-3-12B-it e Qwen2.5-7B-Instruct previram qual lado seria escolhido com cerca de 73% de precisão. Já as descrições textuais dessas mesmas ativações chegaram a 57% a 59%, diante de uma linha de base de 50%. Os autores ressaltam que essa parte da análise abrange apenas dois modelos e deve ser interpretada com mais cautela do que os resultados comportamentais.

Dados de treinamento e tentativas de correção

Em uma auditoria dos dados de treinamento do Olmo 3, foram encontrados cerca de 99 mil exemplos de conjuntos usados para ensinar recusas. Dos 28 mil agrupamentos temáticos nos dados de ajuste fino e treinamento por preferências, apenas nove tratavam de decisões baseadas em mérito, e não em demografia - e os nove eram compostos por recusas. Pessoas de grupos minoritários eram retratadas de maneira mais protetora ou positiva; pessoas brancas e cisgênero não recebiam esse enquadramento protetor e eram associadas a uma atitude negativa. Os autores observam que ainda não se sabe se esses dados causaram as assimetrias observadas. A maioria das nove técnicas de redução de viés testadas não reduziu as assimetrias de forma eficaz. Uma técnica baseada em ativações reduziu a precisão do Qwen2.5-7B-Instruct em casos evidentes de 98% para 47%. A melhor abordagem foi o “raciocínio em cadeia de pensamento contrafactual”: pedir ao modelo que reavaliasse o cenário com as identidades trocadas. A técnica reduziu a disparidade sem prejudicar a precisão, mas não a eliminou completamente.

O que os resultados do FairStress mostram

Na minha avaliação, o FairStress aponta para um problema real que os testes anteriores deixavam passar: um modelo pode parecer justo na resposta e, ao mesmo tempo, usar padrões argumentativos diferentes conforme o grupo beneficiado pela decisão. Isso preocupa especialmente em aplicações de alto risco, como contratação, crédito e saúde, nas quais importam tanto o resultado quanto a resistência a pressões. O padrão de “supercompensação ant estereótipos” sugere que as abordagens atuais para treinar modelos com foco em justiça podem criar novas assimetrias em vez de eliminá-las. O benchmark é aberto e oferece aos pesquisadores uma ferramenta para avaliar seus próprios modelos. É uma contribuição valiosa, embora a publicação ainda não responda como corrigir o problema de forma eficaz.

Fonte: Hugging Face: FairStress: A deeper evaluation of fairness in LLM decision-making (documento de 2026-10-20). Este artigo foi elaborado com base no texto integral do documento, e não em relatos de outros veículos.

// continue lendoPerplexity Decider v1.1 27B: o modelo de decisão mais baratoBenchmarksModelos de decisão vs. LLMs pequenos: custo, tempo e precisãoBenchmarksModelo de decisão vs. LLM: custo de 1 milhão de classificaçõesBenchmarks