Nash-MOPD: como dividir o treino entre vários especialistas
Nash-MOPD propõe usar a teoria dos jogos para dividir o treino entre especialistas e evitar que domínios que aprendem mais devagar recebam poucos exemplos.
👁 118 leituras
A pesquisa foi publicada no arXiv (cs.LG / cs.AI) e submetida em 19 de outubro de 2026 por Siyuan Gan e seis coautores. O documento não informa as afiliações dos autores.
O desafio de dividir o treino entre vários modelos especialistas
A destilação on-policy com vários professores (Multi-teacher On-Policy Distillation, MOPD) consiste em treinar um único modelo-aluno com a ajuda de vários modelos especialistas, cada um focado em uma área diferente, como matemática e programação. O desafio é que o aluno tem um número limitado de etapas de otimização e de amostras (rollouts), que precisam ser distribuídas entre essas áreas.
Os autores descrevem duas abordagens de referência. A primeira, chamada Fixed, usa proporções fixas de amostragem por domínio, definidas com base no tamanho do corpus, sem adaptação. A segunda, D3-MOPD, ajusta as proporções dinamicamente, usando a divergência KL reversa entre professor e aluno e a redução mais recente dessa divergência. O problema é que a D3-MOPD favorece os domínios que melhoraram rapidamente no período recente, o que pode deixar os que aprendem mais devagar com poucos exemplos.
Como o Nash-MOPD usa o equilíbrio de Nash
O Nash-MOPD aborda esse problema formulando a distribuição entre domínios como um jogo minimax local. O equilíbrio desse jogo maximiza a menor redução proporcional prevista da divergência KL reversa no modelo local, protegendo assim os domínios que melhoram mais devagar contra a falta de recursos. Em termos simples, o método oferece mais prompts às áreas que precisam de mais exemplos para alcançar uma melhora comparável.
Segundo os autores, o Nash-MOPD não exige consultas adicionais aos professores nem rollouts extras: ele usa as mesmas estatísticas da divergência KL reversa que já estão disponíveis durante o treino.
Resultados dos experimentos
Os testes foram feitos com dois modelos de base: DeepSeek-R1-Distill-Qwen-1.5B e Qwen3-8B-Base. Os autores apresentam resultados após 100 etapas de treino. Com o DeepSeek-R1-Distill-Qwen-1.5B, depois de 100 etapas o Nash-MOPD supera os resultados finais das duas abordagens de referência, Fixed e D3-MOPD, em matemática e programação. Com o Qwen3-8B-Base, após 100 etapas, alcança o resultado final do método Fixed.
No balanço geral, o Nash-MOPD lidera em oito das nove métricas apresentadas e fica em primeiro lugar ou empatado na liderança nas seis métricas de precisão para matemática e programação. O documento não informa os valores detalhados dessas métricas; eles não aparecem no resumo disponível.
O que o resumo não informa
O texto disponível é apenas o resumo do arXiv. Ele não inclui tabelas detalhadas de resultados, descrição da arquitetura dos modelos professores, lista dos conjuntos de dados usados, análise de custos computacionais nem comparação com métodos de fora da família MOPD. Os detalhes completos da metodologia e os experimentos de ablação podem estar na versão integral em PDF, cujo conteúdo não foi fornecido.
Google · Suas fontesBrilhe mais no seu Google com um cliqueAdicionar às fontes preferidas →O que os resultados podem indicar
Este é um preprint inicial, ainda sem revisão por pares, por isso os resultados devem ser vistos com cautela. A ideia de usar o equilíbrio de Nash para proteger domínios que aprendem devagar, em vez de favorecer os que já avançam rapidamente, me parece conceitualmente sensata e eficiente do ponto de vista computacional, já que não acrescenta consultas aos professores. Se os resultados do artigo completo confirmarem a vantagem após 100 etapas, isso poderá ser um argumento importante a favor do Nash-MOPD em cenários em que um único modelo é treinado com vários conjuntos de dados especializados. Por enquanto, porém, temos apenas o resumo, e não sabemos o tamanho das diferenças em valores absolutos.
Fonte: arXiv cs.AI: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (documento de 2026-10-20). Esta análise foi feita com base no texto completo do documento, não em relatos de outros veículos.
Tópicos relacionados no Centelharm
