Glossário de IA / MoE (Mixture of Experts)
🏗️ Modelos e treinamento
MoE (Mixture of Experts)
Arquitetura em que o modelo tem vários “especialistas”, mas aciona apenas parte deles para cada tarefa.
Mixture of Experts é uma arquitetura em que o modelo é composto por várias sub-redes especializadas (“especialistas”), mas ativa apenas algumas delas a cada consulta. Assim, o modelo pode ter um número total enorme de parâmetros e, ainda assim, funcionar de forma rápida e barata - porque só uma parte dele trabalha por vez. O MoE está por trás de muitos dos principais modelos dos últimos anos, especialmente os abertos. Para o usuário, é um detalhe técnico, mas explica um aparente paradoxo: como modelos com centenas de bilhões de parâmetros podem responder tão rápido.
Termos relacionados