Glossário de IA / Destilação

🏗️ Modelos e treinamento

Destilação de conhecimento é uma técnica em que um modelo pequeno (“aluno”) aprende a imitar as respostas de um modelo grande (“professor”). Em vez de treinar o modelo menor do zero com dados brutos, ele é alimentado com as saídas do modelo gigante - e assim assimila boa parte de suas habilidades com uma fração do tamanho. É uma forma comum de criar modelos rápidos e baratos para uso em larga escala. Também gera controvérsia quando alguém destila um modelo fechado de terceiros por meio da API - os termos de uso da maioria dos provedores proíbem isso explicitamente.