Inference

Inference (inferência) é a fase em que um modelo treinado é usado: ele recebe sua consulta e gera uma resposta, token por token. É diferente do uso cotidiano do modelo e do treinamento, que ocorreu antes, uma vez, com enormes volumes de dados. Os custos de operação dos serviços de IA vêm principalmente da inferência - por isso, os provedores a otimizam com quantização, hardware melhor e arquiteturas como MoE. Quando o chat “escreve” uma resposta ao vivo, você está vendo a inferência em tempo real, geralmente em modo de streaming.