Latência

Latency é o atraso entre o envio da consulta e a resposta do modelo - na prática, costuma-se medir o tempo até o primeiro token da resposta. Para conversas por voz fluidas ou preenchimento automático de código, frações de segundo fazem diferença; ao gerar um relatório, o atraso importa menos. A latência depende do tamanho do modelo, da carga dos servidores, do comprimento do prompt e do modo de operação (modelos de raciocínio “pensam” por mais tempo). Quem cria aplicativos costuma alternar entre modelos: um rápido para respostas imediatas e um mais potente para tarefas em que o usuário pode esperar.