Streaming

Streaming é um modo em que o modelo envia a resposta em tempo real, token por token, em vez de esperar até terminar de gerar tudo. É por isso que os chats “escrevem” na tela como alguém digitando. Além do efeito visual, o streaming tem vantagens práticas: você começa a ler na hora, reduzindo a espera percebida, e pode interromper respostas longas no meio, economizando tempo e custos. Em APIs, é uma opção padrão para criar aplicativos próprios.