Tokenização

Tokenização é o processo de dividir o texto em tokens de acordo com um vocabulário definido durante o treinamento do modelo. Palavras comuns ganham um token próprio; as menos comuns são divididas em pedaços menores - por isso, nomes incomuns ou palavras com erros de digitação acabam divididos em vários tokens. A forma como a tokenização funciona explica algumas peculiaridades dos modelos: dificuldade para contar as letras de uma palavra, sensibilidade a pequenas mudanças na escrita e diferenças de custo entre idiomas. Uma dica prática para o usuário: textos concisos e limpos usam menos tokens, o que reduz o custo e deixa mais espaço no contexto.