Token

Token é a unidade básica processada por um modelo de linguagem - um trecho de texto, geralmente menor que uma palavra. Em inglês, uma palavra tem, em média, pouco mais de um token; o português pode exigir mais tokens por causa das flexões e dos acentos, e a mesma frase pode ocupar mais tokens. Tokens são a moeda do mundo da IA: é com eles que se calculam a janela de contexto, os limites de uso e os preços das APIs (custo por milhão de tokens de entrada e saída). Quando uma ferramenta diz que o texto é longo demais, ela está se referindo ao número de tokens, não de caracteres.