Textos em português custam mais. Veja quanto
Os modelos não contam letras nem palavras: contam tokens. O português é dividido em tokens de forma menos eficiente que o inglês, porque acentos e terminações flexionais separam as palavras em pedaços. Cole o texto e veja o número exato de tokens, o custo em dólares e onde o modelo divide suas palavras.
Resultado
Quanto o português custa a mais
Teste com um texto seu
Por que isso acontece
O vocabulário de tokens é criado com base nas estatísticas do texto de treinamento, que é dominado pelo inglês. Palavras frequentes em inglês têm um token próprio. Já uma palavra em português, com acento e flexão, geralmente não tem um token assim e acaba dividida em dois, três ou quatro pedaços. Resultado: você paga mais pelo mesmo conteúdo e preenche a janela de contexto mais rápido.
Como o modelo vê seu texto
As palavras mais caras do seu texto
Palavras que se dividem em mais pedaços. O número indica tokens por palavra.
Parágrafo por parágrafo
Quantos tokens cada trecho consome. Útil para enxugar o prompt do sistema.
Custo e janela de contexto
| Model | Entrada / milhão | Saída / milhão | Custo | Ocupa do contexto |
|---|
A coluna “ocupa do contexto” mostra qual porcentagem da janela do modelo é preenchida apenas por este texto. Quando passa de mais ou menos metade da janela, a qualidade das respostas começa a cair, independentemente do que as especificações prometem.