Modelos de decisão vs. LLMs pequenos: custo, tempo e precisão

👁 116 leituras

No Decision Index, modelos de decisão respondem de 3 a mais de 20 vezes mais rápido do que LLMs pequenos, mas o Claude Haiku 5.5 (low) tem pontuação geral superior à de qualquer um deles. Não há uma regra simples para o custo: ele depende do modelo e de quantos tokens de saída você paga no LLM. A seguir, reúno as medições da Artificial Analysis, os preços de API e um cálculo transparente com tokens.

Dados consultados em 13/10/2026. Aqui, “LLMs pequenos” são as opções mais baratas oferecidas pelos fabricantes (Haiku, Luna, Flash e Gemma), não modelos com uma quantidade de parâmetros confirmada. O guia Modelos de decisão em IA explica o que são esses modelos e quem liderou o ranking. O cálculo de economia por milhão de classificações e a calculadora de cascata estão no guia Modelo de decisão no lugar de um LLM. Aqui, o foco é comparar LLMs pequenos e modelos de decisão.

Compare primeiro a mesma tarefa

Um modelo de decisão retorna uma opção e a probabilidade de cada alternativa. No Decision Index, um LLM convencional recebe as mesmas tarefas, mas responde em um formato JSON obrigatório. Assim, os dois tipos de modelo resolvem as mesmas perguntas, embora gerem as respostas de maneiras diferentes (metodologia da AA).

Por isso, não compare o Decision Index de um modelo com o Intelligence Index de outro: são escalas diferentes, mesmo que apareçam no site da Artificial Analysis. Preste atenção também à configuração indicada junto ao nome do LLM: para a AA, Haiku 5.5 nas variantes low, medium, high, xhigh e max corresponde a cinco linhas diferentes, com pontuações, custos e tempos distintos.

Mais um ponto: acertar a categoria não é o mesmo que responder ao cliente. Se o seu processo exige uma justificativa ou uma mensagem depois da decisão, você precisa incluir uma etapa de geração de texto. Comparar apenas o classificador com uma resposta textual completa muda o que está sendo medido.

Resultados, custos e tempos segundo a AA

Fonte: ranking Decision Index da AA, dados ao vivo consultados em 13/10/2026, com a comparação de modelos de linguagem ativada. Inclui os 11 modelos de decisão do ranking e LLMs pequenos selecionados. O melhor valor de cada coluna está em negrito. A linha do Gemini indica falta de dados, não uma pontuação zero.

A AA calcula o custo com base no consumo de tokens e nos preços atuais e, depois, converte o custo médio por tarefa em um valor por milhão. Modelos de decisão cobram apenas a entrada; LLMs cobram entrada e saída. O tempo é a mediana das tarefas do índice. Portanto, o custo não é um preço para “um milhão de decisões quaisquer”, mas uma conta baseada em um conjunto específico de perguntas.

O que os dados mostram:

• Haiku 5.5 (low) lidera em pontuação: tem 3,1 pontos a mais do que o Jev, mas, segundo a AA, é cerca de 11 vezes mais lento e 4,4 vezes mais caro.
• A categoria não garante um preço menor: o Clef custa mais do que o Haiku 5.5 (low) e o GPT-6 Luna (low), embora responda mais rápido. O Clef-Omni custa mais do que o Luna na variante non-reasoning.
• Um LLM maior não é necessariamente melhor para decisões: o Gemma 4 31B com raciocínio é o modelo mais caro e mais lento da comparação, e sua pontuação fica pouco acima da do Luna (low).
• Opções com melhor relação entre custo e resultado: Decider v1.1 27B, Microsoft-Decision-1 e Jev 1.13 ficam, segundo a AA, na fronteira de custo-benefício, com os melhores resultados para seus preços.

A precisão depende do tipo de decisão

A maior pontuação no índice não significa vantagem em todas as categorias. Segundo a análise da AA, LLMs se destacam em conhecimento, enquanto os principais modelos de decisão igualam ou superam seu desempenho em classificação de segurança e decisões sobre uso de ferramentas.

Fontes dos dados, consultados em 13/10/2026: gráficos da AA para AA-Omniscience-Decision, HLE-MultiChoice, When2Call e WildGuardTest. A última coluna reúne os melhores resultados de modelos diferentes e não descreve um único sistema. Expliquei como o índice foi elaborado e o que cada teste mede na notícia sobre o ranking Decision Index.

Na prática, se a tarefa consiste em classificar uma mensagem em uma categoria bem definida ou escolher a próxima ação de um agente, um modelo de decisão é uma opção relevante. Se a decisão depende de conhecimento que não está no prompt, um LLM pequeno tem uma vantagem clara. Isso é uma orientação para escolher os dados de teste, não uma promessa de que o resultado será igual na sua empresa.

Preços de API: tabela e unidades separadas

Fontes de preços, consultadas em 13/10/2026: Anthropic, OpenAI, Google e Cloudflare. Os preços dos modelos de decisão são dos fabricantes e foram reunidos no guia. As tarifas do Haiku e do Luna correspondem ao custo cobrado pela OpenRouter nas minhas consultas de teste em 13/10. A tabela não inclui cache, descontos por processamento em lote nem cobranças adicionais por processamento na UE.

Atenção ao Gemini 3.8 Flash: o Google informa que as tarifas de US$ 0,75 e US$ 3,75 valem até o fim de 2026. Antes de fazer cálculos para o ano seguinte, confira os preços atualizados. Para todos os LLMs, verifique também se a sua entrada ultrapassa o limite de contexto longo, a partir do qual outras tarifas podem ser aplicadas.

Quanto custa um milhão de tarefas com premissas explícitas

Este é um cenário, não um benchmark. Considero um milhão de chamadas, cada uma com 1.000 tokens de entrada faturáveis. Para os LLMs, comparo 50 e 500 tokens de saída faturáveis por tarefa, incluindo o raciocínio pago. Esse é um consumo assumido, não uma previsão do tamanho das respostas de qualquer modelo.

Custo de 1 milhão de tarefas em US$ =
tokens de entrada por tarefa * preço de 1 milhão de tokens de entrada
+ tokens de saída por tarefa * preço de 1 milhão de tokens de saída

Haiku, variante com 50 tokens de saída:
1000 * 0.10 + 50 * 0.50 = US$ 125

Cálculos próprios com base nos preços de 13/10/2026. Modelos de decisão não geram texto, então seu custo não depende do limite de saída. O negrito indica o menor custo no cenário, não o melhor resultado em qualidade.

• Com uma resposta curta, Haiku e Luna custam menos do que o Clef no Workers AI; com uma resposta mais longa, a relação se inverte.
• Nesse cálculo, o Gemini 3.8 Flash custa 7,5 vezes mais do que Haiku e Luna, nos dois limites de saída.
• Se os tokens adicionais de saída forem necessários para uma justificativa, o modelo de decisão não a substitui: um segundo modelo de geração de texto representa outra chamada que precisa entrar na conta.

Usar 1.000 tokens para todos é uma simplificação: tokenizadores diferentes contam o mesmo texto de maneiras distintas. No meu teste, uma mensagem de atendimento em polonês com perguntas tinha de cerca de 205 tokens no Mercury Decide a cerca de 650 no Jev, enquanto o Haiku recebia em média 782 tokens de entrada com a instrução e o esquema JSON. Por isso, em uma comparação real, registre o consumo informado pela API em vez de estimá-lo pelo tamanho da mensagem.

Latência: tempo até a decisão pronta

Em uma classificação, importa o momento em que o aplicativo pode executar a próxima etapa. O primeiro caractere de um JSON ainda não é uma decisão; por isso, o tempo até o primeiro token e a velocidade de geração não substituem a medição da resposta completa.

Meu teste de 13/10/2026, feito com consultas da Polônia pela OpenRouter e, portanto, sujeito ao tempo de rede, confirma a tendência observada pela AA:

• Modelos de decisão: mediana de 310 a 619 ms; o mais rápido foi Clef-Omni e o mais lento, Mercury Decide.
• GPT-6 Luna (low): 1.371 ms.
• Claude Haiku 5.5 (low): 1.689 ms.
• Gemini 3.8 Flash: em um teste separado, feito pela API em 5/10/2026, a mediana foi de 1.822 ms em 30 mensagens de atendimento em polonês (departamento correto em 30/30; urgência correta em 26/30). Como foi outro conjunto de dados e outro dia, não incluo esse número na tabela da AA.

A mediana mostra o centro da distribuição, não as respostas mais lentas que fazem o usuário esperar. Na sua própria amostra, registre também a cauda da distribuição, os erros e as novas tentativas. Calculei no guia sobre custos quantas horas um milhão de decisões levaria se fossem processadas uma a uma e o efeito dos limites de consultas.

Precisão em polonês: o LLM pequeno ainda fica um pouco à frente

Em 47 mensagens de atendimento em polonês com classificação inequívoca no meu teste, os modelos de decisão acertaram o departamento em 41 a 44 casos, enquanto Claude Haiku 5.5 (low) e GPT-6 Luna (low) acertaram 45. Uma diferença de uma a três mensagens em uma amostra tão pequena pode estar perto do ruído, mas é compatível com os dados da AA: em classificações simples, LLMs pequenos têm uma ligeira vantagem, paga em tempo e preço. Os resultados completos dos 11 modelos estão no guia.

Quando escolher cada opção

• Modelo de decisão: quando a etapa deve retornar um rótulo ou escolher uma ação e há milhares de decisões. Compare os candidatos com os mesmos exemplos e use as probabilidades para encaminhar os casos incertos para outra etapa.
• Claude Haiku 5.5: quando a decisão precisa vir acompanhada de texto ou depender de conhecimento que não está na consulta. A variante low tem a maior pontuação desta comparação, mas responde mais de 10 vezes mais devagar do que os modelos de decisão mais rápidos.
• GPT-6 Luna: tem a maior precisão em perguntas de conhecimento entre as variantes comparadas (66,0), mas, neste teste, praticamente nunca escolhe “não sei” (0,0) e, portanto, tende a chutar mais. Mantenha separadas as linhas low, non-reasoning e Decisions: são resultados, custos e tempos diferentes.
• Gemini 3.8 Flash: precisa de um teste próprio comparável. O preço permite calcular cenários, mas não preenche a pontuação ausente no Decision Index.

Perguntas frequentes

Um modelo de decisão é sempre mais barato do que um LLM pequeno?

Não. Na medição da AA, o Clef custa US$ 199,4 por milhão de tarefas, mais do que Claude Haiku 5.5 (low) e GPT-6 Luna (low). O custo depende do modelo, do tamanho da entrada e da saída faturada.

Um milhão de tokens equivale a um milhão de tarefas?

Não. Uma tarefa pode consumir de algumas centenas a alguns milhares de tokens. Para calcular o custo de um milhão de tarefas, multiplique o preço por token pelo consumo medido ou explicitamente assumido.

O Gemini 3.8 Flash perde no Decision Index?

Não há base para essa conclusão. Em 13/10/2026, o Gemini 3.8 Flash não tinha pontuação no índice. Não ter uma medição não significa perder.

GPT-6 Luna e GPT-6 Luna Decisions têm a mesma pontuação?

Não. A AA apresenta separadamente o modelo de linguagem (low: 55,2 pontos; non-reasoning: 49,6) e a variante Decisions (48,5 pontos). Cada um tem custo e tempo próprios.

A pontuação do índice é a porcentagem de decisões corretas?

Não. Ela combina quatro métricas diferentes. Para um caso de uso específico, escolha a métrica pertinente e teste o modelo com dados representativos.

Divulgação: conheço o Jev de uma avaliação anterior. Em setembro, escrevi para ele um cliente simples de API para usar nas minhas próprias ferramentas editoriais. A TypeSafe não encomendou nem pagou este artigo. Minha avaliação se baseia em medições independentes da Artificial Analysis e no meu teste, em que todos os modelos receberam as mesmas tarefas.

Testes próprios: 13/10/2026 (50 mensagens de atendimento em polonês, 11 modelos pela OpenRouter a partir da Polônia) e 5/10/2026 (30 mensagens de atendimento em polonês, incluindo Gemini 3.8 Flash pela API).

// continue lendoModelo de decisão vs. LLM: custo de 1 milhão de classificaçõesBenchmarksPerplexity Decider v1.1 27B: o modelo de decisão mais baratoBenchmarksChatGPT Images 2.6: Testei os Novos Modelos e RecursosBenchmarks