Modelo de decisão vs. LLM: custo de 1 milhão de classificações

👁 117 leituras

Um modelo de decisão pode valer mais a pena que um LLM quando a resposta vem de uma lista fechada e há milhares de decisões por dia. Em 1 milhão de classificações, a diferença pode ser de várias vezes: segundo medições da Artificial Analysis de 13/10/2026, 1 milhão de tarefas de classificação custa de US$ 12,10 a US$ 22,80 nos melhores modelos de decisão e US$ 91,50 no Claude Haiku 5.5. No meu teste com solicitações em polonês, combinar o Microsoft-Decision-1 com o Claude Haiku 5.5 para os casos incertos teve a mesma precisão que usar apenas o Haiku, com um custo 5,5 vezes menor. A seguir, veja os cálculos, uma calculadora pronta e os pontos de atenção.

Expliquei o que é um modelo de decisão e qual ficou no topo do ranking no guia Modelos de decisão de IA e na notícia sobre o Decision Index. Aqui, o foco é apenas nos custos.

Quando um modelo de decisão vale a pena

Confira estas cinco condições. Quanto mais delas forem atendidas, maior tende a ser a economia:

• A resposta está em uma lista. Departamento, categoria, sim ou não, nota em uma escala ou nome de ferramenta. Se você precisa de uma frase, o modelo de decisão não vai escrevê-la.
• Há muitas decisões. Com 100 por dia, a economia será de alguns centavos por mês, e não vale a pena mexer em um código que já funciona. Com 10 mil por dia, são centenas de milhares de decisões por mês.
• Tudo de que o modelo precisa está na entrada. O conteúdo da solicitação, os dados do pedido e o histórico do cliente, por exemplo. Em perguntas que exigem conhecimento armazenado, os modelos de decisão têm precisão de 28% a 41%, segundo a AA, enquanto o Claude Haiku 5.5 chega a 52%.
• O tempo importa. Nas medições da AA, a mediana foi de 63 a 500 ms por tarefa, contra 1,4 a 1,5 s para LLMs pequenos. Essa diferença pesa em um agente que toma várias decisões a cada etapa.
• Você quer definir um limite de confiança. O modelo de decisão informa a probabilidade de cada opção, facilitando o encaminhamento dos casos incertos.

Cálculo 1: 1 milhão de classificações segundo a Artificial Analysis

A Artificial Analysis informa o custo de cada teste separadamente. O WildGuardTest é o mais próximo de uma classificação típica: o modelo avalia se uma solicitação e uma resposta são prejudiciais. Veja o custo de 1 milhão de tarefas e a pontuação (F1) em 13/10/2026:

Conclusão: nessa classificação, Decider v1.1 27B e Jev 1.13 têm resultados melhores que o Claude Haiku 5.5 e custam 7,6 e 4 vezes menos, respectivamente. O Claude Opus 5.5 é apenas um pouco melhor que o Haiku e custa 41 vezes mais. Para esse tipo de tarefa, um modelo grande é simplesmente caro demais.

Cálculo 2: 1 milhão de solicitações em polonês no meu teste

Em 13/10/2026, enviei pelo OpenRouter 50 solicitações em polonês para uma loja. Cada consulta pedia o departamento, entre 7 opções, e o nível de urgência. Medi o custo nas faturas do OpenRouter para cada consulta e extrapolei para 1 milhão de solicitações. Calculei a precisão com base em 47 solicitações sem ambiguidade; em 3, todos os modelos escolheram um departamento diferente do meu gabarito. Há mais detalhes no guia. O teste foi feito em polonês; os resultados não são um benchmark em português.

Por que há diferenças de custo mesmo quando os preços por token são parecidos?

• Tokenizador. A mesma solicitação em polonês, com as perguntas, gerou uma média de 205 tokens no Mercury Decide, 280 no Microsoft-Decision-1 e 650 no Jev.
• O prompt do LLM é mais longo. O Claude Haiku 5.5 recebeu uma instrução de sistema e um esquema JSON: em média, 782 tokens de entrada e 45 de saída por solicitação. A saída custa 5 vezes mais que a entrada.
• Provedor no OpenRouter. Clef e Clef-Flash usaram um provedor mais barato que a Cloudflare. Com o Workers AI, você pagaria mais.

Cascata: a mesma precisão por uma fração do custo

O modelo de decisão informa o grau de confiança na opção escolhida. Uma configuração simples é aceitar a resposta quando a confiança for de pelo menos 0,8 e consultar um LLM quando for menor. Fiz os cálculos com os resultados do teste, usando o Claude Haiku 5.5 (low) como segunda etapa:

• Microsoft-Decision-1 com Haiku para os 6% de casos incertos teve o mesmo resultado que o Haiku sozinho. O custo de 1 milhão de solicitações seria US$ 18,20, em vez de US$ 100,80 - 5,5 vezes menor.
• O Jev sozinho teve o menor resultado, com 41 acertos, mas sua confiança indicou bem os erros: depois de encaminhar 17% dos casos incertos para o Haiku, o resultado subiu para 45.
• Atenção ao tamanho do teste. Quarenta e sete solicitações são poucas, e a diferença de uma solicitação pode ser ruído. Defina o percentual de encaminhamento e o limite usando pelo menos algumas centenas de exemplos próprios.

Cálculo 3: tempo

Dinheiro não é tudo. Segundo a AA, a mediana por tarefa é de 127 ms para o Jev e 1.434 ms para o Claude Haiku 5.5 (low). Executar 1 milhão de decisões, uma após a outra, levaria cerca de 35 horas com o Jev e quase 400 horas com o Haiku. Na prática, as tarefas são executadas em paralelo, mas aí entram os limites de consultas do provedor. A Perplexity, por exemplo, permite 10 consultas por segundo por organização. Em um agente que consulta ferramentas, urgência e segurança na mesma etapa, a diferença de 1,3 s por decisão é perceptível para quem usa o sistema.

Script pronto: calculadora de custos

Informe os volumes de tokens e os preços para calcular o custo do modelo de decisão, do LLM e da cascata. Os valores padrão são as médias do meu teste com o Microsoft-Decision-1 e o Claude Haiku 5.5. Testei o script em 13/10/2026, em uma pasta limpa, com Python 3.13; não é preciso instalar bibliotecas. Com os valores padrão, o resultado é: US$ 11,76 para o modelo de decisão, US$ 100,70 para o LLM e US$ 17,80 para a cascata, uma economia de 82%.

# Custo de 1 milhão de decisões: modelo de decisão, LLM e cascata
# Como executar: python calculadora_decisoes.py (Python 3.8+, sem bibliotecas adicionais)

N = 1_000_000          # número de decisões
TOK_WEJ_DEC = 280      # tokens de entrada por decisão no modelo de decisão (meça no seu caso)
CENA_DEC = 0.042       # USD por milhão de tokens de entrada (Microsoft-Decision-1; saída: USD 0)
TOK_WEJ_LLM = 782      # tokens de entrada por tarefa no LLM (prompt + esquema + solicitação)
TOK_WYJ_LLM = 45       # tokens de saída por tarefa no LLM (JSON + raciocínio)
CENA_LLM_WEJ = 0.10    # USD por milhão de tokens de entrada (Claude Haiku 5.5)
CENA_LLM_WYJ = 0.50    # USD por milhão de tokens de saída (Claude Haiku 5.5)
ESKALACJA = 0.06       # proporção de decisões abaixo do limite de confiança encaminhadas ao LLM


def koszt_dec(n):
    return n * TOK_WEJ_DEC * CENA_DEC / 1e6


def koszt_llm(n):
    return n * (TOK_WEJ_LLM * CENA_LLM_WEJ + TOK_WYJ_LLM * CENA_LLM_WYJ) / 1e6


sam_dec = koszt_dec(N)
sam_llm = koszt_llm(N)
kaskada = koszt_dec(N) + koszt_llm(N * ESKALACJA)
print(f"Modelo de decisão:      {sam_dec:8.2f} USD")
print(f"LLM:                    {sam_llm:8.2f} USD")
print(f"Cascata ({ESKALACJA:.0%} para o LLM): {kaskada:8.2f} USD")
print(f"Economia da cascata:    {sam_llm - kaskada:8.2f} USD ({1 - kaskada / sam_llm:.0%})")

A maneira mais fácil de medir os tokens é enviar de 50 a 100 solicitações reais e consultar o campo usage na resposta da API. O OpenRouter também informa o custo em USD nesse campo.

Custos ocultos que podem passar despercebidos

• Exemplos rotulados. Para definir o limite de confiança, você precisa de algumas centenas de solicitações com a resposta correta. Isso representa algumas horas de trabalho humano.
• Calibração em polonês. No meu teste em polonês, os modelos erraram o nível de urgência quando as probabilidades estavam perto de 0,5. Com o Microsoft-Decision-1 e um limite de 0,5, houve 8 alarmes falsos. Um limite de 0,5 costuma ser uma escolha ruim.
• Modelos confiantes demais. Segundo a AA, todos os modelos de decisão declaram um nível de confiança maior do que o que a precisão observada justifica, especialmente em perguntas que exigem conhecimento. O resultado é melhor em tarefas de classificação, mas confira com os seus dados.
• Dados pessoais. O Jev processa dados nos EUA. OpenAI e Microsoft oferecem processamento na UE; na OpenAI, há uma taxa adicional de 10%. É possível executar modelos abertos, como Decider, Clef e d1-3B, na própria infraestrutura, mas nesse caso você paga por um servidor com GPU.
• Dois sistemas em vez de um. A cascata exige código e monitoramento adicionais e gera duas contas. Em pequena escala, a simplicidade de usar apenas um LLM pode valer mais que a economia.

Quando continuar usando um LLM

• Você precisa de uma resposta em texto ou de uma justificativa para a decisão. Uma exceção é o Celeris-1 Decision, que fornece uma justificativa de uma frase.
• A decisão depende de conhecimento sobre o mundo que não está na solicitação.
• A lista de opções muda o tempo todo, é muito longa ou não tem limites claros.
• Há poucas decisões. Com 1.000 por mês, o Claude Haiku 5.5 custa cerca de US$ 0,10.

Perguntas frequentes

Quanto custa classificar 1 milhão de itens com um modelo de decisão?

Segundo a Artificial Analysis, de US$ 12,10 a US$ 22,80 nos melhores modelos de decisão, como Decider v1.1 27B, Microsoft-Decision-1, Mercury Decide e Jev 1.13, contra US$ 91,50 no Claude Haiku 5.5 (low). No meu teste com solicitações curtas em polonês, o custo ficou entre US$ 4,10 e US$ 27,30, contra US$ 100,80. O teste foi feito em polonês, não em português.

Um modelo de decisão é tão preciso quanto um LLM?

Em classificação e seleção de ferramentas, os melhores modelos de decisão têm resultados comparáveis aos de LLMs pequenos ou até melhores. Em perguntas sobre conhecimento e tarefas de raciocínio difíceis, ficam claramente atrás.

O que é uma cascata de modelos?

É uma configuração em que um modelo de decisão barato resolve os casos com alto grau de confiança e encaminha os demais para um modelo mais caro ou para uma pessoa. No meu teste, o Microsoft-Decision-1 com o Claude Haiku 5.5 para 6% dos casos teve a mesma precisão que o Haiku sozinho, por 18% do custo.

A partir de quantas decisões por dia vale a pena migrar para um modelo de decisão?

Não existe um limite único. Com os custos do meu teste, a economia por milhão de solicitações fica entre US$ 73 e US$ 97. Com 50 mil decisões por dia, ou 1,5 milhão por mês, isso representa cerca de US$ 110 a US$ 145 de economia mensal. O tempo de resposta também é várias vezes menor.

Declaração: já havia pesquisado o Jev e, em setembro, escrevi um cliente simples para a API. A TypeSafe não encomendou nem pagou por este artigo. Todos os modelos receberam as mesmas tarefas no teste.

Fontes

• Artificial Analysis Decision Index v1.0 (13/10/2026)
• Artificial Analysis: WildGuardTest - resultados e custos (dados consultados em 13/10/2026)
• OpenRouter: Decisions API
• Perplexity: limites da Decisions API
• Teste próprio: 13/10/2026, 50 solicitações e 10 decisões sobre ferramentas, 11 modelos pelo OpenRouter na Polônia, custo de US$ 0,022.

// continue lendoModelos de decisão vs. LLMs pequenos: custo, tempo e precisãoBenchmarksGPT-6.1 Terra vs Claude Opus 5.5: teste e custoBenchmarksAssinatura ou API? Compare 7 modelos de IABenchmarks