Ranking de modelos de IA

A pontuação do ranking não substitui a avaliação da sua própria tarefa

O índice da Artificial Analysis combina resultados de diferentes avaliações. Não mede o QI humano nem é um teste específico de português brasileiro. Também recebe novas versões, por isso, para comparar com uma captura antiga, é preciso conferir a metodologia. A tabela mostra valores arredondados da fonte, então números iguais não comprovam resultados de medição idênticos.

Descrevo os testes próprios da Centelha separadamente na seção Benchmarks. Diferencie o resultado de um conjunto específico de tarefas do ranking de todo o mercado.

O preço da tabela considera três tokens de entrada para cada token de saída

O mecanismo da Megaherc usa o campo price_1m_blended_3_to_1da API da Artificial Analysis. É o preço médio de entrada e saída na proporção de 3:1, não uma tarifa por qualquer milhão de tokens nem uma assinatura de chat.Documentação da APIdiferencia esse valor de outras formas de calcular o preço, incluindo a opção que considera o cache.

Um exemplo de cálculo: com entrada a 2 USD e saída a 8 USD por milhão de tokens, o indicador será de 3,50 USD. Se metade do uso for de entrada e metade de saída, o custo por milhão será de 5 USD. Esse é um cenário com as premissas informadas, não o preço de um modelo específico. Calcule o valor real com base no uso, no cache, nas ferramentas e nas condições do fornecedor. Compare aplicativos e APIs emguia de modelos de IA.

Gerar rápido não significa esperar pouco pela resposta

A velocidade indica o ritmo de geração de tokens. A coluna “Primeiro token” mostra o tempo até o início do fluxo na medição da fonte. Em modelos de raciocínio, pode se referir ao primeiro token de raciocínio, então não equiparo isso ao primeiro trecho da resposta visível para as pessoas. Os detalhes da medição estão emmetodologia da Artificial Analysis.

O contexto é o tamanho da janela do modelo em tokens, não uma quantidade garantida de palavras de um documento. A tokenização varia conforme o modelo e o idioma, e parte da janela pode ser necessária para instruções e resposta. A sigla OW indica pesos abertos. Isso não confirma que o modelo funcionará no seu computador nem que a licença permita todos os usos.

Escolha dois modelos e compare o custo de um resultado correto

Defina um objetivo, o mesmo material de entrada e um critério de aceitação. Dê a tarefa a dois modelos e registre o tempo até o resultado final, o custo e as correções. Só então escolha a opção mais barata ou mais rápida. Para trabalhar localmente, confira primeiro os requisitos de hardware, por exemplo, noguia para executar o gpt-oss-20b. Este ranking não inclui o preço dos dispositivos, a qualidade da experiência no aplicativo nem a privacidade de todo o processo.