basal-omni: modelo aberto de Remek Kinas lidera o JevBench

👁 119 leituras

O modelo de decisão basal-omni-1.0-ultra, de Remek Kinas, está em primeiro lugar entre os modelos com pesos abertos no JevBench, um ranking de modelos que não escrevem textos: eles escolhem uma resposta entre opções e indicam o grau de confiança. O modelo marcou 82,5 pontos no Capability Score. Considerando também os serviços fechados de API, apenas o kettei-fat, da Sqwish (86,3), fica à frente. O basal supera nessa tabela os modelos fechados de decisão da OpenAI e da Microsoft, além do Jev, da TypeSafe, que deu origem à categoria. Conferi a tabela do JevBench, as páginas dos modelos no Hugging Face e quem mantém o ranking. Também executei a menor versão no meu computador.

O que Remek Kinas anunciou

Em 17 de outubro, Remek Kinas (@KinasRemek no X) escreveu que o basal-omni era “TOP 1 do mundo entre os modelos abertos” e TOP 2 entre todos os modelos no JevBench. A publicação termina com: “Então dá para fazer? Dá! IA polonesa.” Ele também agradeceu ao autor do ranking (@airesearch12) pela avaliação independente. Segundo o contador do X, a publicação tinha cerca de 266 mil visualizações em 19 de outubro.

O basal é um projeto de Kinas. Tem um mecanismo próprio para execução, o basal-serve, e duas famílias de modelos: basal-2.0, baseado no Bielik v3 polonês, e basal-omni, baseado no Gemma 4, do Google. O basal-omni processa texto, imagens e áudio (a versão ultra não tem áudio), mas, como outros modelos de decisão, não gera frases. Recebe um estado, como o conteúdo de uma solicitação, e perguntas com respostas fechadas; então retorna a probabilidade de cada opção em uma única execução. Esse estilo de trabalho foi criado pela TypeSafe com o modelo Jev. Escrevi sobre ele em setembro, no artigo Jev, da TypeSafe, e explico a categoria no guia Modelos de decisão de IA.

Resultado no JevBench

O JevBench apresenta os mesmos 1.500 itens de decisão a cada sistema e mede quatro aspectos: precisão (Intelligence), calibração - se o nível de confiança declarado corresponde à precisão real -, velocidade e custo por 1.000 decisões. A principal tabela de modelos abertos é organizada pelo Capability Score, a média entre precisão e calibração. Só podem participar sistemas “da classe do Jev”, que custem no máximo duas vezes mais e respondam em até duas vezes o tempo do Jev.

Em uma tabela separada de serviços de API, calculada com a mesma métrica, o kettei-fat, da Sqwish, lidera (86,3). Depois aparecem, entre outros, o d1-ultra, da Liquid AI (80,5), o Jev 1.13.0 (77,1), o Jev 1.14.0 (75,0), o OpenAI Decisions no GPT-6 Luna (73,5) e o Microsoft-Decision-1 (72,2, resultado marcado como preliminar). Com 82,5 pontos, o basal fica em segundo lugar quando as duas tabelas são comparadas.

O que “TOP 1” significa - e o que não significa

• É o primeiro lugar no Capability Score, que considera precisão e calibração. No resultado composto oficial do JevBench (Composite), em que velocidade e custo também têm peso de 25% cada, o basal-omni-1.0-ultra fica em terceiro entre 184 sistemas abertos. À frente estão dois modelos 4B bem menores: H2O-Lightning-4B v1.1 e Torchcast Decision 4B. Eles são mais baratos para operar, mas têm precisão claramente inferior (60,0 e 60,3).
• O ranking muda a cada versão. Quando o basal entrou na tabela, em 17/10 (versão v1.6.28), a nota de lançamento mencionava o quarto lugar entre 45 no conjunto de tarefas sorteado naquele momento. A ordem atual aparece na tabela v1.7.46, de 18/10.
• A velocidade do ultra é medida pelo próprio JevBench em sua página: mediana de 0,102 s. O custo é de 0,045 USD por 1.000 decisões, 38% acima do Jev, mas ainda dentro dos limites da classe do Jev.
• Só a versão ultra aparece na tabela. As versões menores do basal-omni, mini e max, não têm resultados separados no JevBench.

Quem mantém o JevBench

O JevBench está no serviço Benchmark Heaven. Segundo o site e o repositório no GitHub, é um projeto independente de código aberto, com licença MIT, de Florian Standhartinger, que usa o nome @airesearch12 no X - a mesma pessoa a quem Kinas agradeceu. O site afirma comparar modelos “independentemente da TypeSafe AI”. O nome e a métrica vêm do Jev: os limites de custo e tempo são calculados em relação a ele, e o Jev 1.13.0 aparece como referência, fora do ranking. Não encontrei no site informações sobre vínculos entre o autor e a TypeSafe ou Kinas. Parte das tarefas é pública e a maioria fica selada para impedir que os modelos aprendam as respostas. O autor descreve as mudanças de método nas notas de cada versão.

Vale lembrar que esse é um entre vários rankings. No Decision Index, da Artificial Analysis (dados de 19/10), o d1-ultra, da Liquid AI, lidera com 65,2 pontos, à frente do Jev 1.13; o basal-omni não foi avaliado nesse ranking.

Três tamanhos e o benchmark do próprio autor

O resultado v1 vem de um conjunto oculto de decisões em polonês e inglês, dividido em 10 categorias e preparado pelo próprio autor. Portanto, é um resultado do desenvolvedor, não uma medição independente. Segundo as páginas dos modelos, com o limite padrão de 1% de erro, o ultra aceita automaticamente 56,8% das decisões e encaminha o restante a uma pessoa. As categorias mais fracas em todas as versões são regras com limites exatos e datas. O autor recomenda calcular esse tipo de coisa em código.

Desde 19 de outubro, mini e max também têm versões GGUF para Ollama e llama.cpp, FP8 para vLLM e MLX para Mac. Elas foram lançadas com o mecanismo basal 2.2 e sua nova ferramenta para calibrar com dados próprios: basal 2.2 e basal-calibrate.

Quem é Remek Kinas

Remigiusz Kinas trabalha como Principal AI Researcher na Ingenix.ai, uma empresa de Varsóvia que desenvolve modelos de IA para biologia e pesquisa clínica. É um dos criadores dos modelos poloneses Bielik e tem o título Kaggle Grandmaster. O basal é seu projeto independente: o código do mecanismo está no GitHub de Kinas (rkinas/basal), e os modelos estão na conta Remek no Hugging Face. A versão 2.2 também inclui contribuições de algumas pessoas da comunidade.

Testei a versão menor

Em 19 de outubro, executei o basal-omni-1.0-mini na versão GGUF Q8_0 (7,9 GB), com Ollama em uma RTX 4090, usando meu conjunto de 50 solicitações em polonês para uma loja e 10 decisões sobre ferramentas. Eu havia usado esse conjunto em 13/10 para testar modelos do ranking AA. O teste foi feito em polonês; os resultados não são uma avaliação em português. O mini identificou a categoria corretamente em 42 de 47 solicitações, a urgência em 47 de 50 e escolheu a ferramenta em 10 de 10. Isso representa uma solicitação a mais do que o Jev 1.13 no mesmo conjunto, com mediana de 137 ms por decisão local. As instruções passo a passo e todos os resultados estão em basal localmente: Ollama, llama.cpp e Mac.

Para quem esse modelo serve

• Empresas que classificam grandes volumes de texto em polonês - solicitações, e-mails e documentos - e não querem enviar dados para uma API externa. A licença Apache-2.0 permite uso comercial.
• Equipes que trabalham com agentes de IA e precisam decidir rapidamente se devem chamar uma ferramenta, pedir mais informações ou recusar, com um nível de confiança numérico.
• Não serve para escrever textos. O basal não responde a clientes nem redige resumos; para isso, continua sendo necessário um modelo de linguagem comum.

// continue lendoIA local: modelos abertos para cada configuraçãoGuiasConfiança do basal mini: o que significa 0,9 e como medirBenchmarksGrok Imagine Image 2.0: preço, modelos e testeGuias