Benchmark
Teste padronizado para comparar modelos (por exemplo, em matemática ou programação).
Benchmark é um teste padronizado usado para comparar modelos: um conjunto de tarefas de matemática, conhecimentos gerais, programação ou compreensão de linguagem, no qual cada modelo recebe uma pontuação. É graças aos benchmarks que podemos dizer que o modelo X se sai melhor em programação do que o Y. Vale analisar os resultados com cautela: com o tempo, testes populares acabam aparecendo nos dados de treinamento, e os fabricantes otimizam os modelos para se saírem bem nas métricas. Por isso, além dos benchmarks clássicos, estão ganhando espaço rankings baseados em avaliações anônimas de pessoas e testes privados. Ainda assim, o melhor benchmark continua sendo a sua própria tarefa.