O que você consegue rodar na sua placa de vídeo
A pergunta “isso vai rodar na minha placa de vídeo?” tem uma resposta calculável: pesos vezes número de bits, mais a memória cache de atenção, que cresce com o tamanho do contexto e pode surpreender mais do que o próprio modelo. Escolha o hardware e o tamanho do modelo, e eu mostro o que cabe, o que precisa ir para a memória do sistema e quantos tokens por segundo você pode esperar.
Seu equipamento
Os valores são preenchidos a partir da lista e correspondem às especificações do fabricante. Você pode alterá-los, pois a memória realmente disponível depende do que mais está em execução. Nos computadores Apple, a memória é compartilhada entre o processador e a unidade gráfica, então você não pode disponibilizá-la toda para o modelo.
Modelo que você quer executar
Os dois últimos números descrevem a arquitetura do modelo. Preencho valores típicos para esse tamanho; se você souber os valores exatos nas especificações do modelo, informe-os.
Veredito
Todas as quantizações neste hardware
Mesmo número de parâmetros, diferentes precisões dos pesos. Abaixo de quatro bits, a qualidade das respostas costuma cair, especialmente em português e em código.
| Quantização | Bits por peso | Pesos | Incluindo a atenção | Cabe | Tokens por segundo |
|---|
Quanto contexto você consegue suportar
Memória de atenção para diferentes comprimentos
Este é o detalhe que surpreende. O modelo cabe com folga, mas, com cem mil tokens de contexto, de repente falta memória.
O máximo que cabe
tokens nas configurações atuais, ou aproximadamente-palavras em português.
Considero um token equivalente a 0,55 palavra em português, com base em textos reais. Você pode calcular com exatidão emcontador de tokens.