Glossário de IA / Quantização

🏗️ Modelos e treinamento

Quantização é uma técnica para reduzir o tamanho do modelo: seus pesos são armazenados com menor precisão numérica (por exemplo, em 4 bits, em vez de 16), o que reduz o arquivo a uma fração do tamanho e acelera os cálculos. O custo é uma pequena perda de qualidade, muitas vezes imperceptível. Graças à quantização, é possível executar grandes modelos abertos em um computador doméstico com placa de vídeo e até em um notebook. Formatos populares de modelos quantizados circulam na comunidade de hospedagem própria e são a base para executar IA localmente.