VRAM
Memória da placa de vídeo: ela determina o tamanho do modelo que você pode executar localmente.
VRAM é a memória usada pela placa de vídeo para armazenar os dados necessários durante os cálculos, como o modelo de IA, a imagem processada e os resultados intermediários.
Imagine uma pessoa que trabalha com design e está preparando uma ilustração para um cartaz no próprio computador. Ela tem 32 GB de RAM e uma placa de vídeo com 8 GB de VRAM. O programa de geração de imagens exibe o erro “out of memory”, embora ainda haja bastante memória do sistema disponível. Em um computador típico com placa de vídeo dedicada, esses dois valores não representam uma única memória compartilhada. Comprar mais RAM não aumenta a memória física da placa.
Como verificar quanta VRAM você tem
No Windows, abra o Gerenciador de Tarefas, acesse a guia Desempenho e selecione a GPU em uso. Em uma placa dedicada, observe principalmente a memória dedicada da GPU, não a soma da memória dedicada e compartilhada. Se você tiver duas placas, verifique em qual delas o programa está sendo executado. O nome da GPU e a capacidade de memória devem corresponder às especificações dela.
Em placas NVIDIA, você também pode usar o comando nvidia-smi, se estiver disponível no ambiente instalado. Ele mostra o uso de memória e os processos, mas não prevê com precisão os requisitos de cada tarefa futura. Em computadores com memória unificada, como alguns Macs, a divisão funciona de outra forma: os aplicativos, o sistema e a GPU usam uma memória compartilhada. Não compare diretamente a capacidade dela com a VRAM de uma placa dedicada.
O que determina a memória necessária para IA
O tamanho do modelo, a forma como seus pesos são armazenados, a resolução da imagem e o número de resultados processados simultaneamente fazem diferença. No caso de modelos de linguagem, também contam o tamanho do contexto e a memória necessária para processar os tokens seguintes. O treinamento costuma exigir mais memória do que simplesmente usar um modelo pronto, pois armazena dados adicionais para atualizar os parâmetros.
Um cálculo simplificado: os pesos de um modelo com um bilhão de parâmetros, armazenados com dois bytes cada, ocupam cerca de 2 GB no sistema decimal. Isso não representa os requisitos de hardware do programa inteiro. É preciso acrescentar os dados de trabalho, a sobrecarga do ambiente e uma margem de segurança. A quantização pode reduzir o espaço ocupado pelos pesos, mas não elimina todos os outros componentes.
Não existe uma resposta única para a pergunta “quantos GB são suficientes para IA?”. O mesmo computador pode executar um modelo de texto pequeno, mas não dar conta de uma tarefa grande de vídeo. Verifique os requisitos do modelo específico, sua versão, suas configurações e o programa usado, não apenas termos como “Stable Diffusion” ou “chatbot local”.
O que fazer depois do erro out of memory
-
Salve seu trabalho e feche outros programas que estejam usando a GPU. Confira se não ficou outro processo de geração em execução em segundo plano. Fechar a janela do programa nem sempre encerra o processo.
-
Execute uma geração por vez, em vez de várias simultaneamente. Reduza a resolução da imagem de teste ou, em um modelo de texto, o tamanho do contexto. Altere uma configuração por vez para descobrir o que ajudou.
-
Se o programa oferecer suporte, experimente a quantização, a divisão da imagem em blocos ou a transferência de parte dos cálculos para a RAM e a CPU. Essas soluções têm limitações próprias e podem deixar o trabalho bem mais lento. Nem todos os modelos são compatíveis com todos os métodos.
-
Repita a mesma tarefa e anote o pico de uso de memória e o tempo. Só então avalie se é preciso trocar o hardware. A documentação de otimização de memória do Diffusers explica os compromissos entre uso de memória e velocidade.
Erro comum: mais VRAM sempre significa mais velocidade
Mais memória ajuda principalmente a acomodar a tarefa. Por si só, ela não indica a velocidade com que a placa vai executá-la. Também importam a arquitetura de processamento, a largura de banda, o suporte ao modelo e o software. Se você usa um gerador executado na nuvem, os cálculos podem nem acontecer na sua placa; nesse caso, comprar uma GPU mais potente não vai acelerar a fila do provedor.