Calculadora de VRAM para LLM

O que é VRAM e por que é importante para LLMs?

VRAM (Memória de Acesso Aleatório de Vídeo) é a memória dedicada em sua placa gráfica usada para armazenar dados para computações de GPU. Ao executar Modelos de Linguagem Grande (LLMs) localmente, todos os pesos do modelo devem caber em VRAM para inferência eficiente. Ao contrário da RAM do sistema, VRAM fornece a largura de banda alta necessária para as computações paralelas que fazem os LLMs funcionarem.

Ficar sem VRAM força o sistema a trocar dados entre a memória da GPU e a RAM do sistema, desacelerando drasticamente a geração de texto. Em muitos casos, se um modelo não caber em VRAM, simplesmente não será executado. Isso torna o cálculo dos requisitos de VRAM essencial antes de baixar ou tentar executar qualquer LLM local.

Como é calculada a VRAM do LLM?

O uso de VRAM para LLMs consiste em três componentes principais:

1. Pesos do modelo: Os parâmetros da rede neural principal. Um modelo de 7B parâmetros em FP16 (16-bit) usa aproximadamente 14 GB, enquanto o mesmo modelo quantizado para 4-bit usa apenas ~4 GB.

2. KV Cache: Durante a geração de texto, o modelo armazena pares chave-valor de tokens anteriores. Este cache cresce com o comprimento do contexto e pode consumir vários gigabytes para conversas longas.

3. Overhead: Kernels CUDA, tensores de ativação e overhead do framework normalmente adicionam 10-15% aos requisitos base.

A fórmula para o tamanho do modelo é: (Parâmetros × Bits por peso) ÷ 8 = Tamanho em bytes

Descrição da ferramenta

Esta calculadora estima a VRAM necessária para executar um Modelo de Linguagem Grande localmente em sua GPU. Digite a contagem de parâmetros do seu modelo, selecione um formato de quantização e especifique sua VRAM disponível para ver instantaneamente se o modelo caberá e qual comprimento de contexto você pode suportar.

A ferramenta suporta todos os formatos de quantização comuns do llama.cpp, incluindo variantes GGUF Q2 até Q8, bem como precisão padrão FP16 e FP32. Ela também calcula o comprimento máximo de contexto que sua GPU pode lidar com sua capacidade de VRAM.

Recursos

• 20+ formatos de quantização: Suporte completo para tipos de quantização GGUF (Q2_K até Q8_0), i-quants (IQ2-IQ4) e precisões padrão (FP16, FP32, BF16)
• Presets de modelos populares: Seleção rápida para tamanhos de modelo comuns de 1B a 405B parâmetros, incluindo modelos Llama 3, Mistral, Qwen e Phi
• Presets de GPU: Quantidades de VRAM pré-configuradas para GPUs populares de consumidor e profissionais, de GTX 1650 a H100
• Cálculo de comprimento de contexto: Calcula automaticamente a janela de contexto máxima que sua GPU pode suportar
• Resultados em tempo real: Feedback instantâneo conforme você ajusta os parâmetros

Casos de uso

Antes de baixar um modelo: Verifique se um modelo será executado em seu hardware antes de gastar tempo baixando um arquivo de 50+ GB. Saiba antecipadamente qual nível de quantização você precisa para caber em sua GPU.

Otimizando configurações de inferência: Encontre o ponto ideal entre qualidade do modelo (quantização mais alta) e comprimento de contexto. Às vezes, reduzir de Q6 para Q4 permite que você duplique sua janela de contexto.

Planejando atualizações de GPU: Compare como diferentes GPUs lidariam com seus modelos alvo. Veja exatamente quanto VRAM você precisa para executar Llama 70B ou outros modelos grandes confortavelmente.

Formatos de quantização suportados

Como funciona

A calculadora usa estas fórmulas:

Tamanho do Modelo (GB) = (Parâmetros em bilhões × 10⁹ × bits por peso) ÷ 8 ÷ 10⁹

KV Cache (GB) ≈ (Parâmetros × Comprimento do Contexto ÷ 1000 × 0.5) ÷ 1000

VRAM Total = Tamanho do Modelo + KV Cache + 10% overhead

A fórmula de KV cache é uma aproximação simplificada. O tamanho real do KV cache depende da arquitetura do modelo (número de camadas, cabeçalhos de atenção e dimensões de cabeçalho), mas esta estimativa funciona bem para a maioria dos LLMs baseados em transformer.

Dicas

• Comece com Q4_K_M: Esta quantização oferece o melhor equilíbrio de qualidade e tamanho para a maioria dos casos de uso
• Deixe espaço livre: Procure ter 1-2 GB de VRAM livre para evitar erros de falta de memória durante gerações mais longas
• Considere necessidades de contexto: Se você precisar de contexto longo (8K+), pode precisar usar quantização mais agressiva
• Múltiplas GPUs: Para configurações multi-GPU, você geralmente pode dividir modelos entre placas, mas esta calculadora assume uso de GPU única

Limitações

• Estimativas de KV cache são aproximações baseadas em arquiteturas transformer típicas
• O uso real de VRAM varia por framework de inferência (llama.cpp, vLLM, TensorRT-LLM)
• Não leva em conta overhead de inferência em lote ou decodificação especulativa
• Flash Attention e outras otimizações podem reduzir requisitos reais
• Alguns modelos têm arquiteturas não-padrão que podem usar mais ou menos memória

Perguntas Frequentes

P: Por que meu modelo usa mais VRAM do que calculado? R: A calculadora fornece estimativas de linha de base. Frameworks de inferência adicionam seu próprio overhead, e algumas operações requerem buffers temporários que aumentam o uso de pico.

P: Posso executar modelos maiores que minha VRAM usando offloading de CPU? R: Sim, ferramentas como llama.cpp suportam offloading parcial de GPU, mas o desempenho cai significativamente. Esta calculadora se concentra em inferência completa de GPU.

P: Qual quantização devo usar? R: Para a maioria dos usuários, Q4_K_M oferece excelente qualidade com ~4.85 bits por peso. Se você tiver VRAM de sobra, Q5_K_M ou Q6_K fornecem qualidade marginalmente melhor. Use apenas formatos Q2/Q3 se absolutamente necessário.

P: Quão precisas são essas estimativas? R: Dentro de 10-20% para a maioria dos modelos comuns. O uso real depende da arquitetura específica do modelo, backend de inferência e configurações de tempo de execução.