Segundo módulo del Curso de GPU para IA. En el Módulo 1 quedó plantado el misterio: si la GPU tiene miles de núcleos, ¿por qué “más núcleos” no es la respuesta a “más velocidad”? Hoy se resuelve. La respuesta cambia cómo vas a elegir hardware para siempre.

La tesis del módulo

La VRAM decide QUÉ modelos puedes correr; el ancho de banda decide QUÉ TAN RÁPIDO corren. Los núcleos casi nunca son el límite. Cuando alguien pregunta “¿qué GPU me compro para IA?”, la pregunta real es “¿cuánta memoria y qué tan rápida?”.

Qué es la VRAM

La VRAM (video RAM) es la memoria propia de la GPU, separada de la RAM del computador. Para que la GPU compute algo, los datos tienen que estar en su memoria — y en inferencia de LLMs, “los datos” son los miles de millones de pesos del modelo. Tres tecnologías que verás nombradas:

GDDR (GDDR6, GDDR7): la memoria de las GPUs consumer. Rápida y económica.
HBM (High Bandwidth Memory): la de las GPUs datacenter (A100, H100). Apilada físicamente junto al chip, con un ancho de banda brutal. Es gran parte de lo que pagas en esas tarjetas.
Memoria unificada (Apple Silicon): CPU y GPU comparten el mismo pozo. No hay “copiar a la GPU”: un Mac con 64 GB unificados puede cargar modelos que ninguna GPU consumer aguanta — aunque con menos ancho de banda que una RTX grande.

La cuenta que hay que saber hacer

El tamaño de un modelo en memoria es, a primera aproximación:

memoria ≈ número de parámetros × bytes por parámetro (+ un extra que vemos abajo)

Los bytes por parámetro dependen de la precisión (el tema del módulo 4). Con precisión FP16 (2 bytes por parámetro):

Modelo	Parámetros	En FP16	Cuantizado a ~4 bits
Chico	3B	~6 GB	~2 GB
El caballo de batalla	7–8B	~14–16 GB	~4–5 GB
Mediano	13–14B	~26–28 GB	~8–9 GB
Grande	70B	~140 GB	~40 GB

Dos lecturas inmediatas de esta tabla:

Un 7B en FP16 no cabe en una GPU de 12 GB. Cuantizado a 4 bits, cabe holgado. La cuantización no es una optimización opcional: es lo que hace posible la IA local.
Un 70B no cabe en ninguna GPU consumer ni cuantizado. Para eso existen los Macs con mucha memoria unificada, los racks multi-GPU — o la nube.

Lo que también vive en la VRAM

Los pesos no están solos. El presupuesto real se reparte así:

 VRAM de 12 GB corriendo un modelo 8B en Q4_K_M
 ┌────────────────────────────────────────────┐
 │ pesos del modelo                   ~4.9 GB │
 │ KV cache: crece con el contexto    ~1–3 GB │
 │ activaciones y buffers de trabajo  ~0.5 GB │
 │ margen libre (tu seguro anti-OOM)  resto   │
 └────────────────────────────────────────────┘

La pieza nueva es el KV cache: la memoria donde el modelo guarda lo ya procesado de la conversación para no recalcularlo con cada token nuevo. Crece con el largo del contexto — una conversación larga o un documento grande pueden comerse gigas enteros. Es la causa clásica del error OOM (out of memory): el modelo cargó bien, funcionó bien, y a los veinte minutos de conversación reventó.

Cuidado: nunca dimensiones al límite. Si el modelo pesa 11.5 GB y tienes 12, no “cabe”: el primer contexto largo lo mata. Regla práctica: deja 15–20% de margen.

El ancho de banda: la velocidad real

Aquí está la respuesta al misterio del módulo 1. Para generar cada token, el modelo necesita leer todos sus pesos desde la VRAM. La inferencia es memory-bound: los núcleos pasan tiempo esperando que la memoria les entregue datos, no calculando.

La consecuencia es una regla de servilleta sorprendentemente útil:

tokens/s (techo teórico) ≈ ancho de banda ÷ tamaño del modelo en memoria

Una RTX 4090 (1.008 GB/s) con un modelo de ~5 GB: ~200 tokens/s de techo. El mismo modelo en una RTX 3060 (360 GB/s): ~72. En la práctica se logra menos, pero el orden de magnitud calza — y explica por qué dos GPUs con los mismos núcleos pero distinta memoria rinden distinto.

La tabla para tomar decisiones

GPU	VRAM	Ancho de banda	Qué corre cómodo
RTX 3060	12 GB GDDR6	360 GB/s	7–8B cuantizado; la entrada clásica
RTX 4060	8 GB GDDR6	272 GB/s	7B cuantizado, justo
RTX 4090	24 GB GDDR6X	1.008 GB/s	hasta 14B holgado, 30B cuantizado
RTX 5090	32 GB GDDR7	1.792 GB/s	hasta ~30B con comodidad
Mac M4 Pro/Max	24–128 GB unificada	273–546 GB/s	modelos grandes que no caben en consumer
T4 (nube)	16 GB GDDR6	320 GB/s	7–13B cuantizado, barata por hora
L4 (nube)	24 GB GDDR6	300 GB/s	el reemplazo moderno de la T4
A100 (nube)	40/80 GB HBM2e	~2.000 GB/s	serving serio, fine-tuning
H100 (nube)	80 GB HBM3	~3.350 GB/s	el estándar del datacenter
H200 (nube)	141 GB HBM3e	~4.800 GB/s	la H100 con casi el doble de memoria: 70B en FP16, contextos largos
B200 (nube)	180–192 GB HBM3e	~8.000 GB/s	Blackwell: el tope del datacenter al escribir esto

Fíjate en el patrón del Mac: mucha memoria, ancho de banda medio. Carga modelos enormes, pero los corre más lento que una RTX 4090. Cada arquitectura tiene su trade-off.

¿Y si no me alcanza la VRAM?

Existe el offloading: repartir el modelo dejando unas capas en la GPU y el resto en la RAM del sistema, donde las procesa la CPU. Funciona — lo haremos con llama.cpp en el bloque intermedio — pero cada capa fuera de la GPU cuesta velocidad. Es un plan B honesto, no magia.

Errores comunes

Comparar GPUs por núcleos o por precio. Para inferencia: VRAM primero, ancho de banda segundo, núcleos al final.
Confundir RAM con VRAM. “Tengo 32 GB” no dice nada de tu GPU: la que manda para IA es la memoria de la tarjeta (salvo en Apple Silicon, donde es la misma).
Dimensionar sin contar el KV cache. El modelo no es lo único en memoria; el contexto también come, y crece.
Descartar un Mac “porque no es NVIDIA”. Para correr modelos grandes localmente, 64–128 GB unificados hacen cosas que ninguna consumer puede.

La frase para llevarse

“Los núcleos deciden cuánto puedes calcular; la memoria decide cuánto puedes saber y a qué velocidad puedes leerlo. En inferencia, gana la memoria.”

Qué viene

Módulo 3: el stack de software. La GPU no hace nada sola: driver, CUDA, librerías y frameworks forman una torre de capas que hay que entender para diagnosticar cualquier problema — y para saber qué pasa con AMD y Apple.

GPU para IA — Módulo 2: VRAM, la memoria manda