Primer módulo del Curso de GPU para IA. Vamos desde cero: no necesitas saber nada de hardware, pero sí ayuda entender qué es un LLM (si no, pasa antes por Cómo funciona la IA). La meta del curso completo: que al final puedas armar una arquitectura de IA corriendo en tu propia máquina y luego desplegarla en una nube con GPU. Este módulo pone la base: qué es esta pieza de hardware y por qué sin ella no existiría la IA moderna.

La tesis del módulo

Un LLM es, en el fondo, multiplicaciones de matrices gigantes. La GPU es la máquina construida para hacer exactamente eso: miles de operaciones simples al mismo tiempo. Entender la GPU es entender qué modelos puedes correr, a qué velocidad y a qué costo.

CPU vs GPU: dos filosofías de cómputo

La CPU (procesador central) y la GPU (procesador gráfico) resuelven problemas distintos:

	CPU	GPU
Núcleos	Pocos (4–24), muy sofisticados	Miles (la RTX 4090 trae 16.384), muy simples
Optimizada para	Latencia: terminar UNA tarea rápido	Throughput: terminar MILES de tareas a la vez
Buena en	Lógica con ramas, tareas secuenciales	La misma operación sobre montañas de datos
Analogía	8 chefs expertos	5.000 ayudantes picando verduras en paralelo

Latencia es cuánto tarda una operación individual; throughput es cuántas operaciones completas por segundo. Un chef experto hace un plato complejo más rápido que un ayudante — pero si el trabajo es picar 5.000 cebollas iguales, los ayudantes ganan por paliza.

 CPU: pocos núcleos, cada uno muy potente
 ┌────┐ ┌────┐ ┌────┐ ┌────┐
 │ N1 │ │ N2 │ │ N3 │ │ N4 │
 └────┘ └────┘ └────┘ └────┘

 GPU: miles de núcleos simples trabajando a la vez
 ┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐
 └──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘
 ┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐┌──┐
 └──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘└──┘
                   ... así hasta miles

La GPU nació para videojuegos: calcular el color de millones de píxeles, todos con la misma fórmula, 60 veces por segundo. Ese es el patrón exacto — la misma operación sobre muchos datos — que resultó ser el corazón de la IA.

Por qué la IA necesita esto

Cuando un LLM genera un token, lo que ocurre por dentro es álgebra: el texto se convierte en vectores de números, y esos vectores se multiplican contra matrices de pesos — las matrices donde vive todo lo que el modelo “sabe”. Un modelo de 7 mil millones de parámetros (7B) hace miles de millones de multiplicaciones por cada token que escribe.

La multiplicación de matrices es el caso perfecto de paralelismo: cada celda del resultado se calcula independiente de las demás. Miles de núcleos pueden repartírselas sin estorbarse. Por eso:

Entrenar un modelo (ajustar los pesos con millones de ejemplos) sin GPUs tardaría décadas.
Inferencia — usar el modelo ya entrenado para generar respuestas, que es lo que harás en este curso — corre en CPU, pero decenas de veces más lento.

Dentro de una GPU NVIDIA hay dos tipos de núcleo que conviene distinguir desde ya: los núcleos CUDA (los “ayudantes” genéricos) y los Tensor Cores, núcleos especializados que hacen multiplicación de matrices en bloque — la razón de que las GPUs modernas sean tan desproporcionadamente buenas para IA.

El mapa: los tipos de GPU que existen

Tipo	Ejemplos	Memoria	Para qué sirve en IA
Integrada (iGPU)	Intel Iris, AMD Radeon integrada	Comparte la RAM	Casi nada: modelos muy chicos, lento
Consumer (gaming)	NVIDIA GeForce RTX 3060–5090	8–32 GB VRAM	La puerta de entrada a la IA local
Workstation	NVIDIA RTX A4000, RTX 6000 Ada, RTX PRO 6000 Blackwell	16–96 GB	Estaciones profesionales: la VRAM que las consumer no tienen
Datacenter	T4, L4, A100, H100, H200, B200	16–192 GB (GDDR6 en T4/L4; HBM de A100 hacia arriba)	La nube: entrenamiento y serving
Apple Silicon	M1–M5 (Pro/Max/Ultra)	Memoria unificada	IA local en Mac, sorprendentemente capaz

Tres notas sobre esta tabla:

Las GPUs consumer son la estrella del bloque local de este curso: una RTX con 12–24 GB corre modelos 7B–14B con total soltura.
Las de datacenter no tienen salida de video: son puro cómputo. Las verás en el bloque de nube, donde se arriendan por hora.
Apple Silicon juega con otras reglas: no tiene VRAM separada sino memoria unificada (CPU y GPU comparten el mismo pozo de memoria), lo que le permite cargar modelos grandes que una GPU consumer no podría. Lo veremos en detalle en el módulo 2.

Ojo: una GPU se compra para IA con criterios distintos que para gaming. Los benchmarks de juegos miden FPS; para IA lo que manda es la memoria — y ese es justamente el tema del próximo módulo.

¿Y si no tengo GPU dedicada?

Puedes seguir el curso igual. Tres caminos:

Solo CPU: los modelos cuantizados (módulo 4) corren en CPU. Un 7B responde a ~5–15 tokens por segundo en un computador moderno — lento pero usable para aprender.
Mac con Apple Silicon: primera clase para este curso; todo el bloque local funciona.
Nube desde el día uno: el bloque de nube enseña a arrendar GPU por hora por menos de lo que cuesta un café.

Errores comunes

“Más núcleos = más velocidad para IA.” No: en inferencia de LLMs el cuello de botella casi siempre es la memoria, no el cómputo. El módulo 2 explica por qué.
Comprar GPU para IA mirando benchmarks de gaming. Miden lo que no importa e ignoran la VRAM, que es lo que importa.
Creer que sin GPU NVIDIA no se puede hacer nada. CPU, Apple Silicon y AMD corren IA local; NVIDIA domina, pero no es la única puerta (módulo 3).
Confundir entrenar con usar. Entrenar un LLM desde cero requiere clusters de datacenter; usar uno (inferencia) cabe en tu escritorio. Este curso es sobre lo segundo.

La frase para llevarse

“La CPU es 8 chefs expertos; la GPU, 5.000 ayudantes picando en paralelo. Y un LLM es la receta que necesita exactamente eso.”

Qué viene

Módulo 2: la memoria manda. Por qué la VRAM — y no los núcleos — decide qué modelos puedes correr, cómo calcular cuánta necesitas, y la tabla de GPUs reales con la que vas a tomar decisiones.

GPU para IA — Módulo 1: qué es una GPU y por qué la IA la necesita