Noveno módulo del Curso de GPU para IA y arranque del bloque avanzado. Tienes todas las piezas sueltas: LLM (M5), embeddings y voz (M8), y el presupuesto de VRAM para que convivan. Hoy se ensamblan en una arquitectura: un sistema de IA completo que vive en tu escritorio.

La tesis del módulo

Una arquitectura local no es “la versión pobre” de la nube: es una decisión de ingeniería con ventajas propias. Datos que no salen de tu máquina, costo marginal cero por token y latencia de red nula. El trabajo del arquitecto es saber cuándo esas ventajas mandan — y cuándo no.

La casa completa

 ┌─────────────────────────────────────────────┐
 │               tu aplicación                 │
 │          (agente LangGraph o API)           │
 └──────┬────────────────┬──────────────┬──────┘
        ▼                ▼              ▼
 ┌──────────────┐ ┌─────────────┐ ┌───────────┐
 │ Ollama (LLM) │ │ embeddings  │ │  whisper  │
 └──────┬───────┘ └──────┬──────┘ └─────┬─────┘
        │                │              │
        └────────────────┼──────────────┘
                         ▼
               GPU local (12–24 GB)

Cada pieza expone una interfaz que ya conoces, y el agente las orquesta:

El LLM atiende en localhost:11434/v1 con la API OpenAI — el cerebro conversacional.
Los embeddings alimentan la búsqueda semántica sobre tu base vectorial (el RAG de Embeddings y RAG, ahora 100% local).
Whisper convierte audio en texto que entra al mismo pipeline.

Y el pegamento es la lección más valiosa del bloque local:

# El MISMO agente sirve para local, nube o API comercial.
# Lo único que cambia es a dónde apunta:
cliente = OpenAI(base_url=BASE_URL, api_key=API_KEY)

# BASE_URL = "http://localhost:11434/v1"   → tu GPU (gratis, privado)
# BASE_URL = "https://tu-endpoint.../v1"   → tu GPU en la nube (módulo 11)
# BASE_URL = por defecto                   → el proveedor comercial

Diseñar contra la interfaz OpenAI-compatible te compró portabilidad total: la arquitectura no se casa con ningún proveedor.

Local vs API: los criterios honestos

Criterio	Gana local	Gana API comercial
Privacidad	Datos sensibles que no pueden salir (salud, legal, finanzas)	Datos sin restricciones
Costo	Volumen alto y sostenido: el token marginal es gratis	Volumen bajo o esporádico: pagas solo lo usado
Calidad techo	Tareas acotadas donde un 8–14B rinde	Razonamiento complejo: los frontier siguen adelante
Latencia	Red cero; ideal en tiempo real local	Depende de internet y del proveedor
Operación	Tú eres el SRE: updates, monitoreo, fallas	Cero infraestructura propia
Disponibilidad	Funciona sin internet	Requiere conexión siempre

La trampa clásica es tratar esto como una decisión religiosa. No lo es: es una decisión por tarea.

El patrón híbrido: lo mejor de ambos

La arquitectura madura casi nunca es 100% local ni 100% API. Es un router por tarea:

Local: embeddings e indexación (masivos y baratos de correr), transcripción, resúmenes internos, clasificación, borradores — la mayor parte del volumen.
API frontier: el razonamiento difícil, la respuesta final al cliente, lo que un 8B no alcanza — la fracción que define la calidad percibida.

Así el costo de API se concentra donde de verdad paga, y tu GPU local hace el trabajo pesado silencioso. Si vienes del curso de LangGraph, ya sabes construir exactamente esto: una arista condicional que enruta según el tipo de tarea, donde cada nodo puede apuntar a un modelo distinto.

Dimensionar la casa

La cuenta del Módulo 8 aplicada a configuraciones típicas:

Tu hardware	Arquitectura realista
8 GB VRAM	LLM 7B en Q4 + embeddings en CPU; whisper por turnos
12 GB VRAM	LLM 8B + embeddings + whisper medium residentes
24 GB VRAM	LLM 14B con contexto amplio + todo lo demás holgado
Mac 32–64 GB	Modelos grandes que ninguna consumer carga; el trade-off es tokens/s

Errores comunes

Empezar por el hardware y no por la tarea. Primero define qué hace el sistema; el módulo 2 te dice qué GPU lo corre. El orden inverso compra fierros para nada.
Exigirle al 8B local lo que le pedirías a un frontier. El híbrido existe justamente para no forzar esa comparación.
Armar el RAG local y evaluar con 3 preguntas. Local o no, un RAG se evalúa en serio (evaluación de agentes).
Olvidar que “gratis por token” no es gratis. La GPU, la electricidad y tu tiempo de operación son el costo fijo; se amortizan con uso real.

La frase para llevarse

“La arquitectura local madura no es local por ideología: es local donde ganar es local, y API donde ganar es API. El router es la decisión.”

Qué viene

Módulo 10: GPUs en la nube, el mapa completo — qué arriendas cuando tu escritorio queda chico: pods dedicados vs serverless, el catálogo T4 → H100, y cómo se paga cada modalidad.

GPU para IA — Módulo 9: la arquitectura local completa