← Todo el material
Curso Intermedio 6 de septiembre de 2026

Arquitectura GCP — Módulo 7: el LLM gateway y Vertex AI

Séptimo módulo del curso de arquitectura GCP: el punto único hacia los modelos, versión Google. Vertex AI y su Model Garden (Gemini, Claude, Llama y 200+ modelos), la pregunta de siempre — ¿Vertex ES el gateway o va un proxy delante? —, las palancas de precio (batch, context caching, throughput aprovisionado) y el routing con fallback que la plataforma declara una vez.

☰ Índice del contenido

El módulo de gateway de AWS dejó el marco completo: el gateway es una función de arquitectura (punto único, routing, fallback, presupuesto, auditoría) que a veces se implementa con el servicio administrado y a veces exige un proxy delante — y el árbol de tres preguntas que decide. Nada de eso se rehace. Este módulo puebla el marco con Vertex AI y marca las diferencias que pesan.

ConceptoEn AWSEn GCP
Servicio de modelos administradoBedrockVertex AI
CatálogoMulti-proveedor (Anthropic, Meta, Nova…)Model Garden: Gemini + Claude + Llama + 200+
API unificadaConverse APIAPI de Vertex (+ SDKs; OpenAI-compatible endpoints)
Capacidad reservadaProvisioned throughputProvisioned Throughput
Lotes con descuentoBatch (~50%)Batch predictions (descuento similar)
Caché de contextoPrompt cachingContext caching
Proxy propio si hace faltaLiteLLM en ECSLiteLLM en Cloud Run

Ojo — el nombre cambió en 2026: en Google Cloud Next, el 22 de abril de 2026, Google presentó Gemini Enterprise Agent Platform como “la evolución de Vertex AI”: Vertex AI Agent Builder, el Model Garden y el resto de Vertex se entregan ahora bajo ese paraguas. Este curso sigue diciendo Vertex AI porque así siguen apareciendo los endpoints (aiplatform.googleapis.com), las rutas de la documentación y los SDKs — y porque el módulo 9 explica por qué anclamos en piezas y no en paraguas. Si la consola te muestra otro nombre, es el mismo servicio.

La tesis del módulo

Vertex AI juega el papel exacto de Bedrock — catálogo administrado, datos que no entrenan modelos, IAM y red de los módulos 2 y 4 aplicando enteros — y el árbol de decisión del proxy se responde igual: si todo tu consumo vive en el Model Garden, Vertex + IAM + etiquetado ES el gateway; el proxy en Cloud Run entra por modelos externos, multi-tenant o routing propio. La diferencia de fondo no es de arquitectura sino de catálogo y casa: en GCP, el modelo estrella es de la casa — y eso trae integraciones más profundas y el mismo deber de vigilar el acoplamiento.

Vertex AI en cinco líneas útiles

  • Model Garden: el catálogo — Gemini como primera parte, más Claude, Llama, Mistral y compañía como ciudadanos de primera clase. La amplitud real del multi-proveedor dentro del administrado es comparable a Bedrock; la pregunta 1 del árbol (“¿modelos fuera del catálogo?”) se responde contra esta lista, no contra el folleto.
  • Garantías de datos: tus prompts y salidas no entrenan los modelos fundacionales — la misma garantía contractual de Bedrock, con la misma tarea de verificarla contra tu clasificación de datos (módulo 10).
  • Las palancas de precio que la economía del caso sabe evaluar existen todas: batch predictions con descuento para lo no interactivo (el analizador nocturno), context caching para el prefijo repetido (las instrucciones del clasificador), y Provisioned Throughput para volumen alto sostenido — con la regla eterna: on-demand hasta que la curva de uso medida diga otra cosa.
  • Endpoints compatibles: Vertex expone superficies compatibles con el SDK de OpenAI para varios modelos — un detalle práctico que abarata migraciones y proxies.
  • La regionalidad: el catálogo y las cuotas varían por región, y existe la misma tensión residencia-vs-capacidad de Bedrock. Verificar antes de prometer, como siempre.

¿Vertex ES el gateway?

El árbol del curso de AWS, ejecutado contra GCP:

Función del gateway¿Vertex la cubre?Nota
Normalización✅ dentro del GardenAPI/SDKs de Vertex sobre el catálogo
Credenciales✅Sin API keys: service accounts (módulo 2)
Auditoría✅Cloud Audit Logs (módulo 10)
Atribución de costos✅ con trabajoEtiquetas + facturación a BigQuery (módulo 8)
Routing con lógica propia⚠️La cascada barato→caro sigue siendo tuya
Modelos fuera del Garden❌Los GPT de la API de OpenAI u otro modelo que no esté en el Garden (los gpt-oss de pesos abiertos sí están): proxy
Multi-tenant con cuotas por equipo⚠️Cuotas por proyecto ayudan; keys virtuales, no

La lectura es un calco deliberado: solo-Garden + un equipo + routing simple = Vertex es el gateway (y en GCP hay un empujón extra: si cada agente vive en su proyecto — módulo 1 — las cuotas y el gasto ya vienen partidos por proyecto, cubriendo gratis parte de lo que en AWS pedía perfiles). El proxy — el mismo LiteLLM, ahora en Cloud Run con su service account — entra por las mismas tres puertas: modelos externos, multi-tenant fino, routing propio. Y la decisión barata de siempre aplica: aunque no haya proxy, el acceso a Vertex se centraliza en una librería interna única — el punto único lógico antes que físico.

   ¿NECESITO PROXY DELANTE DE VERTEX?

START ──► ┌────────────────────┐
          │ ¿modelos fuera del │ ──► sí: proxy propio
          │ Model Garden?      │
          └─────────┬──────────┘
               no   ▼
          ┌────────────────────┐
          │ ¿multi-tenant fino │ ──► sí: proxy propio
          │ (keys, cuotas por  │
          │ equipo)?           │
          └─────────┬──────────┘
               no   ▼
          ┌────────────────────┐
          │ ¿routing con       │ ──► sí: proxy propio
          │ lógica propia?     │
          └─────────┬──────────┘
               no   ▼
          ┌────────────────────┐
          │ Vertex + IAM +     │
          │ proyecto por agente│
          │ ES el gateway      │
          └────────────────────┘

  proxy propio = LiteLLM en Cloud Run, con su SA

Ojo — el acoplamiento con cara amable: que Gemini sea de la casa significa integraciones más profundas (con BigQuery, con el stack de agentes del módulo 9) y también el incentivo de diseñar para el modelo de la casa. La disciplina de arquitectura: el routing declarado por capacidad y precio (gama económica / media / alta, como en todo el catálogo de cursos), no por marca — de modo que cambiar el modelo detrás de una gama sea una línea de configuración. El día que quieras A/B entre Gemini y Claude para el clasificador, esa línea es la diferencia entre un experimento y un proyecto.

Routing y fallback: la política de una página

Sin cambios de fondo — se re-declara con las piezas locales: ruta por defecto por gama según tipo de tarea; escalada con tope (el freno del módulo 8 vigila); fallback de capacidad (otra región del Garden → modelo alternativo → encolar en Pub/Sub y esperar — el fallback digno del agente autónomo); degradación honesta a humano al final de la cadena. Si pusiste proxy, es infraestructura crítica: multi-instancia en Cloud Run, con la salud vigilada por el módulo 11 — el precio del punto único físico no cambia de nube.

Errores comunes

  • Poner proxy “porque en AWS lo teníamos”. El árbol se re-ejecuta por nube: con proyecto-por-agente, parte del multi-tenant que justificaba el proxy ya lo dan las cuotas por proyecto. Decisión nueva, no herencia.
  • Veinte servicios llamando a Vertex por su cuenta. La librería interna única no era una peculiaridad de AWS: era el punto único lógico. Sin ella, el día del proxy son veinte PRs — en cualquier nube.
  • Routing por marca en vez de por gama. “Esto va a Gemini, esto a Claude” acopla la política al proveedor. Gamas por capacidad/precio, modelos como implementación intercambiable detrás.
  • Ignorar batch y context caching. Las dos palancas fáciles del stack, con los mismos descuentos de siempre esperando al analizador nocturno y al prefijo repetido. FinOps negativo si se quedan sin usar.
  • Provisioned Throughput el día uno. Capacidad reservada comprada con optimismo en vez de curva medida. La regla no cambió de nube ni va a cambiar.

La frase para llevarse

“Vertex es Bedrock con otro catálogo y el modelo estrella en casa: el árbol del proxy se re-ejecuta (y el proyecto-por-agente te regala parte del multi-tenant), el acceso se centraliza aunque no haya proxy, y el routing se declara por gama — nunca por marca — para que cambiar de modelo sea configuración y no proyecto.”

Qué viene

Módulo 8: FinOps. Los cuatro eslabones — atribuir, ver, alertar, frenar — con las herramientas de GCP: labels en vez de tags, la exportación de facturación a BigQuery (donde el análisis del gasto se vuelve SQL, la fortaleza diferencial de GCP), presupuestos cuyas alertas disparan Pub/Sub — es decir, acciones programables —, y las cuotas de API como freno duro que en GCP viene de fábrica.

Material relacionado

GCPVertex AILLM GatewayGeminiAgentes

Preguntas sobre este curso

Regístrate gratis para hacer preguntas y guardar tu progreso.

✉ Entérate de lo nuevo

Recibe un aviso cuando publique nuevos cursos, workshops o investigaciones. Sin spam.