Capstone — Fase 1: el caso y la definición de éxito
Primera fase del Capstone, el proyecto integrador del catálogo: construir de punta a punta el agente de soporte que la Metodología aprobó. La empresa se revela — Finandes, una financiera regulada —, el dossier del caso se hereda con sus números (12.000 correos/mes, baseline de $0,88, piloto con no-go firmado), y el éxito se convierte en criterios verificables antes de escribir una línea: la fase que casi todos los proyectos se saltan.
☰ Índice del contenido
Este es el proyecto que amarra el catálogo — el capstone: la piedra de remate que no enseña teoría nueva sino que usa toda la existente en un solo trabajo real, de la decisión al despliegue y de vuelta al comité. Durante diez fases vamos a construir un sistema — el agente de triaje de correos que la Metodología de casos de uso evaluó y aprobó — y cada fase enlazará al curso profundo que corresponda en vez de repetirlo: aquí se aplica.
Y una revelación administrativa con consecuencias técnicas: la empresa del caso — que la Metodología trató genéricamente — tiene nombre y rubro: Finandes, una financiera de crédito de consumo. La elección es deliberada: en una financiera regulada, los datos de clientes son sensibles por ley, los errores visibles tienen costo real y los guardrails de la fase 6 dejan de ser buenas prácticas abstractas para volverse requisitos con motivo. El proyecto gana los dientes que un dominio neutro no da.
La tesis de la fase
Un proyecto integrador no empieza con código: empieza heredando la decisión que lo autorizó y convirtiendo su promesa en criterios verificables. El dossier de la Metodología dijo GO con números y condiciones — piloto de 12 semanas, holdout del 20%, no-go si el desvío no llega al 50% — y esta fase los convierte en la vara de todo lo que sigue: cada fase posterior construye algo que se medirá contra lo que hoy dejamos escrito. El proyecto que no puede fallar con claridad tampoco puede lograr nada con claridad.
El caso heredado, en una página
Lo que la Metodología estableció y este proyecto asume (los detalles viven en sus módulos — baseline, economía, dossier):
| Elemento | Valor heredado |
|---|---|
| El flujo | 12.000 correos/mes a soporte de Finandes |
| Arquetipo | A — automatiza un flujo existente |
| Baseline medido | $0,88/correo · 7% de error · 5,5 h de ciclo |
| Categorías del triaje | facturación · soporte · ventas · otro — más dos de derivación obligatoria que el clasificador también asigna: reclamo formal y sospecha de fraude |
| Lo que hará el agente | Clasificar todo, responder lo repetitivo, derivar lo delicado con resumen |
| Costo por tarea proyectado | ~$0,10/correo (3 capas, con revisión humana al 20%) |
| ROI proyectado | 62% año 1 (con rampa) · 423% año 2 · payback mes 8 |
| La decisión | GO: piloto 12 semanas, $28.000, holdout 20%, no-go si desvío < 50% al mes 3 |
El matiz que agrega el rubro: en Finandes, “lo delicado” tiene definición regulatoria — reclamos formales (con plazos legales de respuesta), cualquier indicio de fraude, y toda consulta que exija datos personales del cliente. Esa lista es la semilla de la política de gobernanza que la fase 6 formalizará: qué responde solo el agente y qué jamás.
De la promesa a los criterios verificables
“Que el agente funcione bien” no se puede construir ni medir. La disciplina — la de definir el éxito antes de construir — exige convertir la promesa en criterios con umbral, medibles por una máquina o un procedimiento, escritos ahora que nadie tiene incentivos para ablandarlos:
LA DEFINICIÓN DE ÉXITO — LO QUE FIRMAMOS HOY
CALIDAD (contra el dataset de evaluación, fase 5)
· clasificación: ≥92% de acierto global;
ninguna categoría bajo 85%
· respuestas: 100% apoyadas en la base de
conocimiento (groundedness) — cero inventos
· error crítico (responder solo lo que debía
derivarse): < 0,5%
NEGOCIO (contra el holdout, fases 8-10)
· desvío efectivo ≥ 50% al mes 3 (el no-go
del dossier); hito: 65% al mes 3;
régimen del caso: 80% (revisión al 20%)
· sin caída de satisfacción vs. holdout
· costo por correo ≤ $0,12 medido
OPERACIÓN (fase 8)
· p95 de ciclo < 30 min para lo respondido
· edad de cola < 1 h en horario hábil
Tres decisiones de diseño escondidas en esa lista, que conviene hacer explícitas:
- El error se parte en dos clases. Clasificar mal un correo de ventas como soporte es un error barato (se re-deriva); responder automáticamente algo que debía derivarse — el reclamo formal tratado como consulta de cuota — es el error crítico, con su propio umbral draconiano. La tolerancia al error del scorecard no era un promedio: era esta distinción.
- Groundedness sin excepciones. En una financiera, la respuesta inventada sobre condiciones de crédito no es una alucinación simpática: es un problema legal. El 100% no es aspiracional — es la razón por la que toda respuesta llevará cita a la base de conocimiento (fase 3) y validación automática (fases 5-6).
- Los criterios de negocio se miden contra el holdout, no contra el recuerdo. El 20% de correos que seguirá el proceso humano (el grupo de control del diseño de medición) es lo que volverá comparables el antes y el después. Se decide ahora porque después del despliegue ya no hay grupo limpio.
El plan de las diez fases
El mapa del proyecto — cada fase con su entregable y su curso de respaldo:
| Fase | Entregable | Se apoya en |
|---|---|---|
| 1. El caso y el éxito | Este documento: caso + criterios firmados | Metodología, Evals |
| 2. El corpus | Datos limpios: dataset de eval + base de conocimiento | Data Engineering, RAG |
| 3. El prototipo | El grafo del agente respondiendo en local | LangGraph, RAG |
| 4. Herramientas y MCP | El agente consultando sistemas (con permisos mínimos) | MCP, cloud |
| 5. Las evals | La suite que mide los criterios de hoy, en CI | Evals |
| 6. Endurecer | Guardrails, PII, política de gobernanza aplicada | Seguridad, Harness |
| 7. Desplegar | El agente corriendo en la nube, efímero y enjaulado | Deploy, serie de nubes |
| 8. Operar | Dashboard, alarmas, kill switch, holdout midiendo | Cloud (operación), MLOps |
| 9. Mejorar | El ciclo de feedback: correcciones → dataset v2 → mejora | MLOps, Fine-tuning |
| 10. Presentar | El dossier actualizado con resultados reales | Producto, Metodología |
Errores comunes
- Empezar por el prototipo. El agente construido antes que los criterios se evalúa con el ojo del que lo construyó — que siempre aprueba. Fase 1 antes que fase 3, aunque pique.
- Heredar el caso sin releerlo. “Ya sabemos qué hay que hacer” tres meses después del dossier es memoria, no documento. La página de herencia se escribe para que el proyecto y el comité miren la misma vara.
- Criterios sin clase de error. El promedio de acierto que mezcla el error barato con el crítico esconde exactamente lo que en una financiera no puede esconderse. Dos clases, dos umbrales.
- Metas de negocio sin grupo de control. Sin holdout, el desvío del mes 3 se comparará contra recuerdos y estacionalidad. El 20% se aparta desde el diseño.
- Ablandar los umbrales al escribirlos. “Mejor pongamos 40% por si acaso” — el no-go del dossier ya se negoció donde correspondía. Aquí se transcribe, no se re-negocia.
- Elegir un dominio sin dientes. El mismo proyecto sobre datos neutros enseña la mitad: sin regulación, los guardrails son decorado. Finandes existe para que las fases 6 y 8 duelan como en la vida real.
La frase para llevarse
“El capstone empieza donde casi ningún proyecto empieza: heredando la decisión con sus condiciones y firmando el éxito en criterios que una máquina puede verificar — con el error crítico separado del barato y el holdout apartado desde hoy. Todo lo que construyamos en nueve fases se medirá contra esta página.”
Qué viene
Fase 2: el corpus. Un agente de soporte se alimenta de dos cuerpos de datos que hoy no existen en forma utilizable: el historial de correos etiquetados (para evaluar — y en la fase 9, mejorar) y la base de conocimiento de Finandes (para responder con fundamento). Los construiremos con la disciplina del curso de Data Engineering — ingesta, PII enmascarada antes de persistir, deduplicación, y la aduana de calidad — porque el agente que viene en la fase 3 será exactamente tan bueno como lo que esta fase produzca.
Material relacionado
Preguntas sobre este curso
Regístrate gratis para hacer preguntas y guardar tu progreso.
✉ Entérate de lo nuevo
Recibe un aviso cuando publique nuevos cursos, workshops o investigaciones. Sin spam.