El piloto corre: correos reales, borradores reales, doce semanas por delante. Esta fase instala la operación autónoma del caso — la supervisión convertida en arquitectura — y enciende el instrumento que decidirá el destino del proyecto: el holdout midiendo contra el baseline. Porque el criterio del comité no es “el agente funciona”: es el desvío ≥50% al mes 3 que la fase 1 heredó del dossier.

La tesis de la fase

Operar el piloto son tres instrumentos: las métricas del trabajo (no de la máquina) con la distribución de categorías como detector barato de deriva, las alarmas donde cada una exige una acción — incluida la que vigila al revisor humano, porque el cuello de botella del piloto es la bandeja de borradores —, y el holdout produciendo la comparación semanal contra el baseline con el método exacto de la ficha original. Y una ceremonia que las une: la revisión semanal del piloto, donde los números deciden los ajustes — incluido el primer ascenso de confianza del agente.

Las métricas del trabajo (lo que el CPU no cuenta)

Sobre la telemetría de plataforma de la fase 7, las métricas custom que la doctrina manda — emitidas por el agente, vivas en el dashboard:

Métrica	Qué vigila	Su alarma (si exige acción)
Edad del correo más viejo en cola	¿El agente está al día?	> 1 h hábil → revisar consumidor
Tasa de derivación (por motivo)	¿Cuánto escala y por qué?	Salto sostenido → revisar muestras
Distribución de categorías	El detector de deriva: ¿los correos de hoy se parecen a los de ayer?	Divergencia sostenida → investigar (¿campaña nueva? ¿fraude? ¿deriva?)
Tasa de edición del revisor	¿Los borradores salen usables?	> 30% editados → los prompts o la política
Tiempo del borrador en bandeja	El cuello real del piloto	> 4 h → el revisor necesita ayuda
Costo por correo (perfil + tags)	La economía prometida	> $0,12 → revisar la cascada
DLQ, guardrails disparados, PII residual	Lo que no debe pasar	Cualquier caso → runbook

Dos filas merecen el subrayado. La distribución de categorías es el radar de “el mundo cambió” — más barato que cualquier eval y primero en avisar (la lección de datos-07: la deriva no viola tipos, viola proporciones). Y el tiempo en bandeja confiesa la verdad del piloto: mientras el 100% pasa por revisión humana, el revisor es el sistema — su fatiga, su hora de almuerzo y su viernes son variables de producción, y vigilarlas no es control: es cuidar a la persona de la que depende el número final.

La aprobación asíncrona, estrenada

El certificado de la fase 4 — “requiere aprobación” en la política — estrena el patrón estrella: la solicitud espera dormida el veredicto del supervisor (sin cómputo, con contexto completo), el timeout de 4 horas hábiles aborta y deriva (el silencio jamás emite documentos oficiales), y cada veredicto queda escrito. Las métricas del patrón — pendientes, tiempo a veredicto, % aprobado sin cambios — alimentan la ceremonia semanal: si el 98% se aprueba sin tocar durante semanas, la política tiene un candidato a recalibración.

El holdout: el instrumento que decide

El 20% apartado desde la fase 1 hace ahora su trabajo — con la disciplina de la medición diseñada antes:

   LA MEDICIÓN DEL PILOTO — SEMANA A SEMANA

  correos entrantes (12.000/mes)
        │  asignación ALEATORIA al llegar
   ┌────┴─────────────────────┐
   ▼ 80%                      ▼ 20% HOLDOUT
  agente (borrador          proceso humano
  → revisión → envío)       de siempre
   │                          │
   └──────────┬───────────────┘
              ▼
  comparación con el MISMO método de la
  ficha de baseline (mismo muestreo, misma
  auditoría de calidad, misma ventana):
  · costo por correo   · tasa de error
  · tiempo de ciclo    · satisfacción
              │
              ▼
  la curva semanal de DESVÍO EFECTIVO
  (correos resueltos sin trabajo humano
  sustantivo) contra el umbral: ≥50% mes 3

Los números del piloto a la semana 6 — el corte de medio camino: desvío efectivo 41% y subiendo (la rampa que el caso modeló: arranca bajo, crece con los ajustes), tasa de edición bajando del 34% al 19% (los prompts aprendieron de las correcciones — la fase 9 industrializará ese aprendizaje), error del sistema 4,1% contra 7% del holdout (el agente ya es más consistente que el proceso viejo), y costo por correo $0,09. La trayectoria apunta sobre el 50% al mes 3 — sin garantías, con evidencia.

Ojo — el primer ascenso de confianza, con método: en la semana 6, la ceremonia semanal enfrenta la decisión que la fase 3 dejó agendada: las categorías donde la tasa de edición es ~0% (los certificados simples, las consultas de fecha de pago) ¿pasan de “borrador a revisión” a envío directo con muestreo? La respuesta del método: sí, por categoría, con la evidencia en la mano (≥4 semanas bajo 2% de edición), con muestreo del 10% post-envío, y con reversa automática si el muestreo se ensucia. Es la escalera de confianza subida con datos — y cada peldaño libera al revisor para los casos donde su juicio sí agrega.

El entregable: el dashboard de cinco preguntas en producción, las alarmas con sus runbooks, la aprobación asíncrona operando, la curva del holdout publicada semanalmente — y la primera recalibración de política ejecutada con evidencia.

Errores comunes

Monitorear la máquina y no el trabajo. El CPU del contenedor perfecto mientras la distribución de categorías grita que el mundo cambió. Las métricas custom son las que avisan primero — y las únicas que el comité entiende.
Olvidar al revisor humano. El piloto cuyo cuello es la bandeja y nadie mira el tiempo-en-bandeja está midiendo al agente y quemando a la persona. El revisor es parte del sistema — con métricas y con cuidado.
Comparar contra el recuerdo. “Antes tardábamos más” sin holdout es nostalgia con formato de KPI. El grupo de control con el método exacto de la ficha — o no hay atribución.
Ascensos de confianza por entusiasmo. El envío directo “porque va bien” sin umbral, evidencia por categoría ni reversa es la escalera saltada. Con método o con borrador.
El timeout que aprueba. “Si el supervisor no responde en 4 horas, se emite” convierte cada almuerzo largo en un certificado oficial. El silencio deriva — doctrina del catálogo entero.
Medir sin publicar. La curva del holdout que solo ve el equipo técnico desperdicia su mejor uso: mantener al comité mirando el mismo número que el proyecto. Semanal, visible, sin maquillaje.

La frase para llevarse

“Opera el trabajo, no la máquina: la distribución como radar de deriva, el revisor como parte del sistema (con métricas y con cuidado), el certificado esperando veredictos que el silencio jamás da — y el holdout produciendo la única curva que decide: desvío contra baseline, semana a semana, publicada sin maquillaje. Los ascensos de confianza se ganan por categoría, con evidencia y con reversa.”

Qué viene

Fase 9: mejorar. El piloto genera algo más valioso que borradores: correcciones. Cada edición del revisor es una etiqueta gratis, cada derivación un caso de estudio — y esta fase industrializa ese ciclo: del feedback al dataset v2, del dataset a la mejora (¿prompt, ejemplos o el fine-tuning que la fase 2 dejó opcional?), de la mejora a la suite y al rollout gradual. El agente que aprende de su propia operación — con las evals vigilando que aprender no sea empeorar.

Capstone — Fase 8: operar