Empieza el bloque IA del curso, y empieza por el activo que ft-02 coronó — el dataset es el modelo — pero cuya fabricación quedó pendiente: los ejemplos etiquetados. Ese curso estableció el qué (pares de calidad, formato, tamaño); este módulo cubre el cómo se fabrica a escala: de dónde salen las etiquetas, cómo se controla su calidad (que es humana antes que técnica), y cómo el dataset resultante se construye con la misma disciplina de pipeline que todo lo anterior — porque un dataset es un producto de datos, no un CSV heroico.

La tesis del módulo

Las etiquetas tienen tres fuentes — el subproducto operativo (gratis y sesgado), la anotación humana (cara y tan buena como su guía), y el modelo etiquetador (barato y necesitado de revisión) — y la métrica que gobierna las tres es el acuerdo: si dos anotadores no coinciden, el problema no es de los anotadores, es de la definición de la tarea. Y el presupuesto se gasta con active learning: etiquetar lo que más enseña, no lo que salga primero.

Fuente 1: el subproducto operativo — gratis, con letra chica

La mejor fuente suele estar dormida en tus sistemas: la operación diaria genera etiquetas como subproducto. El caso del curso es ejemplar: cada correo que el equipo clasificó durante años es un par (texto → categoría) — el histórico del CRM es un dataset esperando pipeline. Otros clásicos: el ticket con su resolución, la cotización con su resultado (ganada/perdida), el fraude confirmado.

La letra chica que separa el tesoro del espejismo:

La etiqueta operativa responde a incentivos operativos. El agente apurado clasifica “otro” para sacarse el correo de encima; la categoría del CRM es la que hacía sonar la campana correcta, no la semánticamente pura. Antes de entrenar: auditar una muestra (¿qué % de las etiquetas históricas son correctas según tu guía?) — ese número es el techo de tu modelo.
El proceso cambió con los años. Las categorías de 2023 no son las de hoy; el histórico mezcla regímenes. El linaje temporal (¿cuándo y bajo qué reglas se etiquetó?) decide qué ventana sirve.
Sesgo de selección: el histórico contiene lo que llegó y como se trató — no los casos que el nuevo sistema verá. El contrafactual de la Metodología tiene aquí su eco de datos.

Fuente 2: anotación humana — el estándar, y su ingeniería

Cuando el subproducto no existe o no alcanza, se anota. La ingeniería del proceso importa más que la plataforma (Label Studio y parientes resuelven la mecánica; lo que sigue no lo resuelve ninguna herramienta):

La guía de anotación (annotation guidelines): el documento que define cada etiqueta con ejemplos positivos, negativos y — la parte valiosa — los casos limítrofes resueltos (“factura adjunta en un reclamo de soporte → soporte, no facturación”). La guía es a la anotación lo que el contrato del módulo 7 a las fuentes: la definición explícita que evita el desacuerdo silencioso. Se escribe iterando: anotar 50, encontrar los bordes, actualizar, repetir.
El acuerdo entre anotadores (inter-annotator agreement, IAA): un subconjunto se anota por duplicado y se mide la coincidencia (con métricas tipo kappa de Cohen, que descuentan el acuerdo por azar). La lectura correcta del desacuerdo es la tesis: IAA bajo = tarea mal definida — se arregla la guía, no se regaña al anotador. Y el IAA marca el techo realista del modelo: si dos humanos coinciden en el 85%, exigirle 95% al modelo es pedirle que adivine cuál humano tenía razón.
Calidad continua: casos de control con respuesta conocida mezclados en el flujo, revisión de muestras, retroalimentación. La anotación es un proceso operativo con su propio monitoreo — no un encargo que se despacha.

Fuente 3: el modelo etiquetador — barato, con revisión

La opción nueva del stack: un LLM pre-etiqueta y humanos revisan. Bien usada, cambia la economía (revisar es típicamente varias veces más rápido que anotar de cero); mal usada, fabrica un dataset con los sesgos del etiquetador — y un modelo entrenado en ellos (el LLM-as-judge de Evals con los mismos cuidados). Las reglas de uso adulto: el LLM usa tu guía como prompt (mismo documento, misma vara); la revisión humana se concentra donde el LLM declara baja confianza o donde discrepa del histórico; y una muestra aleatoria de lo “fácil” también se revisa — el error confiado es exactamente el que no pide revisión.

Active learning: gastar el presupuesto donde enseña

Con presupuesto para etiquetar 2.000 de 200.000 correos, ¿cuáles? Aleatorio es el baseline honesto; active learning lo mejora: entrena con lo que hay → el modelo puntúa lo no etiquetado → etiqueta lo que más informa — típicamente por incertidumbre (donde el modelo duda) y diversidad (cubrir regiones distintas del espacio, no cien variantes del mismo caso raro):

   EL CICLO DE ACTIVE LEARNING

START ──► ┌────────────┐     ┌─────────────┐
          │ entrenar   │ ──► │ puntuar lo  │
          │ con lo     │     │ NO etiqueta-│
          │ etiquetado │     │ do          │
          └────────────┘     └──────┬──────┘
                ▲                   │ seleccionar:
                │                   │ incertidumbre
                │                   ▼ + diversidad
          ┌─────┴──────┐     ┌─────────────┐
          │ agregar al │ ◄── │ anotar el   │
          │ dataset    │     │ lote elegido│
          └────────────┘     └─────────────┘
          repetir hasta que la mejora se aplane

La honestidad de práctico: el ciclo paga cuando etiquetar es caro y el volumen grande; para lotes chicos, el overhead se come la ganancia y el muestreo estratificado simple (cuotas por categoría esperada) captura la mitad del beneficio con nada de maquinaria. Empezar simple, medir, escalar el método con el presupuesto.

Ojo — el dataset es un mart con aduana: todo lo fabricado converge en la disciplina del módulo 5: el dataset de entrenamiento es un mart — construido por el pipeline, con tests (labels en el conjunto válido, sin nulos, sin duplicados ni casi-duplicados entre train y test: la fuga que infla métricas y explota en producción), con linaje hasta el bronce (¿de qué correos, de qué época, bajo qué guía salió cada ejemplo?) y versionado (el time travel del módulo 4 o las herramientas de mlops-02): “el modelo de julio se entrenó con el dataset v14” es una consulta, no un recuerdo. La aduana final del módulo 7 corre antes de cada entrenamiento — porque este es el consumidor que menos perdona.

Errores comunes

Entrenar con el histórico sin auditarlo. Las etiquetas operativas traen los incentivos de la operación. La auditoría de muestra (¿% correcto según la guía?) va antes del primer entrenamiento — ese número es tu techo.
Anotar sin guía escrita. “Los anotadores saben lo que es soporte” dura hasta el primer caso limítrofe. La guía con bordes resueltos es el artefacto; sin ella, el IAA lo cobra.
Ignorar el IAA (o culpar al anotador). El desacuerdo mide la definición de la tarea. Se arregla la guía; y el techo del modelo se fija con el acuerdo humano en la mano.
LLM etiquetador sin revisión muestreada de lo fácil. Revisar solo lo dudoso deja pasar el error confiado — el peor de todos. Muestra aleatoria siempre, también de lo que “seguro está bien”.
Fuga train/test por casi-duplicados. El mismo correo con dos saludos distintos en ambos lados infla la métrica y miente en producción. La deduplicación (protagonista del módulo 9) corre antes del split.
El dataset como CSV heroico. Sin linaje, sin versión, sin tests, armado por un script suelto: irreproducible por diseño. Es un mart — con toda la disciplina del pipeline que lo produce.

La frase para llevarse

“Tres fuentes de etiquetas — el histórico auditado, el humano con guía, el LLM con revisión — y una métrica que gobierna todo: el acuerdo. Gasta el presupuesto donde más enseña, dedupe antes del split, y trata el dataset como lo que es: un mart versionado con aduana — el producto de datos que menos perdona.”

Qué viene

Módulo 9: datos para LLM. La misma fábrica, ahora para el consumidor más glotón: los corpus de texto para fine-tuning y pre-entrenamiento continuo. La deduplicación exacta y difusa (MinHash) como la palanca de calidad número uno, el filtrado por calidad y idioma, el PII scrubbing como obligación y no opción, y los datos sintéticos — el generador que promete escala infinita y cobra en diversidad.

Data Engineering — Módulo 8: etiquetado y datos de entrenamiento