En el Módulo 7 el modelo aprendió a obedecer: tras el SFT, si le das una instrucción, responde a esa instrucción. Pero “obedecer” no es lo mismo que “responder bien”. Entre dos respuestas que ambas siguen la instrucción, una puede ser clara, honesta y prudente, y la otra confusa, inventada o peligrosa — y el SFT no distingue cuál preferimos. Este módulo cierra el bloque intermedio con la última capa de afinado, la que hace la diferencia entre un modelo que funciona y uno que se siente útil y confiable: el alineamiento con preferencias humanas.

La tesis del módulo

El SFT le enseña al modelo a responder; el alineamiento le enseña a responder como preferiríamos que respondiera. No basta con mostrarle una respuesta correcta: hay que enseñarle a elegir la mejor entre varias. Eso se logra convirtiendo el juicio humano — “esta respuesta me gusta más que esta otra” — en una señal que el modelo puede optimizar.

Por qué el SFT no basta

En el SFT le mostramos al modelo una respuesta ideal por instrucción. Pero hay problemas que eso no resuelve bien:

Utilidad matizada: entre dos respuestas válidas, ¿cuál es más clara, más completa, menos rodeos? Difícil de capturar con un único ejemplo “correcto”.
Honestidad: queremos que diga “no lo sé” en vez de inventar. Mostrar respuestas correctas no le enseña a reconocer cuándo no sabe.
Inocuidad: ante una petición dañina, la buena respuesta es negarse con tacto — y hay que enseñarlo con ejemplos de qué no hacer, algo que el SFT solo captura de forma indirecta.

Resulta que a los humanos nos cuesta escribir la respuesta perfecta, pero nos resulta fácil comparar dos respuestas y decir cuál es mejor. Todo el alineamiento moderno se apoya en esa asimetría.

RLHF paso a paso

El método clásico es RLHF (glosar: Reinforcement Learning from Human Feedback; “aprendizaje por refuerzo a partir de retroalimentación humana” — se usan las preferencias de personas como recompensa para afinar el modelo). Tiene tres etapas encadenadas:

1. Recolectar comparaciones humanas. Al modelo (ya con SFT) se le hace generar dos o más respuestas a la misma instrucción. Personas las revisan y marcan cuál prefieren. Se juntan miles de estas comparaciones “A es mejor que B”.

2. Entrenar un reward model. Con esas comparaciones se entrena un reward model (glosar: “modelo de recompensa”; un modelo aparte que aprende a asignarle a cualquier respuesta un puntaje de qué tan buena es según las preferencias humanas — es un juez automático entrenado para imitar los gustos de las personas). Ahora tenemos algo que puntúa respuestas sin necesitar un humano en cada paso.

3. Optimizar la política con PPO. Se afina el modelo (llamado aquí la política) para que genere respuestas que maximicen el puntaje del reward model, usando un algoritmo de aprendizaje por refuerzo llamado PPO (glosar: Proximal Policy Optimization; el algoritmo que ajusta al modelo para subir la recompensa, con un freno que evita que se aleje demasiado del modelo original y empiece a decir cosas raras).

 START
   │
   ▼
 modelo con SFT (Módulo 7)
   │
   ▼
 (1) genera varias respuestas
   │         │
   │         ▼
   │   humanos comparan: "A mejor que B"
   │         │
   ▼         ▼
 (2) reward model aprende a puntuar
             │
             ▼
 (3) PPO afina el modelo para subir el puntaje
             │
             ▼
   modelo alineado (útil, honesto, inofensivo)
             │
             ▼
            END

Ojo: el reward model es un aproximado imperfecto del gusto humano. Si dejas a PPO optimizarlo sin freno, el modelo aprende a “hackear la recompensa”: saca puntaje alto con respuestas que técnicamente gustan al reward model pero no a las personas (aduladoras, larguísimas, seguras aunque falsas). El freno de PPO existe precisamente para mitigar eso.

DPO: la alternativa moderna y más simple

RLHF funciona, pero es una máquina de tres piezas: reward model + PPO + un modelo de referencia, todo corriendo junto. Es delicado de ajustar. Por eso ganó terreno DPO (glosar: Direct Preference Optimization; “optimización directa de preferencias” — logra un efecto parecido al RLHF entrenando el modelo directamente sobre las comparaciones humanas, sin tener que construir un reward model aparte ni usar PPO).

La idea de DPO: en vez del rodeo “aprende un juez y luego optimiza contra el juez”, reformula todo como una única fase de entrenamiento supervisado sobre los pares “respuesta preferida / respuesta rechazada”. Más simple, más estable, más barato — por eso hoy muchos modelos abiertos se alinean con DPO.

	RLHF (con PPO)	DPO
Piezas	Reward model + política + referencia	Solo el modelo, sobre pares de preferencia
Reward model explícito	Sí, hay que entrenarlo aparte	No, implícito en el entrenamiento
Estabilidad de entrenamiento	Delicada (aprendizaje por refuerzo)	Más estable (parece SFT con preferencias)
Costo / complejidad	Alto	Menor
Madurez	El método clásico, muy probado	Más nuevo, hoy muy popular en modelos abiertos

Ambos persiguen lo mismo — meter la preferencia humana en el modelo — por caminos distintos. DPO no es “mejor” en abstracto; es más simple y suele bastar. La mecánica de RL detrás de PPO, y la familia posterior (GRPO, que entrena razonamiento con recompensas verificables), se abre a fondo en el Curso de Razonamiento y RL.

RLAIF y Constitutional AI: el enfoque de Anthropic

Un cuello de botella del RLHF es que las comparaciones las hacen personas, lo que es lento, caro y expone a anotadores a contenido desagradable. Una respuesta a esto es RLAIF (glosar: Reinforcement Learning from AI Feedback; igual que RLHF, pero parte del feedback lo genera otro modelo de IA en lugar de humanos).

Anthropic — la empresa detrás de Claude — desarrolló un método concreto en esa línea llamado Constitutional AI. La idea, descrita con precisión: en lugar de depender solo de que humanos etiqueten cada respuesta como dañina, se le da al sistema un conjunto explícito de principios escritos — una “constitución” (por ejemplo, principios sobre ser útil, evitar respuestas dañinas, respetar ciertos valores). El modelo usa esos principios para criticar y revisar sus propias respuestas, y ese feedback guiado por la constitución alimenta el entrenamiento de preferencias, reduciendo cuánto trabajo humano de etiquetado hace falta para la parte de inocuidad.

Dos matices importantes, sin exagerar:

Constitutional AI no elimina a los humanos: los principios los definen personas, y el feedback humano sigue teniendo un rol (especialmente para la utilidad). Lo que cambia es que buena parte del feedback de inocuidad pasa a generarse con IA guiada por reglas explícitas.
Es un enfoque entre varios. Distintos laboratorios alinean sus modelos con recetas propias; RLHF, DPO y variantes con feedback de IA conviven en la práctica.

Alineamiento: helpful, honest, harmless

Todo esto persigue una meta que en la industria se resume en tres palabras (las “3 H”):

Principio	Qué significa	Qué evita
Helpful (útil)	Entiende y atiende de verdad lo que pides	Respuestas evasivas o que no ayudan
Honest (honesto)	Dice lo que sabe y admite lo que no	Inventar hechos con seguridad (alucinar)
Harmless (inofensivo)	Se niega con tacto a lo dañino	Instrucciones peligrosas o abusivas

El alineamiento (glosar: alinear el comportamiento del modelo con lo que las personas realmente quieren y con valores de seguridad, más allá de solo seguir la instrucción al pie de la letra) es exactamente el trabajo de hacer que un modelo capaz sea, además, uno en el que se pueda confiar. Es lo que separa “un LLM impresionante en el laboratorio” de “un asistente que le puedes poner en las manos a millones de personas”.

Errores comunes

Creer que RLHF le enseña hechos nuevos al modelo. No: reajusta preferencias de comportamiento. El conocimiento viene del pretraining; el estilo y los límites, de esta fase.
Pensar que el reward model es objetivamente correcto. Es un aproximado del gusto humano promedio de quienes anotaron; hereda sus sesgos y puede ser “hackeado”.
Confundir DPO con algo totalmente distinto de RLHF. Persiguen el mismo objetivo (aprender de preferencias); DPO solo lo hace por un camino más directo y simple.
Sobredimensionar Constitutional AI como “IA que se alinea sola sin humanos”. Los principios los escriben humanos y el feedback humano sigue presente; lo que reduce es el etiquetado humano de inocuidad.
Tratar helpful, honest y harmless como si nunca chocaran. A veces sí lo hacen (ser máximamente útil puede rozar lo inseguro); parte del alineamiento es justamente equilibrarlos.

La frase para llevarse

“El pretraining le dio conocimiento, el fine-tuning le dio obediencia, y el alineamiento le dio criterio: aprender no solo a responder, sino a responder como una persona confiable lo haría.”

Qué viene

Con esto cerramos el bloque intermedio: ya tienes el recorrido completo de cómo nace un asistente, del texto crudo al modelo alineado. El bloque avanzado arranca en el Módulo 9: decodificación. Ahora que el modelo está entrenado y alineado, ¿cómo elige exactamente cada token al generar? Greedy, temperature, top-p, beam search — las perillas que definen si el modelo suena robótico, creativo o delirante.

Transformers — Módulo 8: RLHF y alineamiento — cómo el modelo se vuelve útil y seguro