Bienvenido al Curso de Razonamiento y RL. Hasta ahora, en el resto de los cursos del sitio, aprendiste una forma de enseñarle a una máquina: mostrarle un montón de ejemplos con la respuesta correcta escrita al lado. En el Curso de Redes viste que una red neuronal ajusta sus pesos comparando su salida con la etiqueta verdadera y bajando el error. Eso es aprendizaje supervisado (supervised learning: aprender de pares entrada→respuesta correcta). Funciona increíblemente bien cuando tienes esas respuestas. Pero hay un mundo entero de problemas donde nadie sabe cuál es la respuesta correcta de antemano: solo sabes, después de actuar, si te fue bien o mal. Ese es el mundo del aprendizaje por refuerzo, y es el motor secreto detrás de dos cosas que ya usaste sin verlas por dentro: el RLHF que alinea a los asistentes de chat y los modelos que “razonan” antes de responder.

Este curso construye el refuerzo desde cero. El recorrido es este: primero los fundamentos de RL (agente, entorno y recompensa en este módulo; luego valor y la ecuación de Bellman; Q-learning y su versión con redes profundas; policy gradients; y actor-critic con PPO). Después subimos un piso a RL aplicado a LLM: qué es exactamente el RLHF por dentro, y las alternativas modernas como DPO y GRPO. Y cerramos con razonamiento: por qué un LLM puede razonar, qué es el cómputo en tiempo de inferencia, cómo se entrena un modelo de razonamiento, el problema del reward hacking, y cómo llevar todo esto a producción.

En Transformers viste el RLHF de pasada, como una caja negra que “alinea” el modelo. Aquí abrimos esa caja. Para entenderla de verdad no basta con memorizar las siglas: hay que entender el marco que hay debajo, y ese marco es el aprendizaje por refuerzo. Empecemos por la idea que lo cambia todo.

La tesis del módulo

En refuerzo no aprendes de ejemplos con la respuesta correcta al lado: aprendes de las consecuencias de actuar. El dato no es una etiqueta, es una recompensa que llega después de que actuaste — muchas veces tarde, muchas veces escasa. Y descubrir qué acción concreta produjo esa recompensa, entre todas las que tomaste, es el problema entero.

El cambio de paradigma: de la etiqueta a la consecuencia

Imagina que quieres enseñarle a un programa a jugar ajedrez. En supervisado necesitarías, para cada posición del tablero, la jugada correcta escrita por un experto. Pero nadie tiene esa tabla: ni siquiera los grandes maestros saben con certeza cuál es la mejor jugada en la mayoría de las posiciones. Lo único que sí sabes es que, al final de la partida, ganaste o perdiste.

Ahí está la diferencia. En refuerzo el programa juega partidas completas, y lo único que recibe es el resultado final. A partir de ese resultado tiene que deducir, hacia atrás, cuáles de sus decenas de jugadas fueron buenas y cuáles malas. No hay maestro que corrija cada jugada; hay un marcador que aparece al final. Aprender de ese marcador — escaso, tardío y ambiguo — es el arte del refuerzo.

Ojo: la palabra “recompensa” (reward) engaña un poco. No es un premio que tú le das al modelo por buen comportamiento como quien adiestra a un perro; es una señal numérica que el entorno produce automáticamente. Diseñar bien esa señal es tan difícil que le dedicamos un módulo entero más adelante (el reward hacking del que hablaremos es justo lo que pasa cuando la diseñas mal).

Los seis elementos del refuerzo

Todo problema de refuerzo se describe con el mismo puñado de piezas. Vamos una por una, y cada una con tres ejemplos concretos: un juego (un videojuego clásico), un robot que aprende a caminar, y un LLM alineándose con RLHF. Verás que el mismo esqueleto describe los tres.

Agente (agent: quien decide y actúa). Es el que aprende. En el juego, el jugador artificial. En el robot, el controlador que decide qué motores mover. En el LLM, el propio modelo de lenguaje que decide qué token escribir a continuación.

Entorno (environment: todo lo que rodea al agente y reacciona a sus acciones). Es el mundo con el que el agente interactúa y que le devuelve consecuencias. En el juego, las reglas y la pantalla. En el robot, la física del suelo y la gravedad. En el LLM, la tarea que le pidieron y quien juzga su respuesta.

Estado (state: la foto de la situación en un instante). Es lo que el agente observa para decidir. En el juego, la pantalla actual (posiciones, enemigos, puntaje). En el robot, los ángulos de sus articulaciones y su velocidad. En el LLM, el texto escrito hasta ahora (el prompt más los tokens que ya generó).

Acción (action: lo que el agente hace para influir en el entorno). En el juego, mover a la izquierda, saltar, disparar. En el robot, aplicar tal torque a tal motor. En el LLM, elegir el siguiente token del vocabulario. Sí: para el refuerzo, generar texto es una secuencia de acciones, una por token.

Recompensa (reward: la señal numérica que mide qué tan buena fue una acción en un estado). En el juego, los puntos que ganas o pierdes. En el robot, una señal positiva por avanzar sin caerse y negativa por desplomarse. En el LLM, una nota que da un modelo de recompensa entrenado con preferencias humanas — cuánto le gustaría a una persona la respuesta generada.

Política (policy: la estrategia del agente, la regla que mapea estado→acción). Es literalmente el cerebro del agente: dado lo que observa, ¿qué hace? Se escribe π (pi). En el juego, “si el enemigo está cerca, salta”. En el robot, la función que traduce sensores en órdenes a los motores. En el LLM, la política es el modelo mismo: dada la secuencia de tokens hasta ahora, produce la distribución de probabilidad sobre el siguiente token. Entrenar con refuerzo significa mejorar la política.

A esos seis se suman dos conceptos que atan el tiempo:

Retorno (return: la suma de todas las recompensas futuras a partir de un momento). Al agente no le interesa la recompensa inmediata sino la suma total de lo que vendrá. Una jugada que da cero puntos ahora pero te lleva a ganar la partida vale muchísimo. El retorno es lo que el agente de verdad quiere maximizar.

Episodio (episode: una corrida completa de principio a fin). Una partida de ajedrez, un intento del robot de caminar hasta que se cae, una respuesta completa del LLM a un prompt. El agente aprende de muchos episodios.

El bucle: agente y entorno conversando

Todo el refuerzo cabe en un solo diagrama. El agente observa un estado, elige una acción según su política, el entorno responde con un nuevo estado y una recompensa, y el ciclo se repite hasta terminar el episodio:


         ┌─────────────────────────────┐
         │           AGENTE            │
         │   (aplica su política π)    │
         └───┬─────────────────────▲───┘
             │                     │
   acción aₜ │                     │ estado sₜ
             │                     │ recompensa rₜ
             │                     │
         ┌───▼─────────────────────┴───┐
         │           ENTORNO           │
         │   (produce sₜ₊₁ y rₜ₊₁)     │
         └─────────────────────────────┘

     el ciclo se repite hasta fin de episodio

Léelo en el sentido del reloj. El agente manda una acción hacia abajo; el entorno la recibe, cambia de estado y devuelve hacia arriba el nuevo estado y la recompensa. Ese lazo, repetido miles de veces, es todo lo que hay. La complejidad no está en el bucle — está en cómo el agente usa esas recompensas para mejorar su política. A eso le dedicamos el resto del curso.

El proceso de decisión de Markov (MDP)

El bucle anterior tiene un nombre formal: proceso de decisión de Markov (Markov Decision Process, MDP: el modelo matemático estándar de un problema de refuerzo). Un MDP se define con cinco ingredientes:

Un conjunto de estados S: todas las situaciones posibles.
Un conjunto de acciones A: todo lo que el agente puede hacer.
Una función de transición P(s’ | s, a): la probabilidad de terminar en el estado s’ si estando en s tomas la acción a. Es la física del entorno.
Una función de recompensa R(s, a): qué recompensa da tomar la acción a en el estado s.
Un factor de descuento γ (gamma, entre 0 y 1): cuánto valen las recompensas futuras comparadas con las inmediatas.

El factor de descuento γ merece una frase propia. Con γ cercano a 1, el agente es paciente: le importa casi tanto una recompensa dentro de cien pasos como una ahora. Con γ cercano a 0, es cortoplacista: solo le importa lo inmediato. Sin γ, la suma de recompensas de un episodio infinito sería infinita y no habría nada que maximizar; γ hace que la suma converja y, de paso, codifica cuánta paciencia queremos que tenga el agente.

La propiedad de Markov es el supuesto que da nombre a todo esto: el futuro depende solo del estado presente, no de cómo llegaste a él. Si el estado captura toda la información relevante, no necesitas recordar la historia completa: basta la foto actual. En ajedrez esto se cumple casi perfecto — la posición actual del tablero contiene todo lo que importa, da igual el orden de jugadas que llevó a ella. En un LLM se cumple por construcción: el “estado” es toda la secuencia de tokens hasta ahora, así que por definición contiene la historia entera.

Cuidado: la propiedad de Markov es un supuesto, no una ley. Cuando el estado que le das al agente no contiene toda la información relevante (un robot que no ve detrás de sí, un póker donde no ves las cartas del rival), el problema deja de ser un MDP limpio y se vuelve mucho más difícil. Buena parte del trabajo práctico en refuerzo es diseñar un estado que sea lo bastante completo como para que Markov se cumpla razonablemente bien.

En qué se diferencia del supervisado

Ahora que tienes el vocabulario, la comparación con lo que ya conocías se vuelve nítida. No son dos sabores del mismo aprendizaje: son problemas estructuralmente distintos.

Aspecto	Supervisado	Refuerzo
Fuente de la señal	Etiqueta correcta dada por un humano	Recompensa producida por el entorno
Cuándo llega	Inmediata, para cada ejemplo	Diferida, a veces muchos pasos después
Qué te dice	La respuesta correcta exacta	Solo qué tan bien te fue, no qué debiste hacer
Los datos	Independientes entre sí (i.i.d.)	Correlacionados: cada estado depende del anterior
De dónde salen los datos	Un dataset fijo que ya tienes	Los genera el propio agente al actuar
Exploración	Innecesaria: el dataset ya está	Imprescindible: si no pruebas, no descubres

Dos filas de esa tabla merecen desarrollo, porque son el corazón de la dificultad.

La señal diferida y el problema de la asignación de crédito. En supervisado, cada predicción tiene su corrección al lado: sabes exactamente en qué te equivocaste y por cuánto. En refuerzo, ganaste la partida tras cuarenta jugadas y la recompensa es un “+1” al final. ¿Cuál de las cuarenta jugadas te hizo ganar? ¿La brillante apertura o el error del rival en la jugada 38? Repartir el mérito (o la culpa) de una recompensa entre todas las acciones que la precedieron se llama asignación de crédito (credit assignment), y es, quizás, el problema central del refuerzo. Casi todos los algoritmos que verás en el curso son, en el fondo, maneras ingeniosas de resolver la asignación de crédito.

Datos correlacionados, no i.i.d. En supervisado se asume que los ejemplos son i.i.d. (independent and identically distributed: independientes y de la misma distribución) — barajar el dataset no cambia nada. En refuerzo es lo contrario: el estado de ahora es consecuencia directa de la acción de antes. Los datos vienen en secuencias correlacionadas, y peor aún, la distribución de datos cambia a medida que el agente mejora (una política mejor visita estados distintos). Esto rompe supuestos que en supervisado dábamos por sentados, y obliga a técnicas específicas que iremos viendo.

El dilema exploración vs explotación

Queda una tensión que no existe en supervisado y que define al refuerzo. Imagina que llegas a una ciudad nueva y encuentras un restaurante decente el primer día. Cada noche enfrentas la misma decisión: ¿vuelves al que ya sabes que es bueno (explotación, exploitation: aprovechar lo que ya conoces) o pruebas uno nuevo que podría ser mejor… o peor (exploración, exploration: probar lo desconocido para aprender)?

El agente vive ese dilema en cada paso. Si solo explota, se queda atascado en la primera estrategia mediocre que encontró, sin descubrir nunca que había una mucho mejor a la vuelta de la esquina. Si solo explora, nunca aprovecha lo que aprendió y su desempeño es puro azar. Todo algoritmo de refuerzo necesita, de una forma u otra, balancear los dos. Este dilema es tan central que le dedicamos el módulo 2 completo; por ahora basta con que lo tengas en el radar como una de las cosas que hacen al refuerzo fundamentalmente distinto.

Dónde encaja un LLM en todo esto

Puede que sigas viendo el refuerzo como algo de robots y videojuegos, lejos de los modelos de lenguaje. La conexión es más directa de lo que parece. Mapeemos las seis piezas a un LLM que se está alineando con RLHF:


    EL REFUERZO DENTRO DE UN LLM (RLHF)

  ┌───────────────┐   token a token   ┌─────────────┐
  │  prompt del   │ ────────────────► │  el MODELO  │
  │   usuario     │                   │ (política π)│
  └───────────────┘                   └──────┬──────┘
                                             │ acción:
                                             │ elegir token
                                             ▼
                                     ┌───────────────┐
                                     │  respuesta    │
                                     │  completa     │
                                     └───────┬───────┘
                                             ▼
                                     ┌───────────────┐
                                     │  modelo de    │
                                     │  recompensa   │
                                     │  o verificador│
                                     └───────┬───────┘
                                             ▼
                                     recompensa r ──► ajusta π

Léelo así: el estado es el prompt más lo escrito hasta ahora; la acción es elegir el siguiente token; el episodio es generar la respuesta completa; y la recompensa aparece al final, cuando un modelo de recompensa (reward model: una red entrenada para predecir qué respuesta preferiría un humano) o un verificador (verifier: un chequeo automático, por ejemplo “¿el código compila?” o “¿el resultado matemático es correcto?”) le pone nota a la respuesta. Con esa nota se ajusta la política — es decir, se afinan los pesos del propio modelo para que la próxima vez sea más probable que genere respuestas bien puntuadas.

Fíjate en algo que reaparecerá en todo el curso: hay dos fuentes de recompensa muy distintas. El modelo de recompensa aprende el gusto humano y sirve para alinear tono, utilidad y seguridad — es la base del RLHF, que desarmamos en el módulo 6. El verificador da una recompensa objetiva y sin ambigüedad cuando la tarea tiene respuesta comprobable (matemáticas, código, lógica) — y es justo lo que hace posible entrenar modelos que razonan, tema del módulo 10. Todo lo que aprendas sobre agentes, entornos y recompensas en los próximos módulos aterriza, al final, en estos dos mecanismos.

Errores comunes

Creer que la recompensa le dice al agente qué hacer. No: le dice qué tan bien le fue, no cuál era la acción correcta. Esa diferencia — evaluar versus instruir — es toda la brecha entre refuerzo y supervisado.
Confundir recompensa con retorno. La recompensa es lo inmediato; el retorno es la suma descontada de todo el futuro. El agente maximiza el retorno, no la recompensa del paso actual. Optimizar la recompensa inmediata es cortoplacismo garantizado.
Olvidar el factor de descuento γ. Sin γ la suma de recompensas de un episodio largo no converge, y además no habrías codificado cuánta paciencia quieres. No es un detalle técnico: define el carácter del agente.
Dar por sentada la propiedad de Markov. Si el estado no captura la información relevante, no tienes un MDP y los algoritmos del curso funcionarán mal. Diseñar el estado es parte del trabajo, no algo dado.
Pensar que un LLM no es “de verdad” refuerzo. Generar texto token a token es literalmente una secuencia de acciones en un MDP, con la respuesta completa como episodio. El RLHF no es una metáfora del refuerzo: es refuerzo.
Saltarse la exploración. Un agente que solo repite lo que ya le funcionó se estanca. Sin explorar, nunca descubre la estrategia mejor que estaba a un paso de distancia.

La frase para llevarse

“En supervisado te dan la respuesta y aprendes a copiarla; en refuerzo te dan una nota al final y tienes que adivinar qué hiciste bien. Toda la dificultad — y toda la magia de los modelos que razonan — vive en esa adivinanza.”

Qué viene

Módulo 2: valor, política y la ecuación de Bellman. Ya sabes que el agente quiere maximizar el retorno, pero ¿cómo estima, parado en un estado cualquiera, cuánto retorno le espera? Ahí entra la idea de valor (value: cuánto retorno futuro promete un estado o una acción) y la herramienta que la hace calculable: la ecuación de Bellman, que descompone el valor de un estado en la recompensa de ahora más el valor del siguiente. Es la pieza matemática sobre la que se construye casi todo el resto del curso — Q-learning, deep RL y actor-critic salen todos de ahí. Y retomaremos el dilema exploración vs explotación con nombre y apellido.

Razonamiento y RL — Módulo 1: qué es el aprendizaje por refuerzo