Glosario de Razonamiento y RL

Los términos que aparecen una y otra vez en el Curso de Razonamiento y RL y en cualquier conversación sobre aprender por prueba y error, alinear un modelo con preferencias humanas o hacer que un LLM razone antes de responder. Como todo glosario de la academia, crece con cada bloque nuevo del curso: empieza en los fundamentos del refuerzo y termina en los modelos que piensan en voz alta.

Fundamentos de RL

Aprendizaje por refuerzo (reinforcement learning, RL) — Aprender qué hacer a base de prueba y error, guiado por una recompensa numérica en vez de por ejemplos etiquetados. Nadie dice cuál era la acción correcta: solo qué tan bien salió, y a veces mucho después. Se desarrolla en Qué es el refuerzo.

Agente (agent) — El que decide y actúa. Observa el estado, elige una acción según su política y recibe una recompensa. Todo lo que aprende lo aprende para tomar mejores decisiones futuras.

Entorno (environment) — Todo lo que no es el agente: el mundo que responde a sus acciones cambiando de estado y devolviendo recompensa. Para un LLM que razona, el entorno puede ser tan simple como un verificador que dice si la respuesta final fue correcta.

Estado (state) — La foto de la situación en un instante, con la información que el agente usa para decidir. Un buen estado resume el pasado relevante sin arrastrar todo el historial.

Acción (action) — Cada movimiento posible del agente en un estado. El conjunto de acciones puede ser discreto (mover ficha, elegir token) o continuo (girar un volante).

Recompensa (reward) — La señal numérica que el entorno devuelve tras cada acción y que define qué significa “hacerlo bien”. Es lo único que el agente optimiza, y por eso una recompensa mal diseñada produce un comportamiento absurdo pero técnicamente óptimo.

Retorno (return) — La suma de recompensas futuras a partir de un momento, normalmente descontada. Es lo que el agente maximiza de verdad: no la recompensa inmediata sino todo lo que viene después de una decisión.

Episodio (episode) — Una partida completa, del estado inicial al terminal. En RL para razonamiento, un episodio suele ser generar una respuesta entera y recibir una sola recompensa al final.

MDP (proceso de decisión de Markov, Markov Decision Process) — El marco matemático de todo el RL: estados, acciones, probabilidades de transición, recompensas y factor de descuento. Casi cualquier problema de decisión secuencial se puede escribir como un MDP. Se desarrolla en Qué es el refuerzo.

Propiedad de Markov — La suposición de que el futuro depende solo del estado actual, no de cómo se llegó a él. Si se cumple, basta con mirar el presente para decidir óptimamente; si no, el “estado” está mal definido.

Factor de descuento (γ, gamma) — Un número entre 0 y 1 que pondera cuánto valen las recompensas futuras frente a la inmediata. Cerca de 0 el agente es cortoplacista; cerca de 1 planifica a largo plazo pero aprende más lento.

Credit assignment (asignación de crédito) — El problema central del RL: cuando el premio llega al final, ¿cuál de las cincuenta decisiones anteriores lo merece? Repartir bien ese crédito es lo difícil, y es exactamente el problema de premiar una cadena de razonamiento larga.

Exploración vs explotación (exploration vs exploitation) — El dilema entre probar acciones nuevas para descubrir algo mejor y repetir la que ya sabes que funciona. Explotar siempre te congela en un óptimo local; explorar de más desperdicia recompensa.

ε-greedy (épsilon-voraz) — La receta más simple para equilibrar ese dilema: con probabilidad ε eliges una acción al azar y el resto del tiempo la mejor conocida. ε suele empezar alto y bajar a medida que el agente aprende.

On-policy vs off-policy — Aprender de datos generados por la política actual (on-policy, como PPO) frente a aprender de datos generados por otra política o de experiencias viejas (off-policy, como Q-learning). Off-policy reutiliza datos y es más eficiente; on-policy es más estable.

Valor y aprendizaje

Función de valor V (value function) — Cuánto retorno esperas obtener a partir de un estado si sigues tu política. Responde “¿qué tan buena es esta situación?” sin decir todavía qué acción tomar. Se desarrolla en Valor, política y Bellman.

Función de valor de acción Q (action-value function) — Cuánto retorno esperas si tomas una acción concreta en un estado y luego sigues tu política. Con Q sabes directamente qué acción elegir: la de mayor valor.

Ecuación de Bellman — La relación que ata el valor de un estado con el valor de los estados siguientes: el valor de hoy es la recompensa inmediata más el valor descontado de mañana. Es el motor de casi todos los algoritmos de valor. Se desarrolla en Valor, política y Bellman.

Iteración de valor (value iteration) — Resolver el MDP aplicando la ecuación de Bellman una y otra vez hasta que los valores dejan de cambiar. Funciona cuando conoces el modelo del entorno y los estados caben en una tabla.

Diferencia temporal (TD, temporal difference) — Aprender actualizando una estimación con otra estimación posterior, sin esperar al final del episodio. Es la idea que combina lo mejor de Monte Carlo y de la programación dinámica.

Error TD — La diferencia entre lo que esperabas y lo que la nueva estimación sugiere: recompensa + γ·V(siguiente) − V(actual). Es la señal que empuja cada actualización de valor.

Bootstrapping — Actualizar una estimación usando otra estimación en vez de datos reales completos. Acelera el aprendizaje pero arrastra el sesgo de las estimaciones intermedias mientras aún son malas.

Monte Carlo — Estimar el valor promediando retornos reales de episodios completos, sin bootstrapping. Es insesgado pero de alta varianza y exige esperar hasta el final de cada partida.

Q-learning — El algoritmo off-policy clásico que aprende la función Q óptima actualizándola hacia recompensa + γ·máx Q(siguiente). Aprende la política óptima aunque explore con otra. Se desarrolla en De Q-learning a deep RL.

Learning rate (tasa de aprendizaje, α) — Cuánto se mueve cada estimación hacia el nuevo dato en cada paso. Muy alta hace que el aprendizaje oscile; muy baja lo vuelve lentísimo.

DQN (Deep Q-Network) — Q-learning con una red neuronal que aproxima Q, lo que permitió jugar Atari desde píxeles. Necesitó dos trucos para no divergir: experience replay y target network. Se desarrolla en De Q-learning a deep RL.

Experience replay (repetición de experiencias) — Guardar transiciones en un buffer y reentrenar muestreándolas al azar, en vez de aprender solo de la última. Rompe la correlación entre pasos consecutivos y estabiliza el entrenamiento.

Target network (red objetivo) — Una copia congelada de la red Q que se usa para calcular el objetivo, y que se actualiza cada cierto tiempo. Sin ella la red persigue un blanco que se mueve con ella misma y diverge.

Aproximación de funciones (function approximation) — Sustituir la tabla de valores por una función (una red neuronal) cuando los estados son demasiados para enumerarlos. Es lo que convierte el RL de juguete en deep RL, a costa de perder las garantías de convergencia.

Policy gradients y actor-critic

Gradiente de política (policy gradient) — En vez de aprender valores y derivar la política de ellos, optimizar la política directamente subiendo por el gradiente del retorno esperado. Es la familia natural para acciones continuas y para LLM, donde la “acción” es elegir el siguiente token. Se desarrolla en Policy gradients.

REINFORCE — El algoritmo de gradiente de política más básico: sube la probabilidad de las acciones de los episodios buenos y la baja en los malos, pesando por el retorno. Simple y correcto, pero de varianza altísima.

Log-prob trick (truco del log-verosimilitud) — La identidad matemática que permite calcular el gradiente del retorno esperado como un promedio de ∇ log π(acción)·retorno. Es lo que hace que REINFORCE sea implementable con un simple .backward().

Varianza (variance) — El ruido en la estimación del gradiente por depender de episodios muestreados al azar. Es el enemigo número uno de los policy gradients: mucha varianza hace que el entrenamiento sea lento e inestable.

Baseline (línea base) — Un valor que se resta al retorno para reducir la varianza sin sesgar el gradiente. Restar “cuánto esperabas de media” deja solo la sorpresa, que es la señal útil.

Ventaja (advantage, A) — Cuánto mejor fue una acción que el promedio del estado: A = Q − V. Es el baseline llevado a su forma ideal, y el corazón de PPO y de GRPO. Se desarrolla en Actor-critic y PPO.

GAE (Generalized Advantage Estimation) — Una forma de estimar la ventaja que mezcla muchos horizontes con un parámetro λ, para equilibrar sesgo y varianza. Es el estándar de facto para calcular ventajas en PPO.

Actor-critic — Combinar una política (el actor, que actúa) con una función de valor (el crítico, que juzga). El crítico da el baseline que baja la varianza del actor; el actor genera los datos con los que el crítico aprende. Se desarrolla en Actor-critic y PPO.

TRPO (Trust Region Policy Optimization) — El antecesor de PPO: limita cuánto puede cambiar la política en cada paso resolviendo un problema con restricción sobre la divergencia KL. Correcto pero caro de computar.

PPO (Proximal Policy Optimization) — El algoritmo de policy gradient más usado: consigue el efecto de TRPO con un objetivo recortado mucho más simple. Es el motor del RLHF clásico. Se desarrolla en Actor-critic y PPO.

Objetivo recortado (clipped surrogate objective) — El truco de PPO: recortar el ratio de probabilidades a un intervalo alrededor de 1 para que un solo paso no cambie la política demasiado. Convierte una restricción dura en una penalización barata.

Ratio de probabilidades (probability ratio) — Cuánto más (o menos) probable es una acción bajo la política nueva que bajo la vieja: π_nueva / π_vieja. Es la magnitud que PPO recorta para no dar pasos suicidas.

Coeficiente de entropía (entropy coefficient) — Un término que premia mantener la política incierta, para que el agente no deje de explorar demasiado pronto. Sin él, la política colapsa a una sola acción y se congela.

RL para LLM

RLHF (aprendizaje por refuerzo con retroalimentación humana, Reinforcement Learning from Human Feedback) — La receta que alinea un LLM con preferencias humanas en tres pasos: SFT, entrenar un modelo de recompensa con comparaciones humanas y optimizar la política con PPO contra esa recompensa. Se desarrolla en RLHF por dentro y desde el lado del alineamiento en RLHF y alineamiento.

SFT (ajuste fino supervisado, Supervised Fine-Tuning) — Entrenar el modelo a imitar respuestas de referencia escritas o elegidas por humanos. Es el paso previo al RL: pone al modelo en un punto de partida razonable antes de refinarlo con recompensa.

Modelo de recompensa (reward model, RM) — Un modelo entrenado para predecir qué respuesta preferiría un humano, y que sustituye a la persona durante el RL. Es la pieza que convierte “me gusta más esta” en un número optimizable. Se desarrolla en RLHF por dentro.

Datos de preferencia (preference data) — Pares de respuestas al mismo prompt donde un humano marcó cuál es mejor. Es la materia prima del modelo de recompensa y de DPO, y suele ser lo más caro de conseguir.

Pérdida de Bradley-Terry (Bradley-Terry loss) — El modelo estadístico que convierte una diferencia de puntajes en la probabilidad de que una respuesta gane a otra, vía una sigmoide. Es la función de pérdida con la que se entrena el modelo de recompensa a partir de comparaciones.

Penalización KL (KL penalty) — Un castigo por alejarse demasiado del modelo de referencia, medido con la divergencia KL. Impide que la política se deforme persiguiendo la recompensa hasta volverse incoherente. Se desarrolla en RLHF por dentro.

Modelo de referencia (reference model) — Una copia congelada del modelo tras SFT que sirve de ancla: la penalización KL mide cuánto se aleja la política de él. Sin ancla, el RL encuentra atajos que rompen el lenguaje.

Recompensa dispersa (sparse reward) — Cuando la señal llega rara vez, típicamente una sola vez al final. Es el caso normal en LLM (una recompensa por respuesta entera) y lo que hace duro el credit assignment.

DPO (Optimización Directa de Preferencias, Direct Preference Optimization) — Alinear el modelo directamente desde los pares de preferencia, sin entrenar un modelo de recompensa ni correr RL: un LLM es en secreto su propio modelo de recompensa. Más simple y estable que RLHF con PPO. Se desarrolla en DPO, GRPO y familia y en la práctica en DPO en la práctica.

IPO (Identity Preference Optimization) — Una variante de DPO que quita la suposición de Bradley-Terry para evitar que el modelo sobreajuste a preferencias casi determinantes. Corrige un modo de fallo específico de DPO.

KTO (Kahneman-Tversky Optimization) — Alineación que no necesita pares: le basta con saber si una respuesta suelta es deseable o no. Se inspira en la teoría prospectiva de la economía conductual y facilita conseguir datos.

ORPO (Odds Ratio Preference Optimization) — Fusiona SFT y alineación de preferencias en un solo paso y prescinde del modelo de referencia. Ahorra una etapa completa del pipeline.

RLAIF (RL con retroalimentación de IA, RL from AI Feedback) — Reemplazar al anotador humano por otro modelo que emite las preferencias. Escala barato la generación de datos, a costa de heredar los sesgos del modelo juez.

Constitutional AI — La técnica de Anthropic donde el modelo se critica y corrige a sí mismo siguiendo un conjunto escrito de principios (una “constitución”), en vez de depender de etiquetas humanas para cada caso. Es una forma concreta de RLAIF.

GRPO (Optimización de Política Relativa por Grupo, Group Relative Policy Optimization) — La variante de PPO de DeepSeek que elimina el crítico: en vez de estimar el valor con una red aparte, muestrea un grupo de respuestas al mismo prompt y usa la media del grupo como baseline. Ahorra memoria y estabiliza el RL de razonamiento. Se desarrolla en DPO, GRPO y familia.

Ventaja por grupo (group-relative advantage) — El cálculo central de GRPO: la ventaja de una respuesta es cuánto supera a la media del grupo, normalizada por la desviación del grupo. Reemplaza al crítico por una comparación entre hermanas.

TRL (Transformer Reinforcement Learning) — La librería de Hugging Face que implementa SFT, DPO, PPO y GRPO sobre modelos de lenguaje. Es la caja de herramientas estándar para hacer RLHF sin escribir el algoritmo desde cero.

Razonamiento

Chain-of-thought (cadena de pensamiento, CoT) — Hacer que el modelo escriba los pasos intermedios antes de la respuesta final, lo que mejora mucho las tareas de varios pasos. Pensar en voz alta le da más cómputo por token para llegar al resultado. Se desarrolla en Por qué un LLM razona.

CoT por prompting vs entrenado — La diferencia entre pedir “piensa paso a paso” a un modelo normal y entrenar al modelo para que razone largo por sí solo con RL. El primero es un truco de prompt; el segundo cambia los pesos y produce modelos como o1 o R1.

Sistema 1 / Sistema 2 — La metáfora de Kahneman: el Sistema 1 responde rápido e intuitivo (el LLM que suelta la respuesta) y el Sistema 2 razona lento y deliberado (el modelo que piensa antes de responder). El razonamiento entrenado busca darle al modelo un Sistema 2.

Faithfulness (fidelidad) — Si la cadena de pensamiento que el modelo muestra es de verdad el proceso que lo llevó a la respuesta, o un cuento a posteriori. Una CoT puede ser convincente y aun así no reflejar el cómputo real, lo que importa para confiar en ella.

Self-consistency (autoconsistencia) — Generar varias cadenas de pensamiento y quedarse con la respuesta más votada. Aprovecha que caminos distintos suelen converger a la solución correcta, mientras los errores se dispersan.

Test-time compute (cómputo en inferencia) — Gastar más cómputo al momento de responder (pensando más, generando más candidatos) en vez de solo al entrenar. Es el segundo eje de escalado que abrió o1. Se desarrolla en Test-time compute.

Ley de escalado de inferencia (inference scaling law) — La observación de que la calidad mejora de forma predecible a medida que se le da al modelo más cómputo para pensar en cada problema. Complementa la ley de escalado del entrenamiento con un eje nuevo. Se desarrolla en Test-time compute.

Best-of-N (mejor de N) — Generar N respuestas y elegir la mejor según un verificador o modelo de recompensa. Es la forma más simple de escalado paralelo en inferencia: más muestras, más chances de acertar.

Rejection sampling (muestreo por rechazo) — Generar muchas respuestas, quedarse solo con las correctas y usarlas para reentrenar. Es cómo se destila el razonamiento de un modelo caro a uno barato, y un paso clave del pipeline de R1.

PRM (modelo de recompensa de proceso, Process Reward Model) — Un verificador que puntúa cada paso intermedio del razonamiento, no solo la respuesta final. Da señal más fina y guía mejor la búsqueda, a costa de ser caro de etiquetar. Se desarrolla en Test-time compute.

ORM (modelo de recompensa de resultado, Outcome Reward Model) — Un verificador que solo juzga la respuesta final, sin mirar el camino. Más barato que un PRM y suficiente cuando el resultado se puede comprobar de forma objetiva.

Búsqueda guiada por verificador (verifier-guided search) — Explorar varios caminos de razonamiento y podar los malos usando un PRM o un ORM como brújula. Convierte el pensar en una búsqueda, no en un monólogo lineal.

Budget de razonamiento (reasoning budget) — Cuántos tokens de pensamiento se le permite gastar al modelo antes de responder. Es la perilla que cambia calidad por costo y latencia en un modelo que razona. Se desarrolla en Razonamiento en producción.

RLVR (RL con recompensas verificables, RL from Verifiable Rewards) — Entrenar el razonamiento cuando la respuesta se puede comprobar automáticamente: matemáticas con solución conocida, código que pasa tests. La recompensa es una regla, no un modelo, y por eso no se puede hackear tan fácil. Se desarrolla en Entrenar un modelo de razonamiento.

Verificador (verifier) — El programa o regla que decide si una respuesta es correcta: un comparador de resultado, un ejecutor de tests, un chequeador de formato. Es lo que hace posible RLVR y lo que reemplaza al modelo de recompensa cuando existe una verdad objetiva.

DeepSeek-R1 / R1-Zero — Los modelos de razonamiento abierto de DeepSeek (enero 2025). R1-Zero se entrenó con RL puro (GRPO) sobre el modelo base, sin SFT previo, y aun así aprendió a razonar solo; R1 le añade una etapa de arranque para pulir la legibilidad. Se desarrolla en Entrenar un modelo de razonamiento.

Cold start (arranque en frío) — El SFT ligero con ejemplos de razonamiento limpio que DeepSeek puso antes del RL para arreglar los problemas de legibilidad y mezcla de idiomas de R1-Zero. Estabiliza el entrenamiento sin renunciar a lo que el RL descubre.

Aha moment (momento eureka) — El fenómeno observado en R1-Zero donde el modelo, sin que nadie se lo enseñe, aprende a detenerse, reconsiderar su enfoque y dedicar más pasos a los problemas difíciles. Es la prueba de que el razonamiento emergió del RL, no de la imitación.

Destilación (distillation) — Entrenar un modelo pequeño a imitar las cadenas de razonamiento de uno grande. Es la vía barata para llevar la capacidad de razonar a modelos que caben en menos hardware, y suele ir de la mano del rejection sampling.

Recompensas y riesgos

Ley de Goodhart — “Cuando una medida se vuelve el objetivo, deja de ser una buena medida”. Es la maldición de fondo del RL: optimizar la recompensa medida no es lo mismo que lograr lo que de verdad querías. Se desarrolla en Recompensas y reward hacking.

Reward hacking / specification gaming (hackeo de recompensa) — Cuando el agente encuentra una forma de subir la recompensa sin cumplir la intención: explota un bug del entorno, un fallo del verificador o una laguna del modelo de recompensa. Técnicamente óptimo, prácticamente inútil. Se desarrolla en Recompensas y reward hacking.

Sycophancy (adulación) — La tendencia del modelo a decirle al usuario lo que quiere oír en vez de la verdad, porque eso fue lo que más se premió durante RLHF. Es reward hacking sobre un modelo de recompensa humano.

Over-optimization (sobreoptimización) — Empujar la política tan lejos contra el modelo de recompensa que empieza a explotar sus errores en vez de aprender la preferencia real. La calidad medida sube mientras la calidad real baja: es la razón de ser de la penalización KL.

Recompensa verificable vs reward model — La disyuntiva clave: cuando existe una verdad objetiva (RLVR con un verificador) el hackeo es difícil; cuando la recompensa la da un modelo aprendido, siempre hay grietas por explotar. Elegir bien la fuente de recompensa es media batalla.

Agentic RL (RL agéntico) — Aplicar RL a agentes que hacen varios pasos en el mundo real —llaman herramientas, navegan, escriben código— con recompensas por completar tareas largas. Lleva el credit assignment y el reward hacking a su forma más difícil, y es la frontera actual. Se desarrolla en Razonamiento en producción.

Material relacionado

• Qué es el refuerzo — agente, entorno, recompensa y el MDP, la idea de aprender por prueba y error.
• Valor, política y Bellman — funciones de valor, la ecuación de Bellman y de dónde sale todo lo demás.
• Policy gradients — optimizar la política directamente, la varianza y el baseline.
• Actor-critic y PPO — la ventaja, el objetivo recortado y el algoritmo que mueve el RLHF.
• RLHF por dentro — modelo de recompensa, penalización KL y los tres pasos del alineamiento.
• DPO, GRPO y familia — alinear sin modelo de recompensa y el RL de razonamiento sin crítico.
• Test-time compute — gastar cómputo al pensar, best-of-N, PRM y la ley de escalado de inferencia.
• Entrenar un modelo de razonamiento — RLVR, DeepSeek-R1 y cómo emerge el razonamiento del RL.
• Recompensas y reward hacking — la ley de Goodhart y por qué optimizar la métrica no es cumplir la intención.
• RLHF y alineamiento — el mismo RLHF desde el lado de la arquitectura Transformer.
• DPO en la práctica — cómo se corre DPO de verdad con TRL, desde el curso de fine-tuning.
• Glosario de Evals — cómo se mide si un modelo alineado o que razona realmente funciona.