En el módulo 1 montamos el marco: un agente (el que decide) observa un estado (la situación en la que está), toma una acción, y el entorno le devuelve una recompensa (un número que dice qué tan bien le fue) y un estado nuevo. Definimos el objetivo — maximizar la recompensa acumulada a largo plazo, no la del próximo paso — y vimos por qué eso es distinto del aprendizaje supervisado. Pero dejamos abierta la pregunta operativa: en un instante dado, con varias acciones posibles delante, ¿cómo decide el agente cuál tomar? No le sirve la recompensa inmediata, porque la buena jugada de ahora puede ser la que menos paga hoy. Necesita algo más: una estimación de cuánto vale cada opción contando todo lo que viene después. Ese “cuánto vale” es el corazón de este módulo.

La tesis del módulo

Todo el aprendizaje por refuerzo se reduce a estimar cuánto vale estar en un estado o tomar una acción. La ecuación de Bellman es el truco que convierte esa pregunta imposible — sumar todo el futuro — en una relación recursiva calculable: el valor de ahora es la recompensa de ahora más el valor de lo que sigue.

El retorno: por qué no basta la recompensa de un paso

Antes de hablar de valor hay que fijar qué se está sumando. El retorno (return, la recompensa total acumulada desde un momento en adelante) es lo que el agente de verdad quiere maximizar. Si en el paso t recibe la recompensa r, y luego r’, r”, y así, el retorno desde t es la suma de todas esas recompensas futuras.

El problema es doble. Primero, esa suma puede no terminar nunca (una tarea que no se acaba suma infinitos términos). Segundo, aunque terminara, tratar una recompensa dentro de mil pasos igual que la del próximo paso rara vez tiene sentido: hay incertidumbre de por medio, y lo que está más lejos es menos seguro. La solución a ambos problemas es la misma y llega más abajo: el factor de descuento. Por ahora quédate con la idea: el valor de un estado es el retorno esperado que arranca en él.

Función de valor de estado: V(s)

La función de valor de estado V(s) (state-value function) responde una pregunta simple de enunciar: estando en el estado s y jugando de aquí en adelante como suelo jugar, ¿cuánto retorno espero acumular? Es un número por estado. Un estado con V alto es un buen lugar donde estar: desde ahí, siguiendo tu forma de jugar, te va bien. Un estado con V bajo es un mal lugar: por más que juegues bien desde ahí, el futuro pinta pobre.

Dos matices que confunden al principio:

V(s) no es la recompensa del estado s. Es todo lo que viene después de s, no lo que s paga al entrar. Un estado puede pagar cero al llegar y tener V altísimo porque conduce a una recompensa grande dos pasos más allá.
V(s) depende de cómo juegas. No es una propiedad del estado a secas: es una propiedad del estado bajo tu forma de decidir. Cambia tu manera de jugar y cambian todos los valores. Esa “forma de decidir” tiene nombre y es la protagonista de la próxima sección.

Política: la forma de decidir del agente

La política (policy, se escribe π) es la regla que el agente usa para elegir acción en cada estado. Puede ser determinista (en este estado siempre hago esta acción) o estocástica (en este estado hago esta acción con tal probabilidad y esta otra con tal otra). La política es, literalmente, “quién es” el agente: dos agentes en el mismo entorno con políticas distintas se comportan distinto y obtienen valores distintos.

Aquí aparece el vínculo que hace girar toda la teoría: valor y política se definen el uno al otro. El valor V(s) se calcula asumiendo una política — es el retorno esperado si juegas según π. Y una política mejor se construye mirando los valores — prefiero las acciones que me llevan a estados de mayor valor. Ese ida y vuelta (evalúo mi política calculando valores, mejoro mi política usando esos valores, repito) es el motor de casi todos los algoritmos de RL, y lo veremos explícito en la iteración de política.

Función de valor de acción: Q(s,a)

V(s) te dice cuánto vale un estado, pero no cuál acción tomar en él. Para decidir hace falta un valor por acción. Esa es la función de valor de acción Q(s,a) (action-value function, también llamada función Q): estando en el estado s, si tomo la acción a y de ahí en adelante juego según mi política, ¿cuánto retorno espero?

La diferencia con V es exactamente la que necesitas para actuar:

	Pregunta que responde	Índice	Uso directo
V(s)	¿Cuánto vale estar aquí?	Por estado	Diagnóstico: dónde estoy parado
Q(s,a)	¿Cuánto vale hacer esto aquí?	Por (estado, acción)	Decisión: qué hago ahora

Q es más caro de guardar (hay una entrada por cada par estado-acción, no una por estado), pero es lo que permite decidir sin simular el futuro: para elegir, el agente mira los Q de las acciones disponibles y toma la de mayor Q. Por eso la mayoría de los algoritmos de RL que aprenden a actuar directamente — incluido el Q-learning del próximo módulo — aprenden Q, no V.

Relación entre ambas: V(s) bajo una política es el promedio de los Q(s,a) de ese estado, ponderado por la probabilidad con que la política elige cada acción. Si la política siempre elige la mejor acción, V(s) es simplemente el máximo de los Q(s,a).

La política óptima

De todas las políticas posibles, la política óptima (se escribe π*) es la que consigue el mayor valor posible en todos los estados a la vez. Su función de valor de acción se llama Q* (Q óptima), y tiene una propiedad que lo simplifica todo:

Si conoces Q*(s,a), la política óptima es trivial: en cada estado, elige la acción de mayor Q*. No hace falta planificar ni simular; el máximo local sobre las acciones ya es óptimo global.

Esto es enorme y conviene detenerse. Encontrar la mejor forma de jugar suena a un problema de horizonte infinito — habría que evaluar todas las secuencias de acciones futuras. La función Q* comprime todo ese futuro en un número por acción. Con Q* en la mano, “jugar óptimo” se reduce a elegir el máximo en cada paso. Esa acción de tomar siempre el mayor Q se llama política greedy (codiciosa, la que se queda con lo mejor según lo que sabe ahora). Todo el trabajo, entonces, se traslada a estimar bien Q*. ¿Y cómo se estima? Ahí entra Bellman.

El factor de descuento γ

Vuelve a la suma del retorno, la que amenazaba con no terminar nunca. El factor de descuento γ (discount factor, la letra griega gamma, un número entre 0 y 1) resuelve el problema y de paso codifica cuánto le importa el futuro al agente. La idea: cada paso que te alejas, la recompensa vale un poco menos. La del próximo paso cuenta completa; la del siguiente cuenta multiplicada por γ; la de dos más allá por γ×γ; y así, cada vez menos. Como γ es menor que 1, esa multiplicación repetida encoge los términos lejanos hasta que la suma converge a un número finito aunque el futuro sea infinito.

Pero γ no es solo un truco matemático: es una perilla de personalidad del agente. Sus extremos lo dejan claro:

γ	Cómo se comporta el agente	Cuándo sirve
γ = 0	Miope: solo le importa la recompensa del próximo paso, ignora todo lo demás	Casi nunca; tareas de un solo paso
γ ≈ 0.9	Equilibrado: pesa el futuro cercano fuerte, el lejano se desvanece	El rango habitual en la práctica
γ → 1	Previsor: cuenta el futuro lejano casi tanto como el presente	Tareas largas donde importa el desenlace final

Ojo: γ no es un detalle que se ajusta al final. Cambia qué problema estás resolviendo. Con γ bajo, la política óptima puede ser tomar la recompensa chica de ya; con γ alto, la óptima puede ser sacrificar esa recompensa chica para llegar a la grande de después. Dos valores de γ pueden dar dos políticas óptimas completamente distintas sobre el mismo entorno. No es un hiperparámetro cosmético: es parte de la definición de la tarea.

La ecuación de Bellman: el futuro sin sumar el futuro

Aquí está el nudo del módulo. El valor de un estado se definió como “el retorno esperado”, que es una suma sobre todo el futuro. Calcular esa suma directamente es imposible: el futuro no se acaba. La ecuación de Bellman (por Richard Bellman, que la formuló en los años 50) hace un truco de recursión que lo cambia todo.

En palabras, antes que en símbolos: el valor de un estado es la recompensa que recibes al dar el próximo paso, más el valor (descontado) del estado al que llegas. No sumas todo el futuro. Sumas un paso, y luego apoyas el resto sobre el valor del estado siguiente — que ya incluye, por la misma definición, todo su futuro. La suma infinita se muerde la cola: cada valor se define en función de otro valor, un paso más adelante.

En símbolos, para una política dada:

# V(s) = valor esperado de:  r + γ · V(s')
#         donde r  = recompensa al dar el paso
#               s' = estado al que llegas
#               γ  = factor de descuento
V[s] = esperanza(  r + gamma * V[s_siguiente]  )

La esperanza (el promedio ponderado por probabilidades) aparece porque el entorno puede ser azaroso: la misma acción puede llevarte a estados distintos con distintas probabilidades. Si el entorno es determinista, la esperanza desaparece y queda una suma limpia. La versión para Q es idéntica en espíritu — el valor de una acción es la recompensa más el valor descontado de lo mejor que puedas hacer en el estado siguiente — y es la que usará el Q-learning del módulo 3.

Lo importante no es memorizar la fórmula, sino ver por qué es un truco: convierte una definición que mira infinitos pasos en una relación entre dos valores vecinos. Y una relación entre vecinos sí se puede resolver a mano, propagándola hacia atrás. Eso es lo que muestra el ejemplo.

Un ejemplo numérico: el valor se propaga hacia atrás

Un pasillo de cuatro casillas. El agente empieza en la casilla A y quiere llegar a la meta D, que paga +10 al entrar. Los pasos intermedios pagan 0. En cada casilla la única jugada útil es avanzar a la derecha, el entorno es determinista, y usamos γ = 0.9.

Bellman se resuelve desde el final hacia atrás, porque el único valor que conocemos de entrada es el de la meta. La meta D no tiene futuro: V(D) = 0. Desde C, das un paso, cobras +10 al entrar a D, y aterrizas en D (valor 0): V(C) = 10 + 0.9×0 = 10. Desde B, cobras 0 al pasar a C y heredas el valor de C descontado: V(B) = 0 + 0.9×10 = 9. Desde A, igual: V(A) = 0 + 0.9×9 = 8.1.


  PROPAGACIÓN DEL VALOR HACIA ATRÁS (γ = 0.9)

   ┌─────┐    ┌─────┐    ┌─────┐    ┌─────┐
   │  A  │──► │  B  │──► │  C  │──► │  D  │
   │ 8.1 │    │ 9.0 │    │ 10  │    │META │
   └─────┘    └─────┘    └─────┘    └──┬──┘
                                       │ +10 al entrar
        el valor fluye  ◄──────────────┘
        desde la meta hacia atrás

   V(D) = 0            (la meta no tiene futuro)
   V(C) = 10 + 0.9·0  = 10.0
   V(B) =  0 + 0.9·10 =  9.0
   V(A) =  0 + 0.9·9  =  8.1

Fíjate en lo que acaba de pasar. La recompensa vive solo en la meta, pero después de aplicar Bellman todas las casillas tienen valor. La casilla A “sabe” que vale 8.1 aunque nunca haya cobrado nada, porque el valor de la meta se filtró hacia atrás, casilla por casilla, encogiéndose por γ en cada salto. Ese descuento es lo que hace que A valga menos que D: está más lejos del premio. Esa propagación hacia atrás de un premio distante es la intuición central de todo el RL. Cuando un agente aprende que una jugada temprana era buena, es esto: el valor de una recompensa lejana encontró su camino de vuelta.

Cómo se resuelve un MDP conocido: programación dinámica

Cuando conoces el entorno completo — sabes qué recompensa da cada paso y a qué estado te lleva cada acción, con qué probabilidad — tienes lo que se llama un MDP (Markov Decision Process, proceso de decisión de Markov; el modelo formal del módulo 1) totalmente especificado. Con esa información, resolver el problema es aplicar Bellman de forma sistemática. Dos algoritmos clásicos, ambos de la familia de la programación dinámica (dynamic programming, resolver un problema grande combinando soluciones de subproblemas):

Iteración de valor (value iteration): parte con valores cualquiera (cero, por ejemplo) y aplica Bellman una y otra vez a todos los estados. Cada pasada empuja los valores un poco más cerca de los verdaderos. Se repite hasta que dejan de cambiar. Al final, se lee la política óptima eligiendo en cada estado la acción de mayor Q.
Iteración de política (policy iteration): alterna dos fases. Primero evalúa la política actual (calcula sus valores con Bellman); luego la mejora (en cada estado, cambia a la acción que los valores recién calculados señalan como mejor). Repite evaluar-mejorar hasta que la política deja de cambiar. Es el ida y vuelta valor↔política, ahora hecho algoritmo.

Ambos convergen a la política óptima. La diferencia es de ritmo: iteración de valor da pasos chicos y muchos; iteración de política da pasos grandes y pocos.

Cuidado: esto solo funciona si conoces el entorno de antemano. La programación dinámica necesita el “mapa completo”: la tabla de qué acción lleva a qué estado con qué probabilidad y qué recompensa. En casi ningún problema real tienes ese mapa. No sabes de antemano qué pasa si el robot gira a la izquierda, ni qué recompensa dará una jugada de ajedrez tres movidas después. Cuando el mapa falta, no puedes calcular la esperanza de Bellman: tienes que muestrearla, probando de verdad y aprendiendo de lo que ocurre. Ese salto — de calcular a muestrear — es exactamente el tema del módulo 3.

Explorar vs explotar: el dilema que no desaparece

Supón que el agente aún no conoce los valores verdaderos: los está estimando sobre la marcha. En cada paso enfrenta una tensión que no tiene solución perfecta. Explotar (exploit) es usar lo que ya sabe: tomar la acción de mayor Q estimado, la que hoy parece mejor. Explorar (explore) es probar una acción que parece peor, por si sus estimaciones están equivocadas y esconde algo mejor.

El drama es que las dos son necesarias y compiten por el mismo paso. Si el agente solo explota, se queda pegado en la primera opción decente que encontró: como nunca prueba las demás, jamás descubre que había una mejor, y sus estimaciones de las acciones no probadas se quedan congeladas en la ignorancia. Si el agente solo explora, prueba todo al azar para siempre y nunca cobra el beneficio de lo que aprendió. La buena política de aprendizaje explora mucho al principio — cuando no sabe nada — y explota cada vez más a medida que sus estimaciones se vuelven confiables.

Las estrategias más usadas para dosificar esa mezcla:

Estrategia	Cómo funciona	Fuerte en	Débil en
Greedy pura	Siempre la de mayor Q estimado	Simplicidad	Se queda pegada; nunca corrige un error temprano
ε-greedy	Con probabilidad ε una acción al azar; si no, la greedy	Fácil, robusta, el estándar de facto	ε fijo explora aun cuando ya no hace falta
ε decreciente	ε alto al inicio, baja con el tiempo	Explora joven, explota maduro	Hay que elegir el ritmo de bajada
Optimismo inicial	Arranca todos los Q en un valor alto e irreal	Explora sola, sin azar	Solo sirve al principio; se agota

La ε-greedy (épsilon-greedy, la letra épsilon es la probabilidad de desviarse al azar) es el caballo de batalla: con probabilidad ε — típicamente algo chico, como 0.1 — el agente tira una acción al azar para seguir descubriendo; el resto del tiempo explota la mejor que conoce. El optimismo inicial logra explorar sin ningún azar con una idea astuta: si arrancas creyendo que todas las acciones son maravillosas (Q inicial alto), el agente querrá probarlas todas, y cada una lo decepcionará hasta su valor real; esa decepción sistemática es, en la práctica, exploración disfrazada de codicia.


  SIN EXPLORACIÓN, EL AGENTE SE QUEDA PEGADO

   START
     │  prueba acción X primero
     ▼
   ┌─────────────┐               ┌──────────────┐
   │  acción  X  │ ───────────►  │ se queda con │
   │  paga 5     │  greedy pura  │  X para      │
   └─────────────┘   Q(X) = 5    │  siempre     │
                                 └──────────────┘
   ┌─────────────┐
   │  acción  Y  │  Q(Y) = ??  nunca la prueba,
   │  paga 9     │  sigue en 0 nunca se entera
   └─────────────┘

   con ε-greedy: cada tanto prueba Y, descubre el 9,
   y a partir de ahí explota Y en vez de X

Ese diagrama es el argumento entero a favor de explorar: la acción Y era mejor todo el tiempo, pero un agente que solo explota nunca la toca y jamás lo sabe. La exploración es el precio que se paga para no quedar preso de una primera impresión.

Errores comunes

Confundir V(s) con la recompensa de s. V es todo el futuro esperado desde s, no lo que s paga al entrar. Un estado que paga cero puede tener V altísimo si conduce al premio.
Creer que el valor es propiedad del estado. El valor depende de la política: cambia cómo juegas y cambian todos los valores. No existe “el valor de este estado” a secas, existe “bajo esta forma de jugar”.
Tratar γ como un ajuste menor. γ redefine qué problema resuelves. Un γ bajo y uno alto pueden dar políticas óptimas opuestas sobre el mismo entorno.
Querer sumar el futuro a la fuerza. El futuro no se suma: se apoya sobre el valor del estado siguiente. Quien no ve la recursión de Bellman intenta el cálculo imposible.
Usar programación dinámica sin tener el modelo. Iteración de valor y de política necesitan conocer transiciones y recompensas de antemano. Sin el mapa del entorno, hay que muestrear, no calcular.
Olvidar explorar. Un agente puramente greedy se queda con la primera opción decente y nunca descubre la mejor. Sin algo de exploración, el aprendizaje se congela en la ignorancia.
Dejar ε fijo para siempre. Explorar tanto al final como al principio desperdicia recompensa: conviene explorar joven y explotar maduro.

La frase para llevarse

“El valor no es lo que un estado te paga: es lo que el futuro te promete desde él. Bellman es el truco que hace esa promesa calculable — el valor de ahora es la recompensa de ahora más el valor, descontado, de lo que sigue.”

Qué viene

Módulo 3: de Q-learning a deep RL. Toda la teoría de este módulo asumía que conocías el entorno para poder aplicar Bellman de corrido. En el mundo real no lo conoces: no sabes qué recompensa dará una jugada ni a qué estado te llevará. El Q-learning resuelve eso muestreando — el agente actúa, observa lo que pasa, y ajusta sus estimaciones de Q usando la misma relación de Bellman, pero alimentada con experiencia real en vez de un modelo. Después veremos qué ocurre cuando los estados son demasiados para caber en una tabla (una pantalla de videojuego, un tablero de Go): ahí una red neuronal aprende a aproximar Q, y nace el deep RL, el que juega Atari y vence campeones.

Razonamiento y RL — Módulo 2: valor, política y la ecuación de Bellman