Métodos de gradiente de política

La diapositiva lo dice en tres frases: hemos construido el comportamiento del agente a partir de los valores de acción, y las políticas ni siquiera existen sin \(q\); pero desde el tema anterior estamos usando aproximaciones parametrizadas de \(q\) para resolver indirectamente lo que de verdad queremos, que es la política. De ahí la pregunta que abre el tema: ¿y si aprendemos directamente una política parametrizada?

\[ \pi(a\mid s,\theta) \;=\; \Pr\{A_t = a \mid S_t = s,\; \theta_t = \theta\} \]

Un método de gradiente de política aprende \(\theta\) subiendo por el gradiente de una medida escalar de rendimiento \(J(\theta)\). Fíjate en el signo: es ascenso, y se maximiza. Cuando además se apoya en una estimación aprendida de una función de valor, el método se llama actor-crítico. La baraja añade una coletilla que conviene guardar: algunos autores consideran actor-crítico una tercera familia de métodos, y no hay consenso.

\[ \theta_{t+1} \;=\; \theta_t + \alpha\,\widehat{\nabla J(\theta_t)} \]

\(\widehat{\nabla J(\theta_t)}\) es una estimación estocástica cuya esperanza aproxima el gradiente de \(J\). Esa glosa solo está en el material de Lucía (Tema6_PolicyGradient#slide-4), y es la que explica el sombrero.

La definición del libro es exacta y conviene tenerla literal: un método es de gradiente de política si aprende \(\theta\) por ascenso sobre \(J\); y es actor-crítico si además aprende una función de valor que se usa para hacer bootstrap. Ojo con esto último, porque es la línea que separa REINFORCE con línea base del actor-crítico y se desarrolla en el bloque B9.

El material de Lucía dibuja las tres familias como un diagrama de Venn con once algoritmos. Esta es la versión vigente de ese diagrama —la del .pptx de febrero de 2026—; si trabajas con el PDF exportado en noviembre de 2025 verás TRPO y PPO clasificados como policy based, y el profesor ya los movió a la intersección.

La política se puede parametrizar como se quiera mientras sea diferenciable respecto de \(\theta\), es decir, mientras \(\nabla\pi(a\mid s,\theta)\) exista y sea finito. Y en la práctica se exige algo más: que nunca llegue a ser determinista, porque la exploración ya no se añade por fuera —aquí no hay \(\varepsilon\)— sino que vive dentro de la propia política. Para espacios de acción discretos, la parametrización habitual son preferencias numéricas \(h(s,a,\theta)\in\mathbb R\) pasadas por una softmax.

\[ \pi(a\mid s,\theta) \;\doteq\; \frac{e^{\,h(s,a,\theta)}}{\sum_{a'} e^{\,h(s,a',\theta)}} \qquad\text{y, en el caso lineal,}\qquad h(s,a,\theta) = \theta^\top x(s,a) \]

\(h\) es lo que se aprende, y puede ir de una función lineal de las características a una red profunda. La softmax solo hace de convertidor: de preferencias a distribución. Y como en toda softmax, solo importan las diferencias entre preferencias, no su valor absoluto.

Y una observación del libro que este año viene bien tener escrita: hacer una softmax sobre los valores de acción no es lo mismo. Los valores de acción convergen a sus valores verdaderos, que difieren en una cantidad finita, y eso se traduce en probabilidades concretas distintas de 0 y de 1. Las preferencias no convergen a nada: se van hacia donde haga falta, y si la política óptima es determinista, las preferencias de las acciones óptimas se van infinitamente por encima de las demás.

La diapositiva enuncia cuatro ventajas, de corrido y sin ejemplo. Aquí van esas cuatro con lo que el libro dice de cada una, que no es lo mismo para todas, y una quinta que no está en ninguna de las dos barajas: «a veces el óptimo es estocástico», que es del libro (§13.1, p. 344). Va en segundo lugar, y no es un añadido menor — es justamente la única con evidencia numérica del capítulo, y la que sostiene el módulo 1.

→ módulo 1: mueve \(p\) en dos entornos donde ninguna política determinista termina, y mira dónde cae el óptimo.

Para tareas episódicas, el rendimiento es el valor verdadero del estado inicial bajo la política: el valor esperado de seguir \(\pi_\theta\) desde \(s_0\). El libro supone además que todos los episodios empiezan en el mismo \(s_0\) y que no hay descuento (\(\gamma=1\)) en el caso episódico; el \(\gamma^t\) que aparece en los pseudocódigos es para el caso general descontado, y se comenta en B7.

\[ J(\theta) \;\doteq\; v_{\pi_\theta}(s_0) \]

Y aquí está el obstáculo. El rendimiento depende de dos cosas: de qué acciones elige la política —que sabemos derivar, porque conocemos la parametrización— y de en qué estados las elige, es decir, de la distribución de estados que la política induce. Esa segunda parte es función del entorno, cuya dinámica no conocemos: no la podemos derivar. La frase que lo dice con todas las letras solo está en el material de Lucía.

La pregunta del tema queda planteada así: ¿cómo estimar el gradiente del rendimiento respecto de \(\theta\) si depende de un efecto de \(\theta\) sobre la distribución de estados que desconocemos? La respuesta es el bloque siguiente.

Este es el único resultado duro del tema, y ninguna de las dos barajas lo demuestra ni dice dónde está la demostración. La expresión es esta, con el \(\propto\) incluido:

\[ \nabla J(\theta) \;\propto\; \sum_{s} \mu(s) \sum_{a} q_\pi(s,a)\,\nabla\pi(a\mid s,\theta) \]

Lo que hay que ver es lo que no está: en el lado derecho no aparece \(\nabla\mu\). Ese es el logro del teorema, y la frase que lo dice —«este resultado NO implica derivar la distribución de estados»— está solo en el material de Lucía. En la baraja de clase se pinta en su lugar un recuadro rojo alrededor de \(\sum_s\mu(s)\sum_a q_\pi(s,a)\) y uno verde alrededor de \(\nabla\pi(a\mid s,\theta)\), y no se explican: el rojo es lo que se va a estimar muestreando, el verde es lo único que hay que derivar.

Dos cosas que las diapositivas no dicen y que hacen falta para entender la fórmula. La primera: qué es \(\mu(s)\). Es la distribución on-policy, la fracción del tiempo que se pasa en cada estado siguiendo \(\pi\). Se calcula contando visitas: si \(\eta(s)\) es el número esperado de pasos en \(s\) por episodio, entonces \(\mu(s) = \eta(s)/\sum_{s'}\eta(s')\). No es una distribución arbitraria ni una elección de diseño: la fija el entorno junto con la política.

\[ \mu(s) \;=\; \frac{\eta(s)}{\sum_{s'}\eta(s')}, \qquad \eta(s) \;=\; h(s) + \sum_{\bar s}\eta(\bar s)\sum_a \pi(a\mid \bar s,\theta)\,p(s\mid \bar s,a) \]

La segunda: por qué \(\propto\) y no \(=\). Porque falta una constante, y el libro dice cuál es: en el caso episódico, la longitud media del episodio; en el caso continuado, 1, y ahí la relación es una igualdad. Para el algoritmo da igual —«cualquier constante de proporcionalidad se puede absorber en el paso \(\alpha\), que por lo demás es arbitrario»—, pero no da igual si quieres comprobar el teorema con números, que es justo lo que hace el módulo 2.

→ módulo 2: los dos lados de la ecuación, con sus números, y la constante que los iguala.

El lado derecho del teorema es una suma sobre estados ponderada por la frecuencia con que aparecen bajo \(\pi\). Si se sigue \(\pi\), los estados aparecen justo en esas proporciones, así que la suma sobre estados es ya una esperanza y se puede sustituir por muestras.

\[ \nabla J(\theta) \;\propto\; \sum_s\mu(s)\sum_a q_\pi(s,a)\nabla\pi(a\mid s,\theta) \;=\; \mathbb E_\pi\!\left[\sum_a q_\pi(S_t,a)\,\nabla\pi(a\mid S_t,\theta)\right] \]

Si se para aquí y se sustituye \(q_\pi\) por un valor aprendido \(\hat q(S_t,a,w)\), sale un algoritmo con nombre propio, el método all-actions, que actualiza usando todas las acciones y no solo la tomada. El libro lo menciona y sigue de largo; en la baraja de clase no aparece, solo en la de Lucía.

\[ \theta_{t+1} \doteq \theta_t + \alpha\sum_a \hat q(S_t,a,w)\,\nabla\pi(a\mid S_t,\theta) \]

Para quedarnos solo con la acción tomada hace falta el truco de la diapositiva: multiplicar y dividir por \(\pi(a\mid S_t,\theta)\). Con eso la suma sobre acciones se convierte en una esperanza sobre la acción que la política toma, y el retorno \(G_t\) entra como muestra de \(q_\pi(S_t,A_t)\).

\[ \nabla J(\theta) = \mathbb E_\pi\!\left[\sum_a \pi(a\mid S_t,\theta)\,q_\pi(S_t,a)\frac{\nabla\pi(a\mid S_t,\theta)}{\pi(a\mid S_t,\theta)}\right] = \mathbb E_\pi\!\left[q_\pi(S_t,A_t)\frac{\nabla\pi(A_t\mid S_t,\theta)}{\pi(A_t\mid S_t,\theta)}\right] = \mathbb E_\pi\!\left[G_t\,\frac{\nabla\pi(A_t\mid S_t,\theta)}{\pi(A_t\mid S_t,\theta)}\right] \]

El segundo paso sustituye \(a\) por la muestra \(A_t\sim\pi\); el tercero usa que \(\mathbb E_\pi[G_t\mid S_t,A_t] = q_\pi(S_t,A_t)\).

\[ \theta_{t+1} \;\doteq\; \theta_t + \alpha\,G_t\,\frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)} \]

La baraja marca dos cosas en esta fórmula con un círculo rojo y una elipse verde, y no las explica en ningún texto: la explicación está en las notas del ponente. Son estas dos. El retorno \(G_t\): el incremento es proporcional al retorno, así que los parámetros se mueven más en las direcciones que favorecen acciones con retorno alto. El denominador \(\pi(A_t\mid S_t,\theta_t)\): dividir por la probabilidad de la acción tomada normaliza el incremento; si no se dividiera, las acciones que se eligen mucho llevarían ventaja —se actualizarían más veces en su dirección— y podrían acabar ganando aunque no den el retorno más alto. Es también lo que mitiga la pérdida de exploración.

Ese cociente tiene nombre. En la literatura lo verás como score function, que es como lo llaman las dos barajas; en Sutton & Barto se llama vector de elegibilidad (p. 349), y en el capítulo 13 no aparece la expresión «score function» ni una vez. Son el mismo objeto, y la identidad que los une —\(\nabla\ln x = \nabla x/x\)— no la escribe ninguna de las dos barajas:

\[ \nabla\ln\pi(A_t\mid S_t,\theta_t) \;=\; \frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)} \]

Para la softmax lineal, el vector de elegibilidad tiene una forma cerrada que hace falta para programar nada de esto, y que no está en ninguna diapositiva de ninguna de las dos colecciones. El libro la plantea como Ejercicio 13.3: es la característica de la acción tomada menos la característica media bajo la política.

\[ \nabla\ln\pi(a\mid s,\theta) \;=\; x(s,a) - \sum_{a'} \pi(a'\mid s,\theta)\,x(s,a') \]

REINFORCE: control por gradiente de política, Monte Carlo (episódico), para π_*

Entrada: una parametrización derivable de la política π(a|s,θ)
Parámetro: paso α > 0
Inicializar los parámetros de la política θ ∈ R^{d′} (p. ej. θ = 0)

Repetir para cada episodio:
    Generar un episodio S_0, A_0, R_1, …, S_{T−1}, A_{T−1}, R_T siguiendo π(·|·,θ)
    Repetir para cada paso del episodio t = 0, 1, …, T−1:
        G ← Σ_{k=t+1}^{T} γ^{k−t−1} R_k                                    (G_t)
        θ ← θ + α γ^t G ∇ln π(A_t|S_t,θ)

Tres cosas de este recuadro. El \(\gamma^t\) no está en la regla de actualización que se proyecta dos diapositivas antes, y nadie lo comenta: aparece porque el texto trabaja sin descuento (\(\gamma=1\)) y los recuadros dan la versión general descontada. Con \(\gamma=1\) —que es el caso del pasillo corto— vale 1 y desaparece; con \(\gamma<1\) omitirlo da un algoritmo distinto, no una simplificación. El bucle sobre \(t\) va después de generar el episodio entero: REINFORCE usa el retorno completo, así que todas sus actualizaciones se hacen en retrospectiva, cuando el episodio ha terminado. Y la inicialización dice «e.g., to 0», lo cual tiene consecuencias que se ven en el módulo 3.

→ módulo 3: el estimador es correcto y aun así aprende despacio. Aquí se ve cuánto y por qué.

Al teorema se le puede restar una línea base \(b(s)\) sin que deje de ser cierto:

\[ \nabla J(\theta) \;\propto\; \sum_s\mu(s)\sum_a\big(q_\pi(s,a) - b(s)\big)\nabla\pi(a\mid s,\theta) \]

La condición exacta —y es la que se pregunta en el examen— es que \(b\) no varíe con la acción. Puede ser cualquier función del estado, incluso una variable aleatoria, mientras no dependa de \(a\). La razón cabe en una línea, y no la escribe ninguna de las dos barajas: las probabilidades suman uno en cada estado, así que la suma de sus gradientes es el gradiente de una constante.

\[ \sum_a b(s)\,\nabla\pi(a\mid s,\theta) \;=\; b(s)\,\nabla\sum_a \pi(a\mid s,\theta) \;=\; b(s)\,\nabla 1 \;=\; \mathbf 0 \]

\[ \theta_{t+1} \;\doteq\; \theta_t + \alpha\big(G_t - b(S_t)\big)\frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)} \]

Como la línea base puede ser idénticamente cero, esta regla es una generalización estricta de REINFORCE. Y la consecuencia es la frase que hay que saber decir: la línea base deja igual el valor esperado de la actualización, pero puede tener un efecto enorme sobre su varianza.

Por qué tiene que variar con el estado: en algunos estados todas las acciones valen mucho y hace falta una referencia alta para distinguir las buenas de las menos buenas; en otros valen todas poco y la referencia adecuada es baja. En los bandidos del Tema 1 la línea base era un solo número, \(\bar R_t\), porque no había estados; aquí es una función del estado. La elección natural es una estimación del valor del estado, \(\hat v(S_t,w)\), aprendida por Monte Carlo —igual que la política.

REINFORCE con línea base (episódico), para estimar π_θ ≈ π_*

Entrada: una parametrización derivable de la política π(a|s,θ)
Entrada: una parametrización derivable del valor de estado v̂(s,w)
Parámetros: pasos α^θ > 0, α^w > 0
Inicializar los parámetros de la política θ ∈ R^{d′} y los pesos del valor w ∈ R^d (p. ej. a 0)

Repetir para cada episodio:
    Generar un episodio S_0, A_0, R_1, …, S_{T−1}, A_{T−1}, R_T siguiendo π(·|·,θ)
    Repetir para cada paso del episodio t = 0, 1, …, T−1:
        G ← Σ_{k=t+1}^{T} γ^{k−t−1} R_k                                    (G_t)
        δ ← G − v̂(S_t,w)
        w ← w + α^w δ ∇v̂(S_t,w)
        θ ← θ + α^θ γ^t δ ∇ln π(A_t|S_t,θ)

«Tenemos dos hiperparámetros», dice la diapositiva, y ahí lo deja. Son \(\alpha^\theta\) y \(\alpha^{w}\), y no son intercambiables. El libro avisa: elegir el paso del valor es relativamente fácil, hay reglas prácticas para el caso lineal; es mucho menos claro cómo elegir el de la política, cuyo mejor valor depende del rango de variación de las recompensas y de la parametrización. Y en la figura del libro se ve la consecuencia, aunque nadie la comente: el \(\alpha^\theta\) que va bien con línea base es \(2^{-9}\), dieciséis veces mayor que el mejor \(\alpha\) sin ella, \(2^{-13}\). El dato está a la vista en los rótulos de la figura que se proyecta.

→ módulo 4: la misma tanda con línea base, sin ella, y con una línea base que sí depende de la acción.

Aquí está la frase más importante del tema, y ninguna de las dos barajas la dice: REINFORCE con línea base aprende una política y una función de valor, y aun así no es un método actor-crítico. El criterio no es aprender un valor: es para qué se usa. En REINFORCE con línea base el valor se usa solo como referencia del estado que se está actualizando; no se usa para hacer bootstrap, es decir, para actualizar la estimación de un estado a partir de la estimación de los siguientes. Y esa distinción es útil porque solo a través del bootstrap se introducen sesgo y una dependencia asintótica de la calidad de la aproximación.

El actor-crítico a un paso hace exactamente eso: sustituye el retorno completo de REINFORCE por el retorno a un paso, y usa el valor aprendido a la vez como objetivo y como referencia. Las tres líneas de la deducción son las de la diapositiva:

\[ \begin{aligned} \theta_{t+1} &\doteq \theta_t + \alpha\Big(G_{t:t+1} - \hat v(S_t,w)\Big)\frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)}\\[2pt] &= \theta_t + \alpha\Big(R_{t+1} + \gamma\,\hat v(S_{t+1},w) - \hat v(S_t,w)\Big)\frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)}\\[2pt] &= \theta_t + \alpha\,\delta_t\,\frac{\nabla\pi(A_t\mid S_t,\theta_t)}{\pi(A_t\mid S_t,\theta_t)} \end{aligned} \]

Lo que se gana y lo que se paga, punto por punto. Se gana que es un algoritmo totalmente en línea e incremental: estados, acciones y recompensas se procesan según ocurren y no se vuelven a mirar, así que no hay que esperar al final del episodio y sirve también para tareas continuadas. Y se gana varianza: el objetivo a un paso es mucho menos ruidoso que un retorno completo. Se paga sesgo, porque el objetivo usa una estimación; y se paga una dependencia asintótica de la calidad del crítico, que REINFORCE con línea base no tiene: ese es insesgado y converge a un óptimo local, pero aprende despacio y es incómodo de implementar en línea.

El material de Lucía escribe además la función de ventaja y la relaciona con el error TD. La ventaja mide cuánto mejora o empeora el retorno esperado al ejecutar \(a\) en \(s\) respecto a seguir la política actual desde ese estado:

\[ A(s,a) \;\doteq\; q_\pi(s,a) - v_\pi(s), \qquad\text{y, con un crítico exacto,}\qquad \mathbb E_\pi\big[\delta_t \mid S_t = s,\,A_t = a\big] \;=\; A(s,a) \]

Actor-crítico a un paso (episódico), para estimar π_θ ≈ π_*

Entrada: una parametrización derivable de la política π(a|s,θ)
Entrada: una parametrización derivable del valor de estado v̂(s,w)
Parámetros: pasos α^θ > 0, α^w > 0
Inicializar los parámetros de la política θ ∈ R^{d′} y los pesos del valor w ∈ R^d (p. ej. a 0)

Repetir para cada episodio:
    Inicializar S (primer estado del episodio)
    I ← 1
    Repetir mientras S no sea terminal (para cada paso):
        A ~ π(·|S,θ)
        Tomar la acción A; observar S′, R
        δ ← R + γ v̂(S′,w) − v̂(S,w)          (si S′ es terminal, v̂(S′,w) ≐ 0)
        w ← w + α^w δ ∇v̂(S,w)
        θ ← θ + α^θ I δ ∇ln π(A|S,θ)
        I ← γI
        S ← S′

→ módulo 5: el mismo número, usado como línea base y usado como crítico. No hacen lo mismo.

La baraja cierra el desarrollo con cuatro avisos. Los dos primeros son de alcance. Se puede usar el retorno \(\lambda\) y implementarlo con trazas de elegibilidad: basta sustituir el retorno a un paso \(G_{t:t+1}\) por \(G_{t:t+n}\) o por \(G_t^\lambda\), y en la vista hacia atrás se usan dos trazas independientes, una para el actor y otra para el crítico, con sus dos \(\lambda\) y sus dos \(\alpha\). Es una frase en clase y aquí también: el mecanismo de las trazas está en la segunda página del tema 4. Y la idea es ya muy general: la mayoría de los métodos que se ven como estado del arte son extensiones o variaciones de esta.

Los dos últimos avisos son de otra naturaleza, y son la afirmación más fuerte del tema. Cuando se usa un método de gradiente de política, la política condiciona fuertemente la experiencia con la que se entrena al agente. Y entonces: se puede estar progresando bien y que un mal movimiento de la política haga que a partir de ahí solo se obtenga experiencia irrelevante, que destrozará la aproximación de la política con el tiempo.

Merece la pena ver por qué esto es distinto de un paso demasiado grande de toda la vida. En aprendizaje supervisado, un paso malo estropea los pesos y el siguiente lote —que no ha cambiado— tira de ellos hacia atrás. Aquí el lote siguiente lo genera la política que acabas de estropear: si la política se vuelve mala, los episodios que produce son peores y más largos, y con ellos se calcula la siguiente actualización. El bucle se realimenta, y ese es el punto.

→ módulo 6: sube \(\alpha^\theta\) hasta que el bucle se cierre, y luego ponle el freno.

La intuición de la diapositiva: los saltos bruscos en la política son los sospechosos habituales del colapso del entrenamiento. Y la idea clave: añadir un término de regularización, al estilo de la L2 en aprendizaje supervisado, pero que en vez de penalizar el tamaño de los pesos penalice cuánto se ha movido la política. Como medida de ese movimiento se usa la divergencia de Kullback-Leibler entre la política actual y su actualización, y bastaría con definir un objetivo que la tenga en cuenta.

\[ J(\theta) - \eta_{KL}\,D_{KL} \]

\(\eta_{KL}\) es el hiperparámetro que modula la regularización. Ese hiperparámetro solo aparece en la baraja de clase; el material de Lucía dice «definir una función objetivo que la tenga en cuenta» y no lo escribe. Y estas son las ideas que hay detrás de algoritmos como TRPO y PPO.

La diapositiva no define \(D_{KL}\) ni dice entre qué dos distribuciones se calcula. Para dos políticas sobre el mismo conjunto de acciones, y promediando sobre los estados con la distribución on-policy, es esto:

\[ D_{KL}(\pi_{\theta_{\text{ant}}} \,\|\, \pi_\theta) \;=\; \sum_s \mu(s) \sum_a \pi(a\mid s,\theta_{\text{ant}})\,\ln\frac{\pi(a\mid s,\theta_{\text{ant}})}{\pi(a\mid s,\theta)} \]

\[ \theta \leftarrow \theta_{\text{ant}} + \tau\,\Delta\theta, \qquad \tau = \max\{\tau\in(0,1] \;:\; D_{KL}(\pi_{\theta_{\text{ant}}}\|\pi_{\theta_{\text{ant}}+\tau\Delta\theta}) \le \delta \} \]

Lo que separa a TRPO de PPO no entra en el alcance de este curso: TRPO impone la restricción como tal, con una aproximación de segundo orden; PPO consigue un efecto parecido mucho más barato, recortando el cociente entre la política nueva y la antigua en el propio objetivo. En el examen se pide reconocer la idea —que hay estrategias que acotan la región en la que se puede mover la política, y que PPO es una de ellas—, no las formulaciones.

Primero, lo que dice la diapositiva y conviene no olvidar: discretizar las acciones continuas, aunque sea de forma gruesa, suele funcionar bien. Dicho eso, los métodos de gradiente de política admiten espacios de acción continuos de forma natural, y esta es la ventaja práctica que los métodos de valor no tienen: con un \(\max_a\) sobre un continuo no se puede trabajar. La idea es que en vez de aprender una probabilidad por acción se aprenden los estadísticos de una distribución continua. Con una normal, la política es su densidad:

\[ \pi(a\mid s,\theta) \;\doteq\; \frac{1}{\sigma(s,\theta)\sqrt{2\pi}}\,\exp\!\left(-\frac{\big(a - m(s,\theta)\big)^2}{2\,\sigma(s,\theta)^2}\right) \]

La diapositiva enseña la forma de la política y nada más. Lo que falta, y hace falta para usarla, es cómo se parametrizan los dos estadísticos. El vector se parte en dos, \(\theta = [\theta_m, \theta_\sigma]^\top\), con sus propios vectores de características:

\[ m(s,\theta) \doteq \theta_m^\top x_m(s), \qquad \sigma(s,\theta) \doteq \exp\!\big(\theta_\sigma^\top x_\sigma(s)\big) \]

Y la razón de la exponencial, que es la pregunta que siempre sale: la desviación típica tiene que ser positiva siempre, y una función lineal no lo garantiza; la exponencial de una función lineal, sí. La media, en cambio, puede aproximarse linealmente sin problema.

El vector de elegibilidad de esta política tiene dos partes, una por cada mitad de \(\theta\). El libro lo plantea como ejercicio (13.4) y sale de derivar el logaritmo de la densidad:

\[ \nabla\ln\pi(a\mid s,\theta_m) = \frac{1}{\sigma(s,\theta)^2}\big(a - m(s,\theta)\big)\,x_m(s), \qquad \nabla\ln\pi(a\mid s,\theta_\sigma) = \left(\frac{\big(a-m(s,\theta)\big)^2}{\sigma(s,\theta)^2} - 1\right)x_\sigma(s) \]

Cuatro cosas que rozan este tema y no entran, para que sepas que existen y no las busques aquí. El caso continuado: el libro dedica su §13.6 a tareas sin episodios, donde el rendimiento deja de ser el valor del estado inicial y pasa a ser la tasa de recompensa media \(r(\pi)\); el teorema del gradiente sigue siendo cierto, con constante de proporcionalidad 1, y ahí sí es una igualdad. Ninguna de las dos barajas lo toca. Gradiente de política off-policy: existe en la literatura y el libro solo lo cita en sus notas. Gradiente natural: igual. Y la demostración del teorema, que está en el recuadro de la p. 347 del libro y que aquí se comprueba con números en vez de reproducirse.

Y una última: la baraja de clase continúa, después de esto, con AlphaGo como ejemplo de gradiente de política combinado con planificación. Ese bloque será un contenido aparte y no está en esta página.

Qué hay que llevarse

• Que la política óptima puede ser estocástica, y por una razón concreta: cuando las características no distinguen los estados. Lo has visto en dos entornos donde ninguna política determinista termina, y con la pérdida medida: \(-11{,}66\) frente a \(-3\) en el pasillo, \(-4\) frente a \(-1\) en la cruz.
• Que el teorema del gradiente sirve porque en su lado derecho no está \(\nabla\mu\), no porque evite muestrear estados. Y que el \(\propto\) esconde un número: la longitud media del episodio, que has visto valer 12 y cerrar la igualdad.
• Que en la regla de REINFORCE el retorno decide cuánto y el vector de elegibilidad decide hacia dónde, y que se divide por \(\pi(A_t\mid S_t,\theta)\) para que las acciones frecuentes no ganen por ser frecuentes.
• Que el estimador de REINFORCE es correcto y aun así aprende despacio: has visto la misma tanda con 1, 10 y 100 ejecuciones y la dispersión que se esconde detrás de la curva media.
• Que una línea base no cambia la dirección esperada del gradiente mientras no dependa de la acción, y que si depende, sí la cambia: has visto la distribución desplazarse.
• Que el mismo número, usado como línea base, es inofensivo, y usado como crítico puede llevarse por delante la política: el sesgo solo entra por el bootstrap, y depende de la calidad del crítico.
• Que «un mal movimiento de la política destroza el entrenamiento» no es una metáfora: la política decide con qué experiencia se entrena, y has visto el bucle cerrarse y abrirse otra vez al poner un límite al salto.