Tema 2 · Sutton & Barto, capítulo 3
Procesos de Decisión de Markov
Las dos rejillas que se usan en clase, pero manipulables. Aquí se responden las preguntas que las diapositivas dejan planteadas: las cuatro probabilidades de la dinámica, cuántas ecuaciones salen de la cuadrícula, el diagrama de backup de los estados 3 y 4, y si puede haber más de una política óptima.
MÓDULO 1
La dinámica del MDP: \(p(s',r \mid s,a)\)
2_Tema2_wclp#slide-6 a #slide-8 · las cuatro probabilidades son del material de Lucía: Tema2_MDP#slide-8 · #slide-9
La diapositiva plantea cuatro probabilidades y las deja sin resolver: \(p(5,-1\mid 2,\text{abajo})\), \(p(5,-1\mid 2,\text{izq})\), \(p(5,0\mid 2,\text{abajo})\) y \(p(3,-1\mid 3,\text{dch})\).
Respóndelas tú primero y compruébalas abajo.Recompensa \(-1\) en toda transición; si el agente sale del tablero se queda donde estaba. Elige un estado en la rejilla y una acción: se resalta a dónde puede ir y con qué probabilidad.
Rejilla 3×3
Distribución \(p(s',r \mid s,a)\)
Las preguntas de la diapositiva
MÓDULO 2
Política \(\pi(a \mid s)\) y retorno \(G_t\)
2_Tema2_wclp#slide-9 · #slide-10 · material de Lucía: Tema2_MDP#slide-10 · #slide-11
La política reparte probabilidad entre las acciones de cada estado. El retorno es lo que de verdad quiere maximizar el agente: \(G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots\) Lanza episodios y mira cómo el descuento \(\gamma\) cambia el peso de lo que pasa lejos en el tiempo.
Rejilla y política — pulsa una celda para editarla
Trayectoria y descomposición del retorno
Pulsa «Lanzar episodio».
MÓDULO 3
Funciones de valor \(v_\pi\) y \(q_\pi\)
2_Tema2_wclp#slide-11 a #slide-14 · #slide-17 (el SISTEMA de ecuaciones) · material de Lucía: Tema2_MDP#slide-12 a #slide-15
«¿Cuántas ecuaciones salen de esta cuadrícula?»
Tema2_MDP#slide-15 — el sistema se resuelve aquí, y también barrido a barrido.La ecuación de Bellman \(v_\pi(s)=\sum_a \pi(a\mid s)\sum_{s',r} p(s',r\mid s,a)\,[\,r+\gamma v_\pi(s')\,]\) es un sistema lineal: una ecuación por estado. Se puede resolver de golpe (\(\mathbf{X}=\mathbf{A}^{-1}\mathbf{B}\)) o iterando, que es lo que hará la programación dinámica del Tema 3. La política es la que hayas dejado en el módulo 2.
vπ(s)
MÓDULO 4
Diagramas de backup
2_Tema2_wclp#slide-15 (enunciado del entorno) · #slide-16 (ejercicio: estado 3) · el estado 4 lo pide el material de Lucía: Tema2_MDP#slide-18 · Problemas.pdf, problema 3
«Ejercicio: representa el diagrama de backup para el estado 3»
2_Tema2_wclp#slide-16 — la diapositiva resuelve el estado 1 y deja el 3 abierto. En el material de Lucía (Tema2_MDP#slide-18) el ejercicio pide el 3 y el 4: son justo los dos estados con viento, y aquí puedes generar los dos.El diagrama de backup dibuja de dónde sale el valor de un estado: la raíz es \(s\), los puntos negros son las acciones y los círculos de abajo los sucesores \(s'\), con su probabilidad y su recompensa. Pulsa cualquier estado de la rejilla para generar el suyo.
Navegación 4×4
Diagrama de backup
MÓDULO 5
Optimalidad: \(v_*\), \(q_*\) y \(\pi_*\)
2_Tema2_wclp#slide-18 · #slide-19 · material de Lucía: Tema2_MDP#slide-19 a #slide-21
«Siempre hay al menos una política mejor o igual al resto. ¿Puede haber varias políticas óptimas?»
Tema2_MDP#slide-19 — las celdas con más de una flecha son la respuesta.La ecuación de optimalidad de Bellman sustituye la media sobre \(\pi\) por un máximo: \(v_*(s)=\max_a \sum_{s',r} p(s',r\mid s,a)\,[\,r+\gamma v_*(s')\,]\). Compara lo que vale moverse al azar con lo que vale actuar de forma óptima, y fíjate en dónde la política óptima no es única.
vπ(s)