Grado en Ingeniería Matemática e Inteligencia Artificial · ICAI
Aprendizaje por Refuerzo
Material de apoyo para trastear con los conceptos del curso. No sustituye a las diapositivas: las continúa donde una imagen fija no llega. Cada módulo arranca de una pregunta que se plantea en clase y te deja responderla moviendo cosas.
Tema 1 · Sutton cap. 1-2
Introducción y k-armed bandits
Estimar \(q_*(a)\) probando, y el dilema entre explorar y explotar.
- El problema del bandit, tirada a tirada
- El banco de pruebas de 10 brazos, regenerable
- ε-greedy, optimista, UCB y gradient bandit comparados
- Entorno no estacionario: cuándo falla el promedio muestral
- Estudio de parámetros
Tema 2 · Sutton cap. 3
Procesos de Decisión de Markov
La dinámica, el retorno, las funciones de valor y la optimalidad de Bellman.
- La rejilla 3×3 y sus probabilidades de transición
- Editor de política y descomposición del retorno
- Bellman resuelto de golpe o barrido a barrido
- Diagramas de backup generados al pulsar un estado
- Cuántas políticas óptimas hay y por qué
Tema 3 · Sutton cap. 4
Programación dinámica
Evaluar, mejorar y repetir: un solo tablero, la rejilla 4×4 del Example 4.1.
- Qué cuesta en barridos cada umbral \(\theta\)
- El teorema de mejora, sobre los 56 cambios posibles
- La última línea de la iteración de política, que puede no parar
- La política óptima está lista 170 barridos antes que los valores
- Iteración de valor y las tres trayectorias de la GPI
Tema 4 · Sutton caps. 5 y 6
RL sin modelo
Cuando no hay modelo, el valor se estima desde la experiencia — y deja de bastar con \(v_\pi\).
- Por qué sin modelo hay que ir a \(q_\pi(s,a)\), demostrado con dos entornos
- Monte Carlo frente a TD(0) en el paseo aleatorio
- SARSA, Q-learning y Expected SARSA en el borde del acantilado
- Por qué el \(\max\) engaña, y qué arregla el aprendizaje doble
Tema 4 (cont.) · Sutton cap. 7 y §12.1-12.2
Fórmulas intermedias
Entre Monte Carlo y TD a un paso no hay un salto: hay un continuo.
- El retorno a \(n\) pasos, y si existe un \(n\) óptimo
- SARSA a \(n\) pasos
- El retorno \(\lambda\): promediar todos los \(n\) a la vez
- Trazas de elegibilidad: ¿el timbre o la luz?
Tema 5 · Sutton cap. 9, 10 y §11.2-11.3
Aproximación de la función de valor
Cuando la tabla no cabe, se sustituye por una función con pocos pesos. Y entonces acertar en un estado empieza a costar error en otro.
- El objetivo ponderado \(\overline{VE}\) y la distribución \(\mu\)
- Qué es \(x(s)\): de one-hot a tile coding
- MC y TD(0) lineales: a dónde converge cada uno
- Cuándo divergen los pesos, y las tablas de convergencia
- Control: SARSA semi-gradiente en Mountain Car
Tema 5 (cont.) · Sutton cap. 13
Métodos de gradiente de política
Hasta aquí la política salía de los valores. A partir de ahora la política es lo que se aprende: tiene sus propios parámetros, su propio gradiente y su propia regla.
- Un pasillo donde ninguna política determinista sirve
- El teorema del gradiente, término a término
- REINFORCE: por qué es correcto y por qué es lento
- La línea base y el crítico: el mismo número, dos papeles
- El colapso de la política, y qué lo frena
Cómo usarlo
Si estudias por tu cuenta
Ve en orden. Cada módulo empieza con una pregunta, sigue con algo que puedes manipular y cierra con dos o tres preguntas de autocomprobación con explicación. Las preguntas están en la línea de las del examen.
Intenta responder antes de tocar los controles. El valor de estas páginas no está en ver la respuesta, sino en comprobar si la tuya coincide.
Si lo proyectas en clase
El botón «Modo clase» de la cabecera amplía tipografía y controles y esconde el texto explicativo y los cuestionarios, para que en pantalla quede solo la visualización.
El conmutador de al lado cambia entre tema claro y oscuro. Las dos preferencias se recuerdan en este navegador.