Introducción y k-armed bandits

El ejemplo del jamón de clase, con sus valores reales: \(q_*(\text{5J}) = 9{,}5\), \(q_*(\text{Jlt}) = 9{,}2\), \(q_*(\text{Cv}) = 8{,}9\). El agente no los conoce: solo tiene estimaciones \(Q_t(a)\) que construye probando. Tira unas cuantas veces y mira qué haría una política greedy, \(A_t \doteq \arg\max_a Q_t(a)\), con la información que lleva.

El entorno estándar del tema: \(q_*(a) \sim \mathcal{N}(0,1)\) y, al tirar del brazo \(a\), \(R_t \sim \mathcal{N}(q_*(a), 1)\). En la diapositiva esta figura es una imagen fija; aquí cada semilla es un problema distinto. Genera unos cuantos y fíjate en lo que cambia: a veces el mejor brazo destaca mucho y a veces hay dos casi empatados. Esa diferencia es justo la que hace que un mismo ε funcione bien o mal.

Todas las estrategias se enfrentan a los mismos problemas, así que la comparación es justa. Dos controles hacen el trabajo:

• El horizonte. La figura del libro se corta a los 1000 pasos. Llévalo a 10 000 y observa cómo ε = 0.01 alcanza y adelanta a ε = 0.1: explora menos, pero cuando por fin encuentra el mejor brazo lo explota casi siempre.
• El entorno cambiante. Activa la deriva y los \(q_*(a)\) empiezan a moverse. El promedio muestral \(1/n\) se queda ciego —da el mismo peso a lo de hace 5000 pasos que a lo de ahora— mientras que el paso constante α sigue al óptimo. Ahí se ve por qué \(\sum \alpha_n^2 < \infty\) no se cumple con α constante, y por qué eso es una ventaja y no un defecto.

Una de las estrategias de la lista no se parece a las demás. El gradient bandit no estima ningún \(q_*(a)\): aprende un vector de preferencias \(H_t(a)\), lo convierte en una política con una softmax y lo mueve comparando la recompensa contra una línea base. Eso ya es un método de gradiente de política — el del Tema 5 (cont.), con un solo estado y sin episodios. Si alguna vez te preguntan en clase «¿dónde hemos visto esto antes?», la respuesta es esta casilla.

Estrategias en juego

La última figura del tema resume todo lo anterior: para cada estrategia, la recompensa media en los primeros 2000 pasos en función de su parámetro. Todas las curvas tienen forma de campana invertida — hay un punto dulce, y pasarse de exploración es tan malo como quedarse corto. Como es un cálculo largo, corre en segundo plano.

El horizonte no es un detalle: es parte del resultado. La figura 2.6 del libro promedia sobre los primeros 1000 pasos. Con esa ventana, la curva de \(Q_0\) cae con fuerza en cuanto se pasa del óptimo — y esa caída también está en el libro: su curva optimista baja de ≈1,44 en \(Q_0 = 1\) a ≈1,31 en \(Q_0 = 4\). Aquí, con el horizonte puesto en 1000, sale una caída del mismo tamaño.

Lo que no es esa caída es una propiedad del método. Un \(Q_0\) grande induce más exploración inicial, y con una ventana corta esa exploración se paga dentro del intervalo que estás promediando. Al alargar el horizonte el coste se amortiza: la caída del pico a \(Q_0 = 4\) pasa de 0,33 con 400 pasos a 0,14 con 1000, 0,06 con 2000 y 0,03 con 4000. Mueve el deslizador y compruébalo. Este módulo arranca en 2000 —el doble que el libro— justo para que el efecto de horizonte no se confunda con una debilidad de la inicialización optimista. Ponlo en 1000 si quieres reproducir la figura del libro tal cual.

Un bandit es «RL sin estados»: cada decisión es independiente de las anteriores. Añade piezas al entorno y verás en qué se convierte el problema — y por qué el Tema 2 necesita toda la maquinaria de los MDP.