aprendizaje por refuerzo - coordinación de ciencias …emorales/cursos/nvoaprend/... ·...

IntroduccionModelos deComportamientoOptimo

Recompensa diferiday modelo Markoviano

Metodos deSolucion deMDPsProgramacionDinamica

Monte Carlo

DiferenciasTemporales oTemporal Difference

Lideando conEspaciosGrandesTrazas deElegibilidad oeligibility traces

Planeacion yAprendizaje

Generalizacion enAprendizaje porRefuerzo

Abstracciones yJerarquıas

IncorporarInformacionAdicional

Aplicaciones

Aprendizaje por Refuerzo

Eduardo Morales, Jesus Gonzalez

INAOE

Enero, 2012

(INAOE) Enero, 2012 1 / 75




Monte Carlo







Aplicaciones

Contenido

1 IntroduccionModelos de Comportamiento OptimoRecompensa diferida y modelo Markoviano

2 Metodos de Solucion de MDPsProgramacion DinamicaMonte CarloDiferencias Temporales o Temporal Difference

3 Lideando con Espacios GrandesTrazas de Elegibilidad o eligibility tracesPlaneacion y AprendizajeGeneralizacion en Aprendizaje por RefuerzoAbstracciones y JerarquıasIncorporar Informacion Adicional

4 Aplicaciones

(INAOE) Enero, 2012 2 / 75




Monte Carlo







Aplicaciones

Introduccion


• Uno de los enfoques mas usados dentro de aprendizajees el aprendizaje supervisado a partir de ejemplos(pares entradas – salida provistos por el medioambiente), para despues predecir la salida de nuevasentradas.

• Cualquier sistema de prediccion puede verse dentro deeste paradigma, sin embargo, ignora la estructurasecuencial del mismo.

• En algunos ambientes, muchas veces se puedeobtener solo cierta retroalimentacion o recompensa orefuerzo (e.g., gana, pierde).

(INAOE) Enero, 2012 3 / 75




Monte Carlo







Aplicaciones

Introduccion


• El refuerzo puede darse en un estado terminal y/o enestados intermedios.

• Los refuerzos pueden ser componentes o sugerenciasde la utilidad actual a maximizar (e.g., buena movida).

• En aprendizaje por refuerzo (RL) el objetivo esaprender como mapear situaciones a acciones paramaximizar una cierta senal de recompensa.

• Promesa: programar agentes mediante premio ycastigo sin necesidad de especificar como realizar latarea

(INAOE) Enero, 2012 4 / 75




Monte Carlo







Aplicaciones

Introduccion

Diferencias con Otro Tipo de Aprendizaje

1 No se le presentan pares entrada - salida.

2 El agente tiene que obtener experiencia util acerca delos estados, acciones, transiciones y recompensas demanera activa para poder actuar de manera optima.

3 La evaluacion del sistema ocurre en forma concurrentecon el aprendizaje.

(INAOE) Enero, 2012 5 / 75




Monte Carlo







Aplicaciones

Introduccion


• En RL un agente trata de aprender un comportamientomediante interacciones de prueba y error en unambiente dinamico e incierto

• En general, al sistema no se le dice que accion debetomar, sino que el debe de descubrir que acciones danel maximo beneficio

• En un RL estandar, un agente esta conectado a unambiente por medio de percepcion y accion

• En cada interaccion el agente recibe como entrada unaindicacion de su estado actual (s ∈ S) y selecciona unaaccion (a ∈ A). La accion cambia el estado y el agenterecibe una senal de refuerzo o recompensa (r ∈ R)

(INAOE) Enero, 2012 6 / 75




Monte Carlo







Aplicaciones

Introduccion


(INAOE) Enero, 2012 7 / 75




Monte Carlo







Aplicaciones

Introduccion


• El comportamiento del agente debe de ser tal queescoga acciones que tiendan a incrementar a largoplazo la suma de las recompensas totales

• El objetivo del agente es encontrar una polıtica (π), quemapea estados a acciones que maximice a largo plazoel refuerzo

• En general el ambiente es no-determinıstico (tomar lamisma accion en el mismo estado puede dar resultadosdiferentes)

• Sin embargo, se asume que el ambiente esestacionario (las probabilidades de cambio de estadono cambian o cambian muy lentamente)

(INAOE) Enero, 2012 8 / 75




Monte Carlo







Aplicaciones

Introduccion

Ejemplo de Problema

(INAOE) Enero, 2012 9 / 75




Monte Carlo







Aplicaciones

Introduccion

Exploraci on y Explotaci on

• Aspectos importantes:1 se sigue un proceso de prueba y error2 la recompensa puede estar diferida

• Existe un balance entre exploracion y explotacion

• Para obtener buena ganancia uno prefiere seguirciertas acciones, pero para saber cuales, se tiene quehacer cierta exploracion

• Muchas veces depende de cuanto tiempo se esperaque el agente interactue con el medio ambiente

(INAOE) Enero, 2012 10 / 75




Monte Carlo







Aplicaciones

Introduccion

Procesos de Decisi on de Markov

• En RL se tiene que decidir en cada estado la accion arealizar

• Este proceso de decision secuenial se puedecaracterizar como un procesos de decision de Markov oMDP

• Un MDP modela un problema de decision sequencialen donde el sistema evoluciona en el tiempo y escontrolado por un agente

• La dinamica del sistema esta determinada por unafuncion de transicion de probabilidad que mapeaestados y acciones a otros estados

(INAOE) Enero, 2012 11 / 75




Monte Carlo







Aplicaciones

Introduccion

MDP

Formalmente, un MDP es una tupla M =< S,A,Φ,R >formada por:

• Un conjunto finito de estados S({1, ...,n}).

• Un conjunto finito de acciones A, que pueden dependerde cada estado

• Una funcion de recompensa (R), que define la meta ymapea cada estado–accion a un numero(recompensa), indicando lo deseable del estado

• Un modelo del ambiente o funcion de transicion deestados Φ : A× S → S que nos dice la probabilidad dealcanzar el estado s′ ∈ S al realizar la accion a ∈ A enel estado s ∈ S, que se puede denotar como Φ(s′|s,a).

(INAOE) Enero, 2012 12 / 75




Monte Carlo







Aplicaciones

Introduccion

Elementos Adicionales

• Polıtica (π): define como se comporta el sistema encierto tiempo. Es un mapeo (a veces estocastico) de losestados a las acciones.

• Funcion de valor (V ): indica lo que es bueno a largoplazo. Es la recompensa total que un agente puedeesperar acumular empezando en un estado s (V (s)) oen un estado haciendo una accion a (Q(s,a))

• Las recompensas estan dadas por el ambiente, perolos valores se deben de estimar (aprender) en base alas observaciones.

Aprendizaje por refuerzo aprende las funciones de valormientras interactua con el ambiente.

(INAOE) Enero, 2012 13 / 75




Monte Carlo







Aplicaciones

Introduccion Modelos de Comportamiento Optimo

Modelos de Recompensas

• Dado un estado st ∈ S y una accion at ∈ A(st), elagente recibe una recompensa rt+1 y se mueve a unnuevo estado st+1

• El mapeo de estados a probabilidades de seleccionaruna accion particular es su polıtica (πt ). Aprendizaje porrefuerzo especifica como cambiar la polıtica comoresultado de su experiencia

• No trata de maximizar la recompensa inmediata, sino larecompensa a largo plazo (acumulada)

(INAOE) Enero, 2012 14 / 75




Monte Carlo







Aplicaciones



• La recompensa debe de mostrar lo que queremosobtener y se calcula por el ambiente

• Si las recompensas recibidas despues de un tiempo tse denotan como: rt+1, rt+2, rt+3, . . ., lo que queremoses maximizar lo que esperamos recibir de recompensa(Rt )

• Si se tiene un punto terminal se llaman tareasepisodicas, si no se tiene se llaman tareas continuas.

(INAOE) Enero, 2012 15 / 75




Monte Carlo







Aplicaciones



• Cuando no sabemos el punto terminal podemos haceruna suma con un factor de descuento:

Rt = rt+1 + γrt+2 + γ2rt+3 + . . . =∞∑

k=0

γk rt+k+1

donde γ se conoce como la razon de descuento yesta entre: 0 ≤ γ < 1

• Si γ = 0 se trata solo de maximizar tomando en cuentalas recompensas inmediatas

(INAOE) Enero, 2012 16 / 75




Monte Carlo







Aplicaciones



• Horizonte finito : el agente trata de optimizar surecompensa esperada en los siguientes h pasos, sinpreocuparse de lo que ocurra despues:

E(h

∑

t=0

rt)

• Se puede usar como:• polıtica no estacionaria: en el primer paso se toman los

h siguientes pasos, en el siguiente los h − 1, etc., hastaterminar. El problema principal es que no siempre seconoce cuantos pasos considerar

• receding-horizon control: siempre se toman lossiguientes h pasos

(INAOE) Enero, 2012 17 / 75




Monte Carlo







Aplicaciones



• Horizonte infinito (la mas utilizada): las recompensasque recibe un agente son reducidas geometricamentede acuerdo a un factor de descuento γ (0 ≤ γ ≤ 1):

E(

∞∑

t=0

γt rt)

• Recompensa promedio : optimizar a largo plazo larecompensa promedio:

limh→∞E(1h

h∑

t=0

rt)

Problema: no distingue polıticas que reciban grandesrecompensas al principio de las que no.

(INAOE) Enero, 2012 18 / 75




Monte Carlo







Aplicaciones

Introduccion Recompensa diferida y modelo Markoviano

Modelo Markoviano

• En general, las acciones del agente determinan, nosolo la recompensa inmediata, sino tambien (por lomenos en forma probabilıstica) el siguiente estado delambiente

• Los problemas con refuerzo diferido se pueden modelarcomo procesos de decision de Markov (MDPs)

• El modelo es Markoviano si las transiciones de estadono dependen de estados anteriores

(INAOE) Enero, 2012 19 / 75




Monte Carlo







Aplicaciones


Modelos Markoviano

• RL asume que se cumple con la propiedad Markovianay las probabilidades de transicion estan dadas por:

Pass′ = Pr{st+1 = s′ | st = s,at = a}

El valor de recompensa esperado es:

Rass′ = E{rt+1 | st = s,at = a, st+1 = s′}

• Lo que se busca es estimar las funciones de valor. Estoes, que tan bueno es estar en un estado (o realizar unaaccion)

• La nocion de “que tan bueno” se define en terminos derecompensas futuras o recompensas esperadas

(INAOE) Enero, 2012 20 / 75




Monte Carlo







Aplicaciones


Funciones de Valor

• La polıtica π es un mapeo de cada estado s ∈ S yaccion a ∈ A(s) a la probabilidad π(s,a) de tomar laaccion a estando en estado s

• El valor de un estado s bajo la polıtica π, denotadocomo V π(s), es el refuerzo esperado estando enestado s y siguiendo la polıtica π:

V π(s) = Eπ{Rt | st = s} = Eπ

{

∞∑

k=o

γk rt+k+1 | st = s

}

• El valor esperado tomando una accion a en estado sbajo la polıtica π (Qπ(s,a)):

Qπ(s,a) = Eπ{Rt | st = s,at = a}= Eπ

{∑

∞

k=o γk rt+k+1 | st = s,at = a

}

(INAOE) Enero, 2012 21 / 75




Monte Carlo







Aplicaciones


Funciones de Valor Optimas

• Las funciones de valor optimas se definen como:

V ∗(s) = maxπV π(s) y Q∗(s,a) = maxπQπ(s,a)

• Las cuales se pueden expresar como las ecuacionesde optimalidad de Bellman:

V ∗(s) = maxa

∑

s′Pa

ss′ [Rass′ + γV ∗(s′)]

Q∗(s,a) =∑

s′Pa

ss′ [Rass′ + γV ∗(s′)]

Q∗(s,a) =∑

s′Pa

ss′ [Rass′ + γmaxa′Q∗(s′,a′)]

(INAOE) Enero, 2012 22 / 75




Monte Carlo







Aplicaciones

Metodos de Solucion de MDPs

Metodos de Soluci on

Existen tres formas principales de resolver MDPs:

1 usando metodos de programacion dinamica

2 usando metodos de Monte Carlo, y

3 usando metodos de diferencias temporales o deaprendizaje por refuerzo

(INAOE) Enero, 2012 23 / 75




Monte Carlo







Aplicaciones

Metodos de Solucion de MDPs Programacion Dinamica

Programaci on Din amica

• Si se conoce el modelo del ambiente, osea lastransiciones de probabilidad (Pa

ss′) y los valoresesperados de recompensas (Ra

ss′), las ecuaciones deoptimalidad de Bellman nos representan un sistema de|S| ecuaciones y |S| incognitas

• Consideremos primero como calcular la funcion devalor V π dada una polıtica arbitraria π.

(INAOE) Enero, 2012 24 / 75




Monte Carlo







Aplicaciones


Funciones de Valor para una Polıtica

V π(s) = Eπ{Rt | st = s}= Eπ

{

rt+1 + γrt+2 + γ2rt+3 + . . . | st = s}

= Eπ {rt+1 + γV π(st+1) | st = s}=

∑

a π(s,a)∑

s′ Pass′ [R

ass′ + γV π(s′)]

donde π(s,a) es la probabilidad de tomar la accion a enestado s bajo la polıtica π.

(INAOE) Enero, 2012 25 / 75




Monte Carlo







Aplicaciones



• Podemos hacer aproximaciones sucesivas, evaluandoVk+1(s) en terminos de Vk (s).

Vk+1(s) =∑

a

π(s,a)∑

s′Pa

ss′ [Rass′ + γVk (s

′)]

• Podemos entonces definir un algoritmo de evaluacioniterativa de polıticas

(INAOE) Enero, 2012 26 / 75




Monte Carlo







Aplicaciones



Inicializa V (s) = 0 para toda s ∈ SRepite

∆← 0Para cada s ∈ S

v ← V (s)V (s)←

∑

a π(s,a)∑

s′ Pass′ [R

ass′ + γV (s′)]

∆← max(∆, |v − V (s)|)Hasta que ∆ < θ (numero positivo pequeno)Regresa V ≈ V π

(INAOE) Enero, 2012 27 / 75




Monte Carlo







Aplicaciones


Iteraci on de Polıticas

• Calculamos la funcion de valor de una polıtica paratratar de encontrar mejores polıticas

• Dada una funcion de valor, podemos probar una acciona 6= π(s) y ver si su V (s) es mejor o peor que el V π(s)

• En lugar de hacer un cambio en un estado y ver elresultado, se pueden considerar cambios en todos losestados considerando todas las acciones de cadaestado, seleccionando aquella que parezca mejor deacuerdo a una polıtica greedy.

• Podemos entonces calcular una nueva polıticaπ′(s) = argmaxaQπ(s,a) y continuar hasta que nomejoremos.

(INAOE) Enero, 2012 28 / 75




Monte Carlo







Aplicaciones



• Esto sugiere, partir de una polıtica (π0) y calcular lafuncion de valor (V π0), con la cual encontrar una mejorpolıtica (π1) y ası sucesivamente hasta converger a π∗ yV ∗.

• A este procedimiento se llama iteracion de polıticas

(INAOE) Enero, 2012 29 / 75




Monte Carlo







Aplicaciones



V (s) ∈ R y π(s) ∈ A(s) arbitrariamente ∀s ∈ S (Inicializaci on )Repite (Evaluaci on de Polıtica )


v ← V (s)

V (s)←∑

s′ Pπ(s)ss′ [R

π(s)ss′ + γV (s′)]

∆← max(∆, |v − V (s)|)Hasta que ∆ < θ (numero positivo pequeno)pol-estable← true (Mejora de Polıtica )Para cada s ∈ S:

b ← π(s)π(s)← argmaxa

∑

s′ Pass′ [R

ass′ + γV (s′)]

if b 6= π, then pol-estable← falseIf pol-estable, then stop, else go to 2.

(INAOE) Enero, 2012 30 / 75




Monte Carlo







Aplicaciones


Iteraci on de Valor

• Iteracion de polıticas en cada iteracion evalua la polıticay requiere recorrer todos los estados varias veces

• El paso de evaluacion de polıtica lo podemos truncarsin perder la garantıa de convergencia, despues derecorrer una sola vez todos los estados

• A esta forma se le llama iteracion de valor (valueiteration) y se puede escribir combinando la mejora enla polıtica y la evaluacion de la polıtica truncada comosigue:

Vk+1(s) = maxa

∑

s′Pa

ss′ [Rass′ + γVk(s

′)]

• Se puede ver como expresar la ecuacion de Bellman enuna regla de actualizacion

(INAOE) Enero, 2012 31 / 75




Monte Carlo







Aplicaciones


Iteraci on de Valor

Inicializa V (s) = 0 para toda s ∈ SRepite


v ← V (s)V (s)← maxa

∑

s′ Pass′ [R

ass′ + γV ∗(s′)]

∆← max(∆, |v − V (s)|)Hasta que ∆ < θ (numero positivo pequeno)Regresa una polıtica determinıstica tal que:

π(s) = argmaxa∑

s′ Pass′ [R

ass′ + γV ∗(s′)]

(INAOE) Enero, 2012 32 / 75




Monte Carlo







Aplicaciones


Bootstrapping

• Para espacios muy grandes, el ver todos los estadospuede ser computacionalmente muy caro. Una opciones hacer estas actualizaciones al momento de estarexplorando el espacio, y por lo tanto determinandosobre que estados se hacen las actualizaciones.

• El hacer estimaciones en base a otras estimaciones seconoce tambien como bootstrapping.

(INAOE) Enero, 2012 33 / 75




Monte Carlo







Aplicaciones

Metodos de Solucion de MDPs Monte Carlo

Monte Carlo

• Los metodos de Monte Carlo, solo requieren deexperiencia y la actualizacion se hace por episodio masque por cada paso.

• El valor de un estado es la recompensa esperada quese puede obtener a partir de ese estado.

• Para estimar V π y Qπ podemos tomar estadısticashaciendo un promedio de las recompensas obtenidas

(INAOE) Enero, 2012 34 / 75




Monte Carlo







Aplicaciones


Monte Carlo para Estimar V π

RepiteGenera un episodio usando πPara cada estado s en ese episodio:

R ← recompensa despues de la primera ocurrencia de sAnade R a recomp(s)V (s)← promedio(recomp(s))

(INAOE) Enero, 2012 35 / 75




Monte Carlo







Aplicaciones


Esquemas de Exploraci on

• Para estimar pares estado-accion (Qπ) corremos elpeligro de no ver todos los pares, por lo que se buscamantener la exploracion. Lo que normalmente se hacees considerar solo polıticas estocasticas que tienen unaprobabilidad diferente de cero de seleccionar todas lasacciones.

(INAOE) Enero, 2012 36 / 75




Monte Carlo







Aplicaciones


Esquemas de Exploraci on

• ǫ−greedy: en donde la mayor parte del tiempo seselecciona la accion que da el mayor valor estimado,pero con probabilidad ǫ se selecciona una accionaleatoriamente.

• softmax, en donde la probabilidad de seleccion de cadaaccion depende de su valor estimado. La mas comunsigue una distribucion de Boltzmann o de Gibbs, yselecciona una accion con la siguiente probabilidad:

eQt(a)/τ∑n

b=1 eQt(b)/τ

donde τ es un parametro positivo (temperatura).

(INAOE) Enero, 2012 37 / 75




Monte Carlo







Aplicaciones


Monte Carlo para Mejorar Polıticas

• Con Monte Carlo podemos alternar entre evaluacion ymejoras en base a cada episodio

• La idea es que despues de cada episodio lasrecompensas observadas se usan para evaluar lapolıtica y la polıtica se mejora para todos los estadosvisitados en el episodio

(INAOE) Enero, 2012 38 / 75




Monte Carlo







Aplicaciones


Algoritmo de Monte Carlo para MejorarPolıticas

RepiteGenera un episodio usando π con exploracionPara cada par s,a en ese episodio:

R ← recompensa despues de la primeraocurrencia de s,a

Anade R a recomp(s,a)Q(s,a)← promedio(recomp(s,a))

Para cada s en el episodio:π(s)← argmaxaQ(s,a)

(INAOE) Enero, 2012 39 / 75




Monte Carlo







Aplicaciones


Allgoritmos “on” y “off-policy”

• Los algoritmos on-policy: Estiman el valor de la polıticamientras la usan para el control. Se trata de mejorar lapolıtica que se usa para tomar decisiones.

• Los algoritmos off-policy: Usan la polıtica y el control enforma separada. La estimacion de la polıtica puede serpor ejemplo greedy y la polıtica de comportamientopuede ser ǫ-greedy. Osea que la polıtica decomportamiento esta separada de la polıtica que sequiere mejorar.Esto es lo que hace Q-learning, lo cual simplifica elalgoritmo.

(INAOE) Enero, 2012 40 / 75




Monte Carlo







Aplicaciones

Metodos de Solucion de MDPs Diferencias Temporales o Temporal Difference

Diferencias Temporales

• Los metodos de TD combinan las ventajas de los dosanteriores: permite hacer bootstrapping (como DP) y norequiere tener un modelo del ambiente (como MC).

• Metodos tipo TD solo tienen que esperar el siguientepaso.

• TD usan el error o diferencia entre prediccionessucesivas (en lugar del error entre la prediccion y lasalida final) aprendiendo al existir cambios entrepredicciones sucesivas.

(INAOE) Enero, 2012 41 / 75




Monte Carlo







Aplicaciones



• Los algoritmos son incrementales y facil de computar

• Actualizan las funciones de valor usando el error entrelo estimado y la suma de la recompensa inmediata y loestimado del siguiente estado

• El mas simple TD(0) es:

V (st)← V (st) + α [rt+1 + γV (st+1)− V (st)]

(INAOE) Enero, 2012 42 / 75




Monte Carlo







Aplicaciones


Algoritmo TD(0)

Inicializa V (s) arbitrariamente y π a la polıtica a evaluarRepite (para cada episodio):

Inicializa sRepite (para cada paso del episodio):

a← accion dada por π para sRealiza accion a; observa la recompensa, r ,

y el siguiente estado, s′

V (s)← V (s) + α [r + γV (s′)− V (s)]s ← s′

hasta que s sea terminal

(INAOE) Enero, 2012 43 / 75




Monte Carlo







Aplicaciones


SARSA

• La actualizacion de valores tomando en cuenta laaccion serıa:

Q(st ,at)← Q(st ,at)+α[rt+1+γQ(st+1,at+1)−Q(st ,at)]

• y el algoritmo es practicamente el mismo, solo que sellama SARSA

(INAOE) Enero, 2012 44 / 75




Monte Carlo







Aplicaciones


Algoritmo SARSA

Inicializa Q(s,a) arbitrariamenteRepite (para cada episodio):

Inicializa sSelecciona una a a partir de s usando la polıtica

dada por Q (e.g., ǫ–greedy)Repite (para cada paso del episodio):

Realiza accion a, observa r , s′

Escoge a′ de s′ usando la polıtica derivada de QQ(s,a)← Q(s,a) + α [r + γQ(s′,a′)−Q(s,a)]s ← s′; a← a′;


(INAOE) Enero, 2012 45 / 75




Monte Carlo







Aplicaciones


Q-Learning

• Uno de los desarrollos mas importantes en aprendizajepor refuerzo fue el desarrollo de un algoritmo“fuera-de-polıtica” (off-policy) conocido comoQ-learning.

• La idea principal es realizar la actualizacion de lasiguiente forma (Watkins, 89):

Q(st ,at)← Q(st ,at)+α[rt+1+γmaxaQ(st+1,at+1)−Q(st ,at)]

(INAOE) Enero, 2012 46 / 75




Monte Carlo







Aplicaciones


Algoritmo Q-Learning

Inicializa Q(s,a) arbitrariamenteRepite (para cada episodio):

Inicializa sRepite (para cada paso del episodio):

Selecciona una a de s usando la polıtica dada por Q(e.g., ǫ–greedy)Realiza accion a, observa r , s′

Q(s,a)← Q(s,a) + α [r + γmax ′

aQ(s′,a′)−Q(s,a)]s ← s′;


(INAOE) Enero, 2012 47 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes

Estrategias para Espacios Grandes

• Uno de los problemas principales de RL es suaplicacion a espacios grandes (muchos estados yacciones). Aunque los algoritmos convergen en teorıa,en la practica puede tomar un tiempo inaceptable.

• Se han propuesto diferentes estrategias para esto:1 Actualizar varias funciones de valor a la vez2 Usar aproximacion de funciones3 Aprender un modelo y usarlo4 Utilizar abstracciones y jerarquıas5 Incorporar ayuda adicional

(INAOE) Enero, 2012 48 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Trazas de Elegibilidad o eligibility traces

Trazas de Elegibilidad

• Estan entre metodos de Monte Carlo y TD de un paso.

• Los metodos Monte Carlo realizan la actualizacionconsiderando la secuencia completa de recompensasobservadas.

• La actualizacion de los metodos de TD la hacenutilizando unicamente la siguiente recompensa.

• La idea de las trazas de elegibilidad es considerar lasrecompensas de n estados posteriores (o afectar a nanteriores).

(INAOE) Enero, 2012 49 / 75




Monte Carlo







Aplicaciones



• Si recordamos:

Rt = rt+1 + γrt+2 + γ2rt+3 + . . .+ γT−t−1rT

• Lo que se hace en TD es usar:

Rt = rt+1 + γVt(st+1)

donde Vt(st+1) reemplaza a los siguientes terminos(rt+2 + γrt+3 . . .)

• Sin embargo, hace igual sentido hacer:

Rt = rt+1 + γrt+2 + γ2Vt(st+2)

y, en general, para n pasos en el futuro.

(INAOE) Enero, 2012 50 / 75




Monte Carlo







Aplicaciones



• En la practica, mas que esperar n pasos para actualizar(forward view), se realiza al reves (backward view). Sepuede probar que ambos enfoques son equivalentes.

• Se guarda informacion sobre los estados por los que sepaso y se actualizan hacia atras los “errores”(descontadas por la distancia)

• Para esto se asocia a cada estado o par estado-accionuna variable extra, representando su traza deelegibilidad (eligibility trace) que denotaremos por et(s)o et(s,a).

• Este valor va decayendo con la longitud de la trazacreada en cada episodio

(INAOE) Enero, 2012 51 / 75




Monte Carlo







Aplicaciones



• Para TD(λ):

et(s) ={

γλet−1(s) si s 6= st

γλet−1(s) + 1 si s = st

• Para SARSA se tiene lo siguiente:

et(s,a) ={

γλet−1(s,a) si s 6= st

γλet−1(s,a) + 1 si s = st

(INAOE) Enero, 2012 52 / 75




Monte Carlo







Aplicaciones


SARSA con Trazas de Elegibilidad

Inicializa Q(s,a) arbitrariamente y e(s,a) = 0 ∀s,aRepite (para cada episodio)

Inicializa s,aRepite (para cada paso en el episodeo)

Toma accion a y observa r , s′

Selecciona a′ de s′ usando una polıtica derivadade Q (e.g., ǫ−greedy)

δ ← r + γQ(s′,a′)−Q(s,a)e(s,a)← e(s,a) + 1Para todos s,a

Q(s,a)← Q(s,a) + αδe(s,a)e(s,a)← γλe(s,a)

s ← s′;a← a′


(INAOE) Enero, 2012 53 / 75




Monte Carlo







Aplicaciones


Q-Learning y Trazas de Elegibilidad

• Para Q-learning como la seleccion de acciones sehace, por ejemplo, siguiendo una polıtica ǫ−greedy, setiene que tener cuidado, ya que a veces losmovimientos, son movimientos exploratorios

• No queremos propagar en caminos buenos “errores”negativos por acciones exporatorias

• Se puede mantener historia de la traza solo hasta elprimer movimiento exploratorio, ignorar las accionesexploratorias, o hacer un esquema un poco mascomplicado que considera todas las posibles accionesen cada estado.

(INAOE) Enero, 2012 54 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Planeacion y Aprendizaje

Aprendiendo Modelos

• Con un modelo podemos predecir el siguiente estado yla recomepensa dado un estado y una accion

• La prediccion puede ser un conjunto de posiblesestados con su probabilidad asociada o puede ser unestado que es muestreado de acuerdo a la distribucionde probabilidad de los estados resultantes

• Lo interesante es que podemos utilizar los estados yacciones simulados para aprender. Al sistema deaprendizaje no le importa si los pares estado-accionson dados de experiencias reales o simuladas.

(INAOE) Enero, 2012 55 / 75




Monte Carlo







Aplicaciones


Dyna-Q

• Dado un modelo del ambiente, uno puede seleccionaraleatoriamente un par estado–accion, usar el modelopara predecir el siguiente estado, obtener unarecompensa y actualizar valores Q. Esto se puederepetir indefinidamente hasta converger a Q∗.

• El algoritmo Dyna-Q combina experiencias conplanificacion para aprender mas rapidamente unapolıtica optima.

• La idea es aprender de experiencia, pero tambien usarun modelo para simular experiencia adicional yası aprender mas rapidamente

(INAOE) Enero, 2012 56 / 75




Monte Carlo







Aplicaciones


Algoritmo de Dyna-Q

Inicializa Q(s,a) y Modelo(s,a) ∀s ∈ S,a ∈ ADO forever

s ← estado actuala← ǫ−greedy(s,a)realiza accion a observa s′ y rQ(s,a)← Q(s,a) + α[r + γmaxa′Q(s′,a′)−Q(s,a)]Modelo(s,a)← s′, rRepite N veces:

s ← estado anterior seleccionado aleatoriamentea← accion aleatoria tomada en ss′, r ← Modelo(s,a)Q(s,a)← Q(s,a) + α[r + γmaxa′Q(s′,a′)−Q(s,a)]

(INAOE) Enero, 2012 57 / 75




Monte Carlo







Aplicaciones


Prioritized Sweeping

• El algoritmo de Dyna-Q selecciona pares estado-accionaleatoriamente de pares anteriores. Sin embargo, laplanificacion se puede usar mucho mejor si se enfoca apares estado-accion especıficos.

• Por ejemplo, enfocarnos en las metas e irnos haciaatras o mas generalmente, irnos hacia atras decualquer estado que cambie su valor.

• Los cambios en las estimaciones de valor V o Qpueden cambiar, cuando se esta aprendiendo o si elambiente cambia y un valor estimado deja de ser cierto.

(INAOE) Enero, 2012 58 / 75




Monte Carlo







Aplicaciones


Prioritized Sweeping

• Lo que se puede hacer es enfocar la simulacion alestado que cambio su valor. Esto nos lleva a todos losestados que llegan a ese estado y que tambiencambiarıan su valor.

• Esto proceso se puede repetir sucesivamente, sinembargo, algunos estados cambian mucho mas queotros. Lo que podemos hacer es ordenarlos y cambiarsolo los que rebacen un cierto umbral. Esto esprecisamente lo que hace el algoritmo de prioritizedsweeping

(INAOE) Enero, 2012 59 / 75




Monte Carlo







Aplicaciones


Algoritmo de Prioritized sweeping.

Inicializa Q(s, a) y Modelo(s, a) ∀s ∈ S, a ∈ A y ColaP = ∅DO forever

s ← estado actuala← ǫ−greedy(s, a)realiza accion a observa s′ y rModelo(s, a) ← s′, rp ←| r + γmaxa′Q(s′, a′)−Q(s, a) |if p > θ, then inserta (s, a) a ColaP con prioridad pRepite N veces, mientras ColaP 6= ∅:

s, a← primero(ColaP)s′, r ← Modelo(s, a)Q(s, a)← Q(s, a) + α[r + γmaxa′Q(s′, a′)−Q(s, a)]Repite ∀s, a que se predice llegan a s:

r ← recomensa predichap ←| r + γmaxaQ(s, a)−Q(s, a) |if p > θ, then inserta s, a a ColaP con prioridad p

(INAOE) Enero, 2012 60 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Generalizacion en Aprendizaje por Refuerzo

Aproximaci on de Funciones

• Hasta ahora hemos asumido que se tiene unarepresentacion explıcita en forma de tabla, lo cualfunciona para epacios pequenos, pero es impensablepara dominios como ajedrez (10120) o backgammon(1050).

• Una alternativa es usar una representacion implıcita,i.e., una funcion.

• Por ejemplo en juegos, una funcion de utilidad estimadase puede representar como una funcion lineal pesadasobre un conjunto de atributos (Fi ’s):

V (i) = w1f1(i) + w2f2(i) + . . .+ wnfn(i)

• En ajedrez se tienen aproximadamente 10 pesos, por loque es una compresion bastante significativa.

(INAOE) Enero, 2012 61 / 75




Monte Carlo







Aplicaciones


Aprendizaje de Funciones

• La compresion lograda por una representacion implıcitapermite al sistema de aprendizaje, generalizar deestados visitados a estados no visitados

• Existen muchas alternativas que se pueden usar y enRL se han usado NN, SVM, arboles de decision,procesos gaussianos, etc.

• Como en todos los sistemas de aprendizaje, existe unbalance entre el espacio de hipotesis y el tiempo quetoma aprender una hipotesis aceptable

(INAOE) Enero, 2012 62 / 75




Monte Carlo







Aplicaciones



• Vamos a ver como se puede hacer con unacombinacion lineal de funciones base φ1, φ2, . . . , φn dela forma

∑ni=1 wiφi donde los pesos wi son los que

tenemos que aprender (Θ)

• Muchos sistemas de aprendizaje supervisado tratan deminimizar el error cuadrado (MSE)

• Si ~Θt representa el vector de parametros de la funcionparametrizada que queremos aprender:

MSE(~Θt) =∑

s∈S

P(s)[V π(s)− Vt(s)]2

donde P(s) es una distribucion pesando los errores dediferentes estados

(INAOE) Enero, 2012 63 / 75




Monte Carlo







Aplicaciones



Para ajustar los parametros del vector de la funcion quequeremos optimizar, las tecnicas de gradiente ajustan losvalores en la direccion que produce la maxima reduccion enel error:

~Θt+1 = ~Θt −12α∇ ~Θt

[V π(st ) − Vt(st)]2

= ~Θt + α[V π(st ) − Vt(st)]∇ ~ΘtVt(st )

donde α es un parametro positivo 0 ≤ α ≤ 1 y ∇ ~Θtf (Θt)

denota un vector de derivadas parciales.

(INAOE) Enero, 2012 64 / 75




Monte Carlo







Aplicaciones



• Como no sabemos V π(st) lo tenemos que aproximarlay podemos hacerlo con trazas de elegibilidad yactualizar la funcion Θ como sigue:

~Θt+1 = ~Θt + αδt~et

donde δt es el error:

δt = rt+1 + γVt(st+1)− Vt(st)

y ~et es un vector de trazas de elegibilidad, una por cadacomponente de ~Θt , que se actualiza como:

~et = γλ~et−1 +∇~ΘtVt(st)

con ~e0 = 0

(INAOE) Enero, 2012 65 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Abstracciones y Jerarquıas

Abstracciones y Jerarquıas

• Agregacion de estados: se juntan estados “parecidos” ya todos ellos se les asigna el mismo valor, reduciendoel espacio de estados. Por ejemplo: tile-coding, coarsecoding, radial basis functions, Kanerva coding, ysoft-state aggregation.

• Abstracciones basadas en maquinas de estado finito: elaprendizaje por refuerzo tiene que decidir que maquinautilizar (por ejemplo, HAM y PHAM).

(INAOE) Enero, 2012 66 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Abstracciones y Jerarquıas

Abstracciones y Jerarquıas

• Definicion de jerarquıas: se divide el espacio ensubproblemas, se aprenden polıticas a los espacios demas bajo nivel y estas se usan para resolver problemasde mas alto nivel (e.g., MAXQ, HEXQ). Algo parecidose usa con Macros y Options, en donde se aprendenpolıticas de subespacios que se usan para resolverproblemas mas grandes.

• Tambien se ha buscado utilizar representacionesrelacionales dentro de aprendizaje por refuerzo, ya seapara representar las funciones de valor y/o pararepresentar los estados y las acciones.

(INAOE) Enero, 2012 67 / 75




Monte Carlo







Aplicaciones

Lideando con Espacios Grandes Incorporar Informacion Adicional

Incorporar Informaci on Adicional

• En su forma tradicional, RL no utiliza practicamentenada de conocimiento del dominio

• Una forma de ayudar a RL a coverger mas rapidamentees incorporardo informacion adicional:

1 La idea de reward shaping es incorporar informacionadicional a la funcion de recompensa

2 Tambien se han utilizado soluciones conocidas comoguıas o trazas que se usan para aprender masrapidamente las funciones de valor o para aprender unsubconjunto de acciones relevantes.

(INAOE) Enero, 2012 68 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Aplicaciones

• La primera aplicacion en aprendizaje por refuerzo fue elprograma para jugar damas de Samuel

• Uso una funcion lineal de evaluacion con pesos usandohasta 16 terminos

• Su programa era parecido a la ecuacion deactualizacion de pesos, pero no usaba recompensa enlos estados terminales, lo que hace que puede o noconverger y puede aprender a perder.

• Logro evitar esto haciendo que el peso para gananciade material fuera siempre positivo.

(INAOE) Enero, 2012 69 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Aplicaciones

• Una de las mas conocidas es el control del penduloinvertido. Controlar la posicion x para que se mantengaaproximadamente derecho (θ ≈ π/2), manteniendoseen los lımites de la pista. X , θ, X y θ son continuas. Elcontrol es de tipo bang–bang.

• Boxes (Michie, Chambers ’68) balanceaba el pendulopor mas de una hora despues de 30 intentos (nosimulado)

• Discretizaron el espacio en cajas. Se corria el sistemahasta que se caıa el pendulo o se salia de los lımites.Entonces se daba un refuerzo negativo a la ultima“caja” y se propagaba a la secuencia de “cajas” por lasque paso.

(INAOE) Enero, 2012 70 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Aplicaciones

• TD-gammon (Tesauro ’92) represento una funcion deevaluacion con una red neuronal de una sola capaintermedia con 40 nodos, que despues de 200,000juegos de entrenamiento mejoro notablemente sudesempeno.

• Anadiendo atributos adicionales a una red con 80nodos escondidos, despues de 300,000 juegos deentrenamiento, juega como los 3 mejores jugadores delmundo.

• Tambien se desarrollo un algoritmo de RL que actualizalas funciones de evaluacion en un arbol de busquedaen juegos. En ajedrez mejora el puntaje de un programade 1,650 a 2,150 despues de 308 juegos en 3 dıas.

(INAOE) Enero, 2012 71 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Ejemplos

(INAOE) Enero, 2012 72 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Ejemplos

(INAOE) Enero, 2012 73 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Ejemplos

(INAOE) Enero, 2012 74 / 75




Monte Carlo







Aplicaciones

Aplicaciones

Ejemplos

(INAOE) Enero, 2012 75 / 75

aprendizaje por refuerzo - coordinación de ciencias …emorales/cursos/nvoaprend/... ·...

Documents