modelo probabilístico para el control de un robot móvil · programación dinámica. campos...

Definición del ProblemaSoluciones Generales Existentes

Modelo PropuestoDescripción del Programa

Conclusiones

Modelo Probabilístico para el Control de unRobot Móvil

Sergio Andrés Gelves Rosales

Departamento de Ingeniería IndustrialUniversidad de los Andes

26 de Noviembre de 2004

Sergio Gelves Modelo Probabilístico para el Control de un Robot Móvil

Conclusiones

Contenido

1 Definición del Problema

2 Soluciones Generales Existentes

3 Modelo PropuestoEl ModeloDiscretización del ModeloVentajasLimitaciones

4 Descripción del Programa

Conclusiones

Contenido

Conclusiones

Contenido

Conclusiones

Contenido

Conclusiones

DEFINICIÓN DEL PROBLEMARobots Móviles

Conclusiones

DEFINICIÓN DEL PROBLEMA

Permitir a un robot móvil planear una trayectoria hacia uno omás objetivos dentro de un entorno controlado.

Teniendo en cuenta:Error en el movimiento del robot.Obstáculos en el entorno.

Conclusiones

DEFINICIÓN DEL PROBLEMA

Permitir a un robot móvil planear una trayectoria hacia uno omás objetivos dentro de un entorno controlado.

Teniendo en cuenta:Error en el movimiento del robot.Obstáculos en el entorno.

Conclusiones

SOLUCIONES GENERALES EXISTENTESAlgoritmos de Planeación de ruta

Búsqueda en grafos.Programación Dinámica.Campos Potenciales.Histogramas de Campos de Vector.Algoritmo insecto.

Conclusiones

Procesos de Decision Markovianos

DefiniciónProceso estocástico que toma un número finito de posiblesvalores conocidos como estados y donde la probabilidad depasar de un estado a otro depende simplemente del estadopresente y es independiente de todos los estados pasados.

Parámetros(T , St , As,t , Prt(St+1 | s, a), Rt(s, a))

Value Iteration

Vt+1(s) = maxa∈A

{R(s, a) + β∑s′∈S

Pr(s′|a, s) ∗ Vt(s′)} (1)

Conclusiones

Value Iteration

Vt+1(s) = maxa∈A

{R(s, a) + β∑s′∈S

Pr(s′|a, s) ∗ Vt(s′)} (1)

Conclusiones

Value Iteration

Vt+1(s) = maxa∈A

{R(s, a) + β∑s′∈S

Pr(s′|a, s) ∗ Vt(s′)} (1)

Conclusiones

ModeloDiscretización del ModeloVentajasLimitaciones

Contenido

Conclusiones

MODELO PROBABILÍSTICODescripción del Modelo

Acciones

a(t) =

[d(t)Θ(t)

] t ∈ T = {1, 2, ...}d(t) ∈ R+,Θ(t) ∈ [−π, π),a(t) ∈ A(t), el conjunto detodas las acciones posibles.

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Acciones

a(t) =

[d(t)Θ(t)

Estados

x(t) =

[x(t)y(t)

] t ∈ Tx(t) ∈ R+

y(t) ∈ R+

x(t) ∈ R2

Conclusiones

Descripción del Modelo (Continuación)

Por lo tanto en cada instante t , el robot ejecuta lo siguiente:

Ecuación Movimiento determinístico

f (x(t), a(t)) =

[x(t) + d(t) cos(θ(t))y(t) + d(t) sin(θ(t))

]Normal Bivariada

G(d , θ) =1

2πσdσθe−0.5[

(d−µd )2

+(θ−µθ)2

Conclusiones

Descripción del Modelo (Continuación)

Por lo tanto en cada instante t , el robot ejecuta lo siguiente:

Ecuación Movimiento determinístico

f (x(t), a(t)) =

[x(t) + d(t) cos(θ(t))y(t) + d(t) sin(θ(t))

]Normal Bivariada

G(d , θ) =1

2πσdσθe−0.5[

(d−µd )2

+(θ−µθ)2

Conclusiones

Transiciones de Estado

x(t + 1) = f (x(t), a(t)) + e(x(t), a(t))

A partir de x(t + 1) y x(t) se puede calcular la distanciarecorrida d y el ángulo de movimiento Θ.

Probabilidad de Transición

P{x(t + 1)|x(t), a(t)} = G(d ,Θ)dddΘ

La recompensa por ejecutar la acción a en estado x es:

Recompensa

R(x, a) ∈ (−∞,∞)

Conclusiones

x(t + 1) = f (x(t), a(t)) + e(x(t), a(t))

P{x(t + 1)|x(t), a(t)} = G(d ,Θ)dddΘ

Recompensa

R(x, a) ∈ (−∞,∞)

Conclusiones

x(t + 1) = f (x(t), a(t)) + e(x(t), a(t))

P{x(t + 1)|x(t), a(t)} = G(d ,Θ)dddΘ

Recompensa

R(x, a) ∈ (−∞,∞)

Conclusiones

Contenido

Conclusiones

DISCRETIZACIÓN DEL MODELO

Acciones

a(t) ∈

Norte, dEste, dSur , dOeste, d

Estados

x(t) −→ s(t)s(t) ∈ [1, n]

El tamaño de cada estado en la grilla es de b ∗ b donde b esuna constante.

Conclusiones

DISCRETIZACIÓN DEL MODELO

Acciones

a(t) ∈

Norte, dEste, dSur , dOeste, d

Estados

x(t) −→ s(t)s(t) ∈ [1, n]

El tamaño de cada estado en la grilla es de b ∗ b donde b esuna constante.

Conclusiones

DISCRETIZACIÓN DEL MODELO (CONTINUACIÓN)

Transicionesf (s, Norte) = s − 1f (s, Este) = s+ n-filasf (s, Sur) = s + 1f (s, Oeste) = s− n-filasf (s, a) = s, si f (s, a) /∈ [1, n]

f (s, a) ∈ [1, n]

Probabilidad de Transición∫ y1+b

∫ x1+b

e(−0.5((

√x2+y2−µd

σd)2+(

arctan yx −µΘ

σΘ)2))

2πσdσΘ

√x2 + y2

Conclusiones

f (s, a) ∈ [1, n]

∫ x1+b

e(−0.5((

√x2+y2−µd

σd)2+(

arctan yx −µΘ

σΘ)2))

2πσdσΘ

√x2 + y2

Conclusiones

f (s, a) ∈ [1, n]

∫ x1+b

e(−0.5((

√x2+y2−µd

σd)2+(

arctan yx −µΘ

σΘ)2))

2πσdσΘ

√x2 + y2

Conclusiones

f (s, a) ∈ [1, n]

∫ x1+b

e(−0.5((

√x2+y2−µd

σd)2+(

arctan yx −µΘ

σΘ)2))

2πσdσΘ

√x2 + y2

Conclusiones

f (s, a) ∈ [1, n]

∫ x1+b

e(−0.5((

√x2+y2−µd

σd)2+(

arctan yx −µΘ

σΘ)2))

2πσdσΘ

√x2 + y2

Conclusiones

DISTRIBUCIÓN DEL ERROR

Conclusiones

Contenido

Conclusiones

VENTAJAS

La solución obtenida siempre es óptima. El robot actuaráen forma que maximice la función objetivo suministrada.El modelo permite tener en cuenta la incertidumbre en elmovimiento del robot.

Conclusiones

VENTAJAS

La solución obtenida siempre es óptima. El robot actuaráen forma que maximice la función objetivo suministrada.El modelo permite tener en cuenta la incertidumbre en elmovimiento del robot.

Conclusiones

Contenido

Conclusiones

LIMITACIONES

El robot necesita saber siempre su posición exacta.En el mapa del entorno, los puntos de referencia debenser estáticos y bien definidos.El modelo está desarrollado únicamente para robots contracción de tipo diferencial.

Conclusiones

LIMITACIONES

Conclusiones

LIMITACIONES

Conclusiones

DESCRIPCIÓN DEL PROGRAMA

Matlabr

Trabaja en forma eficiente con matrices.Posee la función sparse útil para matrices de pocadensidad (solamente guarda en memoria los valoresdistintos de 0).

Estructura del Programa

Se implementó funciones que permiten:Crear el entorno en que se va a mover el robot.Representar las transiciones a partir de unos parámetros.Ejecutar el algoritmo de value iteration.

Conclusiones

Matlabr

Conclusiones

Matlabr

Conclusiones

Matlabr

Conclusiones

Matlabr

Conclusiones

Matlabr

Conclusiones

Matlabr

Conclusiones

CONCLUSIONES

El modelo presentado es más robusto al permitir a unrobot con tracción diferencial:

Planear el movimiento teniendo en cuenta los obstáculos.Tomar en cuenta la incertidumbre en el movimiento delrobot.

El programa presentado valida la aplicabilidad del modelo.El tipo de modelamiento presentado es de fácil uso ypermite una gran variedad de aplicaciones en robótica.

Conclusiones

CONCLUSIONES

Conclusiones

CONCLUSIONES

Conclusiones

CONCLUSIONES

Conclusiones

CONCLUSIONES

Conclusiones

TRABAJOS FUTUROS

Añadirle al programa funcionalidad al dar la posibilidad deque el robot tenga un mayor conjunto de accionesposibles.Dar la capacidad de localización y mapeo.Posibilidad de que el robot se pueda mover en un entornodinámico.

Conclusiones

TRABAJOS FUTUROS

Conclusiones

TRABAJOS FUTUROS

Conclusiones

SECCIÓN DE PREGUNTAS

G R A C I A S

modelo probabilístico para el control de un robot móvil · programación dinámica. campos...

Documents