atención al cliente por medio de reconocimiento facial · 2020. 5. 5. · facultad de ingeniería...

Facultad de IngenieríaUniversidad de los Andes

Atención al cliente por medio dereconocimiento facial

Adelaida Zuluaga CajiaoAsesores: Fernando Lozano y Carolina Higuera

27 de febrero de 2020

1

Video de motivación

Atención al cliente por medio de reconocimiento facial

Adelaida Zuluaga Cajiao | Universidad de los Andes

https://www.youtube.com/watch?v=tHDiP7nhPN0&feature=youtu.be

2

Motivación

I La robótica social se ha convertidoen uno de los avances tecnológicosmás importantes a los que se hallegado hoy en día.

I El reto más grande que se presentaen este campo es cómo integrar alos robots en ambientes humanos.

I Lograr que los robots tengan unpapel beneficioso en lacotidianidad.

I Desarrollar habilidades cognitivasy sociales que sean aplicadas alcomportamiento de los robots.

I Detección y reconocimiento facial.

Figura:

Pepper en el edificio Mario Laserna


3

ObjetivosObjetivo general

Objetivo generalI Desarrollar un sistema de atención al cliente, con el cual un robot semi

humanoide sea capaz de detectar y reconocer personas. Adicionalmente, elrobot debe interactuar con el cliente para brindarle un buen servicio.


4

ObjetivosObjetivos específicos

Objetivos específicosI Evaluar, integrar y adaptar modelos y técnicas existentes para detección y

reconocimiento facial.I Construir base de datos para reconocimiento facialI Evaluar desempeño del sistema en el robotI Construir un sistema de interacción con las personas detectadas y

reconocidas por el robot


5

AlcanceRestricciones del problema

Figura: Alcance del proyecto de grado


6

Marco TeóricoRobótica social

I Los robots sociales sondiseñados y programadospara interactuar con loshumanos en entornosasistenciales.

I La interacción humanorobot permite incluir pocoa poco a estas máquinasen la vida social humana.

I Se debe trabajar endesarrollar su capacidadde autonomía y autoaprendizaje para alcanzarla inteligencia social.

Figura: Formas de interacción entre los robots y loshumanos


7

Marco TeóricoDetección facial

Viola-JonesI Algoritmo implementado

por Paul Viola y MichaelJones en el 2001

I Algoritmo basado en unaserie de clasificadoresdébiles llamados Haar-likefeatures

I AdaBoost como algoritmode aprendizaje

Figura: Pasos del algoritmo de Viola-Jones


8

Marco TeóricoReconocimiento facial

I Los métodos de reconocimiento facial se dividen en procesos geométricosy fotométricos.

I Métodos más implementados para reconocimiento facial: Eigenfaces, elalgoritmo Fisherfaces, el modelo de Markov Oculto, entre otros.

EigenfacesI Proceso fotométricoI Se basa en técnicas de

reducción dedimensionalidad

I Extracción de elementosesenciales de las imágenesy rechazar característicasno relevantes

Figura: Algoritmo eigenfaces


9

Marco TeóricoROS

ROSI Robotic Operating SystemI Basado en una arquitectura de

grafosI Los nodos pueden recibir y

mandar mensajes.I Áreas más relevantes:

I Nodo de coordinaciónI Publicación o subscripción de

flujo de datosI Creación de nodos

Figura: Estructura de un grafo de ROS [5]


10

Propuesta metodológicaPlanteamiento del problema

Planteamiento del problemaX Desarrollar una aplicación de

atención al cliente, mediante lacual el robot semi humanoide,Pepper, pueda interactuar con losusuarios y brindarles un buenservicio.

X Desarrollar dos módulos:1. Módulo de detección facial2. Módulo de reconocimiento

facial

Figura: Pepper: robot semi humanoide


11

Propuesta metodológicaPlanteamiento del problema

Planteamiento del problemaX Detección facial:

I Viola-JonesI Librerías de OpenCV

X Reconocimiento facial:I EgienfacesI Construcción de base de datos

con imágenes de múltiplespersonas.

I Librerías de Scikit-Learn

X Interacción y comunicación entreel robot y el cliente

X Integrar los módulos medianteROS. Figura: Pepper: robot semi humanoide


12

Propuesta metodológicaMetodología

I Nodo principal:robot_toolkit, herramientadesarrollada por la AlianzaSinfonÍA.

I Construcción de la base dedatos:X 150 imágenesX 12 clasesX Obtenidas desde el

campo visual del robotX Variaciones en las

condiciones de luzFigura: Grafo de la aplicación


13

Análisis de resultados

Especificaciones técnicasI Cámara utilizada:

Cámara 2D incorporada en el robotI Resolución de la cámara:

1280 * 960 pxI Parámetros de la cámara:

X Brillo = 60X Contraste = 30X Saturación = 64


14

Análisis de resultadosDetección facial

I scaleFactor = sin definirI minNeighbors = sin definir

Figura: Primeros resultados obtenidos sobre 149 pruebas


15

Análisis de resultadosDetección facial

I scaleFactor = 1.3I minNeighbors = 5

Figura: Resultados finales sobre 108 pruebasAdelaida Zuluaga Cajiao | Universidad de los Andes

16

Análisis de resultadosReconocimiento facial

Reconocimiento facialI División de los datos:70 % entrenamiento y 30 % pruebaI Pre procesamiento:Estandarización de las variablesI PCAI SVM:C= 1000 y γ = 0,01

Figura: CaptionAdelaida Zuluaga Cajiao | Universidad de los Andes

17


X SVM con kernel RBF

Figura: Eigenfaces

Figura: Matriz de confusión para la primera configuración


18


X SVM One vs All

Figura: Eigenfaces

Figura: Matriz de confusión para One vs All


19

Análisis de resultadosIntegración de los dos módulos

Figura: Integración de los dos módulos

I Persona conocida:El robot hace una serie de clasificaciones y se selecciona el mejor puntaje.

I Persona desconocida:1. Se hace una serie de clasificaciones y el mayor puntaje es para la clase

“Desconocido”2. El robot le pregunta el nombre al usuario3. Se toman 35 fotos del nuevo usuario4. Se reentrena el modelo con las imágenes obtenidas


20

Conclusiones

ConclusionesI La optimización de los modelos hizo posible que la integración de los dos

módulos fuera exitosaI El módulo de reconocimiento facial presenta errores al tener grandes

variaciones de luz y con cambios en la orientación del rostro de laspersonas.

I Otro problema que se presenta es el tiempo de interacción entre el robot yel usuario y el tiempo que le toma al robot procesar la información.


21

Conclusiones

Trabajo futuroI Para garantizar una mejora significativa en el desempeño del sistema se

requiere de una mayor capacidad de cómputo.I A futuro se podría agregar a Pepper una unidad de procesamiento

adicional. Esto permitiría la implementación de modelos más robustos.I Se planea trabajar en el lenguaje natural del robot, logrando mejores

tiempos de ejecución.


22

Bibliografía

1. The next frontier in robotics: social, collaborative robots | Andrea Thomaz |TEDxPeachtree

2. A.Castro González, J.C.Castillo , F.A.Martín, M.A. Salichs. “Evolución de larobótica social y nuevas tendencias”

3. P. Viola and M. Jones, “Robust real-time face detection”. In Proc. Of IEEEWorkshop on Statistical and Computational Thories of Vision, 2001.

4. Medium “Introduction to Principal Component Analysis (PCA)-with Pythoncode”

5. P.Lepej “ROS tutorial”, 2013. Obtenido de:http://lsi.vc.ehu.es/pablogn/investig/ROS/lepejROST utorialSS2014.pdf

6. J. Planells Lerma, “Implementación del algoritmo de detección facial deViola-Jones”


¡Gracias!

23

Anexos

X Viola-JonesI Características Haar [6]

I Imagen integral[6]I La imagen integral en un punto (x,y) contiene la suma de todos los píxeles de

los rectángulos encontrados para las características haar, que se encuentranarriba y a la izquierda de ese punto en la imagen


24

Anexos

I AdaboostCrear clasificador robusto a partir de clasificadores débiles

I Clasificador en cascada[6]


atención al cliente por medio de reconocimiento facial · 2020. 5. 5. · facultad de ingeniería...

Documents