bigdatandmore.files.wordpress.com · web viewmúsculos faciales se encuentran. están unidos a un...
TRANSCRIPT
REKONOCE
Emoción Pura
Mercedes Solís Díez Gutiérrez.
i
Rekonoce
TABLA DE CONTENIDO
REKONOCE..........................................................................................IEl equipo Mercedes Solis Díez.........................................................................1
AGRADECIMIENTOS.............................................................................2Justificación...................................................................................................4La necesidad: El problema con las encuestas.........................................5Objetivos........................................................................................................7
MARKETING SENSORIAL.....................................................................10RECONOCIMIENTO DE EXPRESIÓN FACIAL...........................................10
¿Qué es la expresión facial?...........................................................................10La codificación facial......................................................................................13Tipos de reconocimiento de expresión facial.................................................14
APLICACIONES DE MARKETING SENSORIAL.........................................16RECONOCIMIENTO FACIAL..................................................................23DETECCIÓN DE ANÁLISIS EJEMPLIFICADO CON FINES DE MARKETING....23
SOFTWARE DE EXPRESIÓN FACIAL REKONOCE.................................................23AMENAZAS DEL PRODUCTO..............................................................................24
METODOLOGÍA..................................................................................25METODOLOGÍA DE DETECCIÓN DE ROSTRO......................................................25
Recopilación de datos (Equipo)......................................................................25Camara...........................................................................................................26Funcionamiento de un píxel...........................................................................27Visibilidad de la cara......................................................................................28Velocidad de fotogramas: se recomienda una velocidad de fotogramas de 10 fps o superior.................................................................................................29Códec de video...............................................................................................29
TÉCNICAS DE ANÁLISIS DE EXPRESIÓN FACIAL.................................................30Análisis de expression facial (fEMG)...............................................................31Sistema de código facial. “The Facial Action Coding System” (FACS)............32
METODOLOGÍA DE LA EXPRESIÓN DE ANÁLISIS FACIAL....................................34Posiciones faciales..........................................................................................34Expresiones faciales.......................................................................................35Herramientas:................................................................................................36Metricas de características faciales................................................................37Umbrales en tiempo y amplitud:....................................................................39Data de análisis facial....................................................................................41
APRENDIZAJE PROFUNDO..................................................................41APRENDIZAJE PROFUNDO DE DETECCIÓN DE ROSTRO..........................41APRENDIZAJE PROFUNDO DE ORIENTACIÓN FACIAL.............................42CUADRO DE MANDOS........................................................................49
CUADROS DE MANDOS FUNCIONAL.............................................................................50
Rekonoce
APRENDIZAJE PROFUNDO DE ORIENTACIÓN FACIAL.............................58TRABAJO FUTURO..............................................................................61
CONCLUSIÓN: BENEFICIOS DE REKONOCE........................................................61ACCIONES FUTURAS EN CUANTO A VENTAS Y SERVICIO...................................62
Objetivos a un año:........................................................................................62OBJETIVOS Año dos........................................................................................63OBJETIVOS durante el tercer año...................................................................63
TRABAJO FUTURO METODOLOGÍA.....................................................................64La tecnología..................................................................................................64Evaluaciones cognitivas de eventos, estímulos u objetos..............................65
ANEXO.............................................................................................71ESTUDIO DE MERCADO......................................................................................71ÉTICA................................................................................................................. 76
BIBLIOGRAFÍA...................................................................................76
EL EQUIPOMERCEDES SOLIS DÍEZ
REKONOCE…Broker de seguros. Integrando
su negocio offline& online.
1
Rekonoce
AGRADECIMIENTOS
Agradecemos a todos lo que han hecho posible mi gran sueño con su apoyo para llegar al punto final de este master; a MBIT School.
De forma especial quiero agradecer a Ramón Carrasco y Manuel Montañés, quienes fueron tutor del proyecto y aportó tiempo valioso, dedicación, disposición y constante motivación para que este trabajo fuera una realidad.
Agradezco a los que ayudaron a lograr este gran sueño; por su positividad, tiempo y apoyo durante el transcurso del máster, de forma especial a mi novio y familia.
Finalmente, agradezco al Tribunal de evaluación por estar aquí presentes y darnos la oportunidad de presentarles mi proyecto.
2
Rekonoce
ANÁLISIS DE SENTIMIENTOS…
“Felicidad”, “tristeza”, “enojo”, “sorpresa”, “disgusto”, “calma”, “confusión” y “miedo”.
¿Qué pasaría si pudiera predecir la popularidad de los videos o imágenes de la campaña?
¿Qué pasaría si pudieras saber si tus empleados se encuentran contentos en la empresa?
¿Sabes si tus clientes salieron contentos de tu negocio?
¿Es posible adoptar técnicas de Investigación para ayudar a la seguridad pública y académica?
¿Investigación comercial y académica adoptan técnicas de análisis de
expresión facial?
¿A tus clientes les gusta el producto?
¿Cómo realizar estudios de mercado asertivos?
¿Cómo predecir el éxito de tus campañas?
¿Cómo sabe cuándo su creatividad, anuncios, programa de televisión, avances o películas resuenan en el público?
3
Rekonoce
INTRODUCCIÓN
JUSTIFICACIÓN.
Miles de millones de dólares son invertidos en campañas publicitarias cada año con el fin de incrementar ventas, la mayoría de estos métodos son las obsoletas formas de investigación de mercado como lo son las encuestas y grupos focales.
Esto es porque dependen de futuros compradores, aparentes leads cualificados o grupos focales de pago para que se realicen encuestas, las cuales llegan a ser poco subjetivas sobre el producto. Ya que muchas veces las personas han realizado investigaciones del servicio o producto a calificar. Por otro lado influye la competitividad de lo que se siente al interactuar al con un producto o servicio.Nuestra propuesta es invertir en el marketing sensorial o de sentimientos.Los sentimientos son una reacción espontánea e inconsciente, por lo que sabemos que es la única respuesta con una alta fiabilidad. Los consumidores buscan productos, comparan precios y todo este proceso se realiza en pocos minutos, y el 75% de las decisiones de compra son basadas en emociones (emociones impulsivas). Lo cual nos lleva a investigar y determinar la reacción emocional de los consumidores, ya que es un factor determinante en el proceso de compra. Para esto existen técnicas de codificación facial o marketing sensorial el cual nos lleva a conocer las emociones reales de los posibles leads cualificados, nuestra meta es convertir esos leads en ventas, así como dirigir productos y servicios totalmente personalizados a los leads potenciales incrementando los kpi´s de nuestros clientes.Dentro de los servicios que ofrecemos se encuentra mejorar la experiencia de usuario en tienda y online, optimizar el contenido audiovisual, mejorar productos y servicios antes de ponerlos a la venta (en el caso de que estos productos ya estén a la venta y no sean rentables encontrar donde se encuentra el error). Ayuda a tener menor cantidad de rebote en el landing page y durante el proceso de compra maximizando el ROIAnuncios 100% dirigidos a público objetivo.
4
Rekonoce
La idea de analizar y clasificar las reacciones emocionales en la investigación de mercado. Los investigadores expertos han sido entrenados para tener un ojo vigilante cuando realizan investigaciones, prestando especial atención a los rasgos de comportamiento humano, como el lenguaje corporal, el tono, etc. Sin embargo, con la tecnología cualitativa de reconocimiento de expresiones faciales, versus los investigadores pueden ir un paso más allá. La tecnología puede capturar micro expresiones extremadamente breves en el punto de experiencia y detectar automáticamente las siete expresiones básicas o universales. Así es como funciona el reconocimiento de expresiones faciales:
Detectar una cara en la escena: en una imagen o video.
Detección de puntos de referencia faciales (o características).
Clasificación de expresiones faciales y las emociones.
LA NECESIDAD: EL PROBLEMA CON LAS ENCUESTAS
Durante años, las marcas y las empresas de investigación de mercado han utilizado encuestas o grupos focales para recopilar datos sobre las percepciones, creencias y sentimientos de sus consumidores hacia sus productos y campañas de marketing. Por tanto con esta nueva tecnología se evita el problema con las encuestas, o grupos focales ya que las personas no siempre están alineada con lo que realmente piensan. Esto podría deberse a una serie de razones: presión de grupo, normas sociales, vergüenza o tal vez falta de comprensión, emocionales imparciales y sin filtro como datos.
Las expresiones faciales son los movimientos de los distintos músculos del rostro que nos sirven para manifestar emociones y regular nuestra interacción con otras personas, pueden ser voluntarias o involuntarias. Es por eso que una sonrisa espontánea y una falsa no lucen iguales, están controladas por zonas distintas del cerebro y no desencadenan las mismas reacciones emocionales. Ambas pueden llamarse “sonrisa”, pero no son lo mismo.
Sin importar el tipo de análisis de expresión facial que se decida utilizar, todos funcionan bajo los mismos principios:
5
Rekonoce
1. El rostro se segmenta en regiones2. Se registra el movimiento de los músculos en periodos cortos de
tiempo3. Se analiza e interpreta el significado de esos movimientos
La razón por la que es posible conocer qué emociones se desencadenaron internamente, de acuerdo a una expresión facial, es porque emociones y expresiones faciales se generan en el mismo lugar, la amígdala en el tronco encefálico.
La amígdala también modula la emisión de cortisol y otras hormonas, el ritmo cardiaco, la conductividad de la piel y la respiración. También cambios observables del comportamiento, como modificaciones en la postura y las ya mencionadas expresiones faciales involuntarias.
Actualmente los investigadores, especialistas en marketing y empresas que realizan investigaciones de consumidores ahora pueden comprender de forma más acertada, el sentimiento de los clientes acerca de sus productos, servicios o marca.
Se ha realizado una búsqueda en google y no hemos encontrado competencia en la primer página de búsqueda. Hay muy pocas agencias que realizan este tipo de marketing lo cual nos abre la posibilidad de podernos iniciar en el mundo del marketing sensorial. Por lo que sabemos que la necesidad existe.
6
Rekonoce
OBJETIVOS
Soluciones REKONOCE será el software avanzado de inteligencia artificial el cual potencia a industrias como el comercio electrónico la transformación digital y la investigación de mercado. Brindando información procesable en tiempo real la cual que ayuda a maximizar el ROI.
¿Pero qué información brindamos?
El resultado es saber el sentimiento real de las personas, en tienda, en hospitales, al ver un videojuego, etc. Son una gran cantidad de usos. Podemos apoyarnos con encuestas, o simplemente dejar una cámara para que nos entregue con facilidad y en tiempo real
Si hay rostros o no los hay por ejemplo para contar personas entrando a algún evento. Identificando personas en multitudes por ejemplo en estadios con fines de seguridad, o el sentimiento el cual podría ser un signo de alarma si el individuo demuestra algún sentimiento en especial, cual es sentimiento de los clientes.
Analizará, posición facial, y detección de rostros, sentimientos, edad, sexo. Permite realizar una verificación de identificación efectiva y eficiente así como tareas de coincidencia de caras.
Las expresiones faciales transmiten señales de comunicación no verbal que juegan un papel importante en la comunicación de cómo se siente una persona. El reconocimiento de la expresión facial es, por lo tanto, importante porque puede ayudar aún más a las empresas a comprender a sus audiencias. Debido a su capacidad para detectar y analizar expresiones de una imagen o video, es capaz de entregar respuestas acertada y precisas en tiempo real.
La evolución del marketing es juntar data para ofrecer una gran cantidad de servicios o productos totalmente dirigidos a un público objetivo, para que nuestros clientes puedan ofrecer a sus clientes finales la experiencia de usuario más adecuada. Es común el actual retargeting pero…¿Que tal un retargeting sentimental? ¡Es esto lo que podemos lograr! Ahora enfoquémonos a descubrir los sentimientos.
7
Rekonoce
8
Rekonoce
Objetivo.
Crear una empresa real de Marketing sensorial.
Nombre: Mersolis SC
Sede de la empresa: Ejercito Nacional 526
Sector actividad: Análisis y reconocimiento facial. Marca comercializada: REKONOCE
REKONOCE nace con el fin de proporcionar a sus clientes las soluciones tecnológicas que permitan mejorar sus ventas por medio de Análisis Facial.
El abanico de soluciones desarrolladas abarcan una amplia lista de sectores: marketing, retail, energía, medicina, transporte, finanzas, seguros, sanidad, seguridad, UX.
En cada uno de los sectores se desarrollan soluciones con las técnicas analíticas de reconocimiento facial más apropiadas a sus necesidades permitiendo una mejora significativa.
El facial coding tiene diversos usos del marketing. En concreto, existe un incipiente uso en política, aunque también el marketing experiencial y los contenidos audiovisuales son objeto de estudio, afectando positivamente al resultado financiero de la compañía.
Nuestra amplia experiencia en el desarrollo de soluciones de análisis facial nos situará como referente líder del mercado de habla hispana en el desarrollo de sistemas de análisis facial basados en analítica avanzada e inteligencia artificial.
La suma de expertise y conocimiento en técnicas de analítica predictiva y prescriptiva, nos da la oportunidad de desarrollar, una solución para el marketing experiencial y contenidos audiovisuales, la planificación eficiente y acertada de campañas de marketing .
En REKONOCE desarrollamos soluciones patentadas de software de inteligencia artificial. A través de la visión por computadora y el aprendizaje profundo, podemos analizar rostros en imágenes, videos y en entornos de la vida real. Nuestro software puede detectar y medir expresiones faciales como felicidad, sorpresa, tristeza, disgusto, ira y
9
Rekonoce
miedo. El estado de ánimo general se puede estimar con una precisión de hasta el 92%.
MARKETING SENSORIAL
RECONOCIMIENTO DE EXPRESIÓN FACIAL
¿QUÉ ES LA EXPRESIÓN FACIAL?
Reconocimiento de expresiones faciales es una tecnología informática que por medio de algoritmos logra detectar instantáneamente rostros, codificar expresiones faciales y reconocer emociones. Es una tecnología que está alterando positivamente la industria de la investigación de mercado.
Las expresiones faciales son movimientos músculos suministrados por el nervio facial que al encontrarse unidos mueven la piel facial.
La actividad muscular facial es altamente especializada para la expresión, comparte información social comunicando de manera verbal y no verbal.
El párpado superior es el único musculo que se encuentra inervado por el nervio oculomotor, siendo el responsable de los movimientos oculares, las contracciones / dilataciones de las pupilas y la elevación del párpado.
El nervio facial es un nervio craneal mixto, es decir, contiene fibras sensitivas como motoras, presente en mamíferos incluyendo humanos en el cual forma el séptimo par craneal o VII par. Por ser un par craneal, emite dos fibras, una que corre por el lado derecho de la cara y el contralateral por la izquierda. Parte del tallo cerebral, justo entre el puente
10
Rekonoce
tronco encefálico y el bulbo raquídeo y controla los mas de 40 músculo estructurales funcionalmente autónomos los cuales se activan independientemente la expresión facial. La actividad muscular facial es altamente especializada para la expresión social comunicando de manera verbal y no verbal, así como el sabor en los dos tercios anteriores de la lengua. También suple inervación pre ganglionar parasimpática a varios ganglios nerviosos de la cabeza y el cuello. Los músculos faciales se encuentran están unidos a un hueso y al tejido facial, y únicamente al tejido facial, como el músculo que rodea los ojos y los labios.
El nervio facial es un nervio mixto con función principalmente motora, y con una porción sensitiva especial que recoge impresiones gustativas de los dos tercios anteriores de la lengua. En detalle:
1. Función motora: Es el nervio motor somático de los músculos cutáneos de la cara y del cuello. Es el nervio facial propiamente dicho. La raíz motora del facial se origina en el núcleo situado en la protuberancia superior (sobre coliculo facial).
2. Función sensorial: Recoge el sentido del gusto de los dos tercios anteriores de la lengua. Es el nervio intermediario Wrisberg. La raíz sensitiva se origina en el núcleo de la parte superior del fascículo solitario y en la parte superior del ala gris.
3. Función de sensibilidad general: Recoge la sensibilidad de la piel del dorso de la oreja (zona de Ramsay Hunt) y para el conducto auditivo externo.
4. Función motora visceral: Porque forma parte del parasimpático craneal al poseer fibras secretoras y vasodilatadoras, inervar las glándulas lagrimales, las sudoríparas de la cara, las salivales sublingual y submaxilar, la arteria auditiva y sus ramas y los vasos de las mucosas del paladar nasofaríngeo y fosas nasales.
Emociones versus sentimientos versus estados de ánimo.
Los sentimientos son percepciones subjetivas de los programas de acción emocional. Los sentimientos son impulsados por pensamientos y reflexiones conscientes, podemos tener emociones sin tener sentimientos, sin embargo, simplemente: “No podemos tener sentimientos sin tener emociones”.
Los estados de ánimo son estados internos difusos, subjetivos, generalmente menos intensos que las emociones y duran mucho más. Los
11
Rekonoce
estados de ánimo se ven muy afectados por los rasgos y características de la personalidad. Las expresiones faciales voluntarias pueden producir efectos corporales similares a los desencadenados por una emoción real.
Las expresiones faciales son solo uno de muchos correlatos de emoción, pero podrían ser los más aparentes. Los humanos obviamente pueden producir miles de conjuntos de expresiones faciales ligeramente diferentes; sin embargo, solo hay un pequeño conjunto de configuraciones faciales distintivas que casi todos asocian con ciertas emociones, independientemente del género, la edad, los antecedentes culturales y la historia de socialización.
El hallazgo de que casi todos pueden producir y reconocer las expresiones faciales asociadas a estas emociones ha llevado a los investigadores a suponer que son universales.
Hay una discusión en curso en la investigación de emociones sobre cómo las diferentes emociones se pueden distinguir entre sí:
Teoría de la emoción discreta.
asume que las siete emociones básicas son mutuamente excluyentes, cada una con diferentes programas de acción, expresiones faciales, procesos fisiológicos y cogniciones acompañantes.
Modelos dimensionales.
Dos o más dimensiones. La mayoría de los modelos dimensionales usan valencia (emociones positivas versus negativas)
como eje horizontal y excitación (activando vs calmando emociones) como eje vertical.
Con valencia y excitación.
Son posibles clasificaciones emocionales más sutiles: dividir la "felicidad" en un estado "feliz" menos excitado y un estado "eufórico" más excitado, por ejemplo. Nuevamente, las expresiones faciales son indicadores centrales de los estados emocionales subyacentes.
Las expresiones faciales también se desencadenan por mentalizaciones, recuerdos y pensamientos. Si ahora yo les platico de los días de cañas en MBIT podría poner una sonrisa brillante en nuestros rostros, mientras que pensar en la próxima evaluación de MBIT, probablemente nos hará fruncir el ceño.
12
Rekonoce
El nervio facial emerge de las profundidades del tronco encefálico, saliendo del cráneo por debajo de la oreja ramificando a todos los músculos. El nervio facial se encuentra conectado con regiones motoras más jóvenes en nuestra neocortex (área presente en cerebros de mamíferos), responsables de los movimientos musculares faciales.
Expresiones faciales voluntarias e involuntarias
El tronco encefálico y la corteza motora son específicamente activos dependiendo de si una expresión facial es involuntaria o voluntaria.
El tronco encefálico controla las expresiones involuntarias e inconscientes que ocurren espontáneamente, en la corteza motora está involucrada. Esta es exactamente la razón por la cual una sonrisa falsa no parece natural.
Expresión facial involuntaria e inconsciente: Este tipo de expresiones ocurren de manera espontanea, siendo controladas por el tronco encefálico, procesando la regulación emocional. Las expresiones faciales involuntarias, aquellas que ocurren de manera espontánea, se generan en el tronco encefálico es un área cerebral evolutiva muy antigua que los humanos comparten con casi todos los animales vivos.
Expresiones faciales intencionales, controladas y voluntarias conscientemente, por medio de la corteza motora, por esta razón no desencadena las mismas reacciones emocionales en el cuerpo.
Los estudios de imágenes funcionales (fMRI) muestran que el ser humano al enfrentarse a posibles amenazas visuales y auditivas en una región del tronco encefálico quien controla la excitación emocional es la amígdala quien se asocia con el proceso de eventos temerosos que amenazan la vida o estímulos de alto atractivo sexual o placer corporal. La amígdala modula la emisión de cortisol y otras hormonas del estrés en el torrente sanguíneo, controla la frecuencia cardíaca, la conductancia de la piel y la respiración, así como comportamientos observables, como cambios en la
13
Rekonoce
postura y, a través del nervio facial, expresiones faciales. Actualmente se ha descubierto que la amígdala es generalmente responsable de las funciones autónomas asociadas con la excitación emocional.
LA CODIFICACIÓN FACIAL
La codificación facial es una técnica que analiza las expresiones - movimientos de los músculos faciales - para detectar emociones.
Las expresiones faciales están conectadas a lo que sentimos. El córtex motor y la amígdala interactúan en el procesamiento de emociones. Dicha interacción genera impulsos eléctricos transmitidos a través del nervio facial que derivan en movimientos de los músculos de la cara.
¿Qué mide la codificación facial? La codificación facial es una técnica especialmente adecuada a la hora de detectar la valencia emocional. Es decir, señalar si la emoción es positiva o negativa. Cuando se habla de qué emoción en concreto se trata-alegría o sorpresa- el asunto se complica.
La variedad de expresiones faciales que una persona es capaz de producir es muy amplia, hablamos de miles de configuraciones distintas. Aún así, solo hay un conjunto pequeño de expresiones faciales que casi todos los seres humanos asociamos con emociones determinadas. Este conjunto es independiente del género, edad o contexto cultural, es decir, son en alguna medida universales.
Según la teoría de Ekman, hay siete emociones básicas con una configuración facial distintiva identificables en y por cualquier persona con independencia de su origen, edad o sexo.
Las emociones que podemos identificar con este grupo de expresiones faciales universales son: “Felicidad”, “tristeza”, “enojo”, “sorpresa”, “disgusto”, “calma”, “confusión” y actualmente “miedo”.
Estas siete emociones son clave para evaluar las preferencias de los consumidores, así como para producir estímulos de marketing “a medida”, para obtener resultados específicos.
El valor de los análisis de expresión facial radica en utilizar lo que el rostro expresa, para enriquecer los auto informes y conocer las
14
Rekonoce
respuestas emocionales más inconscientes en relación a un producto o servicio.
TIPOS DE RECONOCIMIENTO DE EXPRESIÓN FACIAL.
Los análisis de expresión facial permiten cuantificar tanto las expresiones faciales por sí mismas, como las emociones a las que están directamente asociadas.
Hay varias maneras de realizar un análisis de expresión facial, los tres más destacados son:
Electromiografía facial: se adhieren electrodos a la piel de los sujetos de estudio para detectar pequeños impulsos eléctricos que los músculos faciales generan al entrar en actividad.
Sistema de codificación de la acción facial: es un sistema estandarizado de clasificación de las expresiones faciales basado en características anatómicas, requiere de un experto capacitado prestando muchísima atención.
Análisis de expresión facial automatizado : algoritmos dentro de una computadora detectan el rostro, registran sus características y puntos clave, codifican las emociones y reconocen el estado emocional.
En este Proyecto se presenta:
RECONOCIMIENTODE CARA: SE RECONOCE SI HAY CARA (UNA O VARIAS, SIENDO 100 EL LÍMITE.
Detecta la presencia, ubicación, de un rostro el cual se encuentre presente dentro de una fotografía, en un fotograma o un video. Este sistema tiene como función principal detectar rostros sin tomar en cuenta otros atributos.
RECONOCIMIETO DE POSICIÓN FACIAL.
15
Rekonoce
Detecta la ubicación, escala y orientación de una rostro el cual se encuentre presente dentro de una fotografía o en un un video.
CONECCIÓN A API AWS ANÁLISIS DE SENTIMIENTOS.
Nos conectaremos a una API la cual nos da como respuesta ocho sentimientos, sexo, edad.
16
Rekonoce
17
APLICACIONES DE MARKETING SENSORIAL
Retail
Crear experiencias más inteligentes en tienda. Nuestra tecnología de análisis facial está capacitando a las empresas físicas con ideas de compradores anónimos en tiempo real para ayudarlo a optimizar las experiencias de los clientes y las operaciones minoristas cotidianas. No se necesita desarrollo, detecta y analiza múltiples caras. Acceda a información precisa y en tiempo real de la audiencia
Agencias de
publicidad y servicios
Compromiso publicitario el cual predice la imagen completa de los consumidores.Debido a que la experiencia del consumidor depende en gran medida de lo que los consumidores pueden y no pueden verbalizar, medir ambas cosas es fundamental para desarrollar relaciones sólidas logrando fidelizar con los consumidores y proporcionar las mejores experiencias posibles.
Con la plataforma de software Rekonoce, puede usar técnicas de análisis facial para capturar reacciones durante una experiencia para investigar con precisión cómo sus posibles clientes sienten, y responden. Los módulos flexibles, análisis de expresión facial, le permiten comenzar a medir, con solo los dispositivos que necesita para sus metodologías. Llegar a público objetivo.
Conducta del
comprador
Una herramienta para codificar y describir el comportamiento de forma precisa y cuantitativa. Puede sincronizar fácilmente múltiples flujos de datos del análisis de expresión facial, configurar, recopilar y analizar todos sus datos de comportamiento en un solo lugar.El software permite la presentación de estímulos en casi cualquier forma, desde imágenes, videos y sitios web, hasta configuraciones del mundo real, entornos de realidad virtual, simulaciones y más. El resultado es
Rekonoce
RECONOCIMIENTO FACIAL
DETECCIÓN DE ANÁLISIS EJEMPLIFICADO CON FINES DE MARKETING
Se detectan rostros en imágenes y vídeos. En esta sección se explican las operaciones para análisis de rostros. Con nuestro producto se puede obtener información sobre dónde se detectan rostros en una imagen o video.
Las referencias faciales presentadas para este proyecto:
Detección de rostros. Angulo y/o posición de la cabeza. Detección de sentimientos.
Usando una cámara web, los encuestados ven un anuncio en su computadora mientras la cámara web y el programa detectan micro expresiones hechas durante el anuncio. Generalmente, esto es seguido por un cuestionario para un verdadero enfoque de mente completa para comprender los procesos de toma de decisiones en juego durante la experiencia del consumidor.
La importancia del reconocimiento de expresiones faciales
Las expresiones faciales transmiten señales de comunicación no verbal que juegan un papel importante en la comunicación de cómo se siente una persona. El reconocimiento de la expresión facial es, por lo tanto, importante porque puede ayudar aún más a las empresas a comprender a sus audiencias. Debido a su capacidad para detectar y analizar expresiones de una imagen o video, es capaz de entregar respuestas emocionales imparciales y sin filtro como datos.
SOFTWARE DE EXPRESIÓN FACIAL REKONOCE
18
Rekonoce
En REKONOCE, desarrollamos soluciones patentadas de software de inteligencia artificial. A través de la visión por computadora y el aprendizaje profundo, podemos analizar rostros en imágenes, videos y en entornos de la vida real. Nuestro REKONOCE puede detectar y medir expresiones faciales como felicidad, sorpresa, tristeza, asco, ira y miedo. El estado de ánimo general se puede estimar con una precisión de hasta el 99%
Al subir alguna de las imágenes seleccionadas, se obtiene un análisis del rostro encontrado dentro de la misma. La cual es analizada y nos devuelve los atributos faciales con un promedio porcentual sumamente alto.
Este resultado es almacenamiento para guardar los metadatos faciales por lo que tendrá cada vez una BDD mucho más amplia por lo que contaremos con resultados más acertados.
AMENAZAS DEL PRODUCTO
o Costes con el preveedor.o Artículos (como el que se muestra a continuación):
Existe evidencia científica que sugiere que existen correlaciones entre las expresiones faciales y las emociones, la forma en que las personas comunican las emociones principales varía según las culturas y las situaciones. A veces, tipos similares de movimientos faciales pueden expresar más de una categoría de emociones, por lo que los investigadores han advertido que "no es posible inferir con confianza la felicidad de una sonrisa, la ira de un ceño fruncido o la tristeza de un ceño fruncido, intenta hacerlo cuando aplica lo que erróneamente se cree que son hechos científicos ".La disponibilidad de la tecnología de reconocimiento facial también ha generado preocupaciones sobre su uso potencial en la vigilancia y la posibilidad de que pueda interferir con la privacidad. Por su parte, ha sido objeto de controversia por su uso por parte de los organismos encargados de hacer cumplir la ley y un argumento de venta reportado a Inmigración y Aduanas en los Estados Unidos. Aún así, AWS ha dicho que la tecnología es utilizada por organizaciones que trabajan con la aplicación de la ley para abogar por víctimas del crimen
Problemas a los que podríamos enfrentarnos: sesgo racial, sesgo de género y clasificación de las minorías de género.
19
Rekonoce
METODOLOGÍA
METODOLOGÍA DE DETECCIÓN DE ROSTRO
El uso actual de cámaras y el gran uso de teléfonos celulares con una avanzada tecnología elimina el impedimento del uso de equipos de alto precio, es por esta razón que nuestros equipos realizan en de forma automática el código de la expresión facial. Con esta tecnología también se comienzan a indexar gran cantidad de etiquetas para videos y acciones, objetos, diferentes tipos de ambientes, actividades humanas, detección de animales (especificando diversas clases de ellos) entre otros.
Nuevamente mencionamos cuales son los pasos dentro del análisis que utilizan la mayoría de empresas para realizar el análisis de expresión facial.
Detección de rostros
RECOPILACIÓN DE DATOS (EQUIPO).
El análisis de expresiones faciales se puede realizar en tiempo real, es decir, mientras los encuestados se encuentran expuestos a estímulos emocionales siendo monitoreadas y registradas.
El análisis de expresión facial puede ser ejecutado fuera de tiempo real, procesando capturas faciales que se han registrado anteriormente. Este tipo de análisis puede ser utilizado para grabar un público más amplio y,
20
Rekonoce
analizar las expresiones faciales de diferentes personas ante estímulos emocionales iguales.
Codificación facial automática en línea con cámaras web, tendremos en cuenta las siguientes especificaciones de la cámara:
1 lente: use una lente estándar.
2 Resolución: El análisis de expresión facial automatizado funciona para
resoluciones bajas siempre que la cara del encuestado sea clara.
3 Velocidad de fotogramas: la cámara debe tener una velocidad de
fotogramas estable de 10 fps o superior.
4 Enfoque automático: utilizar una cámara que pueda rastrear las caras de
los encuestados dentro de un area. Actualmente preferiremos trabajar con
modelos de cámaras los cuales ofrecen procedimientos de seguimiento s
basados en software.
3 Apertura, brillo y balance de blancos: La mayoría de las cámaras pueden
ajustarse automáticamente a las condiciones de iluminación. En caso de
retroiluminación, el control de ganancia en muchas cámaras reduce el
contraste de la imagen en primer plano, lo que podría afectar el
resultado .
4 megapíxeles 8GB RAM 16GB storage 32GB SD card Wi-Fi micro HDMI port audio port USB port Intel Atom processor.
21
Rekonoce
CAMARA.
Por motivos de tiempo y con las ganas de mantenernos probando la última y mejor tecnología en Análisis facial, reconocimiento de imagen y con el fin de ir incluyendo a futuro diversos servicios en diversas áreas, hemos utilizado para las diversas pruebas una cámara la cual contiene tecnología de aprendizaje profundo.
Lo cual nos permitió tener una fácil derivación de programas en la cámara y economizar tiempo y personas en este proyecto. Es de gran importancia mantenernos siempre utilizando las herramientas más modernas en el mercado, ya que los actuales bajos costes de estos productos nos permiten estar “ one step forward” frente a nuestros competidores. Por otro lado su fácil integración y compatibilidad con los servicios que estamos utilizando con aws, nos lleva a tener un mejor flujo del proyecto y con una menor cantidad de errores.
En el gráfico siguiente mostramos las especificaciones técnicas de la cámara utilizada.
Este tipo de cámaras podrán ser utilizadas en proyectos piloto para facilitar el aprendizaje profundo de nuevos negocios a desarrollar, mejorando estos proyectos piloto y así disminuir costes a nuestro usuario final, evitando una fuerte inversión en cámaras.
Por otro lado el uso de cámaras web de bajo costo hace que la codificación de expresión automática sea ideal para capturar videos faciales en una amplia variedad de entornos ambientales naturalistas, como los hogares de los encuestados, el lugar de trabajo, el automóvil, el transporte público y muchos más.
22
Rekonoce
Un píxel es el punto más pequeño que compone una determinada imagen. Para entenderlo de
una forma más simple, lo único que tenemos que hacer es visualizar nuestro monitor o nuestro
televisor; estos consiguen mostrar la imagen haciendo una división de todas las imágenes en
millones de píxeles.
Funcionamiento de un píxel
Cómo estos píxeles están tan unidos, parece que estén juntos, pero en realidad cada uno trabaja de manera independiente y es fácil descubrirlo en monitores con cierta edad donde algunos de ellos “mueren” y al dejar de iluminar, rompen parte de la continuidad de la imagen que estemos viendo.
Cada pixel puede representar un específico número de bits; dependiendo de la cantidad de ellos, conseguirá un color diferente. Por ejemplo, si hablamos del modo de color de 8 bits, nos estamos refiriendo a que el monitor en sí usará 8 bits para cada uno de los píxeles; de esta manera, el resultado final muestra 2^8 colores o lo que es lo mismo, 256 totalmente diferentes.
La calidad final de la pantalla dependerá de la cantidad de bits que se usan para la representación de los píxeles. Lo ideal es utilizar cámaras mínimo de 4 píxeles.
VISIBILIDAD DE LA CARA.
• El análisis de la expresión facial requiere la visibilidad de puntos de referencia faciales emocionalmente sensibles como las cejas, los ojos, la nariz y la boca. Si alguno de estos está ocluido, el seguimiento de la cara y el análisis de expresión pueden conducir a resultados parciales.
• Evitaremos sombreros, gorras, gorros, etc., ya que es probable que proyecten sombras y ocluyan puntos de referencia faciales. Las gafas de sol interferirán con la captura adecuada de la cara. Así como los anteojos muy grandes.
• La barba larga la cual puede llegar a obstruir la boca no son óptimas. De manera equivalente, debe excluirse el peinado que cubra parcialmente la cara .
23
Rekonoce
• Las joyas faciales, los piercings múltiples en la boca y las cejas pueden tener un impacto negativo.
Hablar, comer y beber implican el movimiento de los músculos faciales inferiores, particularmente en el área alrededor de la boca y las mejillas. Mientras estas actividades
Con el fin de evaluar las características de expresión facial se recopilará una expresión facial "neutral" durante un período de referencia, de 5 a 10 segundos.
Ejecutando una línea de base
En caso de que se requiera una línea de base, puede ejecutar los siguientes procedimientos:
Línea de base neutral En esta condición, en la que no se presentan estímulos. Línea de base con estímulos variables Bajo esta condición, las expresiones faciales de un encuestado
comprenden el espectro completo de expresiones neutrales y expresiones con alta valencia positiva y negativa.
Resolución: la resolución del video debe ser de al menos 640 x 480 píxeles.
VELOCIDAD DE FOTOGRAMAS: SE RECOMIENDA UNA VELOCIDAD DE FOTOGRAMAS DE 10 FPS O SUPERIOR.
• La cámara se coloca preferentemente al nivel de los ojos del encuestado. Los ángulos faciales de ± 20 grados pueden ser aceptados.
• Para estímulos basados en pantalla (videos, imágenes, sitios web, juegos, interfaces de software), La cámara se debe colocar justo en el punto donde el encuestado se encuentre mirando de frente.
• Los motores de análisis facial recomiendan distancias mínimas de oreja a oreja para una codificación óptima de emociones, atributos, demografía, pose o codificación de la Unidad de Acción.
• El seguimiento de la cara y el análisis de la expresión facial funcionan mejor con una iluminación interior, uniforme y difusa. Realice una configuración con contraste estándar.
• Las configuraciones softbox son muy atractivas para adaptarse a las condiciones óptimas de iluminación.
24
Rekonoce
•. El análisis de la expresión facial no funciona en la oscuridad. En casos necesarios se aplicará a la cámara luz infrarroja.
• Un fuerte iluminación direccional que brilla en un lado de la cabeza causa un alto contraste, lo que puede modificar el resultado en el análisis de la expresión facial.
CÓDEC DE VIDEO.
Si el archivo se puede reproducir con Windows Media Player, es probable que pueda procesarlo con un análisis automático de expresión facial. Los códecs MP4 y WMV son compatibles. Si el video es procesado en un códec no compatible, se utilizarán herramientas de conversión disponibles gratuitamente, como Handbrake, para cambiar el códec de video. Sin embargo, estas herramientas pueden diferir en la forma en que leen los códecs, lo que resulta en datos de emoción ligeramente diferentes. Si procesa el mismo video decodificado con dos bibliotecas diferentes, esto puede resultar en dos conjuntos de valores de emoción ligeramente diferentes.
El resultado es un cuadro de cara que enmarca la cara detectada.
2. Detección y registro de puntos faciales
Una vez detectado el rostro, se identifican y fijan puntos de referencia clave dentro de la cara, como ojos, esquinas de los ojos, cejas, esquinas de la boca, punta de la nariz, etc. Así como grupos de características, que refleja toda la "Gestalt" de un área de la cara emocionalmente indicativa. Estos puntos ayudan a monitorizar las zonas donde se encuentran grupos musculares clave en la obtención de información emocional, pues es en ellos donde se producen las llamadas Unidades de Acción (AU).
25
Rekonoce
Este avance con la adopción de algoritmos de visión artificial y aprendizaje con la recopilación de bases de datos de expresiones faciales de alta calidad en todo el mundo.
La gran mayoría de análisis de expresión facial comprenden los mismos pasos. Nosotros aplicaremos la siguiente metodología.
TÉCNICAS DE ANÁLISIS DE EXPRESIÓN FACIAL
Los análisis de expresión facial pueden ser actualmente colectados y analizados de tres formas
1. Por medio de una electromiografía. (fEMG)
2. Por medio de observación manual y creando un código al observar al individual.
3. Método automatizado por análisis de expresión facial utilizando algoritmos.
4. Análisis de expresión facial (fEMG)
ANÁLISIS DE EXPRESSION FACIAL (FEMG)
5. Con EMG se puede seguir la actividad facial de los músculos con electrodos enlazados a la piel de la cara. fEMG son colocados lo más próximo a los dos mayores músculos el “corrugator supercilii” (el músculo de las cejas)
Este músculo esta asociado y activo para prevenir la elevada luz del sol o cuando las personas expresan emociones negativas. Este músculo se extiende hasta cubrir el rededor de la boca, por esta razón se asocia con la sonrisa.
CORRUGATOR SUPERCILII: grupo de mícúlos esta activo
para prevenir los ojos de la luz solar y por otro lado es
utilizado cuando tenemos emociones negativas o mostramos
dolor. Es por eso que este músculo junto con su análisis 26
Rekonoce
Beneficios de fEMG:
1 fEMG es una forma de análisis no invasiva y muy precisa, y continuamente controla la actividad muscular facial.
2 fEMG no depende del lenguaje por lo que no requiere esfuerzo cognitivo o de memoria.
3 fEMG tiene una alta fiabilidad incluso si la persona se encuentra en un escenario donde la infraestructura este conformada para inhibir la expresión facial.
Limitaciones de fEMG:
1 fEMG requiere cables, electrodos y amplificadores. Es altamente intrusiva la respuesta es muy elevada por lo que se tiene que escalar.
2 fEMG es sensitiva al movimiento del equipo que se pone cono interferencia eléctrica.
3 fEMG requiere expertos que trabajen procesando las respuestas por los sensores, lo cual nos lleva a necesitar una persona que procese la salida de los biosensores.
CORRUGATOR SUPERCILII: grupo de mícúlos esta activo
para prevenir los ojos de la luz solar y por otro lado es
utilizado cuando tenemos emociones negativas o mostramos
dolor. Es por eso que este músculo junto con su análisis
Zigomáticus: Este es el músculo es el que
esta asociado con la sonrisa.
27
Rekonoce
SISTEMA DE CÓDIGO FACIAL. “THE FACIAL ACTION CODING SYSTEM” (FACS)
Este sistema esta basado en un sueco anatomista llamado Carl-Herman
Hjortsjö, Paul Ekman and Wallace V. Friesen, developed el es una de las personas que ha desarrollado métodos objetivos de código facial y su conducta.
Para tener una respuesta se estandariza un sistema de clasificación facial sí como ingenieros que son expertos en código de anatomía humana. En conjunto estos expertos examinan la cara que ha sido grabada y guardada como archivo mp4 y describe estas expresiones faciales y sus combinaciones de estos elementos los cuales son llamados “Unidades de acción” (AUs).
Durante la fase de análisis el sistema permite modular la construcción de emociones basada en combinaciones de emociones de acción.
Con las unidades de acción de código se puede obtener un resultado que se puede dividir en tres categorías.
28
Rekonoce
Macro expresiones estas expresiones tienen un rango en tiempo de entre ,5 segundos y 4 segundos.
Micro expresiones, estas expresiones pueden tener una duración menor a medio segundo, pudiendo ocurrir de forma consiente o de forma inconsciente, las micro expresiones son difíciles de detectar.
Expresiones sutiles son las asociadas con la intensidad y se encuentran cargadas de gran emoción. La intensidad de esta acciones faciales varían constantemente. La intensidad esta correlacionada con la profundidad de la emoción. Estas emociones cambian constantemente.
Beneficios del análisis facial:
1 No es intrusiva y con un resultado muy fiable. Estas emociones emergen durante el proceso por lo que se miden durante un tiempo. Por ejemplo en un retail se colocan cámaras sobre los stands de ropa y se analiza hacia donde miran las personas según la posición de la cabeza, este código puede trabajar en conjunto con un código de análisis facial.
2 FACS, el nivel de scores tienen una alta efectividad y sus parámetros de error son sumamente bajos.
Limitaciones de los FACS:
1 FACS de código necesitan alta calidad de video y constante enlace.
2 FACS Los resultados de scoring si no se encuentran perfectamente entrenados pueden tener sesgos a discriminación. El código es laborioso y costoso. En tiempo 100 minutos de código puede ser un minuto de análisis de video para nuestros ingenieros. El almacenamiento y la visualización son otro reto ya que es costoso y se necesita una membrana técnica muy sustentable..
Actualmente nos vemos obligados a evolucionar los sistemas de data y de IA dentro de marketing, ya que son tecnologías que han emergido hace poco tiempo, y han evolucionado en forma exponencial. Los clientes cada vez piden soluciones que se les realice una entrega de data limpio y bajo estándares de visualización en un environment de fácil uso para mejorar sus servicios, al mismo tiempo buscan este data para estar al nivel de la competencia y/o tener ventaja sobre ella. Actualmente se les estará
29
Rekonoce
ofreciendo un reconocimiento facial en el área de retail y people analytics mismo que se guardará el histórico por un año según el cliente lo solicite.
METODOLOGÍA DE LA EXPRESIÓN DE ANÁLISIS FACIAL
Este desarrollo se ha realizado por medio de diversos códigos, algoritmos machine learning una gran base de datos de buena calidad y con etiquetas completamente limpias y con expresiones faciales de diferentes razas , nacionalidades, rango de edad y religiones. Estas las utilizamos diariamente el los teléfono o con las webcams y la computadora y nuestros dispositivos almacenan gran información, almacenando en diversas categorías.
POSICIONES FACIALES.
Una vez detectado el rostro nos interesa mucho saber cual es la orientación de este, el fin de esto es saber hacia donde fijan la mirada los clientes de nuestros clientes para eso se ha trabajado utilizando la arquitectura de RestNet.
Este Proyecto utilizará un modelo de aprendizaje profundo, por medio de Python y tensorflow lograremos saber con exactitud cual es la orientación y/o posición de la cabeza de una persona.
La red se entrenó con el conjunto de datos PheadPose Bd el cual tiene 15 personas con diferentes posiciones y con inclinación entre – y + 90grados. Siendo 8 posiciones por cada persona.
30
Rekonoce
La visualización será la mostrada en el cuadro de arriba.
Para más información ver (Deeplearning, posición facial página 42.)
EXPRESIONES FACIALES.
Una vez detectado el rostro, se identifican y fijan puntos clave del rostro: comisura de los labios, punta de la nariz, extremos de las cejas. Estos puntos ayudan a monitorizar las zonas donde se encuentran grupos musculares clave en la obtención de información emocional, pues es en ellos donde se producen las llamadas Unidades de Acción (AU).
El tipo de emociones se determina por medio de el movimiento de las las AU las cuales son letras de codificación facial aislada, la cual es un movimiento de una zona de la cara. La emociones se logran determinar al crear una arquitectura que combina las expresiones faciales dando como resultado un significado emocional.
En la última fase, las AUs son detectadas y procesadas automáticamente por un software para su posterior clasificación dentro de una categoría emocional. El software de clasificación dentro de una categoría emocional se compone de la detección de movimientos. Por ejemplo, en un frame la mejilla aparece tener una subida (AU 5) y los labios se separan (AU 20) Por lo que el software dará como resultado probable se trate de una sonrisa.
Utilizar la palabra “probable” no es casual. La codificación facial no deja de ser una "reverse inference". No existe una métrica que defina cual es el grado en el cual la curvatura de los labios sea considerado como una sonrisa.
Es por esto que se recurre a enfoque probabilístico. El software, en base a la información de una base de datos, señalará la probabilidad de que la unión de las AU sean consideradas como una sonrisa en un grado porcentual. Para convertir esta información en un diagnóstico emocional, el software evalúa el grado de presencia rasgos faciales tipo de las emociones.
Para convertir esta información en un diagnóstico emocional, el software evalúa el grado de presencia rasgos faciales tipo de las emociones. Así determina el mix de emociones de un rostro.
31
Rekonoce
3 Expresión facial y clasificación de emociones.
Una vez que ya se ha terminado con el punto anterior el modelo lo tenemos disponible, con una posición de cara (ángulo de cara con respecto a la posición facial) Lo mas importante es la ingesta de data y su clasificación con etiquetas (en nuestro caso etiquetas jsn ya que son las compatibles con el visualizador para el cliente), pasan a los algoritmos de clasificación los cuales nos entregan como resultado:
HERRAMIENTAS:
Motores de expresión facial difieren según las métricas disponibles que se codifican automáticamente:
• Orientación de la • Orientación de la cabeza • Orientación de la cabeza
32
Rekonoce
cabeza (guiñada,
cabeceo, balanceo)
(guiñada, cabeceo,
balanceo)
(guiñada, cabeceo, balanceo)
• 6 puntos de referencia
faciales (AGREGAR la
posición de los ojos y la
nariz)
• Distancia interocular y 34
puntos de referencia faciales
• 6 emociones
básicas; desprecio
(experimental),
excitación,
valencia
• 7 emociones básicas,
valencia; estados
complejos: frustración,
confusión
• 7 emociones básicas;
valencia, compromiso, atención
• el sexo del encuestado
METRICAS DE CARACTERÍSTICAS FACIALES.
La traducción de las características faciales a las métricas se realiza estadísticamente, comparando la apariencia real de la cara y la configuración de las características numéricamente con las bases de datos normativas proporcionadas por los motores de expresión facial.
Expresión facial
La expresión facial actual de un encuestado se compara con bases de datos los cuales contienen estadísticas y distribuciones normativas.
33
Rekonoce
de todas las características de los encuestados de múltiples regiones geográficas y perfiles demográficos, así como categorías de estímulo y condiciones de registro. Cada motor de análisis de expresión facial utiliza una base de datos diferente. Esta es la razón por la que se obtienen resultados ligeramente diferentes.
La clasificación estadística.
Si las esquinas de la boca del encuestado se tiran hacia arriba, un codificador humano codificaría esto como actividad de AU12 ("tirador de la esquina del labio"), indicando que el encuestado está sonriendo. El software de expresión facial realizará el calculo de la diferencia vertical entre las esquinas de la boca y el centro de la boca, devolviendo un valor de 50 mm. Este valor se compara con todos los valores posibles en la base de datos (valores entre 0 mm y 100 mm).
En este caso el resultado de la expresión facial se encontrará en el punto central de la distribución la expresión "sonrisa" (0 <50 <1000 mm). Por lo que la expresión que nos da como resultado es más fuerte que una leve sonrisa, pero no lo suficientemente como una gran sonrisa.
El clasificador perfecto nos devuelve "Sí" o "No" para cada emoción, AU o métrica.
Los puntos grises muestran las configuraciones de boca en la base de datos que no son clasificadas como sonrisas “No”, mientras que los puntos blancos
representan la clasificación de bocas de la base de datos las cuales son consideradas como sonrisas “Si”.
La línea divisoria denota el criterio de clasificación. Por lo que en el centro contamos con una línea de transición difusa donde algunas configuraciones de boca están mal clasificadas: Como consecuencia, el
34
Rekonoce
clasificador solo puede devolver un resultado probabilístico, lo que refleja la probabilidad de que la expresión sea una auténtica "sonrisa".
La clasificación de características se realiza para cada emoción, Unidad de acción y característica clave de forma independiente: se codifican de forma independiente. La codificación automática tienden a interpretar la activación de una Unidad de Acción en concierto con otras Unidades de Acción.
Salida de datos y visualización
El análisis automático de expresiones faciales devuelve puntuaciones numéricas, unidades de acción y emociones junto con el grado de confianza. Estas métricas son utilizadas como detectores: a medida que la expresión facial o la emoción se produce y / o se intensifica, el puntaje de confianza aumenta de 0 (sin expresión) a 100 (expresión completamente presente).
Los valores numéricos que representan la expresión facial se pueden trazar y visualizar tanto para imágenes estáticas como para videos (cuadro por cuadro)
Si no se considera una línea de base individual y se usan puntajes brutos, la cantidad de sonrisas y otras expresiones alegres dentro de un cierto período de tiempo se desestimará.
Para evitar esto, haremos lo siguiente dentro de cada emoción:
1 Calcular la mediana de todas las muestras durante el período de referencia.
2 Restar la mediana de todas las otras muestras.
Otro aspecto importante para el análisis de los datos de expresión facial es enfocarse en los puntajes reales o en los datos restringidos.
35
Rekonoce
UMBRALES EN TIEMPO Y AMPLITUD:
Umbral en el tiempo
Esta técnica de umbral define una duración mínima en la que cierta expresión facial tiene que estar activa para ser considerada para un análisis posterior. Los umbrales temporales enmascaran las ocurrencias cortas de expresiones faciales, sin importar cuán fuertes sean. Es por esto que al trabajar con videos trabajaremos para obtener un resultado con un menor índice de error. Se evitarán tener expresiones súbitas faciales, por lo que se utilizarán diferentes parámetros en un intervalo de tiempo entre diferentes frames, evitando de esta forma que se tome en cuenta cualquier salida que sea más corta que la ventana definida.
Umbral basado en amplitud
Los umbrales basados en amplitudes especifican una amplitud mínima en la que cierta expresión facial tiene que estar activo para ser considerado para un análisis posterior. Los umbrales basados en amplitud enmascaran las ocurrencias de baja amplitud como una leve sonrisa o un surco sutil, sin importar cuánto tiempo estén presentes.
Al trabajar con un umbral se basado en la amplitud, se puede establecer un límite absoluto o relativo. Umbrales absolutos
Supongamos que sus datos de expresión facial varían en una escala de 0 -100 (siendo cero no presente y 100 muy presente). Puede establecer un umbral absoluto (codificado) en un valor de 50. En este caso, todos los valores por encima del umbral "sobreviven". El umbral absoluto es buena opción si los encuestados expresan alta amplitud por encima del umbral.
Umbrales relativos
Para identificar las expresiones faciales más fuertes, independientemente de su puntaje absoluto, se tiene que definir un umbral relativo. Este tipo de umbrales son establecidos en función de la distribución de datos de un encuestado. Así es como funcionará: clasifica todos los puntajes de acuerdo con su valor y define un criterio de corte relativo en el percentil 75, por ejemplo. Este es el valor que separa el 75% inferior del 25% superior de los datos. Con un umbral relativo, puede identificar aquellos
36
Rekonoce
momentos en el tiempo en que los encuestados mostraron su expresión facial más fuerte (el 25% superior). Un umbral relativo generalmente tiene valores numéricos diferentes entre los encuestados, ya que los puntajes de expresión sin procesar de cada encuestado difieren (mientras que el percentil 75 para el encuestado A podría estar en un valor de 55, el percentil 75 para el encuestado B podría estar en un valor de 25). Selección del Umbral según el rubro y la aplicación.
DATA DE ANÁLISIS FACIAL
La agregación de data de expresión facial entre los encuestados se puede lograr en función de los valores reales y binarizada de cada uno de los encuestados.
1 Dividir datos continuos de cada encuestado durante el período de estímulo seleccionado en intervalos con una determinada longitud de salida.
2 Calcular la mediana de la puntuación de expresión facial dentro de cada salida.
Si la mediana supera el umbral, asignaremos el valor de 1 ("verdadero"). Asignaremos un valor de 0 ("falso") a intervalos en los que los datos no superen el umbral. En lugar de las puntuaciones reales de expresión facial, se utilizarán los valores binarios 0 o 1. Con esto podremos manejar el data sin importar el volumen.
En cada intervalo de tiempo, resuma las puntuaciones binarias de todos los encuestados. Aquí hay un ejemplo: en caso de que haya recopilado datos de expresiones faciales de 100 encuestados y todos hayan mostrado una expresión facial por encima del umbral en un intervalo determinado, el valor agregado para este intervalo es 100. Si ninguno encuestados lograra mostrar una expresión facial que excediera el umbral, el valor agregado para este intervalo es 0.
La curva resultante es una visualización de la consistencia de las expresiones faciales de sus encuestados desencadenadas por el material de estímulo proporcionado. El resultado agregado se relaciona directamente con la excitación fisiológica y psicológica de la audiencia (esto será el trabajo futuro)
De esta forma lograremos extraer el data y el número de ocurrencias de una expresión facial específica dentro todos los encuestados.
37
Rekonoce
APRENDIZAJE PROFUNDO
APRENDIZAJE PROFUNDO DE DETECCIÓN DE ROSTRO.
El código que se encuentra detrás del modelo se trabajo en .Py dentro de la consola aws.
Data output.
(Video anexo)
38
Rekonoce
APRENDIZAJE PROFUNDO DE ORIENTACIÓN FACIAL.
Este es un modelo el cual tiene como entrada la transmisión de video por medio de una cámara. El modelo ha sido previamente entrenado y derivado en la cámara. El modelo fué entrenado en phyton y subido a la plataforma aws para lograr detectar rostros en un espacio.
1. Base de datos (Head pose)
La base de datos esta conformada por 2790 imágenes de la cara. Compuesta por 15 personas con posicionada en diferentes ángulos ( -90 to +90 grados). Para cada persona se tomaron dos series de 93 imágenes en diferentes posiciones. El propósito de tener dos series por persona es el estar entrenado para los algoritmos en saber cuales son las caras ( cf. sección dos y 3) La gente en la base de datos usa lentes y tiene diferentes tonos de piel (distintas nacionalidades). El entorno es neutral Las posiciones de cada imagen esta guardada en un archivo de texto diferente.
La base de datos tiene un tamaño completo de aproximadamente 30 MB. Los archivos se envían a los directorios. Cada directorio contiene
39
Rekonoce
imágenes de una persona, por lo tanto 2 series. Todas las imágenes están en formato JPEG.. El directorio frontal consta de 30 imágenes frontales (ángulos de giro e inclinación iguales a 0) de personas de la base de datos. Esta serie se puede utilizar para aprender o probar en imágenes frontales.
Los nombres de archivo se construyen de acuerdo con la siguiente gramática:
person[Id][Serie][Number][Tilt][Pan].jpg
Id = {01, ..., 15}Número de persona
Serie = {1, 2} Número de serie,
Number = {00, 01, ..., 92}Número de archivo en directorio
Tilt = {-90, -60, -30, -15, 0, +15, +30, +60, +90} Angulo vertical ,
Pan = {-90, -75, -60, -45, -30, -15, 0, +15, +30, +45, +60, +75, +90} Angulo horizontal.
Cada archivo es único person08123-30+45.jpg :
id = 08 Serie = 1 Number = 23 Tilt = -30 Pan = +45
Negative values Positive values
Pan Angle Bottom Top
40
Rekonoce
Tilt Angle Left Right
En caso de que el ángulo vertical sea -90 o +90, la persona estará mirando la parte inferior o superior, y luego el ángulo horizontal es 0. Cada serie contiene, por lo tanto contiene, 7 x 13 + 2 x 1 x 93 imágenes.
2. Niveles de cara
Las etiquetas de cara correspondientes se almacenan como coordenadas en un archivo de texto individual del nombre correspondiente:
person[Id][Serie][Number][Tilt][Pan].txt
El texto de archive tiene el siguiente contenido:
[Corresponding Image File] Face [Face Center X] [Face Center Y] [Face Width] [Face Height]
3. Prueba con caras conocidas
La estimación de la postura principal de las caras conocidas se realiza dividiendo la base de datos en dos grupos. Cada grupo reúne conjuntos de la misma serie de todas las personas. La prueba se realiza mediante una validación cruzada de 2 veces en estos dos grupos. La siguiente imagen describe el proceso:
41
Rekonoce
2-Fold cross validation algorithm. Each square represents a serie. Squares of the same column are series of the same person
4. Realizando la prueba con caras desconocidas.
Se realiza una estimación de la postura de la cabeza de caras desconocidas haciendo un algoritmo Jack-Knife (también llamado Leave One Out) en las personas de la base de datos. Todas las imágenes se utilizan para el entrenamiento, excepto las imágenes de una de las personas la cual será, quien se utilizará para las pruebas. La persona de prueba se cambia en cada paso. Este es un algoritmo exhaustivo. No hay imágenes de la misma persona tanto en el entrenamiento como en las partes de prueba:
Jack-Knife algorithm. Each square represents a serie. Squares of the same column are series of the same person
5. Adquisición de la imagen
Todas las imágenes han sido tomadas utilizando la Plataforma FAME del Equipo PRIMA en INRIA Rhone-Alpes. Para obtener diferentes posturas, han colocado marcadores en toda la habitación. Cada marcador corresponde a
42
Rekonoce
una pose 2D (pan, tilt). Los Post-it se utilizan como marcadores. Todo el conjunto de post-it cubre una media esfera delante de la persona. Para obtener la cara centrada en la imagen, se le pide a la persona que se ajuste la silla para ver el dispositivo delante de él. La persona se encuentra a una distancia de 2 metros de la cámara. Después de esta fase de inicialización, la persona mira sucesivamente a los 93 post-its, sin mover los ojos. Todas las imágenes se obtienen mediante este método.
¿Están etiquetadas las posiciones de la nariz?
No, ya que las etiquetas de las caras se proporcionan como rectángulos.
¿Por qué los nombres de archivo son tan complejos?
Es una manera de que ambos tengan archivos ordenados (de abajo a arriba y de derecha a izquierda) y ángulos identificados dentro sus nombres de archivo, manteniendo los únicos.
El código de phyton es el siguiente:
43
Rekonoce
Utilizaremos esto como una implementación de referencia que aprovisiona automáticamente los servicios de AWS necesarios para crear un flujo de trabajo de video bajo demanda distribuido y de escala ajustable. La solución usa Amazon CloudWatch para monitorizar los archivos de registro y envía notificaciones de Amazon SNS en caso de que se produzcan codificaciones, publicaciones y errores.
Con la ingesta de el video pondremos especial atención en los recursos de
eficiencia y escalado, el data parará de forma rápida y se tendrá acceso a ella en tiempo real, este pasará a diferentes formatos. Esta adaptación se realizara a medida de cada cliente.
Video bajo demanda en AWS
El video bajo demanda lo trabajaremos bajo una implementación de referencia el cual nos provee los servicios necesarios para la creación de un entorno de trabajo, se crea un flujo de trabajo de video.
Contaremos con una formas de salida. Será completamente para que los
44
Rekonoce
desarrolladores e ingenieros para que logren trabajar en ella editando códigos y guardando el data que se ve reflejado en esta instancia. Para dar una respuesta procesada al cliente. Por ejemplo hacia donde gira la cabeza una persona al entrar una tienda, ¿Que llama la atención de las personas? Esto lo realizaremos por medio de un visualizador. Por ahora queda así.
CUADRO DE MANDOS
Desafíos del proyecto:
El proceso y el resultado, así como la escalabilidad resultan de gran importancia para este proyecto. Ya que nos estamos dirigiendo a diferentes pymes, y con todas ellas se manejarían grandes volúmenes de datos, por esta razón es que nos enfrentamos a un gran desafío con la infraestructura de la base de datos y su administración; se ha puesto atención en el llamado patching o “bugfixers” así como la escalabilidad. En la administración de todo el proceso se han planeado la monitorización y la salida de el data así como el deployment.
Estamos consientes que el tiempo real es actualmente una necesidad básica que todos los clientes solicitan. Por lo que es de gran importancia esta instancia para nosotros y se han colocado dos herramientas obtener data en tiempo real.
45
Rekonoce
Cuadros de mandos funcional
Puede utilizar una red de entrega de contenido (CDN) como distribuidor de cloud dentro de AWS, almacenando en encaché contenido, el cual sería fotografías y videos y la CDN lo entrega inmediatamente. Si el contenido no se encuentra actualmente en la ubicación más cercana, la CDN lo recupera del origen ( en nuestro caso la ubicación es, us east-1 Virginia) y se distribuye al usuario.
46
Rekonoce
Nos apoyaremos de CloudFront ya que es un servicio rápido de red de entrega de contenido (CDN) el cual distribuye a clientes globalmente datos, vídeos, aplicaciones y API de forma segura, con baja latencia, altas velocidades, mediante ubicaciones físicas. Este cloud nos sirve de apoyo para ejecutar código personalizado para nuestros clientes mejorando la experiencia de usuario de nuestra empresa. Nuestro mercado objetivo se encuentra en Latinoamérica, por lo que es de gran utilidad contar con esta herramienta. Durante el primer año trabajaremos con la gama gratuita.
EC2:
Amazon Elastic Compute Cloud (Amazon EC2) es el servicio u servicio web que nos proporcionará capacidad informática en la nube de forma segura y escalable. Por medio de este cloud disminuiremos tiempo, costes, personal, y ganaremos eficiencia, calidad trabajando en un entorno seguro. Esto nos permitirá obtener y configurar capacidad con muy poca fricción y con un un un alto índice de confianza en resultados. Encontramos que esta es la mejor herramienta para crear aplicaciones resistentes a errores y para aislarlas de los casos de error comunes.
47
Rekonoce
Para nosotros pensando en el negocio lo más importante es disminuir costes fijos, ya que somos una empresa nueva y no tenemos ninguna otra empresa subsidiando el proyecto. Aún no sabemos en que medida se moverá nuestro producto en el mercado. Por lo que se eligió una plataforma donde se pudiera tener un escalado a medida de lo que se utiliza.
Esto nos permite saber cuantas instancias tenemos y cuantas están en uso. Por esta razón tenemos suficientes instancias en caso de que un cliente mediano nos llegue a solicitar un proyecto .
48
Rekonoce
Elastic Load Balancing.
Nos ayudará a distribuir automáticamente el tráfico de aplicaciones entrantes en varias instancias de Amazon EC2, logra obtener mayores niveles de tolerancia a fallas dentro de las apps proporcionando la cantidad requerida de capacidad de equilibrio de carga necesaria para distribuir el tráfico de la aplicación. Por otro lado detecta instancias no saludables y redirige automáticamente el tráfico a instancias saludables.
Por otro lado esta elasticidad nos permite tener diferentes ingenieros trabajando en los proyectos, así como clientes visualizando en tiempo real los resultados, sin que nuestro sistema de análisis se vea afectado por la cantidad de personas utilizando el servicio.
49
Rekonoce
Hemos colocado monitores.
Estos monitores se revidan de forma automática mantenido los recursos y las aplicaciones mientras se encuentren corriendo en aws. Se colectan y se revisa de forma automática las métricas una vez estandarizadas. Se colocarán alarmas, las cuales automáticamente realizarán cambios basados en las reglas que habremos definido.
Entrada:
Transcoding video y fotografías por medio de S3 batch y operaciones.
Por medio de esta aplicación lograremos poner etiquetas en diversas imágenes que nos proporcionen clientes o que nosotros obtengamos de imágenes o videos tomados para ser trabajados para etiquetar, almacenar con gran facilidad. Este es el resultado de un algoritmo creado y entrenado con una cantidad inmensa de objetos. Por lo que estaremos optimizando tiempo y disminuyendo la carga de trabajo para nuestro equipo y de esta forma podernos centrar en una mayor atención y comprensión al cliente así como de ofrecer nuevas propuestas que se vayan adaptando a sus necesidades. Iremos vendiendo en bloques los servicios.
Reconocimiento facial.
Posicionamiento de cara.
Reconocimiento de edad.
Reconocimiento de sexo.
50
Rekonoce
Reconocimiento de sentimientos
El playback bucket es para deshacernos de los videos o imágenes las cuales no han sido vueltas a utilizar durante 30 días. En caso de que nuestro cliente solicite guardar la información para tener un data histórico y este se pueda procesa, se ofrecerá con un coste adicional. Esta tarifa será señalada según el volumen de datos y si estos han tenido que ser etiquetados, etc.
Se ha elegido este sistema ya que es muy seguro para los archivos de los clientes. Nos enfrentaremos a una gran cantidad de data almacenada ya que son imágenes y videos, es esta otra de las razones que elegimos s3 ya que en cuanto esta ya no tenga capacidad contamos con una api que llama a s3 Batch sin perder ningún tipo de data, con esto estamos seguros de que el servicio que brindaremos tendrá la menor cantidad de errores que pudieran ser derivados de alguna falla en el data lake.
51
Rekonoce
El típico código toma un video existente el cual lo convierte en diversos tipos de video “on demand playout”. Utilizaremos lambda como una nueva arquitectura generando un “transcoding workflow” de los archivos que sean cargados en lambda. Esto irá totalmente relacionado con el S3 y/o S3 Batch. El flujo es completamente automatización, y utiliza meta data guardando un nuevo campo de evento el cual será pasado a “.jsn”
Con la automatización que se logra al unir lamda con la ingesta de contenido almacenada en S3 logramos unificar un trabajo que en otros servicios podrían ser vulnerables.
Cloud front.
Los informes de uso de CloudFront incluyen la siguiente información: cantidad de solicitudes datos transferidos desde ubicaciones de borde de región por intervalo de tiempo y datos por destino.
SNS Amazon SNS
Es poco común el uso de este sistema para nuestro proyecto, pero al conocerlo hemos encontrado en el una necesidad para lograr publicar mensajes en el caso de que tengamos una alerta en nuestros sistemas, simultáneamente, mantiene los mensajes seguros dentro de una red
52
Rekonoce
privada. Se crea un vpc temporal para enviar los mensajes de manera privada.
Data Lake Dynamo DB.
Teníamos diferentes opciones para elegir la herramienta de almacenamiento de datos. Somos una empresa nueva y contamos con poco flujo de capital por lo que hemos optado por la bdd más económica e iremos escalando día a día según sean las necesidades de nuestros clientes.
Contamos con tres diferentes Datalakes (Dynamo DB), primero es para el reconocimiento facial, el segundo para trabajar con videos de reconocimiento facial y posición facial y el tercero para trabajar con la API.
Monitor de límites de AWS
Este monitor nos permite realizar un seguimiento del servicio y su utilización, así conocer los límites en diversas áreas (una podría ser el presupuesto de nuestros clientes.
Con esta solución logramos tener un mayor control para realizar toma de decisiones con base en relación con los recursos. Cuando el servicio llegue a una capacidad de 80% nos llegara un SNS a manera de mensaje, se
53
Rekonoce
logrará controlar si el uso del servicio que da así o se mantiene. puede controlar el uso y tomar decisiones informadas en relación con los recursos. Si el uso real excede el 80 % de un límite de servicio determinado, AWS Lambda publica un mensaje en el tema de Amazon SNS, que se envía a la dirección de email que especifica durante el proceso de configuración.
Automatizado de operaciones de AWS
Esta es una solución la cual podremos diseñar a nuestra medida para suministrar un marco principal de tareas la cuales han sido diseñadas para lograr suministrar un marco principal para tareas automatizadas, por lo que podremos enfocarnos en la ampliación de funciones disminuyendo el trabajo de administración de operaciones dentro de la infraestructura.
Data output.
Contaremos con dos formas de salida. Una de ellas será completamente para que los desarrolladores e ingenieros puedan trabajar en ella editando códigos y guardando el data que se ve reflejado en esta instancia.
Esta es una de las instancias de como puede ser vista la imagen ( como se puede ver está enfocada más a ingenieros.
Por otro lado al utilizar QuickSight trabajada por ingenieros serán enviados los resultados de esta app vía mail en un documento. Este output es mucho más amigable para el usuario final. Es muy gráfico y se puede conectar con aws
54
Rekonoce
APRENDIZAJE PROFUNDO DE ORIENTACIÓN FACIAL
Nuestro proveedor API (AWS).
Nos complace trabajar con esta plataforma ya que hace muy pocos meses ha anunciado la introducción de mejoras de precisión y funcionalidad en las características de análisis facial. Por medio del análisis facial, se generan metadatos sobre los rostros detectados en cuanto a género, franja etaria, emociones; atributos, expresión facial, calidad de la imagen facial y puntos de referencia del rostro. Con estas nuevas características como lo es el nivel de precisión de la identificación de género.
DETECCIÓN DE EMOCIONES: “FELICIDAD”, “TRISTEZA”, “ENOJO”, “SORPRESA”, “DISGUSTO”, “CALMA”, “CONFUSIÓN” Y ACTUALMENTE MIEDO.
Su algoritmo se encuentra siempre está aprendiendo de nuevos datos, y continuamente estamos agregando nuevas etiquetas y funciones de reconocimiento facial al servicio. Crear un lago de datos con Lake Formation es tan simple como definir las fuentes de datos y las políticas de seguridad y acceso a datos que desea aplicar. Lake Formation luego lo ayuda a recopilar y catalogar datos de bases de datos y almacenamiento de objetos, mover los datos a su nuevo lago de datos Amazon S3, limpiar y clasificar sus datos utilizando algoritmos de aprendizaje automático y acceso seguro a sus datos confidenciales. REKONOCE puede acceder a un catálogo de datos centralizado que describe los conjuntos de datos disponibles y su uso apropiado.
API que puede analizar rápidamente cualquier archivo de imagen o video almacenado en Amazon S3. REKONOCE utiliza estos conjuntos de datos con su elección de servicios de análisis y aprendizaje automático, como Amazon Redshift, Amazon Athena y (en beta) Amazon EMR para Apache Spark. Lake Formation .
Beneficios de AWS como proveedor.
Amazon Rekognition facilita la adición de funciones de análisis visual a su
Análisis en tiempo real en video de Amazon Kinesis Video Streams, analizar imágenes a medida que se cargan en Amazon S3.
Para trabajos grandes, use AWS Batch para analizar imágenes o videos. Análisis por lotes y en tiempo real.
55
Rekonoce
El servicio recibe alimentación continua con nuevos datos para expandir su capacidad de reconocer objetos, escenas y actividades.
Seguridad e identidad.
Para cada rostro, tenemos a la salida las emociones, sexo, edad, calidad y postura.
La predicción binaria del sexo (masculino/femenino) utiliza la apariencia física de un rostro de una imagen determinada. No indica la identidad de género sexual de una persona.
Uno de los mejores usos de estos atributos es la generación de estadísticas agregadas, en este caso nosotros trabajaremos la detección de posición de cabeza por un código haremos una revisión de atributos con la API.
Detección de rostros en una imagen
Se detectan los 100 rostros más grandes de cada imagen.
La entrada se realiza por medio de Amazon s3.
56
Rekonoce
Respuesta de la API1. Cuadro delimitador – hace referencia a las coordenadas del
cuadro delimitador que rodea el rostro.2. Confianza – Se refiere al grado de confianza de que el cuadro
delimitador contiene un rostro. 3. Referencias faciales – Se refiere a una matriz de referencias
faciales. Para cada referencia (como el ojo izquierdo, el ojo derecho y la boca), la respuesta proporciona las coordenadas x, y.
4. Atributos faciales: conjunto de atributos faciales.5. Calidad – Describe el brillo y la nitidez del rostro.6. Postura – Describe la rotación del rostro dentro de la imagen.7. Emociones – Un conjunto de emociones con confianza en el
análisis.
57
Rekonoce
Así es como se muestra la respuesta de la ApI de emociones
TRABAJO FUTURO
CONCLUSIÓN: BENEFICIOS DE REKONOCE
La codificación facial es una técnica que ofrece una información valiosa sobre la emociones, especialmente su valencia (positiva o negativa). Gracias al avance tecnológico, el proceso de análisis facial se encuentra automatizado. Contamos con la mejor API en el mercado, obtenemos data en tiempo real, y logramos hacer de esta técnica una opción flexible a la hora de realizar diversos estudios, se puede hacer en formato online. Su rapidez para ofrecer datos la convierten en una especialmente valiosa opción estratégica en escenarios en tiempo real, donde la capacidad de reacción y adaptación de gestos. En Rekonoce nos preocupamos por la asertividad que tiene la comunicación no verbal, para comprender no solo qué contenido es efectivo, sino también cómo debe presentarse.
Los videos de campaña a menudo se distribuyen a través de una plataforma de video como YouTube. Cuantas más vistas obtengan, más exitosa será la campaña. El análisis por medio de REKONOCE podrá ayudar a predecir si el video o campaña publicitaria (mailing, imágenes de anuncios, videos, etc.) será exitoso.
Lo importante no es solo el contenido, sino también el lenguaje corporal, en este caso las expresiones faciales, influyen en la tasa de éxito de una campaña de video. Por lo que con Rekonoce se puede realizar un análisis facial para evaluar el comportamiento y medir el éxito, por lo que se puede predecir la popularidad del video por medio del análisis de expresión facial.
La falta de emociones faciales y la presencia de no emociones faciales son indicadores importantes de la popularidad de un video. Los datos muestran que cuantas menos emociones te hagan sentir que quieres acercarte a la persona que expresa la emoción (feliz / triste), más popular será el video.
El marketing cambia de forma acelerada por lo que empresas como esta propuesta deben pasar de ser una propuesta a ser una realidad. Confiamos en que el marketing evoluciona al igual que la IA, por lo que sabemos que es ahora el momento de iniciar este negocio, ya que seguramente en dos años el escenario será diferente y existirá en el mercado una gran competencia.
58
Rekonoce
Sabemos que podemos ser una realidad.
ACCIONES FUTURAS EN CUANTO A VENTAS Y SERVICIO
Hay mucho trabajo por hacer si se quiere tener un abanico amplio de productos para los clientes de marketing, sector ratail, entre otros por lo que tenemos que lograr lo siguiente:
OBJETIVOS A UN AÑO:
Actualmente ya estamos trabajando con reconocimiento de actividades. Por lo que debemos terminar el proyecto y alimentarlo lo más pronto posible.
Darnos a conocer con los productos simples que tenemos. Obtener un mínimo de ganancias pero lograr un posicionamiento importante de marca. Este posicionamiento lo realizaremos por:
SEM trabajaremos de manera fuerte los ads por medio de google ads. Para ir consiguiendo trafico y visitas a nuestro portal. Por lo que este trafico generará movimiento dentro de nuestra página web, ayudando a posicionarnos de manera orgánica. Los anuncios de google se colocarán dentro de la geolocalización de habla hispana en América Latina.
Anuncios en Facebook e Instagram, siendo Google el de la inversión mayor ya que podemos conseguir un mayor número de tráfico en nuestro portal. Los anuncios de redes sociales se colocarán dentro de la geolocalización de habla hispana en América Latina
Por otro lado se realizará un programa de SEO, aumentando el número de etiquetas, mejorando las palabras que se están manejando en el portal y trabajando con el blog de forma intensa. Todo lo anterior ligándolo a las redes sociales. Disminuyendo el rebote dentro de la página y aumentando posibles leads.
Buscar diferentes empresas que pudieran ser posibles leads cualificados,
59
Rekonoce
tomaremos una base de datos buscada por nosotros mismos para enviar mailing por medio de mailchimp. El siguiente paso será invitarlos a eventos y a webinars. De lo anterior lograremos conseguir leads cualificados. El segundo año seguiremos buscando y por otro lado pondremos publicidad de mailing a clientes que ya tendremos cautivos para generar ventas cruzadas con promociones.
OBJETIVOS AÑO DOS.
Esperamos comprar poco a poco tecnología para ayudar a meter sensores en nuestro producto (como gafas de eye traking) Con esto tendremos un mejor contenido dentro nuestro blog, tendremos más etiquetas y seremos más tractivos para nuestros clientes.
Durante el año uno, en el supuesto de que algún cliente quisiera aplicar algún tipo de marketing research por medio de eye tracking o sensores biométricos realizaríamos la compra del producto necesario y en el momento se realizaría un update en nuestra página web.
OBJETIVOS DURANTE EL TERCER AÑO
Complementando el análisis de expresión facial con seguimiento ocular, GSR o EEG obtendremos información de la valencia de una respuesta emocional como de la cantidad de excitación que desencadena en sus encuestados.
La recopilación de datos sincronizados de múltiples modalidades agrega a un valor real ya que cada sensor contribuye con un aspecto valioso de las respuestas emocionales que no se puede obtener con ningún otro.
Lograremos un efecto completamente innovador en el procesamiento cognitivo-emocional.
TRABAJO FUTURO METODOLOGÍA
60
Rekonoce
Compraremos una póliza de RC ya que aún no sabemos si en algún caso pudiéramos llegar a tener algún problema con un falso positivo. En caso de trabajar con seguridad y gobierno trabajaríamos bajo el esquema especial con el que trabaja AWS para este tipo de instancias.
Ingeniería de agentes sociales artificiales (avatares)
“Lograr obtener y trabajar con sensores y algoritmos para comprender el estado emocional actual del usuario humano y responder adecuadamente.”
Los métodos remotos y no intrusivos del seguimiento ocular(eye tracking) han son actualmente una herramienta sencilla y accesible en la investigación del comportamiento humano, la cual permite mediciones objetivas de los movimientos oculares en tiempo real.
Las soluciones de seguimiento ocular (eye tracking) permiten que las empresas y científicos obtengan insights reales sobre el comportamiento del consumidor en tiempo real. Medir los movimientos oculares para saber dónde se centra el usuario en un momento dado
Con el seguimiento ocular se logra obtener una comprensión de lo que atrae la atención inmediata, cuales son los elementos que se ignoran, en qué orden se notan los elementos y cómo se comparan los elementos con los demás. Con estos amplios recursos de conocimiento, y soporte técnico, lograremos emplear nuestros conocimientos para aumentar productos con éxito.
LA TECNOLOGÍA
La mayoría de los rastreadores de ojos modernos utilizan tecnología de infrarrojo cercano junto con una cámara de alta resolución (u otro sensor óptico) para rastrear la dirección de la mirada. El concepto subyacente, comúnmente conocido como Reflexión Corneal del Centro del Alumno (PCCR). Esencialmente implica que la cámara rastrea el centro de la pupila y donde la luz se refleja desde la córnea.
Rastreadores de ojos basados en pantalla:
Aunque los sistemas siguen el movimiento ocular dentro de límites, siempre que esté dentro de los límites del alcance del rastreador ocular. Este rango se llama cabecera, el cual tiene muchas restricciones, por lo
61
Rekonoce
cual utilizaríamos Gafas de seguimiento ocular
Gafas de seguimiento ocular
Se ajustan cerca de los ojos y, permiten que los encuestados se muevan tan libremente como deseen.
¿Por qué combinar el seguimiento ocular con otros sensores biométricos?
Basta imaginar un producto. Aunque observe directamente el producto, no te diste cuenta de que estaba parado frente a ti. Basándonos solo en el seguimiento ocular, habríamos argumentado que, como tu mirada estaba dirigida hacia el objeto, debes haberlo visto.
Principalmente debido a los costos relativamente bajos, las encuestas son, de hecho, una herramienta de investigación muy común para consolidar los datos de la mirada con auto informes de sentimientos, pensamientos y actitudes personales. Estos informes también son limitados cuando se trata de revelar información personal sensible como lo es alcohol, drogas, comportamiento sexual, etc. Por lo que al haber retraso entre la acción y el recuerdo introduce valores inciertos. sentimiento de saber que algún producto hace falta.
EVALUACIONES COGNITIVAS DE EVENTOS, ESTÍMULOS U OBJETOS.
Emociones, sentimientos, estados de ánimo. Es de gran importancia lograr tener un resultado perfecto en el análisis facial, por lo que es de gran utilidad tener la amalgama perfecta entre el lenguaje facial y las emociones. Las emociones son experiencias conscientes relativamente breves caracterizadas por una intensa actividad mental y un alto grado de placer o disgusto.
Las emociones están correlacionadas con la excitación fisiológica y psicológica con diversos niveles de excitación relacionados con emociones específicas. En términos neurobiológicos, las emociones podrían ser definidas como programas de acción complejos activados por la presencia de ciertos estímulos externos o internos, así como el inconsciente por medio de sensores biométricos
62
Rekonoce
La Intensidad de emoción.
REKONOCE es una marca “Pura EMOCIÓN”
Por lo que actualmente contamos con información muy valiosa al tener la respuesta de análisis facial, pero su valencia tiene una limitación la cual es una incapacidad para evaluar la excitación emocional es decir la “EMOCION”
Es por esto que para REKONOCE lo más importante es lograr por medio de sensores biométricos medir la emoción.
Registro visual
Nuestro objetivo es lograr medir y representar la “emoción pura” ante estímulos (como lo son anuncios, imágenes, videos, productos, aromas, respuesta de la piel, etc.) de un grupo de personas. Evaluando la valencia de la expresión emocional y la excitación asociada. Es este el momento donde entra la investigación de biomarcadores para medir la excitación emocional
La dinámica de la actividad muscular facial cambia a lo largo del día, el ciclo de vida y, en todas las culturas.
Como ningún otro método experimental, el seguimiento ocular ofrece una visión increíble de la atención visual. Lo más atractivo de este método es la posibilidad de monitorear y rastrear la dilatación de la pupila. Estos cambios se manifiestan cuando nos encontramos bajo situaciones estresantes y cuando nos encontramos expuestos a estímulos o pensamientos excitantes: La dilatación de la pupila es directamente proporcional a la fuerza de la excitación.
Esta dilatación, es un proceso autónomo, el cual nos arroja un valor real ya que no se puede controlar conscientemente, lo cual es el método perfecto para evaluar la excitación emocional en tiempo real.
GSR / EDA
La actividad electro dérmica (EDA), también conocida como respuesta galvánica de la piel (GSR), refleja la cantidad de secreción de sudor de las glándulas sudoríparas en nuestra piel. Encontramos mayor sudoración y
63
Rekonoce
una mayor conductividad de la piel al encontrarse las personas expuestas a un estimulo emocional.
La respuesta galvánica de la piel (GSR), también denominada actividad electro dérmica (EDA) y conductancia de la piel (SC), es la medida de las continuas variaciones en las características eléctricas de la piel, como la variación de la sudoración del cuerpo humano. La teoría tradicional del análisis de la respuesta galvánica de la piel está basada en la suposición de que la resistencia de la piel varía con el estado de las glándulas sudoríparas de la piel. La sudoración del cuerpo humano está regulada por el Sistema Nervioso Autónomo (SNA). En particular, si la rama simpática (SNS) del Sistema Nervioso Autónomo está muy excitada, la actividad de la glándula sudorípara también aumenta, lo que a su vez aumenta la conductancia de la piel, y viceversa. De esta forma, la conductancia de la piel puede ser una medida de las respuestas del Sistema Nervioso Simpático humano.
La señal GSR es muy fácil de registrar.
Existen dispositivos médicos comerciales portátiles (brazaletes, relojes) por lo que REKONOCE utilizará dicha medida en actividades de neuromarketing, en cualquier entorno.
Al igual que la dilatación de la pupila, la conductancia de la piel es controlada de forma subconscientemente, por lo que, nos da un valor absoluto de la excitación emocional imparcial y sin filtro de una persona. Las mediciones de GSR se pueden realizar con sensores livianos y móviles, lo que facilita la recolección de data.
Por lo que este tipo de procedimientos de análisis automático de datos logra la extracción de métricas clave en tiempo real, lo que le brinda acceso inmediato a los cambios subyacentes en la excitación emocional.
EEG
Electroencefalografía (EEG) Electroencephalography (EEG) - Technologies La electroencefalografía (EEG) es un método de monitorización electrofisiológico que registra la actividad eléctrica del cerebro. Es una técnica no invasiva, con electrodos colocados sobre el cuero cabelludo y, por tanto, apta para ser utilizada en situaciones diferentes a las típicas de laboratorio. Cada función mental consciente e
64
Rekonoce
inconsciente es el resultado de la comunicación eléctrica entre las neuronas del cerebro humano. La técnica de EEG es capaz de medir las fluctuaciones de voltaje o potencial eléctrico sobre el cuero cabelludo causadas por la actividad eléctrica concomitante de una población de neuronas. Estas fluctuaciones de voltaje pueden ser caracterizadas en términos de contenido espectral (bandas o ritmos EEG) o de características en el dominio del tiempo (Potenciales Evocados y Potenciales Relacionados con Eventos). La actividad eléctrica cerebral espontánea (comúnmente denominada "ondas cerebrales") de una área particular del cerebro en una banda particular puede ser asociada con procesos cognitivos específicos como lo son la memoria y la toma de decisiones lo cual es de gran importancia para nuestro negocio. Lo mismo se aplica para los estados mentales como la carga mental es cansancio, la fatiga, etc. El análisis de Potenciales Evocados (EP) consiste en medir la actividad sincrónica de la EEG con la presentación de un estímulo externo de diversos tipos (visual, acústico o somato sensorial). Los Potenciales Relacionados con Eventos (ERPs) se refieren a respuestas de EEG sincrónicas con procesos más complicados de estímulos externos https://www.brainsigns.com/es/science/s2/technologies/eeg
Por esta razón será un medio cuando se trata de evaluar la actividad cerebral asociada con la percepción, el comportamiento cognitivo y los procesos emocionales, y será utilizada para los efectos de compras.
A diferencia del reconocimiento facial, el EEG puede controlar el estado emocional global de una persona, que no puede controlarse conscientemente. La combinación de las dos modalidades le permite obtener información sobre las variaciones en los estados en tiempo real.
EMG
Los sensores electromiográficos serán utilizados para controlar las respuestas musculares a cualquier tipo de material de estímulo para extraer incluso patrones de activación sutiles asociados con movimientos controlados conscientemente de las manos / dedos (reflejo de sobresalto) . Además, el EMG facial se puede utilizar para movimientos involuntarios faciales para inferir la valencia emocional.
65
Rekonoce
ECG / PPG
El componente de CA corresponde a las variaciones en volumen de la sangre en el sincronización con la batido de corazón. El componente de DC se presenta de las señales ópticas reflejadas o transmitidas por los tejidos y es determinado por los volúmenes de la estructura del tejido así como de la sangre venosa y arterial.
El componente de DC muestra cambios de menor importancia con la respiración. La frecuencia básica del componente de CA varía con el ritmo cardíaco y se sobrepone en la línea de fondo de DC.
Aplicaciones de PPG
Los aparatos médicos basados en tecnología de PPG son ampliamente utilizados en diversos usos en el montaje clínico. Contando con diversos usos específicos.
Dispositivos usables
Usando esta tecnología, se han desarrollado los monitores usables del pulso. Estos dispositivos tienen los diodos electro luminosos y foto detectores (LEDs) verdes de alta intensidad que ayudan a la supervisión segura del pulso de una manera no invasor.
Estos dispositivos tienen un sensor que monitorea variaciones de menor importancia en la intensidad de la luz transmitida a través o reflejada del tejido. Estos cambios de la intensidad se asocian a los cambios en sangre atraviesan el tejido y ofrecen la información cardiovascular vital tal como el pulso. PPG se ha utilizado en otras tecnologías tales como telemedicina, tecnología de la imagen de PPG y control remoto. https://www.news-medical.net/health/Photoplethysmography-(PPG)-(Spanish).aspx
Discusión de los resultados
Ventajas y desventajas de Codificación de expresiones faciales.
Ventajas
1) Rápido: aporta información en tiempo real de las emociones. Esto
66
Rekonoce
ofrece cierta flexibilidad para pequeños cambios de estrategia en circunstancias donde el timing importa, como es el caso de un debate electoral.
2) Fácil ejecución de estudio: hoy en día se pueden hacer estudios de codificación facial a distancia. Basta con el sujeto tenga webcam y conexión a Internet. Así la empresa se ahorra recursos materiales y personal a la hora de realizar estudios.
3) Nada intrusivo: no requiere colocar al sujeto ningún tipo de dispositivo.
4) Adecuado para medir la valencia emocional: el facial coding es un indicador fiable a la hora de detectar si el estímulo producciones reacciones emocionales positivas o negativas.
Desventajas
1) Dificultades para medir: La codificación facial no es la mejor opción para medir la intensidad de las emociones. Como hemos dicho, el uso de otras tecnologías como GSR o EEG es necesario para obtener datos consistentes.
2) Dificultades en entornos dinámicos: El framing facial es sensible a los movimientos del sujeto. Por lo tanto, entornos como retail son desafíos para la codificación facial. Existen ya soluciones que abordan este obstáculo, pero todavía se tiene que trabajar más en la precisión.
3) Base teórico-científica a perfeccionar: las ideas de Ekman han sido criticadas en los últimos tiempos. Hay evidencias de que parte del enfoque experimental - dar elegir entre una lista de emociones- puede haber condicionado en parte el proceso de identificación de emociones (Barrett, 2006). Este hecho se ha hecho notar en especial con los pueblos indígenas, que presentan dificultades a la hora de identificar emociones sin lista de referencia alguna.
67
Rekonoce
ANEXO
ESTUDIO DE MERCADO
FASE DE ANÁLISIS
Offline.
Actualmente se encuentra en plena fase de despegue y comercialización, llevándose a cabo las siguientes acciones/hitos en el proceso comercial (offline):
68
Rekonoce
REKONOCE es un producto de nueva creación, pensado para sacar el mayor valor posible de los datos y convertirlos en un conocimiento que permita identificar los pain points o puntos débiles que son necesarios mejorar.
Está enfocado 100% a todas las empresas y engloba los subsectores que suelen tener un modelo de venta asistida, o en los que la venta asistida suele marcar una diferencia, como son: cosmética, moda, deporte, electrónica, seguridad, marketing, etc.
Las características y enfoque del producto lo hace único y lo posiciona con el valor suficiente para poder ganar parte de la cuota de crecimiento del mercado en los próximos años.
Target.
Si analizamos nuestro producto REKONOCE vemos que la vía online es la más importante por donde los potenciales clientes pueden ponerse en contacto y saber de nuestro producto es la web.
Para poder ver si necesita optimización hemos diseñado los arquetipos de clientes identificados, para así ver cual es el recorrido de análisis facial que realizan los clientes, donde se detiene y cuales son sus reacciones frente al producto, por donde hay desagrado o molestia, etc.
69
Rekonoce
A través de esa fotografía podremos establecer los siguientes problemas y ver que soluciones proponemos a las mismas. Cuanto tiempo permanecen en nuestra Web, dónde se producen mayor cantidad de emociones positivas.
Arquetipos de clientes.
Identificamos dos perfiles clave en la toma de decisiones en el sector de PYMES Mexicanas retailers: CEOs y Directores
Comerciales. Estos dos perfiles representan nuestro público objetivo para el proyecto, en el cual serán basadas las estrategias y comunicación.
CEO
Tomador de la decisión I Persona activa y vanguardista I Quiere ganar ventaja competitiva I Los negocios lo primero I En búsqueda continua de mejoras, tendencias e innovación en los procesos I El “espía” en RRSS I Visita blogs, foros y pertenece a varios grupos del sector.
Dtor. Comercial
70
Rekonoce
Reporta diretamente al CEO I Asume retos importantes I Perfil muy activo I Canal directo empleado-dirección I KPIs de interés: nivel de atención al cliente, rendimiento del equipo comercial, ventas y productividad
Canvas.
Dafo
71
Rekonoce
Mercado objetivo.
Hasta el momento existen en el mercado pocas empresas que cuenten con una solución como la propuesta, que:
Permita análisis de reconocimiento facial a la hora de realizar planificaciones de campañas de marketing.
Emplee potentes reglas algorítmicas para optimizar los resultados obtenidos.
Esté al alcance de cualquier pyme.
Por un lado, las grandes empresas suelen contar con costosas soluciones de planificación, muchas veces desarrolladas a medida, que implican elevados costes de mantenimiento y actualización. Estas soluciones no contemplan la precisión y predicción a la hora de realizar planificaciones de trabajo.
Es por esta razón que REKONOCE contará con precios competitivos para ofrecer a diferentes sectores soluciones tecnológicas de análisis facial a PYMES
72
Rekonoce
Con el análisis de la expresión facial, se logra predecir y medir el impacto de cualquier contenido, producto o servicio el cual logre provocar excitación emocional y respuesta física las cuales que se ven reflejadas directamente en el nervio facial.
Todos los productos que generen algún alteración en nuestros sentidos, como: objetos físicos, alimentos, elementos audiovisuales, sonidos, olores, estímulos táctiles, etc. Particularmente expresiones, las cuales no son voluntarias, generando un sutil ensanchamiento de los párpados las cuales son de interés clave ya que se considera que reflejan cambios en el estado emocional provocados por estímulos externos reales o imágenes mentales.
Se realizó una encuesta a empresas del municipio de CDMX para evaluar su interés en la adquisición de un software de este tipo. Estas empresas se sitúan dentro del sector retail y presentan una serie de características :
o Empresas con un modelo de negocio de retail en el cual la atención al cliente pueda afectar directamente a las ventas, por medio del marketing con ayuda en el apoyo de reconocimiento de análisis facial Empresas con una red de tiendas nacionales con alguna de estas características:
ÉTICA
73
Rekonoce
. No se tomarán decisiones autónomas para escenarios que requieren el análisis de un humano.
. Utilizaremos umbral de similitud del 99 % para evitar errores en el ámbito de seguridad.
. El umbral de similitud inferior al 99 % será utilizado únicamente para trabajar en conjunto con otras coincidencias posibles.
. Es importante tener un plan para abordar las coincidencias de rostros devueltas por Amazon Rekognition que sean falsos positivos.
BIBLIOGRAFÍA
https://www.brainsigns.com/es/science/s2/technologies/gsr
Proceedings of Pointing 2004, ICPR, International Workshop on Visual Observation of Deictic Gestures, Cambridge, UK
https://neuromarketing.la/2017/04/analisis-de-expresion-facial-importante-para-neuromarketing/
4
74