Proyecto Fin de Carrera

SISTEMAS DE ACCESIBILIDAD

AL CINE Y A LA EDUCACIÓN

PARA PERSONAS CON DISCAPACIDAD AUDITIVA

Autor: Javier Jiménez DoradoTutor: José M. Sánchez Pena

Ingeniería de TelecomunicaciónEscuela Politécnica Superior

Departamento Tecnología Electrónica

Universidad Carlos III de Madrid

jjdorado@cesya.es

Indice

20/07/092

Introducción Estado del Arte Objetivos Descripción de los Trabajos Realizados

CineEducación

Pruebas y Resultados Conclusiones Trabajos Futuros Unidades Promotoras de la Investigación

Introducción – El Proyecto

20/07/093

Continuación trabajos de otros miembros del equipo de investigación:GDAFCESyA

Dos ayudas técnicas para Discapacidad Auditiva:Sistema Subtitulado Cerrado para la Accesibilidad

en el Cine.Sistema Subtitulado en Directo para la Accesibilidad

en la Educación.

Grupo heterogéneo Datos:

España: 1 millón personas (1,7%) Europa: 42.7 millones Mundo: 700 millones (año 2015)

Cambios Intergeneracionales 90% Lengua Oral vs 7% Lengua Signos Implantes cocleares (40% población

infantil con sordera profunda es candidata)

Introducción – La Sordera

20/07/094

Introducción – La Accesibilidad

20/07/095

Accesibilidad = Presupuesto de vida normalizada Ley 51/2003 de Igualdad de Oportunidades, No Discriminación y

Accesibilidad Universal de las Personas con Discapacidad. Accesibilidad Universal:

“Los bienes, servicios, productos, procesos, entornos, objetos, instrumentos, herramientas y dispositivos han de ser comprensibles, utilizados y practicables por todas las personas de forma segura, cómoda y autónoma.”

Diseño para Todos:“Para cualquier actividad que el ser humano

conciba, debe proyectarse desde su origen cualquier servicio, entorno, proceso, herramienta, bien, producto, instrumento, dispositivo, herramienta u objeto para que pueda ser utilizado por todas las personas.”

Estado del Arte - Cine

20/07/096

Subtitulado Cerrado: Sólo aquellas personas que necesitan los subtítulos lo

visualizan. El resto de personas no se ven afectadas por ellos.

Rear Window (Ventana Trasera) Centro Nacional para el Acceso a los Medios de EEUU

(NCAM) Una pantalla LEDs y reflectores transparentes Ventaja:

Sistema barato Desventaja:

No es estrictamente cerrado Dependiente del lugar de la sala

Estado del Arte - Educación

20/07/097

Ayudas Técnicas: (Informe CNICE)

IndividualesAudífonos e implantes coclearesSistemas de FM e inducción magnéticaSistemas Vibrotáctiles

ColectivasEquipos de reeducación auditiva (logopedia)Material informático y nuevas tecnologíasMaterial audiovisual (recursos educativos

accesibles)Sistemas de reconocimiento de voz

Estado del Arte - Educación

20/07/098

ViaScribe

Motor de reconocimiento IBMProyecto desde 1999: Liberated LearningTranscripción en forma continua (no subtítulos)Almacenamiento de audio, transcripción y vídeo

con trasparencias.Ventaja:

Rapidez Edición a posteriori y en tiempo real Dispositivos individuales Sistema multilocutor Muchos idiomas (Chino Mandarín, Japonés, …)

Desventaja: WER (Word Error Rates) alta.

Objetivos - Cine

20/07/099

Sistema de Accesibilidad en el Cine

Soporte para varios idiomasModificaciones software módulo-receptorModificaciones software de control

Nueva interfaz de usuario con reproductor vídeoSoporte para distintos formatos subtituladoSincronización entre subtitulado y películaModificaciones software de control

Diseño e implementación de un nuevo circuito para el módulo-receptor

Objetivos - Educación

20/07/0910

Sistema de Accesibilidad en la EducaciónSoporte para nuevos módulos-receptores

Modificaciones software de control Diseño e implementación de software para PC Diseño e implementación de software para PDA Modificaciones del software del circuito del anterior

módulo receptorNueva interfaz de usuario para software de

control Almacenamiento de texto y audio Sintetizador de voz integrado Opción de visualizar subtítulos en abierto compatible

con trasparencias PowerPointDiseño e implementación de un nuevo circuito

para el módulo-receptor

Descripción - Cine

20/07/0911

Descripción – Cine – Servidor

20/07/0912

Estación Base:LabVIEW 8.5Carga de fichero de película

(opcional)Carga y procesado de ficheros

de subtituladoSincronización subtítulos con

tiempo películaProtocolo de comunicaciónPreparación subtítuloEnvío subtítulosMonitorización subtítulo

Descripción – Cine – Cliente

20/07/0913

RadiomodemModelo EasyRadio

ER400TRS

MicrocontroladorModelo C8051-F330

Daughter Card ToolStick

Tarjeta de vídeoModelo BOB-4 Decadenet

versión Hookup

Descripción – Cine – Cliente

20/07/0914

Visor Requisitos

Visión Individualizada Tecnología See-through Flexible Compatibilidad con problemas de visión Distancia focal ajustable Formato de letra variable Portátil y alta autonomía Interfaz compatible con vídeo compuesto Económico

Último modelo adquirido AmberCrystal de MyVu Calidad VGA resolución 640x480 Color 24 bits Batería hasta 4 horas

Descripción – Educación

20/07/0915

Descripción – Educación – Servidor (i)

20/07/0916

Servidor

Descripción – Educación – Servidor (ii)

20/07/0917

Reconocimiento de vozDragon Naturally Speaking 9.0Programa creado con el kit de desarrollo

(Visual C++)Conexión TCP con programa centralEntrenamiento necesario:

Lectura de textos predeterminados Edición del vocabulario específico de la materia o

temática Prueba y corrección manual de errores

ProcedimientoEjecutar manualmenteAbrir usuario/aEncender micrófono

Descripción – Educación – Servidor (iii)

20/07/0918

Sintetizador de voz

Speech API 5.0 de MicrosoftAplicación creadas con librerías de

LabVIEWComunicación ActiveX con programa

central

Descripción – Educación – Servidor (iv)

20/07/0919

Programa Central

Realizado con LabVIEW 8.5 para Windows (XP y vista) Recursos educativos:

Fichero de audio (WAV) Fichero de texto (XML)

Transformable a cualquier fichero (ej. HTML)

Comunicación Radio

Bluetooth: PDA Cualquier dispositivo compatible con drivers de Microsoft (plug and play)

Radio 433MHz: Ordenador portátil Circuito microcontrolado EasyRadio

Descripción – Educación – Servidor (v)

20/07/0920

Descripción – Educación – Clientes (i)

20/07/0921

Clientes

Descripción – Educación – Clientes (ii)

20/07/0922

Ordenador Portátil

Windows XP y Vista Solicita información de la claseAlmacenamiento de fichero de texto (XML)Comunicación RadiomodemPersonalización de subtítulos:

Control de color (profesor/a y estudiantes) Control de transparencia y posición de ventana

Botón aviso a profesor/a (campanilla) Botón envío de preguntas

Descripción – Educación – Clientes (iii)

20/07/0923

PDA Windows Mobile 6, Pocket PC y Palm OS Identificación de estudiante Solicita información de la clase Interfaz amigable para conexión Bluetooth Compatibilidad con teclado externo bluetooth

Descripción – Educación – Clientes (iv)

20/07/0924

Circuito Microcontrolado y Gafas Microcontrolador

AT89S52 de ATMEL Unidad Central Editor de textos Controlador de teclado

Protocolo PS/2 Interrupción externa (reloj del teclado)

Multiplexor Puerto serie salida entre Tarjeta de vídeo y

Radiomodem Tarjeta de vídeo Radiomodem Teclado

Protocolo PS/2 Comparador

Nivel de batería

Pruebas y resultados – Cine

20/07/0925

ResultadosSincronismoEnlace Radio > 50 metros Robustez:

Caracteres no ASCII Tiempo entre subtítulos Duración subtítulo Longitud líneas

IdiomasFormato subtítulos

Pruebas y resultados – Educación

20/07/0926

PruebasLaboratorio

Funcionamiento completoPartes críticas:

Longitud de subtítuloso Envío/recepcióno Normativa

Reconocimiento de vozo Retardoo Tasa de acierto

Enlace Bluetootho Distancia máximao Gestión de conexioneso Situaciones de carrera entre clientes

Pruebas y resultados – Educación

20/07/0927

Pruebas Colegio Tres Olivos (nivel de integración/adaptación)

Niña de 10 años con muy poca audición (bajo) Niño de 13 años con poca tradición inclusiva (bajo) Dos niñas y un niño de 12 años con buena audición y tradición inclusiva (alto) Niña de 14 años con buena audición y tradición inclusiva (alto)

Resultados Colegio Tres Olivos

Estudiantes sordos: Los alumnos y alumnas con habilidades orales valoraban el sistema aunque no lo

necesitaban La alumna con sordera profunda se mostró encantada con la síntesis de voz

El resto de estudiantes: Aceptan el uso pero algunos lo ven como inconveniente para la integración No hay uniformidad de opinión acerca del uso de la voz sintética frente a la

comunicación oral

Es necesario hacer más pruebas y entrenar mejor el reconocedor de voz

Conclusiones (i)

20/07/0928

Se ha conseguido implementar unos prototipos con amplias funcionalidades

Se han realizado las primeras pruebas con usuarios/as finales (sistemas de educación)

Los productos están muy cerca de terminarse o, al menos, se encuentran en una etapa muy avanzada de su desarrollo

Todavía quedan varios aspectos que mejorar y/o probar

Los sistemas son de gran interés público y social

Conclusiones (ii)

20/07/0929

Ambos sistemas han sido presentados en ferias y congresos, nacionales e internacionales.

Congresos ICCHP 08 AMADIS 08 XIV World Federation of the Deaf

Ferias AVANTE 08 Salón Investigación e Innovación Paris 2007 Feria Realidad Virtual, Ocio Electrónico y Discapacidad 2007 Madrid es Ciencia 07

Premios 3º Invento del año 2007 en entretenimiento según la revista

Time Finalista en los premios Access It Awards 2008

Trabajos Futuros

20/07/0930

Visor (Gafas) Enfoque ajustable See-Through

Cine Ampliar más caracteres no ASCII (memorias externas) Enlace radio (limitación 128 bytes). Otro tipo de enlaces. Interferencias entre salas de cine adyacentes Sincronismo automático con reproductores de cine comerciales Ampliar el conjunto de formatos de subtitulado soportados Incorporar colores de personajes, subtítulos de información contextual.

Utilizar subtítulos enriquecidos. Realizar pruebas con usuarios finales

Educación Probar con otros reconocedores como ViaVoice. Trabajar con el fichero XML y WAV para hacer recursos educativos

accesibles Adaptar el sistema con bucles de inducción y sistemas FM Crear un reconocedor de voz gratuito con signos de puntuación. Realizar mas pruebas con usuarios finales

Proyecto APEINTA (i)

20/07/0931

Objetivo: Apostar por una enseñanza inclusiva de integración e igualdad en la universidad, dentro y fuera del aula: Dentro del aula:

Sistema de accesibilidad a la educación para personas con discapacidad auditiva, intelectual y con distinta lengua materna. Basados en ASR y TTS.

Fuera del aula: Aplicación web accesible facilitando el

acceso a los materiales de estudio y contenidos curriculares a todos los estudiantes, con independencia de sus características de acceso y habilidades.

Contenidos en diversos formatos para proporcionar acceso de acuerdo a las preferencias de los estudiantes de manera inclusiva.

IN THE CLASSROOMOUT OF THE CLASSROOM

Studentsof allabilities

AccessibleDigital Resourcesin anAccessibleWeb Platform

HearingImpairedStudent

Student withspeakingproblems

On-line Captioning

SyntheticSpeaking

questions/commentsin digital format

captions

captions

Classroom sound

Synthetic sound

APEINTA: Apuesta Por la Enseñanza Inclusiva. Uso de Nuevas Tecnologías dentro y fuera del Aula

Proyecto APEINTA (ii)

20/07/0932

Dentro del aula: Mejora de la Interfaz Distintos modos de visualización

de la transcripción: Subtitulado Texto plano

Compatibilidad con distintos ASR: ViaVoice y Dragon NaturallySpeaking.

Proyecto APEINTA (iii)

20/07/0933

Fuera del aula: Aplicación web accesible Distintos formatos

Proyecto APEINTA (iv)

20/07/0934

Unidades Promotoras

20/07/0935

Universidad Carlos III de Madrid Grupo de Displays y Aplicaciones Fotónicas (GDAF) Centro Español de Subtitulado y Audiodescripción

(CESyA)

Contacto

20/07/0936

Javier Jiménez Dorado

jjdorado@cesya.es Universidad Carlos III de Madrid

Centro Español de Subtitulado y Audiodescripción (CESyA)

Universidad Carlos III de Madrid

Avda. Gregorio Peces Barbas 1

28918 Leganés, Madrid

Tel. 91 624 40 29

info@cesya.es

www.cesya.es

Parque Científico Leganés Tecnológico