reconocimiento de mensajes en cÓdigo braille...

27
RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS DE PROCESADO DE IMÁGENES TRABAJO REALIZADO POR: MANUEL CASAS ALAMINOS FRANCISCO JAVIER IGLESIAS RUIZ PROCESAMIENTO DE IMÁGENES DIGITALES CURSO: 2013/2014

Upload: others

Post on 07-Nov-2019

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN

CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

TRABAJO REALIZADO POR: MANUEL CASAS ALAMINOS

FRANCISCO JAVIER IGLESIAS RUIZ

PROCESAMIENTO DE IMÁGENES DIGITALES

CURSO: 2013/2014

Page 2: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

ÍNDICE:

1. INTRODUCCIÓN2. PREPROCESADO3. RECONOCIMIENTO DE PATRONES4. EXPERIMENTACIÓN Y RESULTADOS5. POSIBLES MEJORAS DE LA APLICACIÓN6. BIBLIOGRAFÍA Y REFERENCIAS

Page 3: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

1. INTRODUCCIÓN

- EL SISTEMA BRAILLE ES UTILIZADO POR PERSONAS CON DISCAPACIDAD VISUAL QUE TIENEN DIFICULTADES PARA LEER Y ESCRIBIR.

CADA SÍMBOLO BRAILLE CARÁCTER DE UN ALFABETO

- 3 FILAS, 2 COLUMNAS

- 6 PUNTOS

1

2

3

4

5

6

Page 4: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

1. INTRODUCCIÓN

- El PROYECTO ESTÁ IMPLEMENTADO EN LENGUAJE JAVA (JAVA SE 7).

- PARA DISEÑAR LA INTERFAZ GRÁFICA HEMOS UTILIZADO EL PLUG-IN DE ECLIPSE WINDOW BUILDER, QUE HACE USO DE LA LIBRERÍA SWING DE JAVA.

- CON RESPECTO AL TRATAMIENTO DE LAS IMÁGENES, HEMOS USADO LA LIBRERÍA AWT.

Page 5: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – CARGAR IMAGEN

- LA APLICACIÓN MUESTRA UNA IMAGEN EN FORMATO JPG, GIF O

PNG QUE CONTIENE UN DETERMINADO CÓDIGO BRAILLE.

Page 6: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – ESCALA DE GRISES

- TRANSFORMAMOS LA IMAGEN, PASANDO DEL MODELO RGB A ESCALA DE GRISES MEDIANTE LA SIGUIENTE FÓRMULA:

(0.21 * R + 0.71 * G + 0.07 * B)

Page 7: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – BINARIZAR- UTILIZAMOS EL MÉTODO DE OTSU ESTUDIADO EN CLASE. SE USA LA VARIANZA PARA REALIZAR LA UMBRALIZACIÓN, DE FORMA QUE LA DISPERSIÓN DENTRO DE CADA CLASE SEA LO MÁS PEQUEÑA POSIBLE, Y AL MISMO TIEMPO, LA DISPERSIÓN ENTRE CLASES DIFERENTES LO MÁS ALTA POSIBLE.

Page 8: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – ELIMINAR RUIDO- PARA ELIMINAR EL RUIDO INTRODUCIDO EN LA IMAGEN REALIZAMOS UN FILTRO DE LA MEDIANA 3X3.

- ASIGNAMOS EL COLOR BLANCO A LAS POSICIONES NO EXISTENTES DEL ENTORNO DE LOS PÍXELES DEL BORDE.

Page 9: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – TRANSFORMACIÓN NEGATIVA

- INVIERTE EL ORDEN DE LOS VALORES DE INTENSIDAD, ES DECIR, LOS PÍXELES NEGROS SE CONVIERTEN EN BLANCOS Y LOS PÍXELES BLANCOS EN PÍXELES NEGROS.

Page 10: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – DILATAR

- APLICAMOS LA DILATACIÓN PARA RECONSTRUIR LOS PUNTOS DE CADA UNO DE LOS SÍMBOLOS BRAILLE.

Page 11: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – CALCULAR ÍNDICES

- RECORREMOS LA IMAGEN DE IZDA A DCHA (ÍNDICES 3 Y 4) Y DE ARRIBA ABAJO (ÍNDICES 1 Y 2) BUSCANDO EL PRIMER Y ÚLTIMO PÍXEL BLANCO EN CADA CASO. HEMOS TENIDO EN CUENTA LAS SITUACIONES EN QUE TODOS LOS CARÁCTERESBRAILLE DE UN DETERMINADO EXTREMO (N,S,E,O) NO TIENEN PUNTOS BLANCOS.

12

3 4

Page 12: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

2. PREPROCESADO – ELIMINAR BORDES

- RECORTAMOS LA IMAGEN, ELIMINANDO LOS BORDES REDUNDANTES CALCULADOS EN EL PASO ANTERIOR.

Page 13: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – SEGMENTAR EN LÍNEAS- EL OBJETIVO DE ESTA ACCIÓN ES SEGMENTAR LA IMAGEN, MEDIANTE LÍNEAS HORIZONTALES, DELIMITANDO LOS DIFERENTES RENGLONES DE CÓDIGO BRAILLE.

- PROCESAMOS LA IMAGEN DE ARRIBA HACIA ABAJO, CON LA AYUDA DEL HISTOGRAMA VERTICAL. CADA TRES VALORES IGUALES A CERO, TENEMOS UN

RENGLÓN (UNO CONTIENE TRES FILAS DE PUNTOS).

Page 14: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – SEGMENTAR EN LÍNEAS

- CASO PARTICULAR: LOS CARÁCTERES BRAILLE DE LA LÍNEA NO TIENEN PUNTOS BLANCOS EN LA ÚLTIMA FILA.

Page 15: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – SEGMENTAR EN LÍNEAS- EL PRIMER RENGLÓN CONTIENE LA PALABRA hija.

Page 16: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – PATRONES- EL OBJETIVO DE ESTA ACCIÓN ES SEGMENTAR LA IMAGEN, MEDIANTE LÍNEAS VERTICALES, DELIMITANDO LOS DIFERENTES CARÁCTERES BRAILLE DE CADA UNO DE LOS RENGLONES.

- PROCESAMOS LA IMAGEN DE IZQUIERDA A DERECHA, CON LA AYUDA DEL HISTOGRAMA HORIZONTAL. CADA DOS VALORES IGUALES A CERO, TENEMOS UN

CARÁCTER (UNO CONTIENE DOS COLUMNAS DE PUNTOS).

Page 17: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – PATRONES

-CASOS PARTICULARES:

PRIMER CARÁCTER BRAILLE = MAYÚSCULAS.PARTE DERECHA DEL CARÁCTER SIN PUNTOS + ESPACIO + MAYPARTE DERECHA DEL CARÁCTER SIN PUNTOS + ESPACIOPARTE DERECHA DEL CARÁCTER SIN PUNTOSESPACIO + MAYESPACIOMAYÚSCULAS DENTRO DE UNA PALABRA

Page 18: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – PATRONES- LA PALABRA PROCESADA ES manuelA.

Page 19: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – DIVIDIR HORIZONTALMENTE- EL OBJETIVO DE ESTA ACCIÓN ES SEGMENTAR LA IMAGEN, MEDIANTE LÍNEAS HORIZONTALES, DELIMITANDO LAS TRES FILAS DE CADA UNO DE LOS CARÁCTERES BRAILLE.

- PROCESAMOS UNA LISTA DE LÍNEAS HORIZONTALES, CALCULAMOS EL RANGO O LA DISTANCIA ENTRE CADA DOS LÍNEAS E INCLUIMOS DOS LÍNEAS MÁS. UNA EN

(RANGO/3) Y OTRA EN 2*(RANGO/3).

Page 20: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – DIVIDIR VERTICALMENTE- EL OBJETIVO DE ESTA ACCIÓN ES SEGMENTAR LA IMAGEN, MEDIANTE LÍNEAS VERTICALES, DELIMITANDO LAS DOS COLUMNAS DE CADA UNO DE LOS CARÁCTERES BRAILLE.

- PROCESAMOS UNA LISTA DE LÍNEAS VERTICALES, CALCULAMOS EL RANGO O LA DISTANCIA ENTRE CADA DOS LÍNEAS E INCLUIMOS UNA LÍNEA MÁS, EN

(RANGO/2).

Page 21: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – VECTOR PATRÓN

- RECORREMOS LOS RENGLONES DE IZDA A DCHA Y DE ARRIBA ABAJO, PROCESANDO CADA UNO DE LOS CARÁCTERES BRAILLE.

- CONTAMOS EL NÚMERO DE PÍXELES BLANCOS QUE CONTIENE CADA UNA DE LAS SEIS CASILLAS DE CADA CARÁCTER. SI ESE NÚMERO ES MAYOR QUE UN UMBRAL EL VECTOR PATRÓN TIENE UN UNO EN LA POSICIÓN DE ESA CASILLA. EN CASO

CONTRARIO, TIENE UN CERO.

- EL VECTOR PATRÓN DE LA LETRA r SERÍA EL SIGUIENTE: 111010

Page 22: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

3. RECONOCIMIENTO – TRADUCIR- HEMOS CREADO UNA ESTRUCTURA MAP (PARES CLAVE, VALOR) DONDE ALMACENAMOS EL ALFABETO. LAS CLAVES SON LOS VECTORES PATRÓN DE CADA UNO DE LOS CARÁCTERES Y LOS VALORES LOS CORRESPONDIENTES CARÁCTERES EN CASTELLANO.

- VAMOS PROCESANDO LOS DIFERENTES CÓDIGOS BINARIOS Y GENERAMOS LA TRADUCCIÓN AL CASTELLANO.

Page 23: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

4. EXPERIMENTACIÓN Y RESULTADOS

- GRAN PARTE DE LA EXPERIMENTACIÓN HA CONSISTIDO EN COMPROBAR EL CORRECTO FUNCIONAMIENTO AL TRADUCIR UN RENGLÓN, COMPROBANDO TODOS LOS CASOS POSIBLES QUE SE PUEDEN DAR.- SE HAN PROCESADO TEXTOS DE, COMO MÁXIMO, OCHO RENGLONES. - LOS RESULTADOS HAN SIDO MUY SATISFACTORIOS YA QUE, PARA EL TIPO DE IMÁGENES PROCESADAS, LAS TRADUCCIONES SON CORRECTAS.

Page 24: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

5. POSIBLES MEJORAS DE LA APLICACIÓN

- PROCESAR IMÁGENES ESCANEADASPROCEDENTES DE TEXTOS REALES.- PROCESAR IMÁGENES MÁS GRANDES Y CON MAYOR NÚMERO DE RENGLONES.- PROCESAR IMÁGENES CON POSIBLES INCLINACIONES DE LA IMAGEN, PUDIENDO CORREGIRLAS.

Page 25: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

6. BIBLIOGRAFÍA Y REFERENCIAS

[1] M. Wajid, M.W. Abdullah, O. Farooq, Image InformationProcessing (ICIIP), International Conference on, 2011.[2] http://opera-portal.us.es/pid/public/sudoku[3] http://www.fbu.edu.uy/alfabeto/alfabeto-online.htm[4] http://zerocool.is-a-geek.net/?p=329

Page 26: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

6. BIBLIOGRAFÍA Y REFERENCIAS

[5] http://zerocool.is-a-geek.net/?p=376%20%28Otsu%29[6] http://jc-mouse.blogspot.com.es/2011/02/invertir-imagen-en-java-filtro-negativo.html[7] http://download.eclipse.org/windowbuilder/WB/release/R201309271200/4.3/ [8] http://es.wikipedia.org/wiki/Braille_espa%C3%B1ol

Page 27: RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE …opera.eii.us.es/pid/public/uploads/pid/entregables/2013-2014/G2013... · almacenamos el alfabeto. las claves son los vectores patrÓn

RECONOCIMIENTO DE MENSAJES EN CÓDIGO BRAILLE MEDIANTE TÉCNICAS

DE PROCESADO DE IMÁGENES

¿ALGUNA PREGUNTA?