icr a partir de traços d’escriptura natural captades amb ... · - el millor reconeixement de...

ICR a partir de traços d’escriptura natural captades amb un bolígraf digital

Ivan Navarro ParreñoGemma Sánchez Albaladejo

Projecte de Fi de Carrera

RealitzacióDirecció

23 de Setembredel 2009

Curs 2008/2009

1. Introducció

2. Estat de l'art

3. Descripció del dispositiu i els ICR escollits

4. Disseny de l’entorn d’anàlisi

5. Avaluació dels sistemes de reconeixement

6. Conclusions


Continguts

IvanNavarro Parreño

1. IntroduccióMotivació i Objectius

2. Estat de l'art




6. Conclusions


Continguts


Motivació i Objectius

Estat actual a la industria

- Taller separat de l'administració

Necessitats

Objectius

ICR a partir de traços d’escriptura natural captades amb un bolígraf digital 3

1. Introducció


Cadena de producció d'una fàbrica Secció administrativa



- Taller separat de l'administració- Administració manual i presa de decisions desfasada

Necessitats

Objectius


1. Introducció


Empleatcompletant informe

Secció administrativa prenent decisions




Necessitats

- Digitalitzar informes

Objectius


1. Introducció





Necessitats


Objectius

- Escriptura amb bolígraf digital- Identificació dels informes digitalitzats- El millor reconeixement de nombres


1. Introducció





Necessitats


Objectius

- Escriptura amb bolígraf digitalbolígraf digital- IdentificacióIdentificació dels informes digitalitzats- El millor reconeixement de nombresreconeixement de nombres

Reconeixement de nombres?Reconeixement de nombres?


1. Introducció


1. Introducció

2. Estat de l'artPrimers indicisDiferents tecnologies: OMR, OCR i ICRReconeixement Off-line i On-line




6. Conclusions


Continguts


Primers indicis

Diferents tecnologies:OMR, OCR i ICR

ReconeixementOff-line i On-line

Una mica d'història

- 1929. Gustav Tauscheck (fotodetectors)

Problema resolt

- Reconeixedors Comercials- Reconeixedors Lliures

Problema (gairebé) resolt

- Diferents problemàtiques- Diferents solucions- Especial complicació:


2. Estat de l'art


Primers indicis





Problema resolt

- Reconeixedors Comercials (Microsoft®)- Reconeixedors Lliures (Google)


- Diferents problemàtiques- Diferents solucions- Especial complicació


2. Estat de l'art


Primers indicis





Problema resolt

- Reconeixedors Comercials (Microsoft®)- Reconeixedors Lliures (Google)


- Diferents problemàtiques- Diferents solucions- Especial complicació:

Proximitat a figuresSoroll al mediAntiguitatMultitud de llengües


2. Estat de l'art


Primers indicis



Lectura de Marques Òptiques (OMR)

- Reconeix la presència, no la forma.

Reconeixement de Caràcters Òptic (OCR)

Reconeixement de Caràcters Intel·ligent (ICR)


2. Estat de l'art


Primers indicis






- Reconeix la forma a partir d'una imatge.



2. Estat de l'art


Potser no tant...

Primers indicis









2. Estat de l'art


Primers indicis








- Reconeix formes a partir de diverses variables.(traços, punts, marques de temps, pressió, ...)


2. Estat de l'art


Primers indicis



Reconeixement Off-line

- A partir d'imatges estàtiques.

Reconeixement On-line

- A partir d'un conjunt de dades. (traços, punts, marques de temps, pressió)

Algorismes relacionats


2. Estat de l'art


Primers indicis



Reconeixement Off-line

- A partir d'imatges estàtiques.

Reconeixement On-line

- A partir d'un conjunt de dades. (traços, punts, marques de temps, pressió)

Algorismes relacionats

- Hidden Markov Model- K-Nearest Neighbor- Neural Networks- Support Vector Machine


2. Estat de l'art


1. Introducció

2. Estat de l'art

3. Descripció del dispositiu i els ICR escollitsBolígraf digital de Logitech® i eines d'Anoto™Descripció dels reconeixedors



6. Conclusions


Continguts


Bolígraf digital de Logitech® i eines

d'Anoto™

Descripció dels reconeixedors

Paper intel·ligent d'Anoto™

- Identificació del formulari- Localització del bolígraf- Formularis personalitzats

Bolígraf digital Logitech® IO™ 2

Comunicació

Aplicacions





d'Anoto™





Comunicació

- Creació arxiu *.PAD (Paper Application Definition)- Creació arxiu *.PGC (Pen Generated Coordinates)- Portabilitat

Aplicacions





d'Anoto™





Comunicació

- Creació arxiu *.PAD (Paper Application Definition)- Creació arxiu *.PGC (Pen Generated Coordinates)- Portabilitat

Aplicacions

- Fàcil creació amb API d'Anoto™





d'Anoto™


Requeriments

- CompatibilitatCompatibilitat amb Logitech® - Anoto™

- Nombres manuscritsNombres manuscrits aïllats

- Tecnologia ICRICR

- Reconeixement On-lineOn-line

- Entorn de desenvolupament o APIAPI





d'Anoto™


Requeriments

- Compatibilitat, ICR + rec. On-line- Reconeixement nombres manuscrits

“Tablet PC and Recognition Pack” de Microsoft®

- No requereix entrenament- Time Delay Neural Network (caixa negra)- Guia per desenvolupadors

Reconeixedor de Heloise Hse (Universitat de Berkeley, Califòrnia)

- Entrenament BBDD externa(proposta per International Association for Pattern Recognition - IAPR)

- Support Vector Machine (+ Moments de Zernike per normalitzar)- API java, us lliure del codi





d'Anoto™


Requeriments satisfets satisfets

- Compatibilitat, ICR + rec. On-lineCompatibilitat, ICR + rec. On-line- Reconeixement nombres manuscrits nombres manuscrits- Fins a tres alternativesFins a tres alternatives en cas de dubte

“Tablet PC and Recognition Pack” de Microsoft®

- No requereix entrenament- Time Delay Neural Network (caixa negra)- Guia per desenvolupadorsGuia per desenvolupadors

Reconeixedor de Heloise Hse (Universitat de Berkeley, Califòrnia)

- Entrenament BBDD externa(proposta per International Association for Pattern Recognition - IAPR)

- Support Vector Machine (+ Moments de Zernike per normalitzar)- API java, us lliure del codiAPI java, us lliure del codi




1. Introducció

2. Estat de l'art


4. Disseny de l’entorn d’anàlisiObjectius de l'anàlisiEntorn de proves


6. Conclusions


Continguts


Objectius de l'anàlisi

Entorn de proves

Recordem els objectius

- Identificació de documents digitalitzats- Reconeixement de nombres- Anàlisi dels reconeixedors

Necessitats per assolir-los


4. Disseny de l'entorn d'anàlisi



Entorn de proves




- Recol·lecció de mostres amb bolígraf digital

- Nombres del 0 al 9,3 iteracions cadascun

- 20 escriptors diferents (600 mostres)





Entorn de proves




- Emmagatzemats en una base de dades

- Manipulació en fitxers XML





Entorn de proves




- Distinció dependent i independent d'escriptor

- Entorn de proves(diferents fases)





Entorn de proves




1. Especificació nombre a reconèixer i tipus

d'entrenament


Entorn de proves




2. Recol·lecciótraços del caràcter

i dades d'entrenament


Entorn de proves




3. Petició de reconeixementi retorn de

resultats obtinguts


Entorn de proves




4. Avaluació mitjançantmatrius de confusió

i precision-recall


Entorn de proves




5. Mostra per pantallaels resultats


Entorn de proves

- Es requereix el millor reconeixement- Com millorar els resultats?





Entorn de proves

- Es requereix el millor reconeixement- Com millorar els resultats?

- Reconeixedors Mixtes!!- Reconeixedors Mixtes!!





Entorn de proves





Entorn de proves




1. Avaluacióde traços pels reconeixedors


Entorn de proves




2. Obtenció finstres alternatives


Entorn de proves




3. Comparació amb taules P-R i

unió de probabilitatscorresponents

1. Introducció

2. Estat de l'art



5. Avaluació dels sistemes de reconeixementTècniques d'anàlisi de resultatsAvaluació dels resultats

6. Conclusions


Continguts


Tècniques d'anàliside resultats

Avaluaciódels resultats

Matrius de confusió

Probabilitats “Precision” i “Recall”


5. Avaluació dels resultats


RealGat Gos Conill

ObtingutGat 5 1 1Gos 2 5 2

Conill 0 0 3



Matrius de confusió

Probabilitats “Precision” i “Recall”

- Probabilitat “d'encert” = P · R- Probabilitat “d'encert” = P · R




RealGat Gos Conill

ObtingutGat 5 1 1Gos 2 5 2

Conill 0 0 3



Configuracions simples




MSreco HHreco







MSreco HHreco

Indep.Escriptor







MSreco HHreco

Indep.Escriptor

Base de dadesExterna

Indep.Escriptor

Depen.Escriptor







MSreco HHreco

Indep.Escriptor

Indep.Escriptor

Depen.Escriptor

Base de dadesExterna + valors

de l'escriptor







MSreco HHreco

Indep.Escriptor

Indep.Escriptor

Depen.Escriptor

TaulaPrecision-Recall

Matriu de ConfusióMatriu de ConfusióMatrius de Confusió



Resultats obtinguts (amb MSreco)






Resultats obtinguts (amb HHreco – Independent d'Escriptor)






Resultats obtinguts (amb HHreco – Dependent d'Escriptor)






Resultats obtinguts (Percentatges d'encert)






Configuració mixte




Indep.Escriptor

Indep.Escriptor

Depen.Escriptor



Configuració mixte




Indep.Escriptor

P·R P·R P·R

Indep.Escriptor

Depen.Escriptor



Configuració mixte




Indep.Escriptor

P·R P·R P·R

MixteIndep. Esc.

Indep.Escriptor

Depen.Escriptor



Configuració mixte




Indep.Escriptor

P·R P·R P·R

MixteIndep. Esc.

MixteDep.Esc.

Indep.Escriptor

Depen.Escriptor



Resultats obtinguts (amb reco. Mixte Independent d'Escriptor)






Resultats obtinguts (amb reco. Mixte Dependent d'Escriptor)




1. Introducció

2. Estat de l'art




6. ConclusionsObjectius assolitsPressupostLínies futures


Continguts


Objectius assolits

Pressupost

Línies futures

Objectiu- Cerca, anàlisi (i possible millora) de reconeixedors per a nombres.

Decisió d'implantació

- A càrrec de l'empresa.

- Reco. Microsoft® molt bons resultats (94,7% d'encert).

- Millorables amb el reco. mixte (fins al 95.5% d'encert).

- Comporta increment infraestructura.

- Ambdós reconeixedors simples. Aconsellable utilitzar el mixte.

- Taules Precision-Recall. Petit guany, no menyspreable.


6. Conclusions


Objectius assolits

Pressupost

Línies futures


6. Conclusions


Concepte Preu (€)Equip informàtic 1200Kit Desenvolupament Anoto™ 500Reconeixedors --480h de feina Eng. Sup. Informàtic 7500Subtotal 9200Benefici (200%)Total 18400

Objectius assolits

Pressupost

Línies futures

Altres reconeixements

- Caràcters

- Paraules i textos (segmentació)

- Reconeixement de figures (possible amb l'Heloise Hse)

- Digitalitzar esbossos fets a mà i reconèixer el seu contingut

Tractament i transport

- Estandarditzar traços mitjançant InkML (W3 – W W W Consortium)

- Transport per Internet


6. Conclusions


Gràcies a tothom


6. Conclusions


icr a partir de traços d’escriptura natural captades amb ... · - el millor reconeixement de...

Documents