![Page 1: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/1.jpg)
Per Mª Pia Muñoz Trallero
Tutors:
Xavier Giró
Xavier Vives
Escola d’Enginyeria de Terrassa (EET) – Juny 2010
![Page 2: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/2.jpg)
Introducció
Requeriments
Estat de l’art
Disseny i resultats Eina global
Digitrace
Entorn de desenvolupament
Conclusions
Índex
2Índex/ 31
![Page 3: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/3.jpg)
Digitalització
Emmagatzematge
Recuperació
Introducció
3
Continguts audiovisualsCerques
textuals ?
Proposta: tècniques de processat de la imatge
Introducció/ 31
![Page 4: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/4.jpg)
Introducció
4
Precedent:
Ramon Salla 2009, Aplicació Rica d’Internet per a la consulta amb text i imatge al repositori de vídeos de la Corporació Catalana de Mitjans Audiovisuals
Idea principal:
“Recuperació d’imatges a partir d’una idea”
Projecte universitat – empresa situat en el marc d’un projecte estatal:
Introducció/ 31
![Page 5: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/5.jpg)
Requeriments:
5
els continguts audiovisuals
s’emmagatzemen formant
assets
Requeriments
els keyframes són imatges clau
que s’extreuen del vídeo
/ 31
![Page 6: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/6.jpg)
Requeriments
Eines precedents: Digition
6
Material
audiovisual
digitalitzat
Cerca
d’assets
Descriptors
textuals
/ 31
![Page 7: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/7.jpg)
Eines precedents: Digimatge
7Requeriments
Consultes
textuals
Consultes
per imatges
similars
Cerca
d’assets i
imatges
Ramon Salla, 2009
/ 31
![Page 8: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/8.jpg)
Requeriments
Eines precedent:
Detector de text
8
Cerca de text a dins d’una imatge
/ 31
![Page 9: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/9.jpg)
Requeriments
Integració i millores:
La CCMA demana una eina multimodal que integri les funcionalitats presentades:
9
Detecció de text
Consultes
mitjançant imatge
Consultes textuals
Cerca d’imatges
mitjançant regions
Digition
Digimatge Detector de text
Incorporació
d’una nova eina
/ 31
![Page 10: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/10.jpg)
Requeriments
Integració i millores:
10
Digimatge:
Aquest projecte neix amb la finalitat d’assolir
les mancances del Digimatge i estendre les
cerques per imatge a cerques per regió
UPSeek:
L’eina s’ha de comunicar amb el mòdul de la
UPC que s’encarrega del processat de laimatge i de retornar els resultats de la cerca.
Descriptors:
L’eina ha de permetre configurar els pesos de
cadascun dels descriptors visuals en lescerques tant per imatge global com per regió.
/ 31
![Page 11: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/11.jpg)
Objectius
11Requeriments
Digition:
Integració d’una
interfície multimodal
Digitrace:
Interfície Gràfica d’Usuari
per a la cerca d’imatges
mitjançant regions
/ 31
![Page 12: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/12.jpg)
Estat de l’art
12Estat de l’art
Consultes mitjançant exemple - Content-based Image Retrieval
Imatge exemple:
Estudi del
contingut visual
Sistema CBIR:
Comparació
contra la
base de dades
Resultat:
Imatges
similars
/ 31
![Page 13: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/13.jpg)
Sistema CBIR: Eines
13Estat de l’art
Indexador: Cercador:
• Analitza tota la col·lecció
d’imatges i vídeos
• Ingesta metadades a la
base de dades
• Interfície gràfica d’usuari
• Permet navegar i fer
consultes sobre la col·lecció
/ 31
![Page 14: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/14.jpg)
Cercadors que incorporen consultes
basades en el contingut visualIMARS CALIPH & EMIR
Eina comercial proposada per IBM Projecte de codi lliure
ACM Multimedia Open Soure
Competition 2009
14Estat de l’art/ 31
![Page 15: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/15.jpg)
Sistema CBIR per consultes amb regions
15Estat de l’art/ 31
![Page 16: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/16.jpg)
Entorn web Entorn d’escriptori
Accessible Instal·lació prèvia
Segmentació manual Segmentació asistida
Segmentació interactiva: Interfícies
16Estat de l’art
IST:
GIMP:
Squigl:
Label
Me:
/ 31
![Page 17: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/17.jpg)
Segmentació interactiva:
17Estat de l’art
Nom de la tècnica SRG1 SIOX2 BPT3
Grau d'interacció Alt Mitjà Baix
Descriptor Color Color Color, textura, dispersió, ...
Comparativa de tècniques de segmentació asistida
1. Adams i Bischof - Adobe Photoshop
2. Gerald Friedland - GIMP
3. Luis Garrido, UPC - Clients UPSeek (GAT i GOS)
/ 31
![Page 18: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/18.jpg)
Disseny
Disseny: eina global
18
S’ha decidit fer una integració jeràrquica de totes les eines a l’entorn del Digition
Digition
Mòdul de visualització de keyframes
Digimatge
Cerca
per
imatge
Cerca
per
regióDetecció
de
textDescriptors
visuals
Descriptors
visuals
/ 31
![Page 19: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/19.jpg)
Disseny
Digitrace: Interfície gràfica
19
Mòdul principal
Menú
de
mode
Menú
de
configuració
Imatge
+
màscara
Botó
de
cerca
*
Menú
de
marcadors
Menú
d’edició
Mòdul secundari
Colors Configuració Ajuda
1. Marcadors
2. Màscara
1. Descriptors
2. Pinzell
1. Inici
2. Modes
/ 31
![Page 20: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/20.jpg)
Disseny
Digitrace: Segmentació interactiva
20
Moderectangle:
1. Rectangle: Objecte
2. Punts: selecció o deselecció de regions
Elecció dels marcadors:
1. Traces objecte
2. Traces fons * *Opcional
Modetraça:
/ 31
![Page 21: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/21.jpg)
Disseny
Digitrace: Segmentació interactiva
21
Proposta per arbres binaris de particions (BPT):
/ 31
![Page 22: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/22.jpg)
Disseny
Digitrace: Segmentació interactiva
22
• Punt fort: marcadors únicament d’objecte.
• Distingim dos criteris de propagació de fulles:
Criteri sense expansió Criteri amb expansió
Per a cada node objecte, seleccionarem el seu pare sempre i quan el subarbre del seu
germà tingui, com a mínim, un node seleccionat i no en tingui cap node fons.
/ 31
![Page 23: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/23.jpg)
Disseny
Digitrace: Definició de modes
23
Rectangle sense expansió Rectangle amb expansió
Traça sense expansió Traça amb expansió
/ 31
![Page 24: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/24.jpg)
Arquitectura modular
Cloud computing
Protocol HTTP
Entorn de desenvolupament
Entorn de desenvolupament:
24 / 31
![Page 25: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/25.jpg)
Entorn de desenvolupament
Crides: Consultes per regió
25
Crida getQbE Mètode HTTP Paràmetres
d'entrada
Paràmetres
de sortida
Mode rectangle:
Obtenció de màscara
GET assetId
timeCode
coordenades
Màscara
Mode rectangle:
Obtenció de resultats
GET assetId
timeCode
coordenades
descriptors
Keyframes resultants
Mode traça:
Obtenció de màscara
POST assetId
timeCode
label
Imatge
bpt_neg
bpt_pos
Màscara
bpt_neg
bpt_pos
Mode traça:
Obtenció de resultats
GET assetId
timeCode
bpt_neg
bpt_pos
descriptors
Keyframes resultants
/ 31
![Page 26: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/26.jpg)
Entorn de desenvolupament
Entorn de desenvolupament:
Marc de desenvolupament: Adobe Flex
Llenguatges de programació: MXML i ActionScript
• Aplicació web : Rich Internet Application
26
Usabilitat
Rapidesa
InteraccióCapacitatsmultimèdia
Atractiu
/ 31
![Page 27: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/27.jpg)
Disseny de les interfícies:
- Digitrace
- Mòdul keyframes
Implementacióamb Flex de les
interfícies
Disseny delsmodes de
segmentacióinteractiva
Disseny de les crides HTTP
Conclusions
Conclusions:Treball realitzat
27 / 31
![Page 28: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/28.jpg)
Conclusions
Conclusions:
28
Requeriments assolits:
Interfície multimodal
Integració del Digitrace
Descriptors visuals
Comunicació amb l’UPSeek
Punts forts de la interfície:
Comparteix les qualitats de les interfícies d’escriptori i les
interfícies web.
Originalitat de la proposta de segmentació interactiva: garantia
de resultats coherents amb marcadors únicament d’objecte.
/ 31
![Page 29: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/29.jpg)
Conclusions
Conclusions:
29
Conclusions de l’avaluació dels modes de segmentació proposats:
El mode traça resulta útil per a imatges homogènies amb un
esforç mínim.
El mode rectangle és aconsellable, en canvi, per a imatges amb
molts colors i contorns.
Conclusions personals:
Experiència de treball en equip
Mediació entre la universitat i la empresa
Continuïtat de l’eina
/ 31
![Page 30: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/30.jpg)
Conclusions
Treball futur:
30
A curt termini:
Incorporació de la màscara utilitzada en la cerca i dels resultats
Dinamitzar el mòdul de metadades del Digition
Agrupament dels resultats
A llarg termini:
Millorar la interacció de l’usuari amb els pesos dels descriptors
Eficiència de la cerca
Incorporar consultes textuals a partir del Detector de text
/ 31
![Page 31: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/31.jpg)
Gràcies per la
vostra atenció
Alguna
pregunta?
![Page 32: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/32.jpg)
Conclusions
Exemples:
32
![Page 33: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/33.jpg)
Millores al Digimatge:
Mòdul de keyframes del Digition
33Resultats
![Page 34: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/34.jpg)
Millores al Digimatge:Detector de text i Descriptors visuals
34Resultats
![Page 35: Extensió d'una interfície de cerca d'imatges a les consultes amb regions](https://reader034.vdocuments.co/reader034/viewer/2022042715/558a2f86d8b42ae75d8b46e5/html5/thumbnails/35.jpg)
Millores al Digimatge: Digitrace
35Resultats