procesamiento y anlisis digital de imgenes · matlab image toolbox imagepro (comercial, media...

1/43

Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008

Procesamiento y Análisis Digital de Imágenes

Campo multi-disciplinario: Matemáticas, Ingeniería eléctrica (señales), Ciencias de la Computación (informática) y Física

• Estudio, representación, manipulación y análisis de información

multidimensional (especialmente imágenes) mediante computadoras. • Mejorar información pictórica (o representar cualquier tipo de información

mediante imágenes) para interpretación humana. • Procesamiento de información (imágenes, escenas) para percepción

autónoma robótica (machine perception).

Por simplicidad nos referiremos a Digital Image Proceesing (DIP o PDI)

2/43

urso C Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008

• Significado de acuerdo a problemas de estudio (sobre objetos reconocidos, mediciones y efecto de una etapa del procesamiento, etc.).

Tareas fundamentales de DIP

Formación y adquisición de imágenes (sensores de imagen) Digitalización, cuantización y compresión (+ codificación) • Conversión de imágenes a forma discreta (digital) Representación. • Aproximación eficiente y codificación para almacenamiento compacto o dentro de la

capacidad del canal de información. Realce y Restauración • Mejora y correcciones (degradaciones: bajo contraste, ruido, desenfoque (blur)). • En base a modelos, intentar recuperar imagen original.

Segmentación - detección • Identificación y partición (separación) en componentes de interés ( conectividad,

objetos). Por bordes (contornos o fronteras) o por regiones. Selección y extracción de rasgos o características (features). • Objetivo: diferenciar clases u objetos y establecer qué se va a medir.

Reconocimiento • Proceso para asignar una etiqueta de acuerdo a descriptores.

Interpretación

3/43


Sensores • Cámaras (técnicas ópticas): fotografía, video sobre

escena, microscopio, etc. • Scaners (película negativos, placas astronómicas,

documentos, objetos). • Infrarrojos (sensar cambios en calor radiante) • Ondas de radio sensores activos (“iluminación”)

(Synthetic Aperture Radar – SAR) • De rayos X (CCD - radiografía digital) • Magnéticos (MRI, arreglos de sensores efecto Hall, etc.) • . . .

4/43

Curso Procesamiento y Análisis de Imágenes – Jo

Ejemplos de imágenes y problemas de estudio típicos

rge Márquez Flores - CCADET-UNAM 2008

5/43


Ejemplo de Realce de Contraste (Contrast Stretching)

6/43


Distribuciones de niveles de gris (histogramas)

“Gatito”, izquierda: bajo contraste (grises), derecha: alto contraste (mayor intervalo dinámico).

7/43


Ejemplo de restauración (interpolación, filtrado y realce de contraste)

8/43


Segmentación de Imágenes y Etiquetado (Clasificación) Separación (o extracción) en partes mutuamente excluyentes para procesamiento o análisis posterior.

Especimen metalográfico pulido, las tres fases

tienen un valor de gris promedio distinto. Después de la segmentación (o durante dicho

proceso, en la muchos algoritmos), las tres fases se identifican por una etiqueta en color.

Segmentación binaria por umbralaje:

0 if ( ) < 255 if ( )

( ) = umbral

umbral

I x, y uI x, y u

I x, y≥

⎧⎨⎩

usualmente 0 ⇔ negro, 255 ⇔ blanco

Segmentación en n clases:

0 1

1 2

1

0 if ( ) [ ,1 if ( ) [ ,

1 if ( ) [ ,

))

( ) =

)n n

I x, y u uI x, y u u

n I x, y u

I x, y

−

∈∈

− ∈

⎧⎪⎪⎨⎪⎪⎩ u

9/43


Selección y extracción de rasgos y parámetros • Caracterización geométrica, topológica, morfológica, relacional,

estadística o mediante análisis espectral (a través de la Transformada de Fourier, de Haar, Ondeletas, Transformada de Distancia, momentos, longitud de contorno, etc.).

• La morfometría o medición de formas puede ser mediante Morfología Matemática, análisis fractal.

• Propiedades globales (Gestald, enfoque holístico) se estudian mediante modelos del Sistema Visual Humano (HVS) tales como la Transformada de Hermite, de Gabor y el análisis piramidal o en espacios de escala (scalespaces). → Reconocimiento de Patrones.

10/43


Niveles de Procesamiento, Análisis y Entendimiento de Imágenes

Nivel 0: Representación de imagen (formación, adquisición, digitalización, cuantización, compresión, primitivas de representación).

Nivel 1: Transformaciones imagen-a-imagen (realce, restauración y filtrado, segmentación y clasificación).

Nivel 2: Transformaciones imagen-a-parámetros (reducción de datos - selección y extracción de parámetros, morfometría o medición de formas).

Nivel 3: Transformaciones de parámetros-a-decisiones (reconocimiento e interpretación).

“Nivel 2.5” (en promedio): Visualización científica: imágenes paramétricas, abstracción.

“Nivel 1.5 - 2.5” (en promedio): Reconstrucción 3D, video, seguimiento (tracking).

Procesamiento de Imágenes = Nivel 0 + Nivel 1 Análisis de Imágenes = Nivel 1 + Nivel 2 Visión por Computadora = Nivel 2 + Nivel 3

11/43


SOFTWARE básico de Procesamiento, Análisis y Visualización de Imágenes

ImageJ (dominio público, imágenes biología) http://rsb.info.nih.gov/ij/ Matlab Image Toolbox http://www.mathworks.com/ ImagePro (comercial, Media Cybernetics, biomedicina, metalurgia, microscopia)

http://www.mediacy.com/ ImageMagik (dominio público, visualizador, procesamiento realce, conversion)

http://www.imagemagik.com/ Eikona (comercial/prueba, procesamiento – general)

http://www.alphatecltd.com/eikona/imageprocessing2d.html MriCro (freeware medical image viewer, 2d/3D)

http://www.sph.sc.edu/comd/rorden/mricro.html Photoshop (Adobe) Photosudio (procesamiento realce/edición fotografía) http://www.arcsoft.com/ GIMP (GNU Image Manipulation Program) http://www.gimp.org/ Xfig (gráficos X-Window, UNIX) http://www.xfig.org/ 3D Slicer (free open visualizador 3D) http://www.slicer.org/ DIP Gonzalez (tutorials, Matlab, image databases, links)

http://www.imageprocessingplace.com/DIPUM-1E/dipum1e_main_page.htm Open CV (Libs dominio público Computer Vision) http://www.opencv.org/

12/43


The Human Visual System (HSV)

• Retinal photoreceptors are distributed in a hexagonal array of cones with the intermediate space filled by the smaller rods.

• Rods (about 75 – 150 million) are responsible for scotopic vision (dimlight vision). Not

sensitive to color. Give a general overall picture of the field of view. • Cones (about 6 – 7 million) are responsible for photopic vision (brightlight vision) and

are highly sensitive to color. • The sampling frequency in the retina is greater near the fovea and falls off towards the

periphery. • Photoreceptors around the fovea are responsible for spatial vision (still images). • Photoreceptors around the periphery are responsible for detecting motion. • The photoreceptors’ activity is electrochemical. After the photoreceptors, all subsequent

stages of processing are electrical in nature.

13/43


The Visual Pathway

14/43


*Representación Matemática de Información Estructurada { } { }{ } { }

{ } { }{ }

22

1 1

2 2

11

1 1

1 1 2 2

1

Definimos: 1, 2,..., ,y en general , 1,..., 1,

donde . Otras definiciones (obvias) : , ( )

sea la ( en 3D): | ( , , )

NNn

nnn n

n n1 2 n n nn n

Nn n n n n n

N nn n n n n

n < n X f n

lista de nodos puntos x y z

=

==

=

=+ − =

= =p pL,

( )

{ }

{ } { } { }{ } { }

1 11 1

31 2 31 1nodos indices

nodos 1 nodos indices1

, :,..., ,

( , , ) , :,

| ( ,..., ) , ( , ) :

MM

T

NM k

i i

n j jK

k k Nk

kN

polilíneas o polígonos yn i i i contornos si

n n n triángulos mallados

n n retículas grafos=

=

∈

⎧ ∈ ∈ ≡⎪⎪⎪ ← =⎨⎪

∈ ←⎪⎪⎩

∀ p p

p

p p

T TL L

L LR G R

Ciertos mallados { }1

T

j j

NT

= forman “objetos”

Retícula ortogonal discreta unitaria: 2 = ×

Retícula atribuida (ejemplo: atributo escalar): ( ){ }2, | ,u u∈ ∀ ∈p p ,

15/43


Imagen escalar discreta (señal bidimensional discreta, definición funcional): 2,D C⊆ ⊆sean (dominio y codominio finitos),

:" ( )" indica I D Cu Iu

→⎧= ⎨ →⎩p

p

Usualmente D es un intervalo bidimensional (rectángulo): 1 1

0 0 [0, 1] [0, 1]N MD N M− −= × = − × −

Imagen escalar contínua isomorfa con funciones bidimensionales: z = f (x,y) Notar el isomorfismo entre las imágenes discretas (atributo escalar) de N por M dimensiones y los arreglos o matrices MM×N :

{ }1 1

11 12 1,

21 22 21,1

1 2

: ,M N

NM N

NM N i j i ji j

M M MN

u u uu u u

u u

u u u× ∈ ∈

⎡ ⎤⎢ ⎥

∈ = = ∈⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

∀ ∀I IM

El atributo u puede ser un vector (v.g. color RGB), otras coordenadas, etc. Cuando el atributo escalar u es una intensidad luminosa en L niveles de gris (graylevel), también llamado valor o amplitud, I es lo que realmente lo que llamamos una imagen (en “blanco y negro”, o monocromática), con valores de gris entre blanco como umin =0 y negro como umax =L-1.

16/43


Muestreo o Digitalización de Imágenes Cuando una imagen contínua f(x,y) es muestreada uniformemente, cada nodo de una retícula ortogonal discreta corresponde a un pixel con un atributo también muestreado; en las coordenadas (x,y) (i,j) a enteros hablamos de discretización espacial, en la amplitud o intensidad hablamos de cuantización:

(0, 0) (0,1) (0, 1)

(1, 0) (1,1) (1, 1)

( 1, 0) ( 1,1) ( 1, 1)

( , )

f f f N

f f f N

f M f M f M N

f x y

−

−

− − −

≈

−

⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦

En la práctica (computadoras) se usa la matriz transpuesta, con x (coordenada horizontal) las columnas y y (coordenadas verticales) los renglones. En código de un programa en lenguaje C el arreglo bidimensional I[y][x] permite representar y procesar una imagen (el valor u= I[y][x] almacenado en el arreglo es el atributo). Si u es un número representado en 64 bits (8 bytes) y la imagen es de 480×640, la imagen ocupa 2457600 bytes.

17/43


Orden de coordenadas de una Imagen en la Pantalla (CRT) de una Computadora

18/43


Efectos de la Reducción de Resolución en la Retícula de Muestreo (= aumento en el paso de discretización)

19/43


Efectos de la Reducción de Resolución en Intensidad (Cuantización)

20/43


Imágenes: binaria (L=2) y monocromática (L=256)

21/43


Imágenes en color (LR+LG+ LB = 3×256)

22/43


Formatos de Archivos de Imágenes Digitales .bmp Bitmap File Format - Graphics Interchange Format - .gif (limitado a 8-bits por pixel, permite

compresiónLempel-Ziv-Welch – LZW). Color mediante LUTs, versiones a 24-bits (canales RGB). .tif .tiff Tagged Image File Format - (más sofisticado que .gif permite hasta 24-bits por pixel y soporta

cinco tipos de compresión, incluyendo codificación run-length RLE, LZW, y JPEG). .jpg .jpeg JPEG File Format - (estándar comercial, permite compresión con estándar JPEG en muchas

plataforma - compresión con pérdida, baja calidad para procesamiento y análisis científico).

- (RAW) arreglo “crudo, sin formato” - Las dimensiones y canales se especifican aparte. .ras Sun Raster Format - .ps .eps PostScript y Encapsulated PostScript File Format -

.png Portable Network Graphics - Reciente, mejor que JPEG

.tif

.dic DICOM Modificaciones de TIF para archivos de imagenología médica con información de paciente, técncias, procesamiento efectuado, registro a nivel mundial (certificación).

.gif Bitmap File Format - Graphics Interchange Format - (limitado a 8-bits por pixel, permite compresiónLempel-Ziv-Welch – LZW). Color mediante LUTs, versiones a 24-bits (canales RGB).

Utiles de conversión (importación): convert de ImageMagik, “readers* ” de librería de ITK (Image Tool Kit).

23/43


Fourier Transform (magnitud) of some images

24/43


Fast-Fourier Transform (FFT) Filtering

1. Before processing the original image is marred by "noise".

2. An FFT of the image is displayed. Due to its regularity, the noise pattern stands out as four spikes. One of the spikes has been marked

inside an AOI (Area of Interest) preparatory to its deletion.

25/43


3. The four noise spikes, which corresponded to the regular noise patterns, have been deleted from the FFT.

4. Inverse FFT (from #3): the image is clean.

26/43

Las coordenadas de los pixeles de una imagen, sin considerar el atributo (intensidad por ejemplo) forman el soporte (o dominio) de una imagen discreta de N×M pixeles:

{ }2arg( ) [0, 1] [0, 1] ( , ) 0 1, 0 1I M N m n m M n N= − × − = ∈ ≤ ≤ − ≤ ≤ −|

Ejemplo: Valor promedio en una ventana rectangular de N×M: 1 1

0 0

1 ( , )M N

m nf f m n

MN

− −

= =

= ∑∑


27/43


28/43

The Nyquist Criterion for Spatial Resolution

To detect a feature, the spatial resolution of the sensor system (1/f ) should be less than ½ the size (L) of the feature measured in its smallest dimension. Equivalently, in frequency domain:

samplingdetails

2fL

>

The sampling frequency has to be twice the highest frequency present in the signal or, equivalently, the resolution length has to be half the length of details “(peak width”) in the signal. Curso Procesamiento y Análisis de Imágenes – Jorge Márquez Flores - CCADET-UNAM 2008

29/43

A general practical standard is as follows:

• For a unique feature to be detected it should be made up of at least 3-5 pure pixels.

• For a unique feature to be reliably identified requires a threefold increase in resolution, or 10-15 pure pixels (20-50 if boundary pixels are included).

• For a unique feature to be analysed may require a tenfold or greater improvement in resolution (100-200 pixels).

(Wilkie & Finn 1996 ). From a technical point of view, there is always a trade-off between resolution (spatial & spectral) and the cost of image acquisition and processing. Increasing resolution causes a parallel and multiplicative increase in the quantity of data that has to be obtained, stored and analysed. In light of this trade-off between cost and resolution, it is of prior importance that the choice of image resolutions be problem driven.


30/43

Efectos del muestreo:

100 muestras


31/43


32/43


33/43


34/43


35/43

Negativo de una imagen: LUT anti-unitaria


36/43

Substracción en Color 2 Cortes Adyacentes (pulmones)


37/43

*Cadenas de Markov en 2D – dependencia vecinos espaciales inmediatos

Atributo de sitio uij en estado k

8-vecindad Vs de uij en estado (k − 1)

. . . Otros estados k−2, …0


38/43

Vecindades 2D y 3D (cliques o pandillas “completos”) como elementos estructurantes de Morfología Matemática. Diversas configuraciones de pixeles o voxeles se denominan poliominos (de dos: dominó).


39/43


El número de componentes conexas (objetos) depende de la conectividad (o tipo de apandillamiento o cliques). La conectividad no necesariamente es sinónimo de “contacto” (figura de puntos a la derecha) y se define por una distancia mínima (diversas métricas: principalmente de checkerboard (incluye vecinos en diagonal, o sea 8-adyacencia) y Manhattan (sólo en direcciones ortogonales, o sea 4-adyacencia)). En 3D (izquierda) tenemos ya sea:

• 1 objeto (y un contorno 3D cerrado, No. Euler=1) en 26-conectividad (por vértice; el objeto es 26-conexo).

• 3 objetos (y no hay contorno cerrado, No. Euler=0) en 18-conectividad (por arista (=bordes); cada objeto (o componente) es 18-conexo.

• 11 objetos (No. Euler=0) en 6-conectividad (por cara (=faceta); cada objeto (o componente) es 6-conexo.

40/43

Ruido Gaussiano


41/43


Representación de formas

Atributos regenerativos Atributos cuantitativos (Morfometría)

Geometría Momentos• Fronteras• Regiones• Esqueleto

(Medial Axis Transform)• Momentos• Descriptores estructurales y sintácticos• Descriptores de Fourier

• Perímetro• Area• Factor de forma• Radios max/min

y eccentricidad• Círculo equivalente• Esquinas• Redondez• Energía de pliegue• Simetría

• Centro de masa• Orientación• Rectángulo

delimitador• Elipse mejor ajuste• Eccentricidad

Topología

• Hoyos• Número de Euler• Nodos • Cuellos • Zonas críticas

Mixtos• Descriptores morfológicos• Decomposición/aproximación

mediante primitivas• Grafo descriptor• Concavidades• Granulometría (Morfo-Mat)

42/43

Gaussian Kernels

Isotropic Gaussian Kernel 1D Centered at x0

( )2 20

2

21 /( )2

- x xG x eσσ

πσ−

Isotropic Gaussian Kernel 2D Centered at (0,0)

2 2 2

2( ) 21( , )

2- x yG x y eσ

σ

πσ+ /

Isotropic Gaussian Kernel 3D Centered at (0,0,0) ( )3 / 2

2 2 2 2

2

( ) 21

2( , , ) - x y zG x y z eσ

σ

πσ

+ + /

Anisotropic Gaussian Kernel, diagonal covariance σ=Σ 2, center at 0x

( )

2 2 20 0 0

3 / 2 2 2 2,1 ( ) ( ) ( )

2 2 22( ) exp

x y zx y z

x x x y x zGσ σ σ σ σ σπ

− − −+ +

⎡ ⎤⎛ ⎞−⎢ ⎥⎜ ⎟⎢ ⎥⎝ ⎠⎣ ⎦

0σ x x

Generalized nD Anisotropic Gaussian Kernel, diag. covariance σ=Σ 2, center at 0x

( ) ( )0

1, 0 01/ 2/ 2

1 1( ) exp2(2 )

T

nGπ

−⎧ ⎫− − −⎨ ⎬⎩ ⎭

Σ x x x x Σ x xΣ

Note: 2 2 2( , , )x y zσ σ σ=σ


43/43


procesamiento y anlisis digital de imgenes · matlab image toolbox imagepro (comercial, media...

Documents