conceptos sobre combinacion de imagenes

8/8/2019 Conceptos Sobre Combinacion de Imagenes

1/71

2.1. Tipos de operaciones. Histogramas.

Pregunta: Cul es la base terica del procesamiento

de imgenes? Qu operaciones aplicar? Recordatorio: una imagen digital no es ms que una

matriz, o array bidimensional, de nmeros!

Podemos aplicar las mismas operaciones que sobre

cualquier nmero: sumar, restar, multiplicar, dividir,

aplicar and, or, mximo, mnimo, integrales, derivadas...

154115926939

130801098345

987689102638278738792

7875686790


2/71


Principales tipos de

procesamientos de imgenes:

Operaciones de procesamiento

global: cada pxel es tratado de

forma independiente, ya sea con

una o con varias imgenes.

Filtros y convoluciones: se

considera la vecindad local

de los pxeles.

Transformaciones geomtri-

cas: se modifica el tamaoy forma de las matrices.

Transformaciones lineales:

Fourier, wavelets, etc.


3/71


Operaciones de procesamiento global:

Aritmticas: sumar, restar, multiplicar, mximo, etc. Unarias: una sola imagen y un valor constante.

Binarias: con dos imgenes.

Booleanas: and, or, not, etc.

Unarias: una sola imagen y una constante. Binarias: con dos imgenes.

Otras transformaciones generales:

Transformaciones de histograma.

Transformaciones de color.

Binarizacin, etc.

Cada operacin tendr un significado, utilidad yaplicaciones especficos.


4/71


Supongamos una imagen de entrada A y una

imagen resultado R. Una operacin global (pxel a pxel) se puede

expresar como una funcin:

R(x,y):= f(A(x,y))

Ejemplo. Invertir. R(x,y):= 255 A(x,y)

Imagen

AImagen

R

El valor del pxel resultante esfuncin de (y slo de) el pxel

correspondiente de entrada.


5/71


R(x,y):= f(A(x,y)), (x,y)

Comparar con:

Filtros y convoluciones: el valor de un pxel depende

de la vecindad local de ese pxel:

R(x,y):= f(A(x-k,y-k), ..., A(x,y), ..., A(x+k,y+k))

Transformaciones geomtricas: el valor de un pxel

depende de pxeles situados en otras posiciones:

R(x,y):= A(f1(x,y), f2(x,y))

Transformaciones lineales: el valor de un pxel puede

depender de todos los pxeles de la imagen:

R(x,y):= f(A, x, y)


6/71

2.1. Tipos de operaciones. Histogramas. Para comprender el significado de muchas transforma-

ciones y saber cul conviene aplicar se usan histogramas.

Qu es un histograma? Repasar estadstica...

Un histograma representa grficamente una distribucin

de frecuencias.

Histograma de una imagen: representa las frecuencias

de los diferentes valores de gris en la imagen.

0 255127

Frec

uen

cia

(nmero

depx

eles)

Nivel de gris


7/71


Algoritmo. Clculo de un histograma.

Entrada. A: imagen de ancho x alto

Salida. Histograma: array [0,...,255] de entero

Algoritmo:Histograma[]:= 0

para y:= 0, ..., alto-1 hacer

para x:= 0, ..., ancho-1 hacerHistograma[A(x,y)]:= Histograma[A(x,y)]+1


8/71


Los histogramas son una herramienta importante en

anlisis de imgenes: es buena la calidad de unaimagen?, sobra luz?, falta contraste?

Ayudan a decidir cul es el procesamiento ms

adecuado para mejorar la calidad de una imagen...

Tanto cualitativamente (qu operacin aplicar), Como cuantitativamente (en qu cantidad).

En principio, una buena

imagen debe producir un

histograma ms o menosuniforme y repartido en

todo el rango de valores.0 255127

Nivel de gris

Frecu

en

cia


9/71

2.1. Tipos de operaciones. Histogramas. Ejemplo 1. La imagen es muy oscura. Falta luz.

0 255127

Frecuencia

Ejemplo 2. La imagen es muy clara. Sobra brillo.

0 255127

Frecuen

cia


10/71


Ejemplo 3. La imagen tiene poco contraste.

0 255127

Frecuen

cia

Ejemplo 4. Hay mucho contraste, pocos medios tonos.

0 255127

Frecuen c

ia


11/71


Histogramas de color. En imgenes multicanal podemos

obtener un histograma de cada canal por separado.

Canal Rojo Canal Verde Canal Azul

0 255127 0 255127 0 255127


12/71


O, tambin, podemos calcular histogramas conjuntos, en 2

3 dimensiones.Canales R y G Canales G y B Canales R y B

Estos histogramas aportan informacin sobre los rangos de

colores ms frecuentes en la imagen. En teora, el histograma es de 256x256 celdas (bins).

Pero, para obtener buenos resultados, mejor usar un

nmero reducido de celdas. Por ejemplo 64x64 32x32.


13/71

2.1. Tipos de operaciones. Histogramas. Uso de histogramas para mejorar la calidad de las imgenes.

Ejemplo. El

histogramaindica tonos

muy oscuros.

Solucin.

Aplicar un

operador

que estire

el histograma.


14/71

2.2. Operaciones elementales con pxeles.

A: imagen de entrada.

R: imagen resultante (del mismo tamao que A).Operaciones unarias:

Sumar una constante: R(x, y):= A(x, y) + a

Restar una constante: R(x, y):= A(x, y) - a Multiplicar por una constante: R(x, y):= bA(x, y)

Dividir por una constante: R(x, y):= A(x, y)/b

Transformacin lineal genrica: R(x, y):= bA(x, y)+a Transformacin de gama: R(x, y):= A(x, y)c

Cualquier funcin NN: R(x, y):= f(A(x,y))


15/71


Sumar una constante: R(x, y):= A(x, y) + a

Significado: incrementar el brillo de la imagen en lacantidad indicada en a.

El histograma se desplaza a la derecha en a pxeles.

a


16/71


Ojo: la suma puede ser mayor que 255...

La operacin debera comprobar el overflow:

si A(x, y) + a > 255 entonces R(x, y):= 255sino R(x, y):= A(x, y) + a

Esto se debe hacer tambin en las dems operaciones,

comprobando si el valor es 255. Coloquialmente, un pxel por encima de 255 o por

debajo de 0 se dice que

est saturado.

La saturacin suponeuna prdida de

informacin.

Ejemp

lodeimage

n

muysatu

rad

a


17/71


En imgenes en color, la suma se realiza sobre los

tres canales (R, G y B) y con el mismo valor.

R(x, y).R:= A(x, y).R + a R(x, y).G:= A(x, y).G + a

R(x, y).B:= A(x, y).B + a

Qu ocurre si se suma un valor distinto a cada canal?


18/71


Restar una constante: R(x, y):= A(x, y) - a

Significado: decrementar el brillo de la imagen en lacantidad indicada en a.

El histograma se desplaza a la izquierda en a pxeles.

a


19/71


Multiplicar por una constante: R(x, y):= bA(x, y)

Significado: aumentar la intensidad de la imagen en b. El histograma se estira hacia la derecha.


20/71


21/71


Dividir por una constante: R(x, y):= A(x, y) / b

= Multiplicar por 1/b ... obviamente! El histograma se encoge.


22/71

2.3. Transformaciones del histograma.

Las transformaciones elementales se pueden ver

como funciones f: N N.

Interpretacin: para cada valor de gris de entrada

hay un valor de salida.

0 25512864 1920

255

128

64

192

Valor de entrada

Valord

esalida

f: curva

tonal

Se puede usar cualquier funcin f.

La transformacin hace que se modifique el histograma.

+
http://c/Documents%20and%20Settings/Gines/Mis%20documentos/Docencia/P.A.V.%2005-06/tema2.ppt#P?gina%2027


23/71


0 25512864 1920

255

128

64

1

92

Identidad: f(v):= v

0 25512864 1920

255

128

64

1

92

Suma: f(v):= v + a

0

255

12864 1920

255

128

64

1

92

Resta: f(v):= v - a

a

a

0 25512864 1920

255

128

64

192

Multiplicar 2: f(v):=2v

0 25512864 1920

255

128

64

192

Dividir 2: f(v):= v/2

0

255

12864 1920

255

128

64

192

Por 3: f(v):= 3v


24/71


En general, podemos definir

una transformacin linealgenrica de la forma:

f(v):= bv + a

0 25512864 1920

255

128

64

192

Ej. Inversa: f(v):= 255 - v

Pero la transformacin tambin puede serno lineal:

cuadrtica, polinomial, exponencial, logartmica,

escalonada, etc. Cmo decidir cul es la transformacin ms

adecuada? Usar el histograma.


25/71


Normalmente, interesa estirar el histograma, para

conseguir que aparezca todo el rango de valores.

Idea: definir una transformacin lineal tal que el

histograma resultante vaya de 0 a 255.

Ajuste lineal o estiramiento(stretch) del histograma:

Buscar el valor mnimo del histograma: m Buscar el valor mximo: M

f(v):= (v-m)*255/(M-m)

m M

Nota: Esto es una

simple regla de 3

+


26/71


0 25512864 1920

255

1

28

64

192

Ejemplo. m= 86, M= 214

R(x,y):= (A(x,y)-86)*1,99

A

R

Histograma de A

Histogr a

mad

eR

Ojo: no

necesaria-

mente el

mximo

Para imgenes en

color, se aplica la

misma funcin a los

tres canales (R,G,B)


27/71


Cuidado: un simple pxel con valor muy alto o muy bajopuede hacer que el ajuste del histograma sea muy malo.

Por ejemplo, si hay un pxel con valor 0 y otro con 255, latransformacin sera la identidad (la imagen no cambia).

Solucin: en lugar de mnimo y mximo, ajustar usando dospercentiles del histograma (p. ej. 10%-90%, 5%-95%).

Histograma de A

5% 5%


28/71


Ms ejemplos de estiramiento lineal del histograma.


29/71


La transformacin de histograma puede tomar

cualquier forma (no necesariamente lineal).

Ejemplos.

0 25512864 1920

255

128

64

1

92

Valor de entrada

Valordesa

lid

a

Resultado: oscurecer

los medios tonos.

Parbola: c1v2 + c2v + c3

0 25512864 192

Valor de entrada

Resultado: aclarar

los medios tonos.

Raz: c1v0.5 + c2

0

255

128

64

192

0 25512864 192

Valor de entrada

Resultado: aclarar

tonos oscuros y

oscurecer los claros.

Dos trozos de curva

(parbola y raz)

0

255

128

64

192


30/71


Elevar a 2, elevar a 1/2, ...

Se define la transformacinde gama como:

f(v):= 255(v/255)1/GAMA

Gama 1 Gama 2 Gama 4Gama 0,75Gama 0,5

0 25512864 192

0

255

128

64

192


31/71


La diferencia entre diferentes dispositivos

(televisores, cmaras, escneres) se modela conuna transformacin de gama.

Si el comportamiento del dispositivo fuera

perfectamente lineal, Gama = 1.

Blanco Negro

Dnde est el 50% de gris? Es la escala lineal?

Dnde estara si tomramos una foto?


32/71


Otra transformacin habitual es la ecualizacin del

histograma (del latn aequalis = igual).

Ecualizacin del histograma: es una transformacin

definida de forma que el histograma resultante se

reparte uniformemente en todo el rango de grises.

0 255127 0 255127

0 25512864 192

0

255

128

64

192

?

En este caso se usa una funcin escalonada:

f: array [0..255] de byte

+


33/71


Cmo definirfpara conseguir la ecualizacin?

Idea: suponer que a la salida hay 5 niveles de gris.

0 255127

0 25512864 1920

4

2

1

3

20% 20%20%

20%

20% para todo pxel (x,y) de R hacer

R(x,y):= f[A(x,y)]

0 421 3

2 3 T f i d l hi t


34/71


Algoritmo. Clculo de la funcin de ecualizacin delhistograma.

Entrada. Histograma: array [0,...,255] de entero

np: entero (nmero total de pxeles = mx*my)

Salida. f: array [0,...,255] de byte

Algoritmo:f[0]:= 0acumulado:= Histograma[0]para i:= 1, ..., 254 hacer

f[i]:= acumulado*255/npacumulado:= acumulado + Histograma[i]finparaf[255]:= 255

La funcin de ecualizacin es

la integral del histograma,

escalada por el factor 255/np.


35/71


Imagen de entrada (A) Imagen ecualizada (R)

Histograma de A Histograma de RFuncin f

+


36/71


37/71


Umbralizacin de imgenes. En algunas

aplicaciones puede ser interesante convertir la

imagen en binaria, o recortar cierto rango de valores. Las funciones tienen las siguientes formas:

0 25512864 192

0

255

128

64

192

Valor de entrada

Valordesalid

a

Umbralizarla

imagen con valor cte.

0 25512864 192

0

255

128

64

192

Valor de entrada

Cortarun rango y

mantener el resto

0 25512864 1920

255

128

64

192

Valor de entrada

Seleccionarun

rango

Umbral Umbralinferior

Umbral

superior

+


38/71


Las funciones sern del estilo:

f(v):= si v > umbral1 entonces g(v)

sino h(v)

Transformacin de binarizacin (saturar a 0 255).

f(v):= si v < umbral entonces 0 sino 255

Ejemplo 1. La binarizacin se suele aplicar en OCR.

Imagen de entrada

(256 grises)

Umbral = 160 Umbral = 215


39/71

2 3 T f i d l hi t


40/71


Conclusiones:

Una transformacin elemental se puede ver desdedistintas perspectivas:

Como una funcin unidimensional: f: N N

Como una curvatonal.

Como una modificacin del histograma. La caracterstica fundamental es que cada pxel se

trata independientemente de los dems.

Los histogramas son tiles para encontrar la

transformacin adecuada. En imgenes RGB, aplicamos la misma operacin a

los 3 canales para que se mantenga el color.


41/71

2.4. Combinacin de imgenes.

Combinacin de imgenes: utilizar dos o ms

imgenes de entrada para producir una imagen de

salida.

Entrada: imgenes A y B.

Salida: imagen R.

R(x, y):= f(A(x,y), B(x,y))

Posibles operaciones de combinacin: Booleanas: and, or, xor, not

Aritmticas: suma, resta, producto/divisin, media

Relacionales: mximo, mnimo

El valor del pxel resultante es

funcin de los pxeles de A y B

en la misma posicin

En principio, todas las

imgenes deben ser del

mismo tamao


42/71


Operadores booleanos:

R(x, y):= A(x,y) AND B(x,y) R(x, y):= A(x,y) OR B(x,y)

R(x, y):= A(x,y) XOR B(x,y)

R(x, y):= NOT A(x,y) AND B(x,y)

R(x, y):= A(x,y) OR NOT B(x,y)

...

Estos operadores tienen sentido cuando al menos

una de las imgenes es binaria. Negro (0) = FALSE

Blanco (1 255) = TRUE

2 4 Combinacin de imgenes


43/71


Ejemplos. Operadores booleanos.

Imagen deentrada

A

Imagen deentrada

B

A AND B A OR B A XOR B


44/71



45/71


Imgenes de entrada.

A B C

Cmo conseguir el montaje de la pgina anterior?

R:= (B AND NOT C) OR (A AND C)



46/71

2.4. Combinacin de imgenes.1. T1:= B AND NOT C

B NOT C

T1

1. T2:= A AND C

1. R:= T1 OR T2

A C

T2

T1 T2R


47/71


La imagen binaria (C) se suele denominarmscara.

La mscara permite segmentar el objeto de inters.C

Cuestiones: Cmo crear la mscara de forma automtica?

La zona del pelo no se mezcla bien con el fondo.

Cmo evitar este problema?

R

!?


48/71


Operaciones aritmticas:

R(x, y):= A(x, y) + B(x, y) R(x, y):= A(x, y) - B(x, y)

R(x, y):= (A(x, y) + B(x, y))/2

R(x, y):= aA(x, y) + (1-a)B(x, y)

R(x, y):= A(x, y)B(x, y)c

Se usan en generacin y anlisis de imgenes.

Cuidado con los problemas de saturacin. En imgenes binarias son equivalentes (en su

mayora) a los operadores booleanos.



49/71


Sumar dos imgenes: R(x, y):= A(x, y) + B(x, y)

Significado: mezclar las dos imgenes.

Ojo: [0..255] + [0..255] = [0..510]

B

A

R



50/71


Para evitar la saturacin se puede usar la media.

Media de 2 imgenes: R(x, y):= (A(x,y)+B(x,y))/2

Significado: las imgenes son

semitransparentes (al 50%).

B

A

R



51/71

2.4. Combinacin de imgenes. De forma similar, se puede definir la media ponderada.

Media ponderada: R(x,y):= aA(x,y) + (1-a)B(x,y)

La media ponderada se puede

usar para crear una transicinsuave entre imgenes (o vdeos).

a = 0,25 a = 0,5 a = 0,75



52/71

C g La media de imgenes se puede usar para acumular

imgenes de un vdeo.

Ejemplo 1. Combinar imgenes con mucho ruido de unaescena, para obtener una mezcla con menos ruido.

Imgenes

capturadas

de TV

Imagen

acumulada

2 4 C bi i d i


53/71

2.4. Combinacin de imgenes. Ejemplo 2. Crear un modelo de fondo de una escena,

acumulando varias imgenes.

Idea: si adems de la media en cada pxel calculamos

tambin la varianza, podramos tener un modelo

gaussiano del fondo (N(,)).

Imgenes de

Quickcam

Modelo de

fondo



54/71


Restar dos imgenes: R(x, y):= A(x, y) - B(x, y)

Significado: obtener diferencia entre imgenes.

B

A A-B

[0..255] - [0..255] =[-255..255] La mitad

de los pxeles se

saturan a 0

B-A



55/71


Restar dos imgenes, manteniendo el rango de

salida: R(x, y):= (A(x, y) - B(x, y))/2 + 128

B

A (A-B)*

(B-A)*



56/71

2.4. Combinacin de imgenes. Muchas veces lo que interesa es conocer la diferencia

entre las imgenes.Solucin: tomar valor absoluto dela resta.

Diferencia: R(x, y):= abs(A(x, y) - B(x, y))

Pxel negro: las dos imgenes soniguales en ese pxel.

Cuando ms clara es una zona, ms

se diferencian las imgenes.

B

A R

? Son muy

distintas...



57/71

2.4. Combinacin de imgenes. Aplicaciones de la diferencia: encontrar variaciones

entre imgenes que, en principio, deberan ser

parecidas. Ejemplo 1. Analizar la prdida de informacin al

comprimir una imagen. Por ejemplo, con JPEG.

Dif.

x16

Dif.

x16



58/71

2.4. Combinacin de imgenes. Ejemplo 2. Segmentacin del fondo de una escena.

Tenemos un fondo (imagen media) y una nueva imagen.

x2 x2

Modelo de fondo Frame 1 Frame 2

Idea: esto se

puede usar paracrear la mscara...

Cmo?



59/71

2.4. Combinacin de imgenes. Proceso.

1. Obtener el modelo de fondo

M.2. Para cada imagen A del

vdeo.

3. Calcular la diferencia: D =

abs(M-A).4. Umbralizar la imagen con un

valor adecuado. U =

umbralizar(D, x).

5. Sea F el nuevo fondo.6. R:= (F AND NOT U) OR (A

AND U)

M

A

D

U

F

R

Cmo

arreglar eso?


60/71


61/71


62/71



63/71

g

Ejemplo 1. Realizar una transformacin de intensidad

distinta para cada pxel.

A B1 B2

A*B1 A*B2



64/71


Estos mismos tipos de imgenes se pueden usar para

hacer sumas, restas, divisiones, etc.

Ejemplo. R(x, y):= A(x, y)B(x, y)/128

Si B(x, y) = 128 el pxel de A no cambia.

Si B(x, y) < 128 el pxel se oscurece.

Si B(x, y) > 128 el pxel se aclara.

El producto es tambin la base en la idea de mscara

o seleccindifusa.

Idea: una imagen se compone de distintos elementos o

capas, que tienen definido cierto nivel de

transparencia.



65/71


Ejemplo 2. Mezcla y combinacin de imgenes.Queremos combinar dos imgenes, por ejemplo, para

poner una etiqueta descriptiva en una foto. Una imagenbinaria sirve de mscara: 0 = fondo, 1 = etiqueta.

A B M

Resultado:

R:= (A AND NOT M)

OR (B AND M)No me convence...

mejor un reborde

suave (difuminado)

R


66/71



67/71


Indicaciones sobre el ejemplo 2.

La mascara suave es la idea del canal alfa.

RGB RGBA, donde el canal A indica el grado de

opacidad de un pxel (0= transparente, 255= opaco).

Uso: definimos imgenes, con sus canales alfa, y las

componemos poniendo unas sobre otras.

La composicin de imgenes con canal alfa es

bsicamente una media ponderada como hemos visto.

En el modo binario, muchas herramientas incorporan las

ideas de mscara, seleccin, regin de inters (cuando

es rectangular) o canal de inters (en multicanal).

No necesitamos trabajar con operaciones booleanas,

aunque implcitamente es lo que hay subyacente.



68/71


Otras operaciones no lineales

Mnimo de 2 imgenes. R(x, y):= min(A(x, y), B(x, y))

Mximo de 2 imgenes. R(x, y):= max(A(x, y), B(x, y))

A

A

B

B

R

R



69/71

2.4. Combinacin de imgenes. Ejemplo. Una alternativa para crear modelos de fondo

es usar mximos y mnimos. En lugar de tener media y

varianza, tenemos mximo y mnimo del fondo en cadapxel.

Dada una imagen nueva, para cada pxel, comprobar si

su valor est entre el mximo y el mnimo. Si lo est:

fondo; si no lo est: objeto.

Fondo mnimo Fondo mximo



70/71

Con esto tenemos otra forma de hacer la

segmentacin de los objetos.

Modelo de fondo Frame 1 Frame 2

La mscara ya

est binarizada



71/71


Conclusiones:

Operaciones de combinacin: a partir de dos o msimgenes obtener una nueva imagen.

La operacin a aplicar depende de lo que queramos

conseguir.

Operaciones booleanas: tiles para trabajar conmscaras de objetos.

Operaciones aritmticas: tiles en vdeo, modelos

acumulados, deteccin de movimiento, transparencias

difusas, etc. En general, cualquier tipo de operacin es posible, ya

sean lineales o no lineales.