antonio gutierrez del valle

Escuela Tcnica Superior de Ingeniera Informtica

Mster en Matemtica Computacional

TRABAJO DE FIN DE MSTER

Videovigilancia y privacidad. La ocultacin del rostro en vdeo para el

cumplimiento del derecho a la intimidad

Autor:

Antonio Gutirrez del Valle

Tutora:

Mara Jos Jimnez Rodrguez

JUNIO

Curso 2010 - 2011

ndice general

1. Introduccin 1

2. Seguimiento humano. Algoritmos 5

3. Procesamiento. Ocultacin para cumplimiento de priva-

cidad 13

4. Experimentacin. Uso en tiempo real 19

5. Conclusiones 39

Bibliografa 46

ndice de guras

1. Diagrama de procesos para la ocultacin de caras . . . . 20

2. Deteccin de la parte superior del cuerpo y seguimiento . 33

3. Deteccin del cuerpo completo por no reconocimiento de

cara y parte superior . . . . . . . . . . . . . . . . . . . . 34

4. Error en la deteccin del cuerpo de una persona . . . . . 35

5. Sustraccin incorrecta del fondo de la escena . . . . . . . 35

6. Correcta deteccin pero problema en el seguimiento con

CAMShift . . . . . . . . . . . . . . . . . . . . . . . . . . 36

7. Deteccin errnea de la parte superior del cuerpo . . . . 37

ndice de algoritmos

1. Cdigo principal de ocultacion_caras . . . . . . . . . . . 21

2. Cdigo principal de ocultacion_caras (Continuacin) . . 22

3. Sustraccin del fondo . . . . . . . . . . . . . . . . . . . . 23

4. Eliminacin de regiones de inters en la sustraccin del

fondo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

5. Clase componente_conexa . . . . . . . . . . . . . . . . . 24

6. Bsqueda de componentes conexas cuyo contorno supera

una cota mnima . . . . . . . . . . . . . . . . . . . . . . 25

7. Clase deteccion_roi . . . . . . . . . . . . . . . . . . . . . 26

8. Carga de descriptores para la deteccin de caras . . . . . 27

9. Procesamiento para la deteccin de caras . . . . . . . . . 28

10. Consideracin de las regiones con caras . . . . . . . . . . 28

11. Clase seguimiento_roi . . . . . . . . . . . . . . . . . . . 29

12. Procesamiento previo al seguimiento de caras . . . . . . 30

13. Seguimiento de caras . . . . . . . . . . . . . . . . . . . . 30

ndice de cuadros

1. Tiempos de ejecucin por cada subproceso en la ocultacin

de caras . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Videovigilancia y privacidad

Prlogo

Motivado por el uso masivo que se est realizando de los sistemas

de videovigilancia, se ha procedido a estudiar la legislacin existente

relacionada con estos y su respeto a la intimidad de los individuos. Debido

a la falta de normativa especca en algunos pases y a la disparidad en

otros, la Unin Europea redacta la Carta para el Uso Democrtico de

la Videovigilancia a travs del Foro Europeo de Seguridad Urbana. En

Espaa a igual que en otros pases, la legislacin existente en el mbito

de la videovigilancia en lugares pblicos, limita el derecho a la intimidad

en favor de mejorar la seguridad pblica.

Desde aqu se pretende demostrar que es viable compatibilizar la

videovigilancia con el respeto a la intimidad de los individuos, fomentado

la innovacin e investigacin de algoritmos de procesamiento de imagen

y vdeo que impidan el reconocimiento de las personas. Los procesos para

evitar el reconocimiento de personas deberan ser aplicados durante el

visionado de las cmaras en los CCTV. Los vdeos capturados a travs

de sistemas de videovigilancia slo deberan visionados al completo bajo

el permiso del poder judicial.

A travs del artculo Protecting Personal Identication in Video, D.

Chen, Y. Chang, R. Yan y J. Yang proponen dos soluciones que permitan

a los sistemas de videovigilancia respetar la privacidad de las personas.

Siguiendo una de las lneas planteadas en este artculo, se ha elaborado

un algoritmo para automatizar la ocultacin de caras y cuerpos mediante

i

Prlogo

el emborronamiento de aquellas regiones en las que se hayan detectados.

Antes de profundizar en este algoritmo se procede a exponer los distintos

aspectos relacionados con el seguimiento de objetos, as como los algorit-

mos utilizados en la aplicacin de esta tcnica de visin por ordenador.

Esta visin general ha facilitado la eleccin del mtodo de seguimiento

del objeto, el cual tiene como requisito la ejecucin de ste en tiempo

real.

El uso del algoritmo en tiempo real obliga a que los mtodos de sus-

traccin de fondo, segmentacin, deteccin de caras y seguimiento se

sincronicen de forma que se reduzcan los tiempos de ejecucin. Por ello

se ha seleccionado una mezcla de distribuciones de Gauss para la sustrac-

cin de fondo, los algoritmos de Viola-Janes y Histograma de Gradientes

Orientados para la deteccin de caras sobre regiones segmentadas pre-

viamente, y el mtodo CAMShift para el seguimiento de stas. La im-

plementacin de este algoritmo se ha realizado en C++ hacindose uso

de la librera de visin por ordenador OpenCV en su versin 2.2. Por

ltimo, para conocer la ecacia y eciencia de la aplicacin desarrollada

se ha ejecutado una batera de pruebas con vdeos descargados de las

bases de datos CANTATA y VISOR.

ii

Captulo 1

Introduccin

El Foro Europeo para la Seguridad Urbana

1

[17] promueve el uso

de la videovigilancia para reducir la delincuencia que se produce actual-

mente en las ciudades. A travs de este foro se pretende analizas las

implicaciones que conlleva el uso de los circuitos cerrados de televisin

CCTV para mejorar la seguridad en las ciudades. Adicionalmente, se

han intentado denir buenas prcticas que contemplen el derecho a la

privacidad del individuo, las cuales han sido reunidas en la Carta para

el Uso Democrtico de la Videovigilancia

2

.

El objetivo primordial de este proyecto europeo es alcanzar unos ni-

veles de seguridad mnimo en la convivencia entre los ciudadanos. Se

podra plantear como una primera solucin para alcanzar este objetivo

el ampliar las fuerzas de seguridad existentes. Este aumento de personal

en los cuerpos de seguridad, para que sea posible dar un servicio de 24

horas durante los 365 del ao, conllevara un coste que sera insostenible

1

http://efus.eu/es

2

http://cctvcharter.eu/index.php?id=31768&L=npelewqurwccxuc

1

Introduccin

para un pas. Es por ello por lo que se plantea como solucin alternativa

la implantacin de sistemas de videovigilancia.

En cualquier caso, no se debe olvidar la legislacin que existe a favor

de respetar los derechos fundamentales de los individuos. Actualmente,

el derecho a la intimidad se recoge en normativas especicas de cada uno

de los pases, ya sea a travs de su ley fundamental o mediante desarrollos

normativos especcos. Lo que si tienen en comn, desde el punto de vista

de la videovigilancia, es que las normativas que existe en la actualidad

no respeta el derecho a la privacidad de las personas bajo determinadas

circunstancias. Si nos centramos en Espaa, la Ley Orgnica 4/1997 [4]

da va libre al uso de videocmaras en lugares pblicos, quedando al

descubierto el derecho a la intimidad bajo determinados condicionantes

establecidos en la normativa.

A pesar de toda la regulacin y el uso de medios tecnolgicos, el xito

de la videovigilancia est cuestionada. Esto se debe a casos conocidos en

los cuales el funcionamiento del sistema no ha sido el esperado. Uno de los

casos es el atentado de Londres de 2005 en el cual, a pesar de la cantidad

de videocmaras implantadas en la ciudad, no fue posible la deteccin

precoz de los actos terroristas. Es ms, debido a la baja calidad de la

imagen no fue posible el reconocimiento de la identidad de las personas

que acometieron el atentado. En cambio, la implantacin de sistemas de

videovigilancia provoca una reduccin en la delincuencia premeditada.

Pero, por ejemplo, est reduccin se puede alcanzar igualmente con la

mejora en la iluminacin de las vas pblicas.

Esto debera servir para replantearse qu habra que mejorar en los

2


sistemas actuales de videovigilancia, teniendo como objetivo la detec-

cin precoz del delito as como la persona que lo lleve a cabo. Esto se

podra alcanzar fomentando la innovacin e investigacin tecnolgica en

el mbito de la visin por ordenador y reconocimiento de patrones. Sera

interesante que parte de los esfuerzos llevados a cabo para mejorar los

algoritmos de procesamiento de vdeo digital, estn orientados al cum-

plimiento de los derechos fundamentales del individuo. Igualmente, no

deberan descartarse aquellos esfuerzos que permitan la deteccin precoz

de posibles actividades relacionadas con la delincuencia.

El derecho a la intimidad se podra cumplir mediante la aplicacin

de algn tipo de mscara sobre las personas visionadas en un CCTV, de

manera que se impida el reconocimiento de stas. Siguiendo esta lnea, el

artculo Protecting Personal Identication Video [5] propone dos solucio-

nes para conservar la privacidad, siendo usada la primera de ellas como

base para este trabajo. En el siguiente captulo se intenta dar una visin

general [22] sobre la tcnica de seguimiento de objetos. Tras revisar los

distintos aspectos a tener en cuenta a la hora de aplicar esta tcnica, se

plantean diversos esquemas que puedan servir de base para el desarro-

llo de algoritmos orientados al seguimiento de personas en tiempo real.

Finalmente se muestra una aplicacin prctica desarrollada en base a lo

visto previamente, junto con los resultados de inters obtenidos a partir

de la experimentacin realizada con diversos vdeos.

3

Introduccin

4

Captulo 2

Seguimiento humano.

Algoritmos

Una tcnica muy usada en la visin por ordenador corresponde al

seguimiento de objetos, dentro del cual encaja el seguimiento humano.

En la literatura se puede encontrar mucha documentacin relacionada

con esta tcnica, por ello este captulo intenta hacer un resumen de los

distintos aspectos relacionados con el seguimiento. El seguimiento de

objetos normalmente forma parte un proceso ms global consistente en:

1. Deteccin del objeto de inters en movimiento.

2. Seguimiento de los objetos detectados entre fotogramas.

3. Anlisis de los objetos seguidos para reconocer su comportamiento.

La diversidad de aplicaciones que permite el seguimiento de objetos in-

crementa el inters sobre esta tcnica. Entre otras, se pueden destacar

las siguientes aplicaciones:

Reconocimiento basado en el movimiento.

Vigilancia automatizada.

5

Seguimiento humano. Algoritmos

Indexacin de vdeo.

Interaccin hombre-mquina.

Monitorizacin del trco.

Navegacin de vehculos.

El objetivo de esta tcnica es estimar la trayectoria de un objeto dentro

del plano de una imagen en movimiento. Para lo cual, el observador

etiqueta el objeto de inters en los distintos fotogramas del vdeo. Adems

se puede ampliar la informacin asociada al movimiento del objeto de

forma que se mejore el proceso de seguimiento. El alcanzar el objetivo de

seguir el objeto de inters puede ser complejo debido a diverso motivos,

tales como:

Perdida de informacin en 2D.

Ruidos en imgenes.

Movimientos complejos.

Naturaleza articulada de objetos.

Oclusin parcial y total.

Formas complejas de los objetos.

Cambios de iluminacin.

Requisitos de procesamiento en tiempo real.

6


Debido a ello, antes de aplicar la tcnica de seguimiento es primordial

establecer restricciones sobre el movimiento o apariencia del objetos a la

hora de efectuar el seguimiento. Se considerar objeto todo aquello que

sea de inters para el anlisis. Estos objetos podrn ser representados de

distintas formas:

Punto. Un punto representa el centro del objeto.

Forma geomtrica. El objeto ser representado mediante un rec-

tngulo, una elipse, u otras formas geomtricas.

Silueta y contorno del objeto. El contorno del objeto representar

su frontera, mientras que el interior de ste corresponde a la silueta.

Modelado de formas articuladas. La representacin del objeto se

efectuara mediante la unin de objetos articulados. Estos objetos

se representan mediante cilindros o elipses.

Modelado del esqueleto. El esqueleto de un objeto se obtiene a par-

tir del eje de su silueta. Esta representacin se usa principalmente

para el reconocimiento.

Existen otros mtodos de representacin de la apariencia de los objetos,

no basadas en la forma de stos, que pueden ser usados para llevar a

cabo el proceso de seguimiento. Algunas representaciones comunes en el

mbito del seguimiento son:

Probabilidad de densidad de la apariencia del objeto.

Plantillas.

7


Modelo de apariencia activa.

Modelo de apariencia multi-vista.

La seleccin de la caracterstica correcta para la aplicacin del segui-

miento est relacionada con la representacin del objeto. En general, se

pueden considerar las siguientes caractersticas a la hora de procesar el

seguimiento de objetos:

Color. Uso del espacio de color RGB o HSV.

Bordes. La frontera de los objetos provoca cambios de intensidad

en la imagen. Una buena propiedad de los bordes es su menor

sensibilidad a los cambios de iluminacin.

Flujo ptico. Corresponde al campo de vectores de desplazamiento

que dene la traslacin de cada pxel en una regin. Se usa para

segmentacin y seguimiento.

Textura. Medida de la variacin de intensidad de una supercie

que cuantica propiedades como suavidad y regularidad.

Las caractersticas a seleccionar dependern del dominio de aplicacin.

Reciben especial atencin los algoritmos que seleccionan la caracters-

tica de manera automtica. Estos se pueden agrupar en dos tipologas,

aquellos que seleccionan las caractersticas en base a un criterio general

(ltro), y aquellos que seleccionan las caractersticas basado en el uso de

las caractersticas para un dominio especco del problema (envoltura).

Todo mtodo de seguimiento se apoya en mecanismos de deteccin

del objeto por cada fotograma, o cuando el objeto aparezca por primera

8


vez en el vdeo. Por lo que la deteccin se deber realizar en cada uno de

los fotogramas, o usando la informacin temporal calculada a partir de

una secuencia de fotogramas que facilite reducir el nmero de detecciones

falsas. Se destacan los siguientes mtodos de deteccin de objetos:

Detectores de puntos. Se usa para encontrar puntos de inters a

partir de texturas que sean destacables en zonas locales de la ima-

gen. Son invariantes a la iluminacin y punto de vista de la cmara.

Sustraccin del fondo. Consiste en una representacin de la es-

cena que facilita la deteccin de objetos mediante el clculo de

variaciones entre cada fotograma. Cualquier cambio en la imagen

corresponde a un objeto en movimiento.

Segmentacin. Dividir la imagen en regiones similares. Se destacan

las siguientes tcnicas de segmentacin que son de inters para el

seguimiento:

Mean-Shift Clustering.

Segmentacin mediante Graph-cuts.

Contornos activos.

Aprendizaje asistido. La deteccin se puede realizar mediante apren-

dizaje de los objetos, efectuando la deteccin a travs de plantillas.

Caben destacar las siguientes tcnica dentro de este mbito:

Adaptive Boosting.

Support Vector Machines.

9


El objetivo principal del seguimiento es conocer en todo momento la tra-

yectoria de un objeto a partir de la localizacin de este en cada uno de

los fotogramas del vdeo. Adicionalmente se puede obtener la regin que

ocupa el objeto en cada instante de tiempo. El seguimiento puede ser

realizado mediante la deteccin inicial del objeto y entonces realizar el

seguimiento de ste, o mediante su localizacin en cada uno de los foto-

gramas del vdeo. Durante la ejecucin del proceso de seguimiento, los

objetos se representarn mediante la forma o modelo de apariencia ante-

riormente descrito. El modelo de representacin seleccionado limitar el

tipo de movimiento o deformacin posible. A continuacin enumeramos

los mtodos de seguimiento ms signicativos:

Seguimiento de punto. Se base en la representacin del objecto co-

mo un punto, y su seguimiento se realiza a travs de los distintos

fotogramas, asociando los puntos de un fotograma al siguiente. Su

principal problema se alcanza con la presencia de oclusiones, per-

dida en la deteccin, entrada y salida del objeto. Para dar solucin

a este problema se usan mtodos deterministas:

Mtodo determinista por correspondencia.

Mtodos estadstico por correspondencia.

Estimacin del estado de objeto simple. Cabe destacar losmtodos de Filtro de Kalman y Filtro de Partculas.

Asociacin de datos y estimacin del estado de mltiples ob-jetos.

10


Seguimiento de kernel. El kernel corresponde a la forma o aparien-

cia con la que se representa el objeto de inters. El movimiento

de estos objetos se obtiene mediante transformaciones paramtri-

ca como traslacin, transformacin y anes. El algoritmo a apli-

car depender de la apariencia de representacin usada, pudiendo

corresponderse con plantillas, modelos de apariencia basados en

densidad, y modelos de apariencia multi-vista.

Seguimiento mediante el uso de plantillas y modelos de apa-riencia basados en densidad. A esta categora corresponden

los algoritmos de CAMShift, y KLT.

Seguimiento mediante el uso de modelos de apariencia multi-vista. En esta categora se recoge el algoritmo PCA (Principal

Component Analysis), y SVM (Support Vector Machine).

Seguimiento de silueta. Una vez que se determina la regin del

objeto observado entonces se procede a su seguimiento mediante

estimacin. Estos mtodos usan la informacin recogida dentro de

la regin interior del objeto. El seguimiento de la silueta se puede

acometer va emparejamiento de formas o evolucin del contorno.

Emparejamiento de formas.

Seguimiento de contorno.

11


12

Captulo 3

Procesamiento. Ocultacin para

cumplimiento de privacidad

Para dar solucin al problema de privacidad, se propone la ocultacin

de caractersticas fsicas que faciliten el reconocimiento de las personas

[9, 14]. Se ha optado inicialmente por la aplicacin de una mscara de

emborronamiento a las regiones donde se detecten caras de personas o

cuerpo segn corresponda, para lo cual ser necesario su deteccin y

seguimiento. En la literatura se han planteado distintas soluciones para

dar cobertura a la deteccin [15, 18, 3, 2] y seguimiento [13, 12, 21, 16]

de caras en tiempo real. Se presupone que las tcnicas a aplicar estarn

acotadas por las restricciones del entorno a ser usadas. Debido a que se

busca un algoritmo que consiga la privacidad a nivel de videovigilancia,

se puede presuponer en primera instancia, que la escena ser capturada a

partir de una cmara ja y con unas condiciones de entornos estable. Una

aproximacin inicial del algoritmo de ocultacin podra ser el siguiente:

13

Procesamiento. Ocultacin para cumplimiento de privacidad

Para cada fotograma de la captura de vdeo.

Deteccin del patrn de cara o cuerpo como objeto de inters.

Aplicacin de mscara sobre los objetos de inters.

Este primer planteamiento puede dar lugar a alto costes de procesa-

miento, derivado de la complejidad de los algoritmos de deteccin de

cara. Gran parte del coste de procesamiento se deriva de la bsqueda

del patrn en la imagen al completo. Esto puede ser resuelto mediante

la tcnica de segmentacin, para lo que habr que seleccionar una po-

sible caracterstica para ello. Debido a que el inters va a recaer sobre

los movimientos producidos en la escena a vigilar, un buen mtodo sera

el de sustraccin del fondo. Este algoritmo segmenta aquellos objetos

que varan de un fotograma al anterior. Esto nos da lugar a otro posible

algoritmo:


Segmentacin del fotograma y deteccin de las regiones deinters.

Deteccin del patrn de cara o cuerpo como objeto de inters.


Esto resuelve el alto coste de procesamiento mediante la aplicacin del

mtodo de deteccin slo sobre aquellos objetos en movimiento. Se pue-

de llegar a dar un paso adicional eliminando del proceso de deteccin

aquellos objetos detectados previamente. Esto evitar el procesado de

14


aquellas regiones de inters ya identicadas en un procesamiento pre-

vio. Esto implica que el objeto ya detectado sea seguido a lo largo de

la escena. Para ello se puede seleccionar alguna de las tcnicas de segui-

miento comentadas anteriormente. Este seguimiento no es slo necesario

por ahorro de proceso, sino que resulta tambin de inters su uso ante

posibles ocultaciones o falsas detecciones. Si evolucionamos el algoritmo

anterior con esta nueva consideracin obtenemos el siguiente:


Segmentacin del fotograma y deteccin de las regiones deinters.

Eliminacin de las regiones de inters incluidas en el segui-miento.

Deteccin del patrn de cara o cuerpo como objeto de intersen las nuevas regiones de inters segmentadas.

Seguimiento de los objetos de inters.


La aplicacin de las distintas tcnicas conlleva a que slo se ejecute el

proceso de deteccin para aquellos objetos que entren en la escena, ya que

aquellos que ya han sido detectados sern descartados. Las personas de-

tectadas previamente sern simplemente seguidas en la escena mediante

el uso de algn mtodo de seguimiento.

En el artculo Protecting Personal Identication Video [5] se propone

un algoritmo que combina la aplicacin de distintas tcnicas, siguiendo

15


la lnea de lo expuesto previamente. En dicho algoritmo se propone como

selector del objeto de inters la sustraccin del fondo, debido a que en

las escenas jas ser de inters todo aquello en movimiento. Para ello se

plantea una sustraccin basada en un kernel de distribuciones de Gauss.

Una vez extradas las regiones de inters del fondo se procede a la

deteccin de los objetos de inters mediante el uso de plantillas, siendo

propuesto como mtodo el SVM. En el algoritmo propuesto se opta por

la deteccin de hombros y cabeza, ya que la mscara se aplicar no slo

sobre la cara sino sobre la cabeza al completo. Si esta deteccin no es

posible debido a problemas de iluminacin o calidad de la fuente, se

optar por una deteccin del cuerpo completo. No se debe olvidar que el

objetivo es evitar el reconocimiento de las personas a partir alguno de sus

rasgos. Tras detectarse el objeto de inters se procede a su seguimiento

mediante alguna tcnica de seguimiento. Con esto se pretende evitar los

problemas de perdidas en la deteccin y ocultacin del objeto de inters.

Como hemos visto previamente, la aplicacin de las tres tcnicas in-

tenta reducir los tiempos de seguimiento. Primero, se segmenta la imagen

con aquellos objetos que van a ser candidatos para ser seguidos. Esto evi-

tar la bsqueda del posible objeto de inters en la imagen al completo.

Con cada objeto segmentado se procede a la deteccin de la cabeza y

los hombros. Esto es posible mediante el uso de algoritmos de deteccin

basados en plantillas. Una vez detectado el objeto de inters, ste de-

ber ser seguido en todo momento a travs del uso de algn mtodo de

seguimiento. Ya que se conoce el objeto de inters y su trayectoria en

todo momento, podemos eliminar ste para futuras detecciones. Con esto

16


ahorramos la deteccin repetitiva de objetos ya reconocidos para cada

uno de los fotogramas, evitando as la redundancia de proceso. Una vez

detectado el objeto de inters se procede al enmascaramiento mediante

emborronado de la regin de inters.

En el siguiente captulo se analiza el algoritmo implementado, el cual

sigue la estrategia planteada.

17


18

Captulo 4

Experimentacin. Uso en

tiempo real

La implementacin se ha realizado en C++ haciendo uso de la libre-

ra OpenCV [1, 20]. Esta librera de Intel implementa un conjunto de

algoritmos y utilidades orientadas al procesamiento de imagen, vdeo y

visin por ordenador. Con ayuda de esta librera se ha implementado un

algoritmo que hace uso de mtodos basados en las tcnicas planteadas.

Para la sustraccin del fondo se utiliza un algoritmo basado en Mixture

of Gaussians [7, 11]. Este mtodo tiene una buena relacin coste-ecacia,

lo que ha dado lugar a su eleccin. En base al artculo comentado pre-

viamente y al publicado por Wilson Wong, Du Q. Huynh y Mohammed

Bennamoun, Upper Body Detetection in Unconstrained Still Images [10],

se procede a aplicar el algoritmo de Viola & Janes [19] combinado con

el de Histograma de Gradientes Orientados [6]. OpenCV ya incorpora

un conjunto de archivos con aprendizaje para distintos patrones, as co-

19

Experimentacin. Uso en tiempo real

mo para la deteccin de personas mediante el Histograma de Gradientes

Orientados. Por ltimo, como mtodo de seguimiento de kernel se opta

por el uso de CAMShift [8] o Mean-Shift adaptativo. El esquema seguido

para la implementacin del seguimiento de personas va en la lnea de lo

visto en el captulo dos de este documento, donde los pasos seguidos en

el procesamiento lo podemos ver en el siguiente esquema.

Figura 1: Diagrama de procesos para la ocultacin de caras

En el esquema presentado se identican cuatro procesos: sustraccin

del fondo, segmentacin de componentes conexas, deteccin de las regio-

nes de inters, y el seguimiento de stas. A continuacin se muestra el

cdigo principal del algoritmo implementado en C++. Posteriormente

se describen los detalles ms relevantes sobre los principales subprocesos

del seguimiento de caras.

20


Algoritmo 1 Cdigo principal de ocultacion_caras

#inc lude " sustracc ion_fondo . hpp"

#inc lude "componente_conexa . hpp"

#inc lude " detec to r_ro i . hpp"

#inc lude " seguimiento_ro i . hpp"

us ing namespace cv ;

us ing namespace std ;

i n t main ( i n t argc , char argv ){

VideoCapture v_video ;

Mat v_fuente , v_primer_plano , v_destino , v_blur ;

componente_conexa v_componentes ;

de t ec to r_ro i v_detector ;

segu imiento_ro i v_seg_ROI ;

vector v_v_seg_cara , v_v_seg_cara_tmp ;

vector v_v_r_candidato , v_v_r_ROI, v_v_r_cara ,

v_v_r_cara_tmp ;

i n t v_tecla = 0 ;

v_video . open ( s t r i n g ( argv [ 1 ] ) ) ;

i f ( ! v_video . isOpened ( ) )

{

cout v_fuente ;

sustracc ion_fondo v_fondo ( v_fuente ) ;

whi l e ( ! v_fuente . empty ( ) && v_tecla !=27 )

{

v_primer_plano = v_fondo . s u s t r a e r ( v_fuente ,

v_v_r_cara ) ;

v_v_r_candidato = v_componentes . buscar (

v_primer_plano , 0 . 1 ) ;

v_v_r_ROI = v_detector . d e t e c t a r ( v_fuente ,

v_v_r_candidato , 1 ) ;

. . .

21


Algoritmo 2 Cdigo principal de ocultacion_caras (Continuacin)

. . .

f o r ( unsigned i n t i =0; i0 )

{

r e c t ang l e ( v_destino ,

Point ( v_v_r_cara [ i ] . x ,

v_v_r_cara [ i ] . y ) ,

Point ( v_v_r_cara [ i ] . x+v_v_r_cara [ i ] . width

, v_v_r_cara [ i ] . y+v_v_r_cara [ i ] . he ight ) ,

Sca l a r ( 255 , 0 , 0 , 0 ) ) ;

v_blur = Mat( v_destino , v_v_r_cara [ i ] ) ;

medianBlur ( v_blur , v_blur , 15 ) ;

v_v_seg_cara_tmp . push_back ( v_v_seg_cara [ i ] ) ;

v_v_r_cara_tmp . push_back ( v_v_r_cara [ i ] ) ;

}

}

v_v_seg_cara = v_v_seg_cara_tmp ;

v_v_r_cara = v_v_r_cara_tmp ;

v_v_seg_cara_tmp . c l e a r ( ) ;

v_v_r_cara_tmp . c l e a r ( ) ;

imshow( " Sa l ida " , v_destino ) ;

v_video >> v_fuente ;

v_tecla = waitKey ( 1 ) ;

i f ( v_tecla==' ' ) waitKey ( ) ;

}

re turn 0 ;

}

22


Sustraccin del fondo. Se ha implementado un mtodo de sustrac-

cin del fondo que se basa en la mezcla de distribuciones de Gauss. Este

mtodo permite el aprendizaje del fondo de la escena mediante la combi-

nacin de distribuciones de Gauss. A partir de su aprendizaje, es capaz

de extraer del fondo aquellos objetos en movimiento. Todo fotograma del

vdeo deber ser enviado a este subproceso para analizar el fondo de la

imagen y as capturar aquellos objetos que pueden resultar de inters.

Algoritmo 3 Sustraccin del fondo

c l a s s sust racc ion_fondo

{

p r i va t e :

cv : : Mat v_primer_plano ;

cv : : BackgroundSubtractorMOG v_sustractor ;

pub l i c :

sustracc ion_fondo ( const cv : : Mat& p_origen ) ;

cv : : Mat s u s t r a e r ( const cv : : Mat& p_origen ,

const std : : vector p_v_r_eliminar ) ;

} ;

. . .

v_sustractor ( p_origen , v_primer_plano , 1 ) ;

Para el uso de est modelo de distribuciones de Gauss se ha proce-

dido a denir una clase en C++ que sirva de interfaz a dicho modelo,

de manera que pueda ser mejorada su funcionalidad de manera simple.

El operador de la clase BackgroundSubstractorMOG es el que posee la

capacidad de extraer el primer plano del fondo de la escena. El mto-

do sustraer de la clase sustraccion_fondo facilita el acceso al anterior

operador, y devuelve el primer plano generado por el modelo usado. La

mezcla de distribuciones de Gauss consigue una buena ecacia en tiempos

23


aceptables. Se puede observar que el mtodo sustraer posee un segun-

do parmetro denominado p_v_p_eliminar, el cual acepta una lista de

regiones. Esta lista para eliminar del primer plano aquellas regiones de

inters que han sido detectadas en fotogramas previos y clasicadas de

inters para su seguimiento.

Algoritmo 4 Eliminacin de regiones de inters en la sustraccin del

fondo

f o r ( unsigned i n t i =0; i


a una cota mnima. Si esto se cumple, incluimos la regin del contorno

detectado dentro de la lista de componentes conexas propuestas como

candidatas a ser regiones de inters.

Algoritmo 6 Bsqueda de componentes conexas cuyo contorno supera

una cota mnima

f indContours ( v_contornos ,

v_v_p_contorno ,

CV_RETR_LIST,

CV_CHAIN_APPROX_SIMPLE,

Point ( ) ) ;

f o r ( unsigned i n t i =0; i v_min_long_cont )

{

v_r_componente = boundingRect (

Mat( v_v_p_contorno [ i ] ) ) ;

v_v_r_componente . push_back ( v_r_componente ) ;

v_v_p_componente . push_back ( v_v_p_contorno [ i ] ) ;

}

}

Deteccin de regin de inters. Una vez tengamos capturadas

las componentes conexas candidatas a ser incorporadas en el proceso de

deteccin, se procede a referenciar la clase creada a tal efecto.

25


Algoritmo 7 Clase deteccion_roi

c l a s s de t ec to r_ro i

{

p r i va t e :

cv : : Ca s c ad eC l a s s i f i e r v_c l a s i f i c ado r 1 ;

cv : : Ca s c ad eC l a s s i f i e r v_c l a s i f i c ado r 2 ;

cv : : HOGDescriptor hog ;

pub l i c :

de t ec to r_ro i ( ) ;

s td : : vector de t e c t a r

( const cv : : Mat& p_origen ,

std : : vector > p_candidatos ,

double p_escala ) ;

} ;

OpenCV integra una implementacin tanto del algoritmo Viola-Janes

basado en caractersticas Haar [19], como el de Histograma de Gradien-

tes Orientados. Como punto a favor de esta implementacin es que la

propia librera integra un conjunto de datos de entrenamiento para de-

teccin de cara, cuerpo, cabeza y hombros, y torso y piernas. Siguiendo

las recomendaciones del artculo Upper Body Detetection in Unconstrai-

ned Still Images [10] se procede al uso de los cheros que contienen datos

de entrenamiento tanto de la parte superior del cuerpo como del perl

de la cara.

26


Algoritmo 8 Carga de descriptores para la deteccin de caras

i f ( ! v_c l a s i f i c ado r 1 . load

( "haarcascade_upperbody . xml" ) )

cout


Algoritmo 9 Procesamiento para la deteccin de caras

f o r ( unsigned i n t i =0; i0 ) v_b_cara = true ;

e l s e

{

v_c l a s i f i c ado r 2 . de t e c tMu l t iS ca l e ( v_ROI_s ,

v_v_r_ROI, 1 . 1 ,

2 , 0 |CV_HAAR_SCALE_IMAGE, S i z e ( 30 , 30) ) ;

i f ( v_v_r_ROI . s i z e ()>0 ) v_b_cara = true ;

e l s e

{

t ry

{

v_hog . de t e c tMu l t i S ca l e ( v_ROI_s ,

v_v_r_ROI, 0 , S i z e ( 8 , 8 ) ,

S i z e ( 30 , 30 ) , 1 . 05 , 2 ) ;

. . .

Una vez descartados aquellas componentes candidatas sobre las que

no se ha detectado ningn objeto de inters, se procede a devolver la lista

de regiones que contienen objetos de inters para el procesamiento. Pero

antes, se ajusta la regin procesada para que las coordenadas recogidas

en v_v_r_ROI[0] se encuentren en el espacio de la imagen.

Algoritmo 10 Consideracin de las regiones con caras

. . .

v_v_r_detectado . push_back ( v_v_r_ROI [ 0 ] ) ;

}

}

re turn v_v_r_detectado ;

28


Seguimiento de regin de inters. Por ltimo, la clase seguimien-

to_roi ser la encargada de implementar el mtodo CAMShift. Aunque

el artculo de referencia propone el uso de Mean-Shift como algoritmo de

seguimiento, se ha optado por el uso de CAMShift debido a sus propie-

dades adaptativas.

Algoritmo 11 Clase seguimiento_roi

c l a s s seguimiento_ro i

{

p r i va t e :

cv : : RotatedRect v_rr_centro_roi ;

cv : : Mat v_hist ;

pub l i c :

void i n i c i a r ( const cv : : Mat& p_origen ,

const cv : : Rect p_se l ecc ion ) ;

cv : : Rect s e gu i r ( const cv : : Mat& p_origen ,

const cv : : Rect p_v_r_roi ) ;

} ;

Para llevar a cabo el seguimiento, ste deber ser efectuado en dos

fases. Una inicial donde se informar la regin de inters a la clase se-

guimiento_roi para calcular el histograma que ser usado por el mtodo

CamShift.

29


Algoritmo 12 Procesamiento previo al seguimiento de caras

cvtColor ( p_origen , v_hsv , CV_RGB2HSV ) ;

inRange ( v_hsv , Sca l a r ( 0 , v_smin ,

MIN( v_min , v_max ) ) ,

Sca l a r ( 180 , 256 , MAX( v_min , v_max ) ) ,

v_mascara ) ;

v_hue . c r e a t e ( v_hsv . s i z e ( ) , v_hsv . depth ( ) ) ;

mixChannels ( &v_hsv , 1 , &v_hue , 1 , v_canales , 1 ) ;

Mat v_ROI( v_hue , p_se l ecc ion ) ,

v_ROI_mascara( v_mascara , p_se l ecc ion ) ;

c a l cH i s t ( &v_ROI, 1 , 0 , v_ROI_mascara , v_hist ,

1 , &v_hsize , &v_h_rangos ) ;

normal ize ( v_hist , v_hist , 0 , 255 , CV_MINMAX ) ;

En posteriores fotogramas se proceder a seguir el objeto mediante el

uso del histograma calculado en la fase inicial. Ser la funcin CamShift

la encargada de detectar el punto donde se localiza la distribucin co-

rrespondiente al objeto de inters. Este procesamiento se realizar sobre

una regin ampliada a la que contiene la cara o el cuerpo detectado en

un fotograma anterior.

Algoritmo 13 Seguimiento de caras

ca l cBackPro jec t ( &v_hue , 1 , 0 , v_hist ,

v_backproj , &v_h_rangos ) ;

v_backproj &= v_mascara ;

v_rr_centro_roi = CamShift ( v_backproj , v_r_ROI ,

TermCriter ia ( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER,

10 , 1 ) ) ;

Adicionalmente, el mtodo seguir se encargar de actualizar la posi-

cin donde se localiza la regin de inters que contiene la cara o cuerpo

detectado.

30


Tras realizar la implementacin del programa encargado de ocultar

la identidad de las personas que aparezcan en un vdeo. se procede a

realizar pruebas para conocer su rendimiento y ecacia. Para ello se ha

accedido a dos Web que contienen vdeos que permiten realizar pruebas

para validar algoritmos relacionados con la videovigilancia, el consumo

electrnico y la aplicacin mdica:

Proyecto europeo CANTATA

1

. Esta Web contiene un conjunto de

datos de pruebas para la validacin de mtodos de anlisis de vdeo.

Video Surveillance Online Repository VISOR

2

. Esta Web con-

tiene una gran base de datos multimedia, agrupada por distintos

mtodos de anlisis de vdeo.

A partir de estas bases de datos se ha procedido a obtener una batera

de pruebas para conocer el rendimiento de la aplicacin desarrollada.

Tambin resultar de inters conocer el comportamiento del algoritmo

bajo determinadas circunstancias:

Vdeo con resolucin baja.

Una persona con desplazamiento frontal y de perl.

Dos personas que entran y salen de la escena, y se inmovilizantemporalmente.

Una persona que camina de espalda a la cmara.

Vdeo con resolucin media.

1

http://www.hitech-projects.com/euprojects/cantata/datasets_cantata/dataset.html

2

http://www.openvisor.org/this_main.asp

31


Una persona que se desplaza de perl con buena iluminacin.

A continuacin se muestran los tiempos de ejecucin consumidos por

cada uno de los subprocesos de la ocultacin de caras para dos tamaos

de fotogramas distintos. Seguidamente se incluyen capturas del vdeo

original, de la segmentacin de objetos en movimiento, de la componente

de intensidad usada para el seguimiento, y del vdeo resultante de aplicar

el emborronamiento sobre las caras detectadas para distintos vdeos de

prueba.

Imagen de 720 x 576 Imagen 360 x 270

Sustraccin del fondo 80 - 90 ms. 20 - 25 ms.

Segmentacin < 10 ms. < 5 ms.

Deteccin de caras 150 - 300 ms. 150 - 300 ms.

Seguimiento de caras < 5 ms. < 5 ms.

Cuadro 1: Tiempos de ejecucin por cada subproceso en la ocultacin de

caras

Se puede observar el alto coste necesario para procesar la deteccin de

caras, a pesar de slo considerarse aquellas regiones segmentadas. Cabe

sealar como el incremento de coste por la sustraccin del fondo (1:4) est

directamente relacionado con el tamao del fotograma, efecto que no se

produce con la segmentacin. En cambio, la deteccin y el seguimiento de

caras no sufre variacin signicativa para ambos tamaos de fotograma.

32


(a) (b)

Figura 2: Deteccin de la parte superior del cuerpo y seguimiento

Aunque se producen falsas detecciones y seguimientos, la aplicacin

es capaz de dar detecciones correctas de la cara junto con un seguimiento

de ella.

33


(a) (b)

(c) (d)

Figura 3: Deteccin del cuerpo completo por no reconocimiento de cara

y parte superior

En este caso, debido a la baja calidad del vdeo no es posible detectar

la cara, aunque si es capaz de detectarse el cuerpo completo y realizarse

un seguimiento de ste. En cualquier caso tambin se producen deteccio-

nes falsas y errores en el seguimiento.

34


(a) (b)

Figura 4: Error en la deteccin del cuerpo de una persona

En la gura previa se observa como se ha segmentado la imagen,

regin en la cual ha sido detectada una silla en lugar de una persona.

En este vdeo, debido a problemas de iluminacin, el detector falla por

completo no siendo capaz de detectar las personas que aparecen.

(a) (b)

Figura 5: Sustraccin incorrecta del fondo de la escena

Caben destacar estas imgenes ya que, como se puede observar, a

pesar de encontrarse una persona en la escena, debido al mnimo mo-

35


vimiento de sta, el algoritmo de sustraccin del fondo no es capaz de

detectarla.

(a)

(b) (c)

Figura 6: Correcta deteccin pero problema en el seguimiento con CAMS-

hift

Aunque se ha detectado la parte superior del cuerpo, el seguimiento

de ste no es posible ya que el mtodo CAMShift no es capaz de calcular

correctamente el centro de masa.

36


Figura 7: Deteccin errnea de la parte superior del cuerpo

Por ltimo, se incluye una captura correspondiente a procesamiento

de un vdeo para el cual, como curiosidad, el detector de la parte supe-

rior del cuerpo confunde sta con la forma generada por el cuerpo y las

piernas.

37


38

Captulo 5

Conclusiones

La ejecucin de la batera de pruebas ha sido realizada mediante

el uso de un PC con procesador AMD Ahtlon II Neo K325 de doble

ncleo a 1.3 Ghz, RAM 4 Gb, tarjeta grca ATI Mobility Radeon HD

4225 con memoria compartida, y SO Windows 7 Home Premium 64-bits.

Los resultados obtenidos tras la experimentacin pueden ser mejorables

tanto en rendimiento como en ecacia del algoritmo. Sera interesante

para trabajos futuros aplicar diversos mtodos para cada una de las

tcnicas aplicadas de visin por ordenador y reconocimiento de patrones.

Puede resultar de inters realizar un anlisis exhaustivo sobre el artculo

Tracking Human Faces in Real-Time [21] de Jie Yang y Alex Waibel, o

Robust Face Tracking Using Color [16] elaborado por Karl Schwerdt y

James L. Crowley, que permite alcanzar un conocimiento ms exhaustivo

de la cuestin tratada, con ayuda de la biografa utilizada de referencia

en ambos artculos.

La estrategia planteada en Protecting Personal Identication Video

39

Conclusiones

resulta de inters como planteamiento esquemtico en la mejora de ren-

dimiento de los algoritmos de procesamiento de vdeo. Esta estrategia

se basa en la eliminacin de informacin innecesaria a la hora de rea-

lizar determinados procesos costosos, como es el caso de la deteccin

de caractersticas basada en plantillas. En lugar de reducir los costes de

procesamiento mejorando el rendimiento de alguno de los algoritmos uti-

lizados, se plantea la combinacin de algoritmos ya existentes de forma

que se mejore el rendimiento global del procesamiento.

Como se ha podido observar, las condiciones del medio vigilado ge-

neran problemas a la hora de llevar a cabo el seguimiento. Esto obliga

a que el uso del seguimiento de caras visto en este documento se use

slo bajo determinadas circunstancias, por lo que antes de nada habr

que analizar la escena a vigilar mediante videocmara. Si el medio obliga

a mejorar la sensibilidad del algoritmo ante los cambios en las condi-

ciones de la escena, entonces ser necesario analizar otros mtodos que

haga robusto al algoritmo ante estos cambios. En lo general, a la hora de

aplicar tcnicas de visin por ordenador es necesario analizar todas los

condicionantes que son susceptibles de acaecer. Es decir, no existe una

nica solucin global que pueda ser usada bajo cualquier circunstancia

del entorno considerado.

Cabe destacar que el algoritmo propuesto para la ocultacin de caras

no siempre resultar ecaz a la hora de evitar el reconocimiento de la

persona, ya que existen otras caractersticas de la persona que pueden fa-

cilitar su reconocimiento: ropa usada, silueta, forma de andar, etc. Por lo

que dependiendo del nivel de privacidad al que desee llegar puede resul-

40


tar interesante la ocultacin completa del cuerpo. Si no fuese factible la

aplicacin de esta tcnica habra que buscar otras soluciones alternativas.

Como deduccin desde el punto de vista poltico y social, resulta in-

teresante contemplar la existencia de soluciones software que permiten

respetar la privacidad de las personas ante los sistemas de videovigi-

lancia. En la actualidad, el acceso a los sistemas de videovigilancia es

sencillo, o lo que es lo mismo, la implantacin de estos no estn bajo

ningn control por parte de la Administracin. Aunque exista normativa

legal tanto en el mbito pblico como en el privado para la regulacin

de la videovigilancia, esto no exime de su incumplimiento por parte de

los particulares en perjuicio del inters general. Como solucin factible se

podra plantear incorporar soluciones de serie a los sistemas de videovigi-

lancia. Estos deberan obligar el cumplimiento del derecho fundamental

a la intimidad durante el visionado del vdeo capturado mediante el uso

de cmaras de videovigilancia. Slo el poder judicial debera ser el ente

quien pudiera visionar las imgenes registradas por las cmaras, siempre

que ests faciliten la detencin y enjuiciamiento de sospechosos de deli-

to. Siguiendo esta lnea se podran plantear soluciones en el mbito de

la videovigilancia tales como:

Aplicacin de mscara a caras para control de permetro a zonas

privadas.

Uso de mscara para ocultacin de cuerpos en personas controladas

en zonas con acceso restringido.

41

Conclusiones

42

Bibliografa

[1] G.R. Bradski and A. Kaehler. Learning opencv. O'Reilly, 2008.

[2] M. Castrilln-Santana, O. Dniz-Surez, L. Antn-Canals, and

J. Lorenzo-Navarro. Face and facial feature detection evaluation.

In International Conference on Computer Vision Theory and Ap-

plications, 2008.

[3] M. Castrilln-Santana, O. Deniz-Suarez, C. Guerra-Artal, and

J. Isern-Gonzalez. Cue combination for robust real-time multiple

face detection at dierent resolutions. Computer Aided Systems

TheoryEUROCAST 2005, pages 398403, 2005.

[4] A. Catoira et al. La videovigilancia y la garanta de los derechos

individuales: su marco jurdico. 2003.

[5] D. Chen, Y. Chang, R. Yan, and J. Yang. Protecting personal

identication in video. Protecting Privacy in Video Surveillance,

pages 115128, 2009.

[6] N. Dalal and B. Triggs. Histograms of oriented gradients for human

detection. 2005.

43

BIBLIOGRAFA

[7] A. Elgammal, R. Duraiswami, D. Harwood, and L.S. Davis. Back-

ground and foreground modeling using nonparametric kernel den-

sity estimation for visual surveillance. Proceedings of the IEEE,

90(7):11511163, 2002.

[8] D. Exner, E. Bruns, D. Kurz, A. Grundh

.

o

fer, and O. Bimber. Fast and robust camshift tracking. In Com-

puter Vision and Pattern Recognition Workshops (CVPRW), 2010

IEEE Computer Society Conference on, pages 916. IEEE.

[9] R. Gross, L. Sweeney, J. Cohn, F. Torre, and S. Baker. Face de-

identication. Protecting Privacy in Video Surveillance, pages 129

146, 2009.

[10] Upper Body Detection in Unconstrained Still Images. Upper body

detection in unconstrained still images. School of Computer Science

and Software Engineering. The University of Western Australia.

[11] P. KaewTraKulPong and R. Bowden. An improved adaptive back-

ground mixture model for real-time tracking with shadow detection.

In Proc. European Workshop Advanced Video Based Surveillance

Systems, volume 1. Citeseer, 2001.

[12] H. Kruppa, M. Castrillon-Santana, and B. Schiele. Fast and robust

face nding via local context. In Joint IEEE Internacional Works-

hop on Visual Surveillance and Performance Evaluation of Tracking

and Surveillance (VS-PETS), pages 157164. Citeseer, 2003.

44


[13] A.J. Lipton, H. Fujiyoshi, and R.S. Patil. Moving target classica-

tion and tracking from real-time video. In Applications of Computer

Vision, 1998. WACV'98. Proceedings., Fourth IEEE Workshop on,

pages 814. IEEE, 1998.

[14] E.M. Newton, L. Sweeney, and B. Malin. Preserving privacy by

de-identifying face images. Knowledge and Data Engineering, IEEE

Transactions on, 17(2):232243, 2005.

[15] H. Schneiderman and T. Kanade. A statistical method for 3d object

detection applied to faces and cars. In cvpr, page 1746. Published

by the IEEE Computer Society, 2000.

[16] K. Schwerdt and J.L. Crowley. Robust face tracking using color. fg,

page 90, 2000.

[17] P. Squires. Citizens, justice and cctv: democracy, privacy and eec-

tive crime prevention. In European Forum for Urban Safety. EFUS,

2010.

[18] P. Viola and M. Jones. Rapid object detection using a boosted

cascade of simple features. 2001.

[19] P. Viola and M. Jones. Robust real-time face detection. In Inter-

national conference on computer vision, volume 1. Citeseer, 2001.

[20] P. Wagner. Statistical machine learning with opencv. 2011.

45

BIBLIOGRAFA

[21] J. Yang, A. Waibel, and CARNEGIE-MELLON UNIV PITTS-

BURGH PA SCHOOL OF COMPUTER SCIENCE. Tracking hu-

man faces in real-time. Citeseer, 1995.

[22] A. Yilmaz, O. Javed, and M. Shah. Object tracking: A survey. Acm

Computing Surveys (CSUR), 38(4):13, 2006.

46

IntroduccinSeguimiento humano. AlgoritmosProcesamiento. Ocultacin para cumplimiento de privacidadExperimentacin. Uso en tiempo realConclusionesBibliografa

antonio gutierrez del valle

Documents