sistema inteligente de reconocimiento de anuncios de televisión

Sistema Inteligente de

Reconocimiento de Anuncios

de Televisión

Autor: José Javier Alcántara Armenteros

Tutor: José Ramón Cerquides Bueno

Trabajo Fin de Grado

Grado en Ingeniería de las Tecnologías de Telecomunicación

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Introducción

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Reconocer anuncios durante una emisión de

televisión en tiempo real ingestada como streaming

• Programa en lenguaje C sira-tv

• Informe: momento de emisión y duración del anuncio

• ¿Qué aplicaciones puede tener?

Verificación del cumplimiento de acuerdos entre

anunciantes y cadenas

Explotación de este medio de cara a las nuevas tecnologías

e Internet

Estudio de la competencia y mercado

Objetivo

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Video Fingerprinting

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

¿En qué consiste?

• Fingerprint huella digital identificativa

• Sistema basado en Video Fingerprinting:

Extracción de huella: características perceptuales

Estrategia de base de datos: búsqueda y comparación

• Propiedades deseadas:

- Robustez

- Discriminabilidad

- Sencillez

- Precisión

- Eficiencia

- Granularidad

- Escalabilidad

- Versatilidad

- Seguridad

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Sistema completo

• Incluye además:

Detección previa del anuncio en el streaming

Autoaprendizaje de nuevos anuncios

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Descripción del sistema

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Detección de anuncios

• Entre 5 y 12 frames monocromáticos negros introducen cada

segmento de vídeo en la señal de TV posible anuncio

• Frame monocromático negro si:

Al menos el 92% de sus píxeles son negros

Un píxel es negro si su valor es como máximo 18 de 256 niveles

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Extracción de huella

• A partir del primer frame no negro con baja resolución

(32x32 píxeles) del posible anuncio:

1) Obtención del plano de luminancia

2) Transformada Discreta del Coseno 2-D

3) Reordenanción en un vector de 1024 elementos

4) Codificación binaria:

- Elementos ≥ ‘0’ ‘1’

- Elementos < ‘0’ ‘0’

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Estrategia de bases de datos

• Antes de la monitorización: se generan las huellas de la base

de datos de vídeos o se cargan en memoria si ya existen

• Tras detección y cálculo de huella: recorremos la base de

datos comparando la huella calculada con todas las demás

• Criterio de igualdad distancia hamming

1) Operación XOR entre las dos huellas

2) Suma de bits: valor comprendido entre 0 y 1024

Estrategia de bases de datos

• Resultado de la comparación:

distancia hamming < 18% vídeo candidato

• Una vez se ha buscado en toda la base datos puede haber:

Un solo candidato anuncio encontrado

Varios o ningún candidato segundo criterio:

• Se extrae una segunda huella a partir del frame un

segundo después del primer frame no negro

• Se vuelve a buscar en la base de datos:

Uno/varios candidatos anuncio encontrado

Ningún candidato anuncio no

encontrado

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Almacenamiento y autoaprendizaje

• Cuando nos encontramos ante un anuncio no encontrado lo

clasificaremos según la duración del segmento de vídeo:

Anuncio desconocido duración mayor a 30 s

Programación en otro caso

• En ambos casos se escribe en disco el segmento de vídeo

para posterior detección humana. Podremos:

Detectar errores

Actualizar la base de datos: autoaprendizaje

• También se podrán escribir en disco los frames que

originan las huellas así como las huellas mismas como

imágenes binarias

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Implementación

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Entorno de trabajo

• Sistema Operativo

• Plataforma de desarrollo

• Pruebas

• Herramienta principal

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Parámetros de entrada y salida

• Parámetros de entrada obligatorios:

channel texto indentificativo del canal de TV

id identificador abreviado

source ruta/URL del flujo de entrada

dirbbdd rutas a las bases de datos

format formatos de vídeo a cargar

• Parámetros de entrada adicionales:

help permite mostrar ayuda de uso

spotlenght duración para considerar anuncios

output ruta de fichero para generar informe

saveframes permite volcar frames a disco

savefingerprints permite guardar imágenes binarias

• Informes de salida:

Estado de la monitorización

Resultado de la ejecución

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Gestión de procesos y memoria

• Hilos

• Buffers

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Módulos funcionales

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Pruebas y conclusiones

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Pruebas más importantes

• Ingesta de streaming

• Huellas

• Detección de anuncios

• Comparación de huellas

• Codificación de segmentos

• Memoria

Decodificación

Microcortes

Entorno local

Implementación

Almacenamiento

Sincronización

Formatos

Umbrales de negro

Vídeos corruptos

Hilos

Buffers

Testeo

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

• Estructura de directorios necesaria:

• Emitimos streaming de TV localmente con VLC Media Player y

monitorizamos

Demostración de funcionamiento

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Demostración de funcionamiento

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Detección humana

• Análisis posterior de segmentos y frames volcados a disco

• Necesario debido a la posibilidad de:

Sobresegmentación de programación

Anuncios desconocidos con duración mayor a 30 s

Anuncios conflictivos:

diferencias

significativas

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Futuras implementaciones

• En desarrollo:

Ingesta de varios streamings en paralelo

Información de salida subida a bases

de datos en la nube en tiempo real

• Se estudian posibilidades como:

Codificar marcas de tiempo en el canal de subtítulos

Combinación de Sistemas de Audio y Video

Fingerprinting

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

PREGUNTAS