sistema inteligente de reconocimiento de anuncios de televisión

Sistema Inteligente de

Reconocimiento de Anuncios

de Televisión

Autor: José Javier Alcántara Armenteros

Tutor: José Ramón Cerquides Bueno

Trabajo Fin de Grado

Grado en Ingeniería de las Tecnologías de Telecomunicación

Dep. Teoría de la Señal y Comunicaciones

Escuela Técnica Superior de Ingenieros

Universidad de Sevilla

Sistema Inteligente de Reconocimiento de Anuncios

de Televisión




• Introducción

• Video Fingerprinting

• Descripción del sistema

• Implementación

• Pruebas y conclusiones

Introducción




• Reconocer anuncios durante una emisión de

televisión en tiempo real ingestada como streaming

• Programa en lenguaje C sira-tv

• Informe: momento de emisión y duración del anuncio

• ¿Qué aplicaciones puede tener?

Verificación del cumplimiento de acuerdos entre

anunciantes y cadenas

Explotación de este medio de cara a las nuevas tecnologías

e Internet

Estudio de la competencia y mercado

Objetivo


de Televisión




• Introducción



• Implementación


Video Fingerprinting




¿En qué consiste?

• Fingerprint huella digital identificativa

• Sistema basado en Video Fingerprinting:

Extracción de huella: características perceptuales

Estrategia de base de datos: búsqueda y comparación

• Propiedades deseadas:

- Robustez

- Discriminabilidad

- Sencillez

- Precisión

- Eficiencia

- Granularidad

- Escalabilidad

- Versatilidad

- Seguridad




Sistema completo

• Incluye además:

Detección previa del anuncio en el streaming

Autoaprendizaje de nuevos anuncios


de Televisión




• Introducción



• Implementación


Descripción del sistema




Detección de anuncios

• Entre 5 y 12 frames monocromáticos negros introducen cada

segmento de vídeo en la señal de TV posible anuncio

• Frame monocromático negro si:

Al menos el 92% de sus píxeles son negros

Un píxel es negro si su valor es como máximo 18 de 256 niveles




Extracción de huella

• A partir del primer frame no negro con baja resolución

(32x32 píxeles) del posible anuncio:

1) Obtención del plano de luminancia

2) Transformada Discreta del Coseno 2-D

3) Reordenanción en un vector de 1024 elementos

4) Codificación binaria:

- Elementos ≥ ‘0’ ‘1’

- Elementos < ‘0’ ‘0’




Estrategia de bases de datos

• Antes de la monitorización: se generan las huellas de la base

de datos de vídeos o se cargan en memoria si ya existen

• Tras detección y cálculo de huella: recorremos la base de

datos comparando la huella calculada con todas las demás

• Criterio de igualdad distancia hamming

1) Operación XOR entre las dos huellas

2) Suma de bits: valor comprendido entre 0 y 1024

Estrategia de bases de datos

• Resultado de la comparación:

distancia hamming < 18% vídeo candidato

• Una vez se ha buscado en toda la base datos puede haber:

Un solo candidato anuncio encontrado

Varios o ningún candidato segundo criterio:

• Se extrae una segunda huella a partir del frame un

segundo después del primer frame no negro

• Se vuelve a buscar en la base de datos:

Uno/varios candidatos anuncio encontrado

Ningún candidato anuncio no

encontrado







Almacenamiento y autoaprendizaje

• Cuando nos encontramos ante un anuncio no encontrado lo

clasificaremos según la duración del segmento de vídeo:

Anuncio desconocido duración mayor a 30 s

Programación en otro caso

• En ambos casos se escribe en disco el segmento de vídeo

para posterior detección humana. Podremos:

Detectar errores

Actualizar la base de datos: autoaprendizaje

• También se podrán escribir en disco los frames que

originan las huellas así como las huellas mismas como

imágenes binarias


de Televisión




• Introducción



• Implementación


Implementación




Entorno de trabajo

• Sistema Operativo

• Plataforma de desarrollo

• Pruebas

• Herramienta principal




Parámetros de entrada y salida

• Parámetros de entrada obligatorios:

channel texto indentificativo del canal de TV

id identificador abreviado

source ruta/URL del flujo de entrada

dirbbdd rutas a las bases de datos

format formatos de vídeo a cargar

• Parámetros de entrada adicionales:

help permite mostrar ayuda de uso

spotlenght duración para considerar anuncios

output ruta de fichero para generar informe

saveframes permite volcar frames a disco

savefingerprints permite guardar imágenes binarias

• Informes de salida:

Estado de la monitorización

Resultado de la ejecución




Gestión de procesos y memoria

• Hilos

• Buffers




Módulos funcionales


de Televisión




• Introducción



• Implementación


Pruebas y conclusiones




Pruebas más importantes

• Ingesta de streaming

• Huellas

• Detección de anuncios

• Comparación de huellas

• Codificación de segmentos

• Memoria

Decodificación

Microcortes

Entorno local

Implementación

Almacenamiento

Sincronización

Formatos

Umbrales de negro

Vídeos corruptos

Hilos

Buffers

Testeo




• Estructura de directorios necesaria:

• Emitimos streaming de TV localmente con VLC Media Player y

monitorizamos

Demostración de funcionamiento




Demostración de funcionamiento




Detección humana

• Análisis posterior de segmentos y frames volcados a disco

• Necesario debido a la posibilidad de:

Sobresegmentación de programación

Anuncios desconocidos con duración mayor a 30 s

Anuncios conflictivos:

diferencias

significativas




Futuras implementaciones

• En desarrollo:

Ingesta de varios streamings en paralelo

Información de salida subida a bases

de datos en la nube en tiempo real

• Se estudian posibilidades como:

Codificar marcas de tiempo en el canal de subtítulos

Combinación de Sistemas de Audio y Video

Fingerprinting


de Televisión




PREGUNTAS

sistema inteligente de reconocimiento de anuncios de televisión

Engineering