Sistema inteligente de Reconocimiento de Anuncios de Televisión

1. Sistema Inteligente de Reconocimiento de Anuncios de Televisión Autor: José Javier Alcántara Armenteros Tutor: José Ramón Cerquides Bueno Trabajo Fin de Grado Grado en Ingeniería de las Tecnologías de Telecomunicación Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla

2. Sistema Inteligente de Reconocimiento de Anuncios de Televisión Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla • Introducción • Video Fingerprinting • Descripción del sistema • Implementación • Pruebas y conclusiones

3. Introducción Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla • Reconocer anuncios durante una emisión de televisión en tiempo real ingestada como streaming • Programa en lenguaje C sira-tv • Informe: momento de emisión y duración del anuncio • ¿Qué aplicaciones puede tener?  Verificación del cumplimiento de acuerdos entre anunciantes y cadenas  Explotación de este medio de cara a las nuevas tecnologías e Internet  Estudio de la competencia y mercado Objetivo

5. Video Fingerprinting Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla ¿En qué consiste? • Fingerprint huella digital identificativa • Sistema basado en Video Fingerprinting:  Extracción de huella: características perceptuales  Estrategia de base de datos: búsqueda y comparación • Propiedades deseadas: - Robustez - Discriminabilidad - Sencillez - Precisión - Eficiencia - Granularidad - Escalabilidad - Versatilidad - Seguridad

6. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Sistema completo • Incluye además:  Detección previa del anuncio en el streaming  Autoaprendizaje de nuevos anuncios

8. Descripción del sistema Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Detección de anuncios • Entre 5 y 12 frames monocromáticos negros introducen cada segmento de vídeo en la señal de TV posible anuncio • Frame monocromático negro si:  Al menos el 92% de sus píxeles son negros  Un píxel es negro si su valor es como máximo 18 de 256 niveles

9. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Extracción de huella • A partir del primer frame no negro con baja resolución (32x32 píxeles) del posible anuncio: 1) Obtención del plano de luminancia 2) Transformada Discreta del Coseno 2-D 3) Reordenanción en un vector de 1024 elementos 4) Codificación binaria: - Elementos ≥ ‘0’ ‘1’ - Elementos < ‘0’ ‘0’

10. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Estrategia de bases de datos • Antes de la monitorización: se generan las huellas de la base de datos de vídeos o se cargan en memoria si ya existen • Tras detección y cálculo de huella: recorremos la base de datos comparando la huella calculada con todas las demás • Criterio de igualdad distancia hamming 1) Operación XOR entre las dos huellas 2) Suma de bits: valor comprendido entre 0 y 1024

11. Estrategia de bases de datos • Resultado de la comparación:  distancia hamming < 18% vídeo candidato • Una vez se ha buscado en toda la base datos puede haber:  Un solo candidato anuncio encontrado  Varios o ningún candidato segundo criterio: • Se extrae una segunda huella a partir del frame un segundo después del primer frame no negro • Se vuelve a buscar en la base de datos:  Uno/varios candidatos anuncio encontrado  Ningún candidato anuncio no encontrado Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla

12. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Almacenamiento y autoaprendizaje • Cuando nos encontramos ante un anuncio no encontrado lo clasificaremos según la duración del segmento de vídeo:  Anuncio desconocido duración mayor a 30 s  Programación en otro caso • En ambos casos se escribe en disco el segmento de vídeo para posterior detección humana. Podremos:  Detectar errores  Actualizar la base de datos: autoaprendizaje • También se podrán escribir en disco los frames que originan las huellas así como las huellas mismas como imágenes binarias

14. Implementación Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Entorno de trabajo • Sistema Operativo • Plataforma de desarrollo • Pruebas • Herramienta principal

15. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Parámetros de entrada y salida • Parámetros de entrada obligatorios:  channel texto indentificativo del canal de TV  id identificador abreviado  source ruta/URL del flujo de entrada  dirbbdd rutas a las bases de datos  format formatos de vídeo a cargar • Parámetros de entrada adicionales:  help permite mostrar ayuda de uso  spotlenght duración para considerar anuncios  output ruta de fichero para generar informe  saveframes permite volcar frames a disco  savefingerprints permite guardar imágenes binarias • Informes de salida:  Estado de la monitorización  Resultado de la ejecución

16. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Gestión de procesos y memoria • Hilos • Buffers

17. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Módulos funcionales

19. Pruebas y conclusiones Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Pruebas más importantes • Ingesta de streaming • Huellas • Detección de anuncios • Comparación de huellas • Codificación de segmentos • Memoria  Decodificación  Microcortes  Entorno local  Implementación  Almacenamiento  Sincronización  Formatos Umbrales de negro Vídeos corruptos  Hilos  Buffers  Testeo

20. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla • Estructura de directorios necesaria: • Emitimos streaming de TV localmente con VLC Media Player y monitorizamos Demostración de funcionamiento

21. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Demostración de funcionamiento

22. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Detección humana • Análisis posterior de segmentos y frames volcados a disco • Necesario debido a la posibilidad de:  Sobresegmentación de programación  Anuncios desconocidos con duración mayor a 30 s  Anuncios conflictivos: diferencias significativas

23. Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla Futuras implementaciones • En desarrollo:  Ingesta de varios streamings en paralelo  Información de salida subida a bases de datos en la nube en tiempo real • Se estudian posibilidades como:  Codificar marcas de tiempo en el canal de subtítulos  Combinación de Sistemas de Audio y Video Fingerprinting

24. Sistema Inteligente de Reconocimiento de Anuncios de Televisión Dep. Teoría de la Señal y Comunicaciones Escuela Técnica Superior de Ingenieros Universidad de Sevilla PREGUNTAS

Sistema inteligente de Reconocimiento de Anuncios de Televisión

Esté a ler uma amostra.

Confira estes a seguir

Sistema inteligente de Reconocimiento de Anuncios de Televisión

Mais Conteúdo rRelacionado

Quem viu também gostou (20)

Semelhante a Sistema inteligente de Reconocimiento de Anuncios de Televisión (20)

Mais de José Ramón Cerquides Bueno (20)

Mais recentes (20)