● O documento discute modalidades de busca em vídeo, incluindo busca por metadados, reconhecimento de fala, texto e análise de frames, além de abordar arquitetura típica de sistemas de gestão de vídeos por conteúdo como segmentação temporal, representação visual, medida de similaridade, indexação e visualização de resultados.

1. Busca em Vídeo
Léo Françoso Dal Piccol Sotto
Victor De Cia Costa

2. Sumário
●
Busca de vídeo na Internet
●
Busca usando metadados
●
Recuperação de vídeo por conteúdo

3. Busca de Vídeo na Internet

4. Busca de Vídeo na Internet

5. Busca de Vídeo na Internet
●
O conteúdo de vídeo é muito mais propenso a ser misturado
com os resultados da pesquisa do que qualquer outro tipo de
material, seguido de conteúdo da imagem.
●
O estudo descobriu que 80% das integrações de vídeo veio do
YouTube, ao contrário de outros sites de vídeo.
●
Dados referentes a 2012.

6. Top Video Search Engines
and Video Search Sites
#1 #2
#3 #4 #5

7. Modalidades de Busca
●
Metadados Internos: Título, descrição, duração, tamanho,
tags, qualidade de codificação
(geralmente codificados em XML)
●
Metadados Externos: Texto presente na página
●
A busca por metadados pode ocasionar o gap semântico

8. Modalidades de Busca
●
Reconhecimento de fala: Aplicação de algoritmo de busca
fonética diretamente no áudio, ou conversão em texto e
posterior análise do texto.
●
Indexação baseada no conteúdo de áudio

9. Modalidades de Busca
●
O reconhecimento de
fala foi utilizado pelo
Gaudi (Google Audio
Indexing), desenvolvido
pelo Google Labs, em
2008.
●
Utilizado atualmente
por Blinkx e Koemei.

10. Modalidades de Busca
●
Reconhecimento de texto: O TalkMiner usa uma amostragem
de um frame por segundo, identifica um slide, e usa um
algoritmo de Optical Character Recognition (OCR) para
identificar palavras, que são indexadas em seu mecanismo de
busca.

11. Modalidades de Busca

12. Modalidades de Busca

13. Modalidades de Busca
●
Análise de frames: Uso de descritores de imagens para gerar
vetores de características de frames.
●
Podem ser usados descritores de cor, forma, textura, entre
outros.
●
Não viável atualmente

14. Vídeos na Internet
●
Avanços recentes na tecnologia têm permitido o aumento da
disponibilidade de dados de vídeo, criando grandes coleções de
vídeo digital.
●
Isso tem despertado grande interesse em sistemas capazes de
gerenciar esses dados de forma eficiente.
●
Desenvolvimento de sistemas capazes de abstrair representações
semânticas de alto nível a partir das informações de baixo nível dos
vídeos, conhecidos por sistemas de gestão de vídeos por conteúdo.

15. Busca por Conteúdo
Arquitetura típica de um sistema de gestão de vídeos por conteúdo.

16. Busca por Conteúdo
Segmentação Temporal
●
O primeiro passo para
gerenciar a informação de
vídeo e estruturá-la em um
conjunto de unidades
compreensíveis e
gerenciáveis, de forma que o
seu conteúdo seja consistente
em termos de operações da
câmera e eventos visuais.

17. Busca por Conteúdo
Segmentação Temporal
●
A contribuição publicada em [Almeida et al. 2011] introduz
uma nova abordagem para a segmentação temporal, que
opera diretamente no domínio comprimido.
●
Baseia-se na exploração de características visuais extraídas do
fluxo de vídeo e em um algoritmo simples e rápido para
detectar mudanças temporais.
●
Técnica adequada para tarefas online (algoritmo eficiente).

18. Busca por Conteúdo
Representação do Conteúdo
Visual
●
Fazer uso eficiente da
informação de vídeo requer
que os dados sejam
armazenados de maneira
compacta. Para isso, um vídeo
deve ser associado a
características apropriadas, a
fim de permitir qualquer
recuperação futura.

19. Busca por Conteúdo
Representação do Conteúdo Visual
●
A contribuição publicada em [Almeida et al. 2009] introduz
uma nova abordagem para estimar o movimento da câmera
em sequências de vídeo.
●
Com base em um modelo de operações de câmera.
●
Esse método gera o modelo de câmera usando combinações
lineares de protótipos de fluxo ótico produzidos por cada
operação de câmera.

20. Busca por Conteúdo
Medida de Similaridade
●
Apos obter representações
compactas, é preciso ainda
definir uma medida de
similaridade para comparar
vídeos a partir de suas
assinaturas. Existem duas
questões importantes nessa
tarefa: robustez e
discriminância.

21. Busca por Conteúdo
Medida de Similaridade
●
Robustez e a quantidade de inconsistência dos dados
tolerada pelo sistema antes da ocorrência de um falso
positivo.
●
Discriminância é a capacidade do sistema de rejeitar dados
irrelevantes e reduzir os falsos positivos.

22. Busca por Conteúdo
Medida de Similaridade
●
A contribuição publicada em [Almeida et al. 2011a] introduz uma
nova abordagem para a comparação de sequências de vídeo, que
atua diretamente no domínio comprimido.
●
Baseia-se no reconhecimento de padrões de movimento extraídos
do fluxo de vídeo, que são acumulados para formar um histograma
normalizado.
●
A melhora da eficiência computacional torna essa técnica adequada
a enormes coleções de vídeo.

23. Busca por Conteúdo
Indexação de Dados
●
Quando um usuário especifica
um padrão de consulta ao
sistema, a sua assinatura é
extraída e a medida de
similaridade e aplicada para
identificar todas as assinaturas
similares. Para garantir uma
resposta rápida, é necessário o
desenvolvimento de algoritmos
que acelerem esse processo.

24. Busca por Conteúdo
Indexação de Dados
●
A contribuição publicada em [Almeida et al. 2010b] avalia o
desempenho de uma nova estrutura de indexação, chamada de
BP-tree (Ball-and-Plane tree). É construída dividindo-se um
conjunto de objetos em grupos compactos.
●
Ela combina vantagens de ambos os paradigmas disjuntos
(partições) e não disjuntos (agrupamentos) a fim de obter uma
estrutura de aglomerados densos e pouco sobrepostos,
melhorando a eficiência no processamento de consultas por
similaridade.

25. Busca por Conteúdo
Visualização dos
Resultados
●
No final, os usuários são
apresentados com uma
lista de vídeos similares
a um dado padrão de
consulta especificado.

26. Busca por Conteúdo
Visualização dos Resultados
●
A contribuição publicada em [Almeida et al. 2010c, Almeida et al.
2012b, Almeida et al. 2012a] introduz VISON1 (Video Summarization
for Online applications), uma nova abordagem para resumir
sequências de vídeo, que atua diretamente no domínio comprimido.
●
Baseia-se na exploração de características visuais extraídas do fluxo
de vídeo e em um algoritmo simples e rápido para resumir o seu
conteúdo.
●
A melhoria da eficiência computacional torna essa técnica adequada
para tarefas online.

27. Sumarização de Vídeo
●
http://www.liv.ic.unicamp.br/~jurandy/vison/

28. Referências
1) Almeida, Jurandy, Neucimar J. Leite, and Ricardo da S. Torres. "Recuperação de
Vídeos Comprimidos por Conteúdo."
2) http://marketingland.com/infographic-video-youtube-wins-google-universal-searc
h-37971
3) http://www.reelseo.com/video-search-sites/
4) https://en.wikipedia.org/wiki/Video_search_engine
5) http://www.cnet.com/news/google-audio-search-graduates-to-labs-project/
6) Christopher Alberti, Michiel Bacchiani, Ari Bezman, Ciprian Chelba, Anastassia
Drofa, Hank Liao, Pedro Moreno, Ted Power, Arnaud Sahuguet, Maria Shugrina,
Olivier Siohan. AN AUDIO INDEXING SYSTEM FOR ELECTION VIDEO MATERIAL.
Speech Research Group, Google Inc. 79 Ninth Ave, New York, NY
7) http://talkminer.com/