O documento discute o processamento de documentos multimídia, definindo multimídia e descrevendo técnicas para extração de características e indexação de imagens e áudio para recuperação de informação. As características extraídas incluem cor, textura, forma, ritmo e harmonia. Métodos como transformadas de Fourier são usados.

1. Processamento de
Documento Multimídia
Ângelo Lima | Juliane Silva | Sebastião Monteiro | Wallace Costa

2. O que é Multimídia?
“É qualquer informação gravada
em imagem, áudio, vídeo
ou uma combinação destes,
abrangendo desde fotos até filmes.”

3. Alguns conceitos importantes...
 Metadado é uma abstração do dado, capaz, por exemplo, de indicar se uma
determinada base de dados existe, quais são os atributos de uma tabela e suas
características, tais como: tamanho e/ou formato.
 Métodos
 Binarização por otsu;
 WaterShed;
 Taxa de amostragem.

4. RI Multimídia?

5. RI Multimídia?
Antes de pensarmos em recuperação de arquivos multimídia,
Temos que pensar em como indexá-los.
E, antes de pensarmos na indexação,
Temos que pensar em quais características indexar.

6. RI Multimídia?
Então, quais características
devemos extrair dos arquivos?
Imagem
Áudio

7. Imagem
Extração de Características
 Existem 2 formas de selecionar as características de uma imagem:
Pelo seu conceito;
Pelo seu conteúdo.

8. Imagem
Extração de Características – Por Conceito
 A técnica por conceito é aquela em que as imagens e os objetos
representados são identificados e descritos em termos do que eles
são e do que eles representam.
 É um processo executado por pessoas (profissionais documenta-listas).

9. Imagem
Extração de Características – Por Conceito
 Níveis de Análise
Esse níveis falam quais as
características da ima-gem
devem ser selecio-nadas e
extraídas.
Leitura do que se vê e leitura do
que se interpreta.

10. Imagem
Indexação – Por Conceito

11. Imagem
Indexação – Por Conceito
 Tendo extraído essas características das imagens, a indexação é um
processo que pode ser efetuado:
Pelo uso da linguagem natural;
Pelo auxílio de um vocabulário controlado (tessauro).
Que é o que a gente já conhece. :)

12. Imagem
Google Images

13. Imagem
Extração de Características – Por Conteúdo
 A técnica baseada em conteúdo considera os aspectos da imagem em
si, tais como a cor, a forma, a textura.
 Esses aspectos são mais eficazmente identificados e extraídos do
arquivo por meio de programas de computadores.

14. Imagem
Extração de Características – Por Conteúdo
As imagens têm muitos tipos de atributos que podem ser extraídos, tais como:
A combinação de atributos de cor, textura ou forma;
A presença de tipos específicos de objetos;
A descrição de um tipo específico de evento;
A presença de personalidades, locais ou eventos identificados;
Emoções subjetivas associadas à imagem.
maisdifícildeserrespondido

15. Imagem
Extração de Características – Por Conteúdo
3 níveis de crescentes de complexidade, que compreende a indexação e
recuperação pelos atributos:
1. Atributos primários: cor, textura e forma dos elementos da imagem.
2. Atributos derivados: identidade dos objetos mostrados.
3. Atributos abstratos: significados das cenas representadas.
maisdifícildeserrespondido

16. Imagem
Extração de Características – Por Conteúdo
 Cor (histograma de cor): mede a distribuição estatística de cores da
imagem e a quantidade de pixel existente para cada cor.

17. Imagem
Extração de Características – Por Conteúdo
 Textura (filtros de Gabor e as Transformadas de Wavelets): capturam
partes da imagem com relação à mudança de direção e escala.

18. Imagem
Extração de Características – Por Conteúdo
 Forma (segmentação): recupera a estrutura física dos objetos da imagem.

19. Imagem
Indexação – Por Conteúdo
 A indexação é feita com técnicas multidimensionais (Kd, Quad-tree,...).
Árvore-R

20. Imagem
Google Images

21. Áudio
Extração de Características e Indexação
 2 abordagens:
O arquivo é dividido em pequenos segmentos no tempo e um vetor
é calculado para cada segmento.
Único vetor, compreendendo a informação de todo o arquivo.

22. Áudio
Extração de Características e Indexação
As características são calculadas por meio de métodos de análise de
tempo-frequência, como a Transformada de Fourier.
Podendo recuperar ritmo, harmonia por meio de histogramas.

23. Medidas de Similaridade
“Grau de semelhança
entre os objetos da base
com o objeto da consulta.”

24. Medidas de Similaridade
 Cálculos da distância
 Menor valor, maior semelhança;
 Valor = 0, então Igual.
 Regras para o cálculo da distância
 Simetria: d(a,b) = d (b,a);
 Positivo: 0 ≤ d(a,b) < ∞;
 Desigualdade Triangular: d(a,b) ≤ d(a,c) + d(c,b).

25. Medidas de Similaridade
 Fórmula da distância
 n sendo a dimensão do espaço vetorial;
 p = 1 – Distância de Manhattan;
 p = 2 – Distância Euclidiana.

26. Consultas
 Tipos de consultas por similaridade
Consulta por abrangência: retorna todos os objetos que abrangem um
certo limite de distância da consulta.
Consulta aos k-vizinhos mais próximos: retorna o número k de objetos
mais próximos da consulta.

27. Consultas
Exemplo de consulta

28. Aplicações
 Reconhecimento de padrões
 Faces;
 Impressões digitais;
 Melodias musicais, etc.
 Pesquisa multimídia
 Servidores de vídeos, etc.

29. Aplicações

30. Aplicações

31. Aplicações

32. Aplicações

33. Aplicações

34. Conclusão
 Diversas aplicações;
 Campo de pesquisa promissora;
 Reconhecimento de pessoas (rosto, digital, etc);
 Reconhecimento de fala;
 Busca de imagens e sons;
 Parte de um SRI bastante complexa.