Banco de Dados
Multimídia
Introdução à Multimídia – História e
Primeiros Conceitos

           Prof° Windson Viana de Carvalho
O que é Multimídia?
• Multimedia
  • Media, em latim, é plural de medium que significa meio
• Multimídia tem diversos significados
  • Coleção de mídias (ex: coleção de CDs)
  • Conteúdo digital composto de várias mídias
     • Vídeo : Imagem e Aúdio
     • Vídeo Anotado: Texto, Imagem e Aúdio
  • Múltiplas formas de conteúdo explorando diversos sentidos
    humanos
     • Visão, Audição, Olfato e Toque
• Sistema Multimídia Digital
  • Todo e qualquer sistema digital que utiliza ou fornece ao menos
    um tipo de documento
    multimídia, e.g., imagens, texto, vídeo, áudio, animação, ...
História da Multimídia
• O termo ganhou destaque nos anos 1990
  • Kits multimídia nos computadores Desktop
  • Caixas de Som, placas de vídeo com aceleração,
    monitores coloridos, leitor de CD-Rom
  • CDs com aplicações multimídia




                                     Enciclopédia Britânica em CD
Vídeo sobre a história do
termo “Multimedia”


 http://www.youtube.com/watch?v=kuA4mIaO6Z0

 Assistam e Respondam a seguintes perguntas
 • Quem cunhou o termo Multimedia?
 • O que é multimídia interativa?
 • As Aplicações Web são aplicações multimídia?
História da Multimídia




Grottes de Lascaux
15 à 13 mil anos A.C.            Hypervídeo na Web
                                        2012

        Extrapolando o termo e suas utilizações
História da Multimídia


   Grottes de Lascaux
   15 à 13 mil anos A.C.   Invenção do cinema e o “stopmotion”
                                      Início século 20




                                         Sensorama
                                            1957

Prensa de Gutenberg
1492 D.C.
História da Multimídia

Criação do CD
1983

                             Criação da Web por Tim Bern-Lee
                                          1989




Criação do Atari   Primeiro Machintosh        Iphone e Ipads
                                              Década 2000
1971               1984
Multimídia Hoje


                          Apresentações         Projeções 3D
 Jogos Digitais
                          em PowerPoint




Realidade Aumentada TV Digital Interativa   Hyperdocumentos
E A NOSSA DISCIPLINA?
O que vamos aprender?
I. Standards para representação de multimídia
     (Família MPEG e Formatos de Imagem)
II. Técnicas de Indexação de Multimídia
III. Mecanismos de extração e produção de
     metadados
IV. Recuperação de Multimídia baseada em
     conteúdo
Livro Adotado
• Multimedia Systems: Algorithms, Standards, and Industry
  Practices
• Autores : Parag Havaldar e Gerard Medioni
• 1ª Edição – 2009

• Capítulos 1, 3, 15 e 16
Processos Inerentes ao Sistemas
              Multimídia
1. Criação ou autoria de multimídia
 • Dispositivos de captura
 • Ferramentas de autoria e edição
2. Representação e Estocagem
 • Formatos para representação de multimídia
 • Algoritmos de Compressão
 • Inclusão de Metadados
3. Recuperação de multimídia
4. Distribuição
Processos Inerentes ao Sistemas
          Multimídia
Processos Inerentes ao Sistemas
          Multimídia
Um Sistema Multimídia Atual
Documentos Multimídia
• Texto, Imagem, Vídeo, Áudio, Animações, Gráficos 2D.
  Gráficos 3D, Hyperdocumentos, ...
• Características
  • Formato digital
  • Grande Volume
  • Interatividade
  • Sincronismo
Multimídia: classificação
• Estática vs Dinâmica
  • Mudança temporal
• Interativa e não-interativa
  • Controle da execução
• Linear vs não-linear               Vídeo Conferência no Skype
  • Estrutura de navegação do conteúdo
• Tempo Real vs offline
  • Requisitos de transmissão
• Pessoa-Máquina vs Pessoa-Pessoa
  • Como os usuários interagem
Exemplo de Documento
multimídia complexo
• Vídeo Interativo
  • Sincronismo do Áudio com as “Imagens” da animação
  • Anotação Espacial
  • Interação com o usuário
• Como essas informações são representadas?
• Como o player de um browser consegue executá-las?



                                  http://youtu.be/RZzlezxLu7s
                                  Visualizem e Interajam!

                                   Qual a classificação desse
                                   documento multimídia?
Conferências envolvendo
Multimídia
• Internacionais
   • ACM Multimedia
   • ICME Multimedia & Expo
   • IEEE ISM
• Nacionais
 • (Conferências da SBC)
 • Webmedia
 • IHC
 • SBGames                    Um dos melhores apresentadores
                              dos últimos tempos no WebMedia 
Temas de Pesquisa em
Multimídia
•   Trilha Multimídia do WebMedia 2012
•   Arquiteturas, sistemas, middleware, serviços e aplicações
•   Distribuição, transporte, compartilhamento e segurança
•   Análise, codificação e processamento de conteúdo multimídia
•   Busca e recuperação de conteúdo multimídia
•   Autoria, produção, sincronização, apresentação
•   Colaboração, adaptação e personalização de conteúdo
•   Multimídia em redes sociais
•   Multimídia em dispositivos móveis
•   Interação e experiência do usuário
ANOTAÇÃO E RECUPERAÇÃO DE
MULTIMÍDIA
Multimídia podem ser estocados em
Banco de Dados relacionais?
• A priori, um documento multimídia digital pode ser visto
  como um conjunto de bytes
  • Componentes RGB de imagem
  • Áudio discretizado capturado a partir de um microfone
• Banco de dados Relacionais possuem campos do tipo BLOB
  • Poderiam armazenar o conteúdo
  • Linguagens de consultas padrão de um SGBD não são preparadas
    para tratar este tipo de dados
  • Ex.: Retornar todas as imagens com a cor azul presente
• Formatos próprios de representação de dados multimídia
Representação de documentos
multimídia
• Natureza inerente de cada mídia
 • Aspect Ratio de um vídeo
 • Bit-Deph de uma imagem
 • Frequência de amostragem de um áudio
• Compressão
 • Redução do tamanho do arquivo digital
 • Com ou sem perda de qualidade
• Anotação ou metadados
 • Informação sobre o conteúdo para facilitar
   recuperação posteriori
Exemplo de Formato de
     Imagem – BITMAP (BMP)
   • Cabeçalho simplificado (tamanho, nome)
   • Matriz de pixels em RGB (Red, Green, Bleu)
   • Formato sem compressão
                     (255,0,0)
                                           (0,0,0)
                                                      (0,255,0)
        (255,255,0)

1111 1111 1111 1111 0000 0000                        (128,128,128)

                                                     (0,0,255)
 FF FF 00
      (255,0,255)
                                                (0,255,255)
                           (255,255,255)
Exemplo de metadados
• Formato EXIF - Exchangeable image file format

• é uma especificação seguida por fabricantes de câmeras
  digitais que gravam informações sobre as condições técnicas
  de captura da imagem junto ao arquivo da imagem
  propriamente dita na forma de metadados etiquetados.
• A especificação usa os formatos de imagem JPEG, TIFF



• Vamos ver um exemplo com a EXIF Tool
CBIR – CONTENT BASED INFORMATION
RETRIEVAL
Google Images
MIR – MUSIC INFORMATION
RETRIEVAL
Musipedia
Acabou!

Introdução à Multimídia

  • 1.
    Banco de Dados Multimídia Introduçãoà Multimídia – História e Primeiros Conceitos Prof° Windson Viana de Carvalho
  • 2.
    O que éMultimídia? • Multimedia • Media, em latim, é plural de medium que significa meio • Multimídia tem diversos significados • Coleção de mídias (ex: coleção de CDs) • Conteúdo digital composto de várias mídias • Vídeo : Imagem e Aúdio • Vídeo Anotado: Texto, Imagem e Aúdio • Múltiplas formas de conteúdo explorando diversos sentidos humanos • Visão, Audição, Olfato e Toque • Sistema Multimídia Digital • Todo e qualquer sistema digital que utiliza ou fornece ao menos um tipo de documento multimídia, e.g., imagens, texto, vídeo, áudio, animação, ...
  • 3.
    História da Multimídia •O termo ganhou destaque nos anos 1990 • Kits multimídia nos computadores Desktop • Caixas de Som, placas de vídeo com aceleração, monitores coloridos, leitor de CD-Rom • CDs com aplicações multimídia Enciclopédia Britânica em CD
  • 4.
    Vídeo sobre ahistória do termo “Multimedia” http://www.youtube.com/watch?v=kuA4mIaO6Z0 Assistam e Respondam a seguintes perguntas • Quem cunhou o termo Multimedia? • O que é multimídia interativa? • As Aplicações Web são aplicações multimídia?
  • 5.
    História da Multimídia Grottesde Lascaux 15 à 13 mil anos A.C. Hypervídeo na Web 2012 Extrapolando o termo e suas utilizações
  • 6.
    História da Multimídia Grottes de Lascaux 15 à 13 mil anos A.C. Invenção do cinema e o “stopmotion” Início século 20 Sensorama 1957 Prensa de Gutenberg 1492 D.C.
  • 7.
    História da Multimídia Criaçãodo CD 1983 Criação da Web por Tim Bern-Lee 1989 Criação do Atari Primeiro Machintosh Iphone e Ipads Década 2000 1971 1984
  • 8.
    Multimídia Hoje Apresentações Projeções 3D Jogos Digitais em PowerPoint Realidade Aumentada TV Digital Interativa Hyperdocumentos
  • 9.
    E A NOSSADISCIPLINA?
  • 10.
    O que vamosaprender? I. Standards para representação de multimídia (Família MPEG e Formatos de Imagem) II. Técnicas de Indexação de Multimídia III. Mecanismos de extração e produção de metadados IV. Recuperação de Multimídia baseada em conteúdo
  • 11.
    Livro Adotado • MultimediaSystems: Algorithms, Standards, and Industry Practices • Autores : Parag Havaldar e Gerard Medioni • 1ª Edição – 2009 • Capítulos 1, 3, 15 e 16
  • 12.
    Processos Inerentes aoSistemas Multimídia 1. Criação ou autoria de multimídia • Dispositivos de captura • Ferramentas de autoria e edição 2. Representação e Estocagem • Formatos para representação de multimídia • Algoritmos de Compressão • Inclusão de Metadados 3. Recuperação de multimídia 4. Distribuição
  • 13.
    Processos Inerentes aoSistemas Multimídia
  • 14.
    Processos Inerentes aoSistemas Multimídia
  • 15.
  • 16.
    Documentos Multimídia • Texto,Imagem, Vídeo, Áudio, Animações, Gráficos 2D. Gráficos 3D, Hyperdocumentos, ... • Características • Formato digital • Grande Volume • Interatividade • Sincronismo
  • 17.
    Multimídia: classificação • Estáticavs Dinâmica • Mudança temporal • Interativa e não-interativa • Controle da execução • Linear vs não-linear Vídeo Conferência no Skype • Estrutura de navegação do conteúdo • Tempo Real vs offline • Requisitos de transmissão • Pessoa-Máquina vs Pessoa-Pessoa • Como os usuários interagem
  • 18.
    Exemplo de Documento multimídiacomplexo • Vídeo Interativo • Sincronismo do Áudio com as “Imagens” da animação • Anotação Espacial • Interação com o usuário • Como essas informações são representadas? • Como o player de um browser consegue executá-las? http://youtu.be/RZzlezxLu7s Visualizem e Interajam! Qual a classificação desse documento multimídia?
  • 19.
    Conferências envolvendo Multimídia • Internacionais • ACM Multimedia • ICME Multimedia & Expo • IEEE ISM • Nacionais • (Conferências da SBC) • Webmedia • IHC • SBGames Um dos melhores apresentadores dos últimos tempos no WebMedia 
  • 20.
    Temas de Pesquisaem Multimídia • Trilha Multimídia do WebMedia 2012 • Arquiteturas, sistemas, middleware, serviços e aplicações • Distribuição, transporte, compartilhamento e segurança • Análise, codificação e processamento de conteúdo multimídia • Busca e recuperação de conteúdo multimídia • Autoria, produção, sincronização, apresentação • Colaboração, adaptação e personalização de conteúdo • Multimídia em redes sociais • Multimídia em dispositivos móveis • Interação e experiência do usuário
  • 21.
  • 22.
    Multimídia podem serestocados em Banco de Dados relacionais? • A priori, um documento multimídia digital pode ser visto como um conjunto de bytes • Componentes RGB de imagem • Áudio discretizado capturado a partir de um microfone • Banco de dados Relacionais possuem campos do tipo BLOB • Poderiam armazenar o conteúdo • Linguagens de consultas padrão de um SGBD não são preparadas para tratar este tipo de dados • Ex.: Retornar todas as imagens com a cor azul presente • Formatos próprios de representação de dados multimídia
  • 23.
    Representação de documentos multimídia •Natureza inerente de cada mídia • Aspect Ratio de um vídeo • Bit-Deph de uma imagem • Frequência de amostragem de um áudio • Compressão • Redução do tamanho do arquivo digital • Com ou sem perda de qualidade • Anotação ou metadados • Informação sobre o conteúdo para facilitar recuperação posteriori
  • 24.
    Exemplo de Formatode Imagem – BITMAP (BMP) • Cabeçalho simplificado (tamanho, nome) • Matriz de pixels em RGB (Red, Green, Bleu) • Formato sem compressão (255,0,0) (0,0,0) (0,255,0) (255,255,0) 1111 1111 1111 1111 0000 0000 (128,128,128) (0,0,255) FF FF 00 (255,0,255) (0,255,255) (255,255,255)
  • 25.
    Exemplo de metadados •Formato EXIF - Exchangeable image file format • é uma especificação seguida por fabricantes de câmeras digitais que gravam informações sobre as condições técnicas de captura da imagem junto ao arquivo da imagem propriamente dita na forma de metadados etiquetados. • A especificação usa os formatos de imagem JPEG, TIFF • Vamos ver um exemplo com a EXIF Tool
  • 26.
    CBIR – CONTENTBASED INFORMATION RETRIEVAL
  • 27.
  • 28.
    MIR – MUSICINFORMATION RETRIEVAL
  • 29.
  • 30.