MINICURSO 1
Desenvolvimento de aplicações interativas
integrando objetos reais e virtuais com o
uso do padrão MPEG-V
Celso...
2WebMedia 2015 - 26/10/2015
Objetivos
1. Apresentar a integração de família de padrões
MPEG (4, 7, 21 e V) em aplicações
2...
3WebMedia 2015 - 26/10/2015
Agenda
1. Introdução
2. Motivação
3. Cenários de uso
4. A família de padrões/normas MPEG
 Pad...
4WebMedia 2015 - 26/10/2015
Processo de Convergência
(Re)união de diferentes:
1. Tecnologias ou indústrias gerando produto...
5WebMedia 2015 - 26/10/2015
Processo de Convergência
 Avanço tecnológico é só parte da história...
 Processo de convergê...
6WebMedia 2015 - 26/10/2015
Sem normati(padroni)zação...
 Soluções em ecossistemas “fechados” de
acordo com interesses do...
7WebMedia 2015 - 26/10/2015
“Convergência” Apple
8WebMedia 2015 - 26/10/2015
“Convergência” SAMSUNG
9WebMedia 2015 - 26/10/2015
E se eu quiser juntar fabricantes?
Jack Schofield
WiiMote + Kinect: https://www.youtube.com/wa...
Organismos ligados à
padronização
ISO, IEC e MPEG
11WebMedia 2015 - 26/10/2015
ISO (International Organization for
Standardization)
ISO no mundo: http://www.iso.org/iso/abo...
12WebMedia 2015 - 26/10/2015
IEC (International Electrotechnical
Commission)
13WebMedia 2015 - 26/10/2015
MPEG
 Moving Picture Experts Group (MPEG) é um
grupo de trabalho da ISO/IEC com a missão de
...
14WebMedia 2015 - 26/10/2015
The Moving Picture Experts Group
Você se lembra da vida antes do MPEG?
Fonte: http://mpeg.chi...
15WebMedia 2015 - 26/10/2015
The Moving Picture Experts Group
Quem é o MPEG?
Fonte: http://mpeg.chiariglione.org/
16WebMedia 2015 - 26/10/2015
The Moving Picture Experts Group
Em que o MPEG está trabalhado hoje em dia?
Padrões/normas de...
O padrão ISO/IEC 23005:2013
ou
MPEG-V
Interoperabilidade e efeitos
sensoriais
18WebMedia 2015 - 26/10/2015
Família de padrões MPEG
 MPEG-DASH: Dynamic Adaptive Streaming over HTTP
 MPEG-H: High Effi...
19WebMedia 2015 - 26/10/2015
Família de padrões MPEG
 MPEG-V: Media Context and Control (architecture and
associated info...
20WebMedia 2015 - 26/10/2015
Família de padrões MPEG
 MPEG-21: Open framework for end-to-end multimedia
creation, deliver...
21WebMedia 2015 - 26/10/2015
Multimídia e MulSemídia
 Conteúdo multimídia “tradicional”: composição de
objetos de mídia (...
22WebMedia 2015 - 26/10/2015
Múltiplos estímulos
))) (((
Iluminação
Temperatura Vibração
Aroma
NévoaVídeo 3D
??? O que mai...
23WebMedia 2015 - 26/10/2015
QoE - Fatores de impacto
Fonte: Ebrahimi, T., “Quality of Multimedia Experience: Past, Presen...
24WebMedia 2015 - 26/10/2015
Percepção de QoE x efeitos sensoriais
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improv...
25WebMedia 2015 - 26/10/2015
Experimento QoE
[3]
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of...
26WebMedia 2015 - 26/10/2015
Experimento QoE
[3]
Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of...
27WebMedia 2015 - 26/10/2015
Cenários de aplicação imediatos
amBX http://www.p4c.philips.com/cgi-bin/cpindex.pl?ctn=SGC510...
28WebMedia 2015 - 26/10/2015
Outros cenários de aplicação
Efeitos sensoriais em automóveis
Cave System
Cho, Ha-Young. Even...
29WebMedia 2015 - 26/10/2015
Cinemas “>3”D: Mais Imersão 
melhor a Experiência do Usuário
Vídeo Cinema 6D: http://www.you...
30WebMedia 2015 - 26/10/2015
Questões Cinema 6D
31WebMedia 2015 - 26/10/2015
Resposta 1
32WebMedia 2015 - 26/10/2015
Resposta 2
33WebMedia 2015 - 26/10/2015
Resposta 3
34WebMedia 2015 - 26/10/2015
Interoperabilidade
 Questão chave em sistemas distribuídos
 Porque interoperabilidade entre...
35WebMedia 2015 - 26/10/2015
Interoperabilidade em ambientes
interativos
Adapted Lawson’s model for interactive environmen...
36WebMedia 2015 - 26/10/2015
Interoperabilidade em ambientes
interativos
SANTOS, C. A. S. ; SALEME, E.B. ; ANDRADE, J.C.S....
Interoperabiliade com MPEG-V
38WebMedia 2015 - 26/10/2015
MPEG-V em alguns cenários
Cenários:
1. Entrega de conteúdo com efeitos sensoriais (difusão
po...
39WebMedia 2015 - 26/10/2015
Cenário 1
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG ...
40WebMedia 2015 - 26/10/2015
Cenário 2
Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Addi...
41WebMedia 2015 - 26/10/2015
Cenário 3
Fonte: Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V meta...
42WebMedia 2015 - 26/10/2015
Cenário 4 (extensão do MPEG-V)
Fonte: K. Yoon et al. Control of unmanned flying vehicle based...
43WebMedia 2015 - 26/10/2015
MPEG-V
 Interoperabilidade entre objetos do mundo
real (sensores e atuadores) e do virtual (...
44WebMedia 2015 - 26/10/2015
MPEG-V: Partes (ISO/IEC 23005-n)
 Parte 1: arquitetura
 Parte 2: Informações de controle
 ...
45WebMedia 2015 - 26/10/2015
MPEG-V: Parte 1 – Arquitetura
Real World
(Sensors)
User
Sensed
Information
(5)
Sensor
Device
...
46WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
 Capacidade para descrever atuadores (saída:
efeitos sensoriais) e sensores ...
47WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
MPEG-V Part 2MPEG-V Part 5
Sensed Information Sensor Capabilities
MPEG-V Part...
48WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC ...
49WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
 Linguagem XML para descrição de controle da
informação (CIDL - Control Info...
50WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
DCDV SCDV SEPV SAPV
Light device Light sensor capability Light effect Light s...
51WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control I...
52WebMedia 2015 - 26/10/2015
MPEG-V: Parte 2
User’s Sensory Effect Preference Vocabulary (SEPV)
Sensor adaptation preferen...
53WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3
 Especifica a SEDL - Sensory Effect Description
Language (linguagem XML para...
54WebMedia 2015 - 26/10/2015
MPEG-V Parte 3: Alguns efeitos já
definidos
 Light
 Colored light
 Flash light
 Temperatu...
55WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3 – Interoperabilidade
56WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3
Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensor...
57WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3
Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience...
58WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3 – Modelo temporal
dos efeitos & sincronização
Fonte: B.S. Choi, S.-K. Kim, “T...
59WebMedia 2015 - 26/10/2015
MPEG-V: Parte 3
Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience...
60WebMedia 2015 - 26/10/2015
MPEG-V: Parte 4
 Representação de características de objetos
(avatares ou genéricos) no mund...
61WebMedia 2015 - 26/10/2015
MPEG-V: Parte 4
 Não inclui informações de geometria, som, animação ou
textura, mas pode ser...
62WebMedia 2015 - 26/10/2015
MPEG-V: Parte 5
 Formato de dados para interação de dispositivos
 Comandos para atuadores e...
63WebMedia 2015 - 26/10/2015
MPEG-V: Parte 5
 Light device
 Flash device
 Heating device
 Cooling device
 Wind device...
64WebMedia 2015 - 26/10/2015
MPEG-V: Parte 5
 Terms of Sensor
 Light sensor
 Ambient noise sensor
 Temperature sensor
...
65WebMedia 2015 - 26/10/2015
MPEG-V: Parte 5
Descrição de um comando para acionar o dispositivo “ventilador” de nome “wind...
66WebMedia 2015 - 26/10/2015
MPEG-V no cenário dirigido
Efeitos de luz com
auto extração
67WebMedia 2015 - 26/10/2015
Demonstração
Fonte: videosNEM SUMMIT Sensory Experience.mp4
Ferramentas de apoio
Autoria, simulação e renderização
69WebMedia 2015 - 26/10/2015
SEVino
 SEVino (Sensory Effect Video Annotation)
 Permite anotar sequências de vídeo com ef...
70WebMedia 2015 - 26/10/2015
SEVino: Interface de anotação
71WebMedia 2015 - 26/10/2015
SEVino: Arquitetura
72WebMedia 2015 - 26/10/2015
SESim
 SESim (Sensory Effect Simulator)
 Permite simular efeitos sensoriais descritos (em
l...
73WebMedia 2015 - 26/10/2015
SESim: Interface
74WebMedia 2015 - 26/10/2015
SESim: Arquitetura
Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-t...
75WebMedia 2015 - 26/10/2015
Ambiente: Código e demos
Disponível em: http://sourceforge.net/projects/sevino/
Demos: http:/...
Integração de padrões MPEG na
cadeia produtiva de conteúdos
digitais: Cenário dirigido
MPEG-4, 7, 21 e V juntos
77WebMedia 2015 - 26/10/2015
Cenário dirigido
 Trailer Indiana Jones com metadados descritos
e integrados através dos pad...
78WebMedia 2015 - 26/10/2015
Cenário dirigido
Vídeo
Player
Dispositivos
Codificador de
Aúdio e Vídeo
Metadados
A/V
Renderi...
79WebMedia 2015 - 26/10/2015
MPEG-7: Foco
 MPEG-7: Interface de descrição de conteúdo
multimídia
 Permite descrever vári...
80WebMedia 2015 - 26/10/2015
MPEG-7: Aplicações
 Grande quantidade de conteúdo audiovisual
na Internet/Web
 Valor da inf...
81WebMedia 2015 - 26/10/2015
MPEG-7: Partes
 Part 1 Systems
 Part 2 Description Definition Language
 Part 3 Visual
 Pa...
82WebMedia 2015 - 26/10/2015
MPEG-7: Tipos de descrição
 Física
 Perceptiva
 Transcrição
 Arquitetural
 Anotação
83WebMedia 2015 - 26/10/2015
MPEG-7: Exemplo de descrição
Fonte: Frank Nack and Adam T. Lindsay. 1999. Everything You Want...
84WebMedia 2015 - 26/10/2015
MPEG-7: Cenário Dirigido
85WebMedia 2015 - 26/10/2015
MPEG-7: Cenário Dirigido
86WebMedia 2015 - 26/10/2015
MPEG-21
 Define um framework para aplicações
multimídia fundamentado em 2 conceitos:
1. Digi...
87WebMedia 2015 - 26/10/2015
MPEG-21: Partes
 Part 1 Vision, Technologies and
Strategy
 Part 2 Digital Item Declaration
...
88WebMedia 2015 - 26/10/2015
Detalhando algumas partes
 Parte 2: DID (Digital Item Description)
 Inclui recursos, identi...
89WebMedia 2015 - 26/10/2015
MPEG-21: Cenário Dirigido
90WebMedia 2015 - 26/10/2015
MPEG-21: Cenário Dirigido
91WebMedia 2015 - 26/10/2015
MPEG-21: Cenário Dirigido
92WebMedia 2015 - 26/10/2015
Cenário Dirigido: Demo
Vídeo DEMO SER
SALEME, E.B.; SANTOS, C. A. S. . PlaySEM: a Platform fo...
Integração de Efeitos
Mutisensoriais a Ambientes de
Interação Gestual
94WebMedia 2015 - 26/10/2015
Visão geral da solução
Fonte: Saleme, E. B. e Santos, C. A. S. (2015). PlaySEM: a platform fo...
95WebMedia 2015 - 26/10/2015
Arquitetura
Fonte: Saleme, E. B. e Santos, C. A. S. (2015). PlaySEM: a platform for rendering...
96WebMedia 2015 - 26/10/2015
Testbed
97WebMedia 2015 - 26/10/2015
Integração gestos + MPEG-V
Santos, C. A. S., Rehem Neto, A. N., e Saleme, E. B. An Event Driv...
Broadcast de conteúdo
multisensorial com diversos
odores
99WebMedia 2015 - 26/10/2015
Broadcast com emotion-media
Fonte: Jeong Do Kim et al. Development od Scent Display and Its A...
100WebMedia 2015 - 26/10/2015
Dispositivo físico para geração de
aromas
101WebMedia 2015 - 26/10/2015
Configuração do dispositivo de
geração de aromas
102WebMedia 2015 - 26/10/2015
Ferramenta de autoria
103WebMedia 2015 - 26/10/2015
Editor de aromas
104WebMedia 2015 - 26/10/2015
Arquitetura de serviços broadcast
para mídias olfativas
Demos
Aplicação com sensor compatível com
MPEG-V
107WebMedia 2015 - 26/10/2015
Aplicação com atuadores compatíveis com
MPEG-V
108WebMedia 2015 - 26/10/2015
Recursos associados ao minicurso
 Biblioteca MPEG Metadata:
https://github.com/estevaosalem...
109WebMedia 2015 - 26/10/2015
Outros links interessantes
 Vídeo demonstração do PlaySEM:
https://youtu.be/aka4jBZcoKk
 V...
110WebMedia 2015 - 26/10/2015
Referências
 B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Inform...
111WebMedia 2015 - 26/10/2015
Referências
 Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG...
112WebMedia 2015 - 26/10/2015
Referências
 Preda, M., “MPEG-V: a standard for multissensorial and immersive experiences”,...
113WebMedia 2015 - 26/10/2015
Referências
 Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2012. A toolset for the a...
114WebMedia 2015 - 26/10/2015
Mais informações
 Celso Alberto Saibel Santos [saibel@inf.ufes.br]
br.linkedin.com/pub/cels...
Próximos SlideShares
Carregando em…5
×

Desenvolvimento de aplicações interativas integrando objetos reais e virtuais com o uso do padrão MPEG-V

264 visualizações

Publicada em

Slides do minicurso ministrado no WebMedia'15 em 27/10/2015.
Apresentado por Celso Alberto Saibel Santos
Autores: Estêvão B. Saleme
Celso A. Saibel Santos
Capítulo do livro associado ao minicurso: http://dx.doi.org/10.13140/RG.2.1.2634.0561
Resumo do minicurso:
http://dx.doi.org/10.1145/2820426.2820641

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
264
No SlideShare
0
A partir de incorporações
0
Número de incorporações
6
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Material preparado para minicurso ministrado no WebMedia 2015 (27/10/15).
  • Imersão: abstração do mundo físico através do mundo informacional (filmes, livros, novelas, conhecimento, estórias)
    Múltiplos efeitos sensoriais: estratégia para estender o espaço do mundo informacional
  • Precisamos saber o que impacta na QoE antes de tentar melhorá-la arbitrariamente.
    Fatores psicológicos são mais subjetivos.
  • Apresentar SELAB, liderado por Crhistian Timmerer. Abordar escala 1 até 5
    Experiência realizada com 24 estudantes (11 mulheres e 13 homens entre 18 e 37 anos), com 2 filmes diferentes, os 2 com e sem efeitos sensoriais. Vídeo repetido algumas vezes com qualidade aprimorada para verificar se seria mantida a correlação com os efeitos sensoriais.
  • Eixo y – opinião do usuário / Eixo x – qualidade do video / linha vermelha – com efeito sensorial / linha verde – Sem efeito
    No geral, os efeitos sensoriais melhoraram a experiência do usuário através do estímulos com efeitos sensoriais, adicionalmente à video e áudio.
    Os efeitos sensoriais continuaram impactando na opinião dos usuários mesmo com a melhora na qualidade visual do video.
    Ganho médio de 0.5 (ou 10%) pontos na opinião do usuário comparado ao vídeo sem efeitos sensoriais.

    PSNR - peak signal-to-noise ratio = pico de sinal-para-ruído
  • Eixo y – opinião do usuário / Eixo x – qualidade do video / linha vermelha – com efeito sensorial / linha verde – Sem efeito
    No geral, os efeitos sensoriais melhoraram a experiência do usuário através do estímulos com efeitos sensoriais, adicionalmente à video e áudio.
    Os efeitos sensoriais continuaram impactando na opinião dos usuários mesmo com a melhora na qualidade visual do video.
    Ganho médio de 0.5 (ou 10%) pontos na opinião do usuário comparado ao vídeo sem efeitos sensoriais.

    PSNR - peak signal-to-noise ratio = pico de sinal-para-ruído
  • Realidades virtuais são gerados por computador "mundos" que podem incluir dispositivos periféricos para aumentar a experiência virtual. Software cria um cenário ambiente. Os ambientes podem ser modelados após vida real ou criado como uma realidade alternativa, mas a idéia é criar algo que o participante pode se relacionar ou reconhecer como uma experiência real. Esses ambientes de software permitem que o usuário tem uma sensação de presença, portanto, estar imerso.
  • Realidades virtuais são gerados por computador "mundos" que podem incluir dispositivos periféricos para aumentar a experiência virtual. Software cria um cenário ambiente. Os ambientes podem ser modelados após vida real ou criado como uma realidade alternativa, mas a idéia é criar algo que o participante pode se relacionar ou reconhecer como uma experiência real. Esses ambientes de software permitem que o usuário tem uma sensação de presença, portanto, estar imerso.
  • O cinema 6D custa em torno de 60000 reais
  • Nitidamente há um problema de interoperabilidade.
  • Na reprodução de conteúdos audiovisuais integrados a efeitos sensoriais diversos (vento, calor, vibração, aroma, etc). Para um acesso universal, os players e os atuadores, que podem ser de fabricantes diferentes, devem ser capazes de se comunicarem com uma linguagem comum.
  • Num cenário de um jogo de tabuleiros entre um personagem virtual e um usuário real, onde as peças dos usuários seriam movimentadas através de seus gestos. Para ampliar a gama de jogos e sensores de reconhecimento, as ações do mundo real e virtual devem estar sincronizadas segundo um padrão.
    Another example among possible Advanced User Interaction (AUI) Interfaces is related to hand based interface shown in Figure 4. If a user wants to select an object and move it to a certain place in the scene, the user in the real life moves his/her hand toward the object, and then move the object while holding and grabbing the object. The user finally releases the object by opening the hand. That is, hand postures such as grabbing, fist, open palm, pointing, thumb-up, and thumb-down would be a good candidate posture to support such an interaction modality. The semantics of the postures shall be selected as the descriptions of the shapes, which are independent upon the cultural difference.
  • Aplicativo exibe informações do ambiente na tela do celular: realidade aumentada
  • Drone compatível com padrão MPEG-V para ser operado por diversos controles, entre eles, web, smartphone
  • O padrão tem foco na interoperabilidade permitindo especificar informações sobre capacidade de dispositivos (parte 2), efeitos sensoriais (parte 3), características de objetos do mundo virtual (parte 4) e formato de dados para interação entre dispositivos (parte 5).
  • Exemplo capacidade dispositivos: permite saber quais dispositivos podem ser usados no ambiente (sensorial effects (SEs) podem ser ajustados para serem efeitos sensoriais adaptados de acordo com a capacidade dos atuadores (AC) e preferências de atuação (AP))
    Exemplo adaptação: usuário não quer que ventilador ultrapasse a velocidade 3.
    Usuário não quer que informação de temperatura seja coletada
  • Figura 1 efeitos sensoriais adaptados e figura 2 sensores adaptados.
  • Figura 1 efeitos sensoriais adaptados e figura 2 sensores adaptados.
  • Control Information Description Language (CIDL)
    Device Capability Description Vocabulary (DCDV)
    Sensor Capability Description Vocabulary (SCDV)
    User’s Sensory Effect Preference Vocabulary (USEPV)
    Sensor adaptation preference vocabulary (SEPV)

  • Device Capability Description Vocabulary (DCDV)
    Sensor Capability Description Vocabulary (SCDV)
    User’s Sensory Effect Preference Vocabulary (USEPV)
    Sensor adaptation preference vocabulary (SEPV)
  • Device Capability Description Vocabulary (DCDV)
    Sensor Capability Description Vocabulary (SCDV)

  • User’s Sensory Effect Preference Vocabulary (SEPV) – Usuário não deseja efeito sensorial contendo luz na cor alice_blue
    Sensor adaptation preference vocabulary (SAPV) – Sensor com temperature que tenha valor mínimo 0 e máximo 100 e que seja medido de 10 em 10 graus.

  • Sensory Effect Description Language (SEDL)
    Sensory Effect Vocabulary (SEV)
  • Luz, cor clara, luz de flash
    temperatura
    vento
    vibração
    pulverizador de água
    perfume
    nevoeiro
    correção de cor
    Movimento de corpo rígido
    Movimento cinestésico passiva
    Força cinestésica passiva
    cinestésica ativo
    tátil
  • Abstração da cadeia de efeitos sensoriais fim a fim.
    Parte 3 é a mais avançada.
  • Relação dos efeitos sensoriais com a capacidade dos dispostivos (parte 3 e parte 2).
    Mapping of Author’s Intentions to Sensorial Effect data and Actuator Capabilities
  • SEDL
    = definição
    [opcional]
    (alternativa)

  • Para cada efeito, realiza um efeito gradual fade in (t1 –t0) no início e no final um fade-out (t3-t2)
  • Exemplo de instância
  • Reparar a integração com o mpeg-7 e mpeg-21
  • Interaction Interface Description Language (IIDL)
    Device Command Vocabulary (DCV)
    Sensed Information Vocabulary (SIV)
  • Device Command Vocabulary (DCV)
  • Sensed Information Vocabulary (SIV)
  • Autoextração de luz
    Vento começa fraco e vai aumentando com o avanço do tempo até ser desativado.
    Grupo de efeitos contendo vibração e vento são ativados
  • Vídeo de Markus Waltl da Universidade Austríaca Alpen-Adria demonstrando o uso de anotações com o SEVino e execução no ambiente real.
  • Cadeia de autoria
    FFMpeg - Codificação MPEG-4 (mpeg4 codificação h263 e h264 - avc) trata objetos, como poderia ser integrado? Arquivos de autoria podem ser entregues com MPEG-4

    Metadados
    Ferramenta de autoria AXMEDIS (MPEG-21)
    Ferramenta de autoria de descrição VideoInnoEx (MPEG-7)
    Ferramenta de autoria de efeitos sensoriais SEVino (MPEG-V)

    Player
    Player MPEG-4 (codificação), MPEG-21 (direitos autorais), MPEG-V (efeitos sensoriais)
    Dispositivos
  • Padrão ISO finalizado em Julho de 2001. Denominado “Interface de descrição de conteúdo multimídia”:
    – Forma padrão de descrição de informações multimídia associadas ao conteúdo para permitir indexação/busca eficiente de informações
    • MPEG-7 especifica:
    – Um conjunto de esquemas e descritores
    – Uma linguagem para especificar esquemas
    (Description Definition Language ou DDL): Um esquema para codificar a descrição, facilitando a indexação, armazenagem e transporte
  • Encontrar eventos similares no passado
  • Systems (part 1) specifies the means for binarising DDL data, a methodology for carrying
    descriptions as streams and the means for accessing and synchronously consuming data.

    Part 12 “Query Format” specifies the interface between a requester and a responder for
    multimedia content retrieval systems (e.g.: MPEG-7 databases). This enables users to describe
    their search criteria with a set of precise input parameters and additionally allows users to
    specify a set of preferred output parameters to depict the returned result sets.
  • Física – que podem ou não corresponder a percepção humana (potência, frequência)
    Perceptiva – descrição de cor, textura, timbre
    Transcrição – transcrição de diálogos, notas de música, etc
    Arquitetural – estruturas sintáticas. Representa o domínio de estruturalistas de documentos. Baixo nível, coisas que o usuário não precisa saber.
    Anotação – domínio de anotações humanas, comentários
  • Descrição de segment de “Drible e chute” e “gol”. Podem ser usadas regiões para anotar objetos.
    Diagrama mostra relacionamento entre elementos, de modo similar à ontologies.
  • Abrir arquivo no computador
  • Abrir arquivo no computador
  • Digital item descreve recurso, transações, restrições, etc
    Usuários interagem com DI, e espera que o conteúdo seja adaptado ao seu ambiente
  • This includes, of course, the resources (media), but also identifiers, metadata, encryption keys, licenses etc. The specification
    of this structure is provided by Part 2 Digital Item Declaration (DID).

    Identification of Digital Items is a key requirement in the digital space where everything must be
    uniquely and unambiguously identified in order to be managed. In MPEG-21 this function is
    provided by Part 3 Digital Item Identification (DII), a standard to handle identifiers in Digital
    Items.

    A Digital Item can contain resources or even portions of a Digital Item that are protected. The
    component technologies that are needed to process those resources (i.e. to make them available
    in a form that can be processed by a machine) need to be standardised. This is done by Part 4
    Intellectual Property Management and Protection (IPMP) Components. IPMP is the MPEG
    acronym for DRM and stands for Intellectual Property Management and Protection.

    In the digital space, licenses play a similar role to licenses in the real world. The difference is that
    real world licences are expressed in natural language and are understood by humans, while the
    former must be expressed in a form that can be processed by a machine. Part 5 Rights
    Expression Language (REL) provides the technology to express rights in a rich form that is
    comparable to the richness of the human language.

    The language mentioned above is only capable of expressing the syntax of a rights expression
    but says nothing of the semantics of the “verbs”, e.g. copy, store, display etc., that are
    employed by the language (even though the MPEG REL provides the semantics of a few key
    verbs). A standard semantics for verbs commonly used in the media environment in general is
    given by Part 6 Rights Data Dictionary (RDD).

    When a Digital Item and its resources are transported over the network it may be necessary to
    “adapt” (e.g. reduce in bitrate) them to varying conditions. When a Digital Item and its resources
    reach a device, the resources may need to be “adapted” (e.g. subsampled) to match (e.g.,
    device capabilities). Part 7 Digital Item Adaptation (DIA) specifies the syntax and semantics of
    the tools that may be used to assist in the adaptation of Digital Items, metadata and resources.

    Part 19 Media Value Chain Ontology provides a standard representation of the terms in a
    vocabulary and their corresponding relationships for use in media value chains. An example is
    personal and commercial movies that include not only the movie itself but also related
    information like movie producer, movie owner, rights and limitations to modify the movie, as well
    as personal notes available to a certain user group.
  • Outro item: legenda
  • Desenvolvimento de aplicações interativas integrando objetos reais e virtuais com o uso do padrão MPEG-V

    1. 1. MINICURSO 1 Desenvolvimento de aplicações interativas integrando objetos reais e virtuais com o uso do padrão MPEG-V Celso Alberto Saibel Santos (& Estêvão B. Saleme) Programa de Pós Graduação em Informática – PPGI
    2. 2. 2WebMedia 2015 - 26/10/2015 Objetivos 1. Apresentar a integração de família de padrões MPEG (4, 7, 21 e V) em aplicações 2. Atualizar os participantes com relação ao padrão MPEG-V (foco interoperabilidade) e sua utilização em diversas aplicações 3. Introduzir o conceito de MulSemedia, multimídia + efeitos sensoriais 4. Ilustrar o uso do padrão MPEG-V no desenvolvimento de aplicações
    3. 3. 3WebMedia 2015 - 26/10/2015 Agenda 1. Introdução 2. Motivação 3. Cenários de uso 4. A família de padrões/normas MPEG  Padrões utilizados no minicurso 5. Ambientes de desenvolvimento e simulação de aplicações com múltiplo estímulos sensoriais:  Ferramentas SEVino e SESim  Ferramenta PlaySEM 6. Exemplos de aplicações  Aplicações com efeitos multisensoriais  Aplicações com integração do mundo real e virtual
    4. 4. 4WebMedia 2015 - 26/10/2015 Processo de Convergência (Re)união de diferentes: 1. Tecnologias ou indústrias gerando produtos complementares ou competitivos 2. Tipos de mídia através de uma única tecnologia Sucesso depende da combinação de: 1. Ganhos tecnológicos em processamento, armazenamento e difusão de dados 2. Adoção de protocolos e padrões comuns
    5. 5. 5WebMedia 2015 - 26/10/2015 Processo de Convergência  Avanço tecnológico é só parte da história...  Processo de convergência é sócioeconômico e não puramente tecnológico  O uso desse “poder” depende de coordenação e padronização/normatização: • Plataformas compatíveis adotadas por produtores e consumidores • Padrões específicos criados para trabalhar em conjunto no mundo convergente (codificação, transmissão, armazenagem, decodificação, etc.)
    6. 6. 6WebMedia 2015 - 26/10/2015 Sem normati(padroni)zação...  Soluções em ecossistemas “fechados” de acordo com interesses dos fabricantes  Problemas para quem constrói soluções  Dificuldade de reuso
    7. 7. 7WebMedia 2015 - 26/10/2015 “Convergência” Apple
    8. 8. 8WebMedia 2015 - 26/10/2015 “Convergência” SAMSUNG
    9. 9. 9WebMedia 2015 - 26/10/2015 E se eu quiser juntar fabricantes? Jack Schofield WiiMote + Kinect: https://www.youtube.com/watch?v=2LTgNgzMAFI Oculus Rift + Kinect: https://www.youtube.com/watch?v=dGEsCx0aoCA Outros? Muitos problemas...
    10. 10. Organismos ligados à padronização ISO, IEC e MPEG
    11. 11. 11WebMedia 2015 - 26/10/2015 ISO (International Organization for Standardization) ISO no mundo: http://www.iso.org/iso/about/iso_members.htm
    12. 12. 12WebMedia 2015 - 26/10/2015 IEC (International Electrotechnical Commission)
    13. 13. 13WebMedia 2015 - 26/10/2015 MPEG  Moving Picture Experts Group (MPEG) é um grupo de trabalho da ISO/IEC com a missão de desenvolver normas para a representação codificada de vídeo e áudio digitais e dados relacionados.
    14. 14. 14WebMedia 2015 - 26/10/2015 The Moving Picture Experts Group Você se lembra da vida antes do MPEG? Fonte: http://mpeg.chiariglione.org/
    15. 15. 15WebMedia 2015 - 26/10/2015 The Moving Picture Experts Group Quem é o MPEG? Fonte: http://mpeg.chiariglione.org/
    16. 16. 16WebMedia 2015 - 26/10/2015 The Moving Picture Experts Group Em que o MPEG está trabalhado hoje em dia? Padrões/normas desde 1988: http://mpeg.chiariglione.org/standards /
    17. 17. O padrão ISO/IEC 23005:2013 ou MPEG-V Interoperabilidade e efeitos sensoriais
    18. 18. 18WebMedia 2015 - 26/10/2015 Família de padrões MPEG  MPEG-DASH: Dynamic Adaptive Streaming over HTTP  MPEG-H: High Efficiency Coding and Media Delivery in Heterogeneous Environments  MPEG-U: MPEG Rich Media User Interface  MPEG-M: Multimedia Service Platform Technologies (Audio, Video, 3D Graphics, Sensory Data, File Format, Streaming, Metadata, Search, Rendering, Adaptation, Rights Management and Media Value Chain Ontologies) Fonte: http://mpeg.chiariglione.org/standards
    19. 19. 19WebMedia 2015 - 26/10/2015 Família de padrões MPEG  MPEG-V: Media Context and Control (architecture and associated information representations to enable interoperability between virtual worlds, and between real and virtual worlds.  MPEG-E: MPEG Multimedia Middleware (M3W)  MPEG-D: Audio techs that do not fall in other MPEG standards  MPEG-C: Video standards that do not fall in other well- established MPEG standards  MPEG-B: Systems technologies that do not fall in other well- established MPEG standards  MPEG-A: Application Formats (that involve multiple MPEG and, where required, non MPEG standards) Fonte: http://mpeg.chiariglione.org/standards
    20. 20. 20WebMedia 2015 - 26/10/2015 Família de padrões MPEG  MPEG-21: Open framework for end-to-end multimedia creation, delivery and consumption  MPEG-MAR: A Mixed and Augmented Reality Reference Model developed jointly with SC 24/WG 9  MPEG-7: Multimedia Content Description Interface  MPEG-4: Coding of audio-visual objects (multimedia for the fixed and mobile Web)  MPEG-2: Generic coding of moving pictures and associated audio (Digital Television)  MPEG-1: Coding of moving pictures and associated audio at up to about 1.5 Mbit/s Fonte: http://mpeg.chiariglione.org/standards
    21. 21. 21WebMedia 2015 - 26/10/2015 Multimídia e MulSemídia  Conteúdo multimídia “tradicional”: composição de objetos de mídia (vídeo, áudio, texto, imagens)  Virou monomídia? Explosão de conteúdo em vídeo  Essa é uma visão limitada...  Cenários mais sofisticados de apresentação  Melhorar a QoE (Quality of Experience) do usuário  Efeitos sensoriais = incrementar a sensação imersão  Estímulos através de outros sentidos: tato, olfato, ...  Conteúdo MulSeMedia (Multiple Sensorial Media)
    22. 22. 22WebMedia 2015 - 26/10/2015 Múltiplos estímulos ))) ((( Iluminação Temperatura Vibração Aroma NévoaVídeo 3D ??? O que mais ???
    23. 23. 23WebMedia 2015 - 26/10/2015 QoE - Fatores de impacto Fonte: Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-media-technologies-sensory-experience Qualidade da Experiência (QoE) Fatores técnicos Fatores sociais e psicológicos Usuário Contexto
    24. 24. 24WebMedia 2015 - 26/10/2015 Percepção de QoE x efeitos sensoriais Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704
    25. 25. 25WebMedia 2015 - 26/10/2015 Experimento QoE [3] Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704 MOS vs. PSNR/bit-rate for Babylon A.D.
    26. 26. 26WebMedia 2015 - 26/10/2015 Experimento QoE [3] Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704 MOS vs. PSNR/bit-rate for Earth
    27. 27. 27WebMedia 2015 - 26/10/2015 Cenários de aplicação imediatos amBX http://www.p4c.philips.com/cgi-bin/cpindex.pl?ctn=SGC5103BD/27&hlt=Link_Overview&scy=US&slg=AEN Cyborg http://www.cyborggaming.com/prod/ambx.htm
    28. 28. 28WebMedia 2015 - 26/10/2015 Outros cenários de aplicação Efeitos sensoriais em automóveis Cave System Cho, Ha-Young. Event-Based control of 4D effects using MPEG RoSE. Korea Advanced Institute of Science and Technology. Master's Thesis. 2010. Sang-Kyun Kim et al. Sensible Media Simulation in an Automobile Application and Human Responses to Sensory Effects. ETRI Journal, vol. 35, no. 6, Dec. 2013, pp.1001-1010
    29. 29. 29WebMedia 2015 - 26/10/2015 Cinemas “>3”D: Mais Imersão  melhor a Experiência do Usuário Vídeo Cinema 6D: http://www.youtube.com/watch?v=dRd4qVH7lFE 9D: https://www.youtube.com/watch?v=gyyp22xxiss Mercado Livre Vendo cinema móvel 6D. Seminovo completo montado em um container com revestimento acústico, som digital 7.2, blu Ray 3D,02 TVs de 32 polegadas,ar condicionado 12000 Btus, 12 filmes com duração de 4 a 5 minutos, 06 poltronas com movimentos sincronizado com o filme, água, vento,aroma e neve de acordo com o filme(terror,aventura e infantil). Caminhão Ford cargo 712 ano; 2012 37'000 km rodado único dono PERFEITO.
    30. 30. 30WebMedia 2015 - 26/10/2015 Questões Cinema 6D
    31. 31. 31WebMedia 2015 - 26/10/2015 Resposta 1
    32. 32. 32WebMedia 2015 - 26/10/2015 Resposta 2
    33. 33. 33WebMedia 2015 - 26/10/2015 Resposta 3
    34. 34. 34WebMedia 2015 - 26/10/2015 Interoperabilidade  Questão chave em sistemas distribuídos  Porque interoperabilidade entre dispositivos?  Dispositivo que não pode interoperar com outros produtos que o cliente espera utilizar perde valor*  Interoperabilidade entre diferentes produtos permite aos consumidores terem mais escolhas entre fabricantes  MPEG-V: foco na interoperabilidade mundo virtual (jogos, simuladores e aplicações) e mundo real (sensores e atuadores) * Fonte: ECIS - European Committee for Interoperable Systems. Interoperability. http://www.ecis.eu/ecis-interoperability
    35. 35. 35WebMedia 2015 - 26/10/2015 Interoperabilidade em ambientes interativos Adapted Lawson’s model for interactive environments SANTOS, C. A. S. ; SALEME, E.B. ; ANDRADE, J.C.S. . A Systematic Review of Data Exchange Formats in Advanced Interaction Environments. International Journal of Multimedia and Ubiquitous Engineering, 2015.
    36. 36. 36WebMedia 2015 - 26/10/2015 Interoperabilidade em ambientes interativos SANTOS, C. A. S. ; SALEME, E.B. ; ANDRADE, J.C.S. . A Systematic Review of Data Exchange Formats in Advanced Interaction Environments. International Journal of Multimedia and Ubiquitous Engineering, 2015.
    37. 37. Interoperabiliade com MPEG-V
    38. 38. 38WebMedia 2015 - 26/10/2015 MPEG-V em alguns cenários Cenários: 1. Entrega de conteúdo com efeitos sensoriais (difusão por broadcast, DVD, etc.) 2. Jogo de tabuleiro com movimento através de gestos 3. Coleta de informações do ambiente para Realidade Aumentada 4. Controle distintos para vôos não tripulados (drones) – Extensão do padrão
    39. 39. 39WebMedia 2015 - 26/10/2015 Cenário 1 Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
    40. 40. 40WebMedia 2015 - 26/10/2015 Cenário 2 Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction – MPEG- U)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.
    41. 41. 41WebMedia 2015 - 26/10/2015 Cenário 3 Fonte: Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator. 15th Int. Conf. on Advanced Communication Technology (ICACT), pp.139,142, 27-30 Jan. 2013
    42. 42. 42WebMedia 2015 - 26/10/2015 Cenário 4 (extensão do MPEG-V) Fonte: K. Yoon et al. Control of unmanned flying vehicle based on MPEG-V international standard. 8th Int. Conf. on Ubiquitous Robots and Ambient Intelligence (URAI), pp.64,67, 23-26 Nov. 2011
    43. 43. 43WebMedia 2015 - 26/10/2015 MPEG-V  Interoperabilidade entre objetos do mundo real (sensores e atuadores) e do virtual (jogos, DVD, simulação)  Especificação em 7 partes:  Diversos outros padrões da família MPEG seguem a mesma forma de estruturação
    44. 44. 44WebMedia 2015 - 26/10/2015 MPEG-V: Partes (ISO/IEC 23005-n)  Parte 1: arquitetura  Parte 2: Informações de controle  Parte 3: efeitos sensoriais  Parte 4: características de objetos do mundo virtual  Parte 5: formato de dados para dispositivos de interação  Parte 6: ferramentas e tipos comuns  Parte 7: testes de conformidade e softwares de referência.
    45. 45. 45WebMedia 2015 - 26/10/2015 MPEG-V: Parte 1 – Arquitetura Real World (Sensors) User Sensed Information (5) Sensor Device Capability (2) Virtual World Sensor Adaptation Preferences (2) R→V Adaptation: converts Sensed Info from RW to VW Object Char./Sensed Info applied to VW Sensed Information (5) VW Object Characteristics (4) #2:R2V:RealWorldAdaptationVirtualWorld Real World (Actuators) User Sensory Device Capability (2) Device Commands (5) Sensory Effects Preferences (2) Virtual World Sensory Effects (3) V→R Adaptation: converts Sensory Effects from VW into Device Cmds applied to RW #1:V2R:VirtualWorldAdaptationRealWorld VW Object Characteristics (4) Fonte: S.-K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
    46. 46. 46WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2  Capacidade para descrever atuadores (saída: efeitos sensoriais) e sensores (entrada) do mundo real  Capacidade de adaptação/personalização dos sensores (temperatura, movimento, velocidade) e/ou atuadores (luzes, ventilador, vibração, aroma) de acordo com o usuário
    47. 47. 47WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2 MPEG-V Part 2MPEG-V Part 5 Sensed Information Sensor Capabilities MPEG-V Part 5 (SI) Adapted Sensed Information SI SC1 SC2 SCn···SI Adaptation Engine SI Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
    48. 48. 48WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2 Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014. MPEG-V Part 3 Sensorial Effects SE MPEG-V Part 2 Actuator Capabilities Actuation Preferences AC1 AC2 ACn AP1 AP2 APn··· ··· MPEG-V Part 5 (Actuator Commands) Adapted Sensorial Effects SE Adaptation Engine
    49. 49. 49WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2  Linguagem XML para descrição de controle da informação (CIDL - Control Information Description Language)  Vocabulários:  DCDV - Device Capability Description Vocabulary  SCDV - Sensor Capability Description Vocabulary  SEPV - User’s Sensory Effect Preference Vocabulary  SAPV - Sensor Adaptation Preference Vocabulary
    50. 50. 50WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2 DCDV SCDV SEPV SAPV Light device Light sensor capability Light effect Light sensor adaptation preference Flash device Ambient noise sensor capability Flash effect Ambient noise sensor adaptation preference Heating device Temperature sensor capability Heating effect Temperature sensor adaptation preference Cooling device Humidity sensor capability Cooling effect Humidity sensor adaptation preference Wind device Distance sensor capability Wind effect Distance sensor adaptation preference Vibration device Atmospheric pressure Sensor capability Vibration effect Atmospheric pressure sensor adaptation preference Sprayer device Position sensor capability Sprayer effect Position sensor adaptation preference Scent device Velocity sensor capability Scent effect Velocity sensor adaptation preference Fog device Acceleration sensor capability Fog effect Acceleration sensor adaptation preference Color correction device Orientation sensor capability Color correction effect Orientation sensor adaptation preference Rigid body motion device Angular velocity sensor capability Rigid body motion effect Angular velocity sensor adaptation preference Tactile device Angular acceleration sensor capability Tactile effect Angular acceleration sensor adaptation preference Kinesthetic device Force sensor capability Kinesthetic effect Force sensor adaptation preference Mobile device position Torque sensor capability Torque sensor adaptation preference Pressure sensor capability Pressure sensor adaptation preference Motion sensor capability Motion sensor adaptation preference Intelligent camera sensor capability Intelligent camera sensor adaptation preference Bend sensor capability Gas sensor capability Dust sensor capability Multi interaction point sensor capability Gaze tracking sensor capability Global position sensor capability Altitude sensor capability
    51. 51. 51WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2 Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012. Device Capability Description Vocabulary (DCDV) Sensor Capability Description Vocabulary (SCDV)
    52. 52. 52WebMedia 2015 - 26/10/2015 MPEG-V: Parte 2 User’s Sensory Effect Preference Vocabulary (SEPV) Sensor adaptation preference vocabulary (SAPV) Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
    53. 53. 53WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3  Especifica a SEDL - Sensory Effect Description Language (linguagem XML para descrever efeitos sensoriais, como aroma, névoa, vento, etc.)  Efeitos sensoriais não são parte da SEDL; são definidos através de vocabulários (SEV - Sensory Effect Vocabulary)  Metadados de efeitos sensoriais são descritos através de SEDL  Adicionados ao conteúdo áudio visual busca incrementar QoE do usuário
    54. 54. 54WebMedia 2015 - 26/10/2015 MPEG-V Parte 3: Alguns efeitos já definidos  Light  Colored light  Flash light  Temperature  Wind  Vibration  Water sprayer  Scent  Fog  Color correction  Rigid body motion  Passive kinesthetic motion  Passive kinesthetic force  Active kinesthetic  Tactile
    55. 55. 55WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3 – Interoperabilidade
    56. 56. 56WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3 Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
    57. 57. 57WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3 Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011.
    58. 58. 58WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3 – Modelo temporal dos efeitos & sincronização Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
    59. 59. 59WebMedia 2015 - 26/10/2015 MPEG-V: Parte 3 Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011.
    60. 60. 60WebMedia 2015 - 26/10/2015 MPEG-V: Parte 4  Representação de características de objetos (avatares ou genéricos) no mundo virtual para: 1. Caracterizar vários tipos de objetos no ambiente virtual 2. Dar suporte à interação com o ambiente virtual  Usado para reproduzir características do mundo real (capturados por sensores) no mundo virtual  Interoperabilidade entre as informações de avatares de mundos virtuais distintos  Interação entre dois mundos virtuais usando renderiza- dores diferentes
    61. 61. 61WebMedia 2015 - 26/10/2015 MPEG-V: Parte 4  Não inclui informações de geometria, som, animação ou textura, mas pode ser combinado com as partes 11 (elementos gráficos) e 16 (animação de avatares) do MPEG-4 Fonte: J.J Han, M. Preda, “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.
    62. 62. 62WebMedia 2015 - 26/10/2015 MPEG-V: Parte 5  Formato de dados para interação de dispositivos  Comandos para atuadores e informação capturada a partir de sensores  Especifica uma linguagem para descrição de interface de interação com o ambiente (IIDL - Interaction Interface Description Language)  Vocabulários parte da IIDL:  DCV - Device Command Vocabulary  SIV - Sensed Information Vocabulary
    63. 63. 63WebMedia 2015 - 26/10/2015 MPEG-V: Parte 5  Light device  Flash device  Heating device  Cooling device  Wind device  Vibration device  Sprayer device  Scent device  Fog device  Color correction device  Initialize color correction parameter device  Rigid body motion device  Tactile device  Kinesthetic device  Global position command device. DCV (atuadores):
    64. 64. 64WebMedia 2015 - 26/10/2015 MPEG-V: Parte 5  Terms of Sensor  Light sensor  Ambient noise sensor  Temperature sensor  Humidity sensor  Distance sensor  Atmospheric pressure Sensor  Position sensor  Velocity sensor  Acceleration sensor  Orientation sensor  Angular velocity sensor  Angular acceleration sensor  Force sensor  Torque sensor  Pressure sensor  Motion sensor  Intelligent camera sensor  MultiInteraction point sensor  Gaze tacking sensor  Wind sensor  Global position sensor  Altitude sensor  Bend sensor  Gas sensor  Dust sensor  Body height sensor  Body weight sensor  Body temperature sensor  Body fat sensor  Blood type sensor  Blood pressure sensor  Blood sugar sensor  Blood oxygen sensor  Heart rate sensor  Electrograph sensor  EEG sensor  ECG sensor  EMG sensor  EOG sensor  GSR sensor  Bio sensor  Weather sensor  Facial expression sensor  Facial morphology sensor  Facial expression characteristics sensor  Geomagnetic sensor SIV (sensores):
    65. 65. 65WebMedia 2015 - 26/10/2015 MPEG-V: Parte 5 Descrição de um comando para acionar o dispositivo “ventilador” de nome “wind001”, com intensidade 30% no tempo de apresentação t=1:30:23 Fonte: K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012. Descrição de sensor de temperatura de nome “TS001”, cujo valor capturado será comparado com “36.5 oC” durante “60000” seg de 100 em 100 seg.
    66. 66. 66WebMedia 2015 - 26/10/2015 MPEG-V no cenário dirigido Efeitos de luz com auto extração
    67. 67. 67WebMedia 2015 - 26/10/2015 Demonstração Fonte: videosNEM SUMMIT Sensory Experience.mp4
    68. 68. Ferramentas de apoio Autoria, simulação e renderização
    69. 69. 69WebMedia 2015 - 26/10/2015 SEVino  SEVino (Sensory Effect Video Annotation)  Permite anotar sequências de vídeo com efeitos sensoriais em conformidade com MPEG-7  Inclui 7 tipos de efeitos: luz, vento, vibração, névoa, cheiro, temperatura e spray de água  Ferramenta Java de código-aberto  Utiliza FFmpeg e VLC para manipulação do conteúdo AV  Desenvolvida pelo SELAB da Alpen-Adria-Universität Klagenfurt (Áustria) Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009
    70. 70. 70WebMedia 2015 - 26/10/2015 SEVino: Interface de anotação
    71. 71. 71WebMedia 2015 - 26/10/2015 SEVino: Arquitetura
    72. 72. 72WebMedia 2015 - 26/10/2015 SESim  SESim (Sensory Effect Simulator)  Permite simular efeitos sensoriais descritos (em linguagem SEM) em MPEG-V  Efeitos baseados na ferramenta comercial amBX  Ferramenta Java de código-aberto  Integrada ao SEVino 2.0  Desenvolvida pelo SELAB da Alpen-Adria-Universität Klagenfurt (Áustria)
    73. 73. 73WebMedia 2015 - 26/10/2015 SESim: Interface
    74. 74. 74WebMedia 2015 - 26/10/2015 SESim: Arquitetura Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009
    75. 75. 75WebMedia 2015 - 26/10/2015 Ambiente: Código e demos Disponível em: http://sourceforge.net/projects/sevino/ Demos: http://selab.itec.aau.at/media/ Requisitos:  Eclipse IDE  Java 1.6 ou superior  VLC media player 2.1  SEVino 2.0
    76. 76. Integração de padrões MPEG na cadeia produtiva de conteúdos digitais: Cenário dirigido MPEG-4, 7, 21 e V juntos
    77. 77. 77WebMedia 2015 - 26/10/2015 Cenário dirigido  Trailer Indiana Jones com metadados descritos e integrados através dos padrões MPEG Fonte: http://www.youtube.com/watch?v=nMhfESAa4tw
    78. 78. 78WebMedia 2015 - 26/10/2015 Cenário dirigido Vídeo Player Dispositivos Codificador de Aúdio e Vídeo Metadados A/V Renderização Autoria Efeitos SensoriaisAutoria DRM Autoria Descrição Conteúdo Simuladores Motores de busca Mídia FFMpeg, MEncoder, etc MPEG-2, MPEG-4 AXMEDIS BR-PR, play = U$ 1,00 SEM U$ 10,00 pré-pago SEVino: 16 Vento, 7 vibração e luz automática IBM VideoAnnEx: cena cataratas e Dr. Jones com lanterna MPEG-21 MPEG-V MPEG-7 Checa condições Adapta conteúdo Executa Promove efeitos Recupera conteúdo
    79. 79. 79WebMedia 2015 - 26/10/2015 MPEG-7: Foco  MPEG-7: Interface de descrição de conteúdo multimídia  Permite descrever vários tipos de conteúdo multimídia (vídeo, animação, áudio, imagem)  Permitir a busca e indexação por meio das descrições do conteúdo  Independe do tipo e da codificação do conteúdo multimídia
    80. 80. 80WebMedia 2015 - 26/10/2015 MPEG-7: Aplicações  Grande quantidade de conteúdo audiovisual na Internet/Web  Valor da informação também depende de como ela pode ser encontrada, recuperada, acessada, filtrada e gerenciada  MPEG-7 permite buscas eficientes e filtros em vários tipos de conteúdo multimedia a partir das descrições
    81. 81. 81WebMedia 2015 - 26/10/2015 MPEG-7: Partes  Part 1 Systems  Part 2 Description Definition Language  Part 3 Visual  Part 4 Audio  Part 5 Multimedia Description Schemes  Part 6 Reference Software  Part 7 Conformance  Part 8 Extraction and Use of MPEG-7 Descriptions  Part 9 Profiles  Part 10 Schema definition  Part 11 Profile schemas  Part 12 Query Format
    82. 82. 82WebMedia 2015 - 26/10/2015 MPEG-7: Tipos de descrição  Física  Perceptiva  Transcrição  Arquitetural  Anotação
    83. 83. 83WebMedia 2015 - 26/10/2015 MPEG-7: Exemplo de descrição Fonte: Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235
    84. 84. 84WebMedia 2015 - 26/10/2015 MPEG-7: Cenário Dirigido
    85. 85. 85WebMedia 2015 - 26/10/2015 MPEG-7: Cenário Dirigido
    86. 86. 86WebMedia 2015 - 26/10/2015 MPEG-21  Define um framework para aplicações multimídia fundamentado em 2 conceitos: 1. Digital Item (o que?): unidade fundamental de distribuição e transação 2. Usuários (quem?) interagindo com Digital Item • Formas de interação variam com o perfil • Interfaces de acesso diferentes para um mesmo conteúdo (software, mídia, página Web)
    87. 87. 87WebMedia 2015 - 26/10/2015 MPEG-21: Partes  Part 1 Vision, Technologies and Strategy  Part 2 Digital Item Declaration  Part 3 Digital Item Identification and Description  Part 4 IPMP Components  Part 5 Rights Expression Language  Part 6 Rights Data Dictionary  Part 7 Digital Item Adaptation  Part 8 Reference Software  Part 9 File Format  Part 10 Digital Item Processing  Part 11 Evaluation Tools for Persistent Association  Part 12 Test Bed for MPEG-21 Resource Delivery  Part 13 VOID  Part 14 Conformance  Part 15 Event reporting  Part 16 Binary format  Part 17 Fragment Identification  Part 18 Digital Item Streaming  Part 19 Media Value Chain Ontology
    88. 88. 88WebMedia 2015 - 26/10/2015 Detalhando algumas partes  Parte 2: DID (Digital Item Description)  Inclui recursos, identificadores, metadados, chaves de criptografia, licenças de uso  Parte 3: DII (Digital Item Identification)  Parte 4: IPMP (Property )  DRM (Digital Right Managment), com apoio das partes 5 e 6  Parte 7: DIA (Digital Item Adaptation)  Personalização, ajuste de QoS
    89. 89. 89WebMedia 2015 - 26/10/2015 MPEG-21: Cenário Dirigido
    90. 90. 90WebMedia 2015 - 26/10/2015 MPEG-21: Cenário Dirigido
    91. 91. 91WebMedia 2015 - 26/10/2015 MPEG-21: Cenário Dirigido
    92. 92. 92WebMedia 2015 - 26/10/2015 Cenário Dirigido: Demo Vídeo DEMO SER SALEME, E.B.; SANTOS, C. A. S. . PlaySEM: a Platform for Rendering MulSeMedia Compatible with MPEG-V (to appear). In: WebMedia’15, 2015, Manaus, AM. Proc. of the 21 th Brazilian symposium on Multimedia and the web. New York, USA: ACM Press, 2015. p. 1-4.
    93. 93. Integração de Efeitos Mutisensoriais a Ambientes de Interação Gestual
    94. 94. 94WebMedia 2015 - 26/10/2015 Visão geral da solução Fonte: Saleme, E. B. e Santos, C. A. S. (2015). PlaySEM: a platform for rendering MulSeMedia compatible with MPEG-V. WebMedia ’15. ACM. DOi:10.1145/2820426.2820450.
    95. 95. 95WebMedia 2015 - 26/10/2015 Arquitetura Fonte: Saleme, E. B. e Santos, C. A. S. (2015). PlaySEM: a platform for rendering MulSeMedia compatible with MPEG-V. WebMedia ’15. ACM. DOi:10.1145/2820426.2820450.
    96. 96. 96WebMedia 2015 - 26/10/2015 Testbed
    97. 97. 97WebMedia 2015 - 26/10/2015 Integração gestos + MPEG-V Santos, C. A. S., Rehem Neto, A. N., e Saleme, E. B. An Event Driven Approach for Integrating Multi-Sensory effects to Interactive Environments (to appear). In IEEE Int. Conf. on Systems, Man, and Cybernetics (SMC2015), Hong Kong. 2015. DEMO: http://youtu.be/a5QPsB2zKpk
    98. 98. Broadcast de conteúdo multisensorial com diversos odores
    99. 99. 99WebMedia 2015 - 26/10/2015 Broadcast com emotion-media Fonte: Jeong Do Kim et al. Development od Scent Display and Its Authoring Tool. ETRI Journal, v.37, Feb 2015
    100. 100. 100WebMedia 2015 - 26/10/2015 Dispositivo físico para geração de aromas
    101. 101. 101WebMedia 2015 - 26/10/2015 Configuração do dispositivo de geração de aromas
    102. 102. 102WebMedia 2015 - 26/10/2015 Ferramenta de autoria
    103. 103. 103WebMedia 2015 - 26/10/2015 Editor de aromas
    104. 104. 104WebMedia 2015 - 26/10/2015 Arquitetura de serviços broadcast para mídias olfativas
    105. 105. Demos
    106. 106. Aplicação com sensor compatível com MPEG-V
    107. 107. 107WebMedia 2015 - 26/10/2015 Aplicação com atuadores compatíveis com MPEG-V
    108. 108. 108WebMedia 2015 - 26/10/2015 Recursos associados ao minicurso  Biblioteca MPEG Metadata: https://github.com/estevaosaleme/MpegMetadata  Exemplo usando a biblioteca: https://github.com/estevaosaleme/MpegMetadataExample  Código-fonte da aplicação com sensor integrando ao SenaMove: https://github.com/estevaosaleme/SensedApplicationExample  PlaySEM SE Video Player: https://github.com/estevaosaleme/PlaySEM_SEVideoPlayer PlaySEM SE Renderer: https://github.com/estevaosaleme/PlaySEM_SERenderer
    109. 109. 109WebMedia 2015 - 26/10/2015 Outros links interessantes  Vídeo demonstração do PlaySEM: https://youtu.be/aka4jBZcoKk  Vídeo demonstração da integração de aplicação com gestos + SE Renderer: https://youtu.be/a5QPsB2zKpk  Minicurso sobre padrões MPEG no WRVA 2014 http://pt.slideshare.net/EstvoSaleme/integrao-dos-padres-mpeg-na-construo-de-ambientes- de-realidade-virtual-e-aumentada-wrva-2014  Artigo revisão sistemática sobre formato de dados em ambientes de interação avançada: https://www.researchgate.net/publication/277546217_A_Systematic_Review_of_Data_Exch ange_Formats_in_Advanced_Interaction_Environments  Repositório contendo SEVino, SESim e SEMP http://sourceforge.net/projects/sevino/ e http://sourceforge.net/projects/semediaplayer/  Laboratório de efeitos sensoriais da universidade Alpen-Adria (principais atores no cenário mundial) http://selab.itec.aau.at/
    110. 110. 110WebMedia 2015 - 26/10/2015 Referências  B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.  Burnett, I.; Van de Walle, R.; Hill, K.; Bormans, J.; Pereira, F., "MPEG-21: goals and achievements," MultiMedia, IEEE , vol.10, no.4, pp.60,70, Oct-Dec 2003 doi: 10.1109/MMUL.2003.1237551  Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC 1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.  Chiariglione, L., MPEG for Scholapedia, Available in: http://leonardo.chiariglione.org/papers/scholarpedia/mpeg.htm Accessed nov. 2014  Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.  Concolato, C., Lim, S. Y., Park, K., “Text of ISO/IEC CD 23007-2: Advanced user interaction (AUI) interfaces” ISO/IEC JTC1/SC29/WG11 MPEG/N11765, Daegu, Korea, January 2011  Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe  Ebrahimi, T., 2009. Quality of multimedia experience: past, present and future. In Proceedings of the 17th ACM international conference on Multimedia (MM '09). ACM, New York, NY, USA, 3-4. DOI=10.1145/1631272.1631275
    111. 111. 111WebMedia 2015 - 26/10/2015 Referências  Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235  Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.  Han, J., Preda, M., “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.  Jeong Do Kim et al. Development od Scent Display and Its Authoring Tool. ETRI Journal, v.37, Feb 2015.  Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence (URAI), 2011 8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011  M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience Evaluation of Sensory Effects”, Proceedings of the First International Workshop on Quality of Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009.  Nack, Frank; Lindsay, A.T., "Everything you wanted to know about MPEG-7. 1," MultiMedia, IEEE , vol.6, no.3, pp.65,77, Jul-Sep 1999 doi: 10.1109/93.790612
    112. 112. 112WebMedia 2015 - 26/10/2015 Referências  Preda, M., “MPEG-V: a standard for multissensorial and immersive experiences”, 1st International workshop, Korea, January 2011 http://pt.slideshare.net/MariusPreda/mpeg- vawareness-event  S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.  S., K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.  S., K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.  Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator," Advanced Communication Technology (ICACT), 2013 15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013  Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive- future-media-technologies-sensory-experience  Timmerer, C., Müller, K., 2010. Immersive future media technologies: from 3D video to sensory experiences. In Proc. Int. Conf. (MM '10). ACM, New York, NY, USA, 1781-1782. DOI=10.1145/1873951.1874369
    113. 113. 113WebMedia 2015 - 26/10/2015 Referências  Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2012. A toolset for the authoring, simulation, and rendering of sensory experiences. In Proceedings of the 20th ACM international conference on Multimedia (MM '12). ACM, New York, NY, USA, 1469-1472. DOI=10.1145/2393347.2396522  Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009  Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi:10.1109/QOMEX.2010.5517704
    114. 114. 114WebMedia 2015 - 26/10/2015 Mais informações  Celso Alberto Saibel Santos [saibel@inf.ufes.br] br.linkedin.com/pub/celso-alberto-saibel-santos http://lattes.cnpq.br/7614206164174151  Estêvão Bissoli Saleme [estevaobissoli@gmail.com] br.linkedin.com/in/estevaosaleme http://lattes.cnpq.br/8757661847246456

    ×