Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014

481 visualizações

Publicada em

Apresentação utilizada por Estêvão Bissoli Saleme no minicurso integrante do 15º Workshop de Realidade Virtual de Aumentada em 12/11/2014, na cidade de Marília, SP.

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
481
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
1
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Integração dos padrões MPEG na construção de ambientes de realidade virtual e aumentada - WRVA 2014

  1. 1. Integração dos padrões MPEG na construção de Ambientes de Realidade Virtual e Aumentada Apresentado por: Estêvão B. Saleme Universidade Federal do Espírito Santo – UFES Programa de Pós Graduação em Informática - PPGI Laboratório de Pesquisa em Redes e Multimídia – LPRM Workshop de Realidade Virtual e Aumentada Marília, SP, 12/11/2014
  2. 2. 2 Objetivos  Apresentar a família de padrões MPEG (4, 7, 21, U e V) e sua aplicação na criação de ambientes interativos com múltiplos estímulos sensoriais.  Atualizar os participantes com relação ao recente padrão MPEG-V, cujo foco é a interoperabilidade entre o mundo real e mundo virtual.
  3. 3. 3 Agenda  Introdução  Motivação  Cenários de uso  A família MPEG:  Descrição de cenas com MPEG-4  Metadados para descrição de multimídia com MPEG-7  Gerenciamento de mídia e proteção com MPEG-21  Interação avançada com o usuário baseado no MPEG-U  Interoperabilidade entre mundo real e virtual com MPEG-V  Desenvolvimento e simulação de ambiente com estímulos sensoriais com as ferramentas SEVino e SESim do Laboratório de Experiências Sensoriais da universidade Alpen-Adria- Universität Klagenfurt (Áustria).
  4. 4. 4 Introdução  Multimídia tradicional (vídeo, áudio, texto e figura)  Melhorar QoE (Qualidade da Experiência) através de efeitos sensoriais = incrementar realidade virtual  Estímulos através de outros sentidos:  mecanoceptores  quimioceptores  termoceptores
  5. 5. 5 Múltiplos estímulos Vídeo 3D Névoa ))) ((( Luz Temperatura Aroma Vibração Outros...
  6. 6. 6 QoE - Fatores de impacto Fonte: Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future- media-technologies-sensory-experience Qualidade da Experiência (QoE) Fatores técnicos Fatores sociais e psicológicos Usuário Contexto
  7. 7. 7 Experimento QoE Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704
  8. 8. 8 Experimento QoE  MOS vs. PSNR/bit-rate for Babylon A.D. • MOS vs. PSNR/bit-rate for Earth. [3] Fonte: Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi: 10.1109/QOMEX.2010.5517704
  9. 9. 9 Imersão  O Cinema 4D (5D, 6D, etc) Fonte: http://www.youtube.com/watch?v=dRd4qVH7lFE
  10. 10. 10 Multimídia doméstica  Assim como os efeitos 3D, efeitos sensoriais podem ser agregados à dispositivos multimídia domésticos para filmes ou jogos: amBX Game Skunk Cyborg Gaming Lights
  11. 11. 11 Questões Cinema 6D
  12. 12. 12 Resposta 1
  13. 13. 13 Resposta 2
  14. 14. 14 Resposta 3
  15. 15. 15 Interoperabilidade  Porque interoperabilidade entre dispositivos?  Dispositivo que não pode interoperar com outros produtos que o cliente espera interoperar perde valor*  Capacidade de diferentes produtos interoperar entre eles permite aos consumidores uma escolha  MPEG-V (não é 5) = interoperabilidade mundo virtual (ex. jogos, simuladores e aplicações) e mundo real (ex. sensores e atuadores) * Fonte: ECIS - European Committee for Interoperable Systems. Interoperability. Available in http://www.ecis.eu/ecis-interoperability
  16. 16. 16 Efeitos sensoriais  MPEG-V (Parte 3) Fonte: M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience Evaluation of Sensory Effects”, Proceedings of the First International Workshop on Quality of Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009
  17. 17. 17 Porque MPEG?  Existência de ferramentas de autoria MPEG compliance  Conjunto de padrões aceitos internacionalmente (ex. MPEG-2 -> DVD)  Mídias e players de diversas fontes capazes de interoperar
  18. 18. 18 MPEG onde mais?  Cenário 1 – Jogo de tabuleiro com movimento através de gestos  Cenário 2 – Coleta de informações do ambiente para Realidade Aumentada  Cenário 3 – Efeitos sensoriais através de broadcast  Cenário 4 – Controle distintos para voos não tripulados (drones) - Extensão
  19. 19. 19 Cenário 1 Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.
  20. 20. 20 Cenário 2 Fonte: Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator,“ Advanced Communication Technology (ICACT), 2013 15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013
  21. 21. 21 Cenário 3 Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
  22. 22. 22 Cenário 4 (extensão) Fonte: Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence (URAI), 2011 8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011
  23. 23. 23 Cenário dirigido  Trailer Indiana Jones com metadados descritos e integrados através dos padrões MPEG Fonte: http://www.youtube.com/watch?v=nMhfESAa4tw
  24. 24. 24 Cenário dirigido Vídeo Player Dispositivos Checa condições Adapta conteúdo Executa Codificador de Aúdio e Vídeo Simuladores Motores de Renderização Metadados A/V Promove efeitos Autoria Efeitos Autoria DRM Sensoriais busca Recupera conteúdo Autoria Descrição Conteúdo Mídia FFMpeg, MEncoder, etc MPEG-2, MPEG-4 AXMEDIS BR-PR, play = U$ 1,00 SEM U$ 10,00 pré-pago SEVino: 16 Vento, 7 vibração e luz automática IBM VideoAnnEx: cena cataratas e Dr. Jones com lanterna MPEG-21 MPEG-V MPEG-7
  25. 25. 25 MPEG-7  Denominado “Interface de descrição de conteúdo multimídia”  Permite descrever vários tipos de conteúdo multimídia  Não depende da codificação  Suporta múltiplos idiomas
  26. 26. 26 MPEG-7 – Necessidade  Grande quantidade de conteúdo audiovisual na internet  Valor da informação também depende de como ela pode ser encontrada, recuperada, acessada, filtrada e gerenciada  MPEG-7 é usado para buscas eficientes e filtros em vários tipos de conteúdo multimedia
  27. 27. 27 MPEG-7 - Partes  Part 1 Systems  Part 2 Description Definition Language  Part 3 Visual  Part 4 Audio  Part 5 Multimedia Description Schemes  Part 6 Reference Software  Part 7 Conformance  Part 8 Extraction and Use of MPEG-7 Descriptions  Part 9 Profiles  Part 10 Schema definition  Part 11 Profile schemas  Part 12 Query Format
  28. 28. 28 MPEG-7 - Tipos de descrição  Física  Perceptiva  Transcrição  Arquitetural  Anotação
  29. 29. 29 MPEG-7 – Onde usar?  Descrever guia EPG de TV interativa  Educação (anotação de aula)  Jornalismo (por exemplo, procurar um político falando sobre determinado assunto)  Informações turísticas e serviços culturais (museus, galerias de arte, etc)  Redes sociais (para descrever imagens)
  30. 30. 30 MPEG-7 - Exemplo Fonte: Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235
  31. 31. 31 MPEG-7 – Cenário Dirigido
  32. 32. 32 MPEG-7 – Cenário Dirigido
  33. 33. 33 MPEG-21  Objetivo de definir um framework para aplicações multimídia fundamentado em 2 conceitos:  Digital Item (o que?): unidade fundamental de distribuição e transação  Usuários (quem?) interagindo com Digital Item
  34. 34. 34 MPEG-21 - Partes  Part 1 Vision, Technologies and Strategy  Part 2 Digital Item Declaration  Part 3 Digital Item Identification and Description  Part 4 IPMP Components  Part 5 Rights Expression Language  Part 6 Rights Data Dictionary  Part 7 Digital Item Adaptation  Part 8 Reference Software  Part 9 File Format  Part 10 Digital Item Processing  Part 11 Evaluation Tools for Persistent Association  Part 12 Test Bed for MPEG-21 Resource Delivery  Part 13 VOID  Part 14 Conformance  Part 15 Event reporting  Part 16 Binary format  Part 17 Fragment Identification  Part 18 Digital Item Streaming  Part 19 Media Value Chain Ontology
  35. 35. 35 MPEG-21 - Partes  Parte 2 – DID - inclui recursos, identificadores, metadados, chaves de criptografia, licenças  Parte 3 – DII - Identificação única de Digital Item  Parte 4 – IPMP -> DRM Proteção de recursos (apoio das partes 5 e 6)  Parte 7 – DIA – adaptação de conteúdo (ex.: diminuir ou aumentar bitrate de acordo com a condição da rede de transporte)
  36. 36. 36 MPEG-21 - Cenário Dirigido
  37. 37. 37 MPEG-21 - Cenário Dirigido
  38. 38. 38 MPEG-21 - Cenário Dirigido
  39. 39. 39 MPEG-U  Diversidade tecnológica (Heterogeneidade)  Interação homogênea  Motivação (Padronização)  Partes:  Part 1 Widgets  Part 2 Advanced User Interaction Interface  Part 3 Reference Software and Conformance
  40. 40. 40 MPEG-U – Widgets  Iniciativas de tecnologias e padronização de widgets: W3C Widgets 1.0, Web4CE, Yahoo! Widgets e Google Gadgets  Extensão da norma W3C Widgets, adicionando:  descoberta dinâmica de serviços e widgets  comunicação com serviços e widgets descobertos  migração de um widget de um dispositivo para outro mantendo o contexto de execução
  41. 41. 41 MPEG-U – Widgets  Arquitetura Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
  42. 42. 42 MPEG-U – Widgets  Exemplo do arquivo manifesto:
  43. 43. 43 MPEG-U – AUI  Interação do usuário avançada baseada em sistema de interface ou interface AUI (Advanced User Interaction)  visa melhorar a interação de entrada/saída entre dispositivos e aprimorar as descrições das cenas representadas por mídias ricas.
  44. 44. 44 MPEG-U – AUI Fonte: https://www.leapmotion.com/
  45. 45. 45 MPEG-U – AUI  Com o fim de tornar interoperável a comunicação entre dispositivos e as cenas, foi criado o MPEG-U parte 2.  A norma fornece um conjunto de formato de dados que define padrões geométricos, símbolos, padrões de toques, padrões estado, entre outros.
  46. 46. 46 MPEG-U – AUI Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.
  47. 47. 47 MPEG-U – AUI Padrão Tipo Geométrico ponto, linha , retângulo, arco, círculo Simbólico vitória, coração, rock, tesoura, papel, OK. Condição da mão palma da mão, mão fechada, apontando, positivo com o polegar, negativo com o polegar, segurar. Gesto empurre, puxe, tapa esquerda, tapa direita, tapa para cima, tapa para baixo, circulo horário, círculo anti-horário, onda, check. Toque toque, duplo toque, pressionar arrastar, rotação, movimento de risco. Composição Composição dos padrões listados anteriormente.
  48. 48. 48 MPEG-U – AUI Fonte: Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.
  49. 49. 49 MPEG-U – Conformidade  Trata a conformidade com os requisitos sintáticos e semânticos especificados na ISO/IEC 23007-1  Especificar aspectos de conformidade e recomendar boas práticas para:  Garantir que widgets de diferentes provedores possam rodar e se comunicar em um framework único
  50. 50. 50 MPEG-U - Caso de uso  “Jules está assistindo TV e recebe um widget para votar em seu candidato favorito de um programa de TV. Entretanto ele prefere enviar um texto usando seu telefone. A TV detecta que o telefone dele está em uma área adequada. A TV automaticamente transfere parte do widget para seu telefone. Uma vez transferido, Jules pode votar usando seu telefone.” Fonte: Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.
  51. 51. 51 MPEG-U - Caso de uso Fonte: Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC 1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.
  52. 52. 52 MPEG-U - Considerações  Preocupação com a universalidade na linguagem entre os mais diversos tipos de dispositivos  Desenvolvedores de widgets podem focar no interesse da aplicação  Permite o desenvolvimento de aplicações sensíveis ao contexto (comunicação dinâmica + gestão de contexto)  Dificuldades para adoção em massa pela indústria, focada em seus ecossistemas
  53. 53. 53 MPEG-V  Interoperabilidade entre Mundo Real (ex. sensores e atuadores) e Mundo Virtual (jogos, DVD, simulação)  Especificações:  informações sobre capacidade de dispositivos  efeitos sensoriais  características de objetos do mundo virtual  formato de dados para interação entre dispositivos
  54. 54. 54 MPEG-V - Partes  Part 1 Architecture  Part 2 Control Information  Part 3 Sensory Information  Part 4 Virtual World Object Characteristics  Part 5 Data Formats for Interaction Devices  Part 6 Common Types and Tools  Part 7 Reference Software
  55. 55. 55 MPEG-V - Arquitetura Sensed Information (5) VW Object Characteristics (4) R→V AdaptaƟon: converts Sensed Info from RW to VW Object Char./Sensed Info applied to VW Sensed Information (5) Virtual World Sensor Device Capability (2) Sensor Adaptation Preferences (2) Real World (Sensors) User #2: R2V: Real World  Adaptation  Virtual World V→R AdaptaƟon: converts Sensory Effects from VW into Device Cmds applied to RW Real World Virtual World Sensory Effects (3) User (Actuators) Sensory Device Capability (2) Device Commands (5) Sensory Effects Preferences (2) #1: V2R: Virtual World  Adaptation  Real World VW Object Characteristics (4) Fonte: S.-K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
  56. 56. 56 MPEG-V - Parte 2  Capacidade de descrição dos atuadores (dispositivos sensoriais) e sensores do mundo real  Capacidade de adaptação de preferência dos dos sensores (temperatura, movimento, velocidade, etc) e/ou atuadores (luzes, ventilador, vibração, aroma, etc) por usuário
  57. 57. 57 MPEG-V – Parte 2 Fonte: S.-K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.
  58. 58. 58 MPEG-V – Parte 2  Linguagem de descrição de controle da informação (CIDL - Control Information Description Language)  Vocabulários:  DCDV - Device Capability Description Vocabulary  SCDV - Sensor Capability Description Vocabulary  SEPV - User’s Sensory Effect Preference Vocabulary  SAPV - Sensor Adaptation Preference Vocabulary
  59. 59. 59 MPEG-V – Parte 2 DCDV SCDV SEPV SAPV Light device Light sensor capability Light effect Light sensor adaptation preference Flash device Ambient noise sensor capability Flash effect Ambient noise sensor adaptation preference Heating device Temperature sensor capability Heating effect Temperature sensor adaptation preference Cooling device Humidity sensor capability Cooling effect Humidity sensor adaptation preference Wind device Distance sensor capability Wind effect Distance sensor adaptation preference Vibration device Atmospheric pressure Sensor capability Vibration effect Atmospheric pressure sensor adaptation preference Sprayer device Position sensor capability Sprayer effect Position sensor adaptation preference Scent device Velocity sensor capability Scent effect Velocity sensor adaptation preference Fog device Acceleration sensor capability Fog effect Acceleration sensor adaptation preference Color correction device Orientation sensor capability Color correction effect Orientation sensor adaptation preference Rigid body motion device Angular velocity sensor capability Rigid body motion effect Angular velocity sensor adaptation preference Tactile device Angular acceleration sensor capability Tactile effect Angular acceleration sensor adaptation preference Kinesthetic device Force sensor capability Kinesthetic effect Force sensor adaptation preference Mobile device position Torque sensor capability Torque sensor adaptation preference Pressure sensor capability Pressure sensor adaptation preference Motion sensor capability Motion sensor adaptation preference Intelligent camera sensor capability Intelligent camera sensor adaptation preference Bend sensor capability Gas sensor capability Dust sensor capability Multi interaction point sensor capability Gaze tracking sensor capability Global position sensor capability Altitude sensor capability
  60. 60. 60 MPEG-V – Parte 2  Exemplos: Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
  61. 61. 61 MPEG-V – Parte 2  Exemplos: Fonte: S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.
  62. 62. 62 MPEG-V - Parte 3  Especifica linguagem para descrição de Efeitos Sensoriais (SEDL - Sensory Effect Description Language) como luz, aroma, vento, névoa, etc  Os efeitos sensoriais não são parte do SEDL, são definidos através de vocabulários (SEV - Sensory Effect Vocabulary )  Metadados de efeitos sensoriais são descritos através de SEDL  Usado em adição ao conteúdo áudio visual para incrementar QoE
  63. 63. 63 MPEG-V – Parte 3  Light, colored light, flash light  Temperature  Wind  Vibration  Water sprayer  Scent  Fog  Color correction  Rigid body motion  Passive kinesthetic motion  Passive kinesthetic force  Active kinesthetic  Tactile
  64. 64. 64 MPEG-V – Parte 3 Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
  65. 65. 65 MPEG-V – Parte 3 Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-media-technologies-sensory-experience
  66. 66. 66 MPEG-V – Parte 3  Modelo de tempo: Fonte: B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.
  67. 67. 67 MPEG-V – Parte 3 Fonte: Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future-media-technologies-sensory-experience
  68. 68. 68 MPEG-V - Parte 4  Representação de características de objetos (avatares ou objetos genéricos) no mundo virtual  2 propósitos: caracterizar vários tipos de objetos no ambiente virtual e prover interação com o ambiente virtual  Pode ser usado para reproduzir características do mundo real (capturados por sensores) no mundo virtual  Interoperar informações de avatares entre mundos virtuais distintos
  69. 69. 69 MPEG-V – Parte 4  Não inclui informação de geometria, som, animação, textura, mas pode ser combinado com o MPEG-4 Parte 11 (elementos gráficos) e 16 (definir e animar avatares)  Exemplo sintaxe descrição avatar: Fonte: J.J Han, M. Preda, “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.
  70. 70. 70 MPEG-V - Parte 5  Formato de dados para interação de dispositivos  Comandos para atuadores e informação capturada a partir de sensores  Especifica uma linguagem para descrição de interface para interação (IIDL - Interaction Interface Description Language )  Vocabulários parte da IIDL:  DCV - Device Command Vocabulary  SIV - Sensed Information Vocabulary
  71. 71. 71 MPEG-V – Parte 5  Light device  Flash device  Heating device  Cooling device  Wind device  Vibration device  Sprayer device  Scent device  Fog device  Color correction device  Initialize color correction parameter device  Rigid body motion device  Tactile device  Kinesthetic device  Global position command device. DCV:
  72. 72. 72 MPEG-V – Parte 5  Terms of Sensor  Light sensor  Ambient noise sensor  Temperature sensor  Humidity sensor  Distance sensor  Atmospheric pressure Sensor  Position sensor  Velocity sensor  Acceleration sensor  Orientation sensor  Angular velocity sensor  Angular acceleration sensor  Force sensor  Torque sensor  Pressure sensor  Motion sensor  Intelligent camera sensor  MultiInteraction point sensor  Gaze tacking sensor  Wind sensor  Global position sensor  Altitude sensor  Bend sensor  Gas sensor  Dust sensor  Body height sensor  Body weight sensor  Body temperature sensor  Body fat sensor  Blood type sensor  Blood pressure sensor  Blood sugar sensor  Blood oxygen sensor  Heart rate sensor  Electrograph sensor  EEG sensor  ECG sensor  EMG sensor  EOG sensor  GSR sensor  Bio sensor  Weather sensor  Facial expression sensor  Facial morphology sensor  Facial expression characteristics sensor  Geomagnetic sensor SIV:
  73. 73. 73 MPEG-V – Parte 5 Comando para Vento Sensor de Temperatura Fonte: K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.
  74. 74. 74 MPEG-V – Cenário Dirigido Efeitos de luz com auto extração
  75. 75. 75 Demonstração Fonte: http://www.youtube.com/watch?v=xWpDCABp6zg
  76. 76. 76 SEVino  SEVino (Sensory Effect Video Annotation)  Permite anotar sequências de vídeo com vários efeitos sensoriais  Inclui 7 possíveis efeitos: luz, vento, vibração, névoa, cheiro, temperatura e spray de água  Ferramenta de código-aberto escrita em java  Apoio de ferramentas de terceiros (Ffmpeg e VLC)  Desenvolvido pelo SELAB da universidade Alpen- Adria-Universität Klagenfurt (Áustria)
  77. 77. 77 SEVino
  78. 78. 78 SEVino Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009
  79. 79. 79 SESim  SESim (Sensory Effect Simulator)  Permite simular efeitos sensoriais descritos (SEM) em MPEG-V  Ferramenta de código-aberto escrita em java  Integrado ao SEVino 2.0  Baseado na ferramenta comercial amBX  Desenvolvido pelo SELAB da universidade Alpen-Adria-Universität Klagenfurt (Áustria)
  80. 80. 80 SESim
  81. 81. 81 SESim Fonte: Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009
  82. 82. 82 Código-fonte Disponível em: http://sourceforge.net/projects/sevino/
  83. 83. 83 Ambiente  Requisitos:  Eclipse IDE  Java 1.6 ou superior  VLC media player 2.1  SEVino 2.0
  84. 84. 84 Demonstração  SEVino 2 com cenário dirigido em execução SEVino.bat
  85. 85. 85 Exercícios  1) Anotar um vídeo com SEM contendo pelo menos 3 efeitos sensoriais (se usar luz, deve ser extraída automaticamente). Devem ser incluídos pelo menos 20 intervalos de efeitos na linha de tempo.  2) Alterar a anotação anterior incluindo efeito de luz manualmente com pelo menos 3 posições e cores distintas.
  86. 86. 86 Referências  B.S. Choi, S.-K. Kim, “Text of ISO/IEC FDIS 23005-3 2nd edition Sensory Information” ISO/IEC JTC 1/SC 29/WG 11/N13059, Shanghai, China, Oct. 2012.  Burnett, I.; Van de Walle, R.; Hill, K.; Bormans, J.; Pereira, F., "MPEG-21: goals and achievements," MultiMedia, IEEE , vol.10, no.4, pp.60,70, Oct-Dec 2003 doi: 10.1109/MMUL.2003.1237551  Cha, J., Lim, S. Y., Concolato, C., Cordara, G., Park, K., “White Paper on MPEG-U” ISO/IEC JTC 1/SC 29/WG 11 N13535, Incheon, Korea, April 2013.  Chiariglione, L., MPEG for Scholapedia, Available in: http://leonardo.chiariglione.org/papers/scholarpedia/mpeg.htm Accessed nov. 2014  Concolato, C., Cordara, G., Park, K., “ISO/IEC FCD 23007-1 (MPEG-U)” ISO/IEC JTC1/SC29/WG11 N10977, Xi'an, China, October 2009.  Concolato, C., Lim, S. Y., Park, K., “Text of ISO/IEC CD 23007-2: Advanced user interaction (AUI) interfaces” ISO/IEC JTC1/SC29/WG11 MPEG/N11765, Daegu, Korea, January 2011  Ebrahimi, T., “Quality of Multimedia Experience: Past, Present and Future”, Keynote at ACM Multimedia, Beijing, China, Oct 22, 2009. http://www.slideshare.net/touradj_ebrahimi/qoe  Ebrahimi, T., 2009. Quality of multimedia experience: past, present and future. In Proceedings of the 17th ACM international conference on Multimedia (MM '09). ACM, New York, NY, USA, 3-4. DOI=10.1145/1631272.1631275
  87. 87. 87 Referências  Frank Nack and Adam T. Lindsay. 1999. Everything You Wanted to Know About MPEG-7: Part 2.IEEE MultiMedia 6, 4 (October 1999), 64-73. DOI=10.1109/93.809235  Greevenbosch, B., “WD of ISO/IEC 23007-2:201x Second Edition (including Additional gestures and multi-modal interaction)” ISO/IEC JTC 1/SC 29/WG 11N 13075, Shanghai, China, Oct. 2012.  Han, J., Preda, M., “Text of ISO/IEC FDIS 23005-4 2nd edition Virtual World Object Characteristics” ISO/IEC JTC 1/SC 29/WG 11/N13061, Shanghai, China, Oct. 2012.  Kyoungro Yoon; Doohyun Kim; Young-Guk Ha, "Control of unmanned flying vehicle based on MPEG-V international standard," Ubiquitous Robots and Ambient Intelligence (URAI), 2011 8th International Conference on , vol., no., pp.64,67, 23-26 Nov. 2011  M. Waltl, C. Timmerer, H. Hellwagner, “A Test-Bed for Quality of Multimedia Experience Evaluation of Sensory Effects”, Proceedings of the First International Workshop on Quality of Multimedia Experience (QoMEX 2009), San Diego, USA, July, 2009.  Nack, Frank; Lindsay, A.T., "Everything you wanted to know about MPEG-7. 1," MultiMedia, IEEE , vol.6, no.3, pp.65,77, Jul-Sep 1999 doi: 10.1109/93.790612  Preda, M., “MPEG-V: a standard for multissensorial and immersive experiences”, 1st International workshop, Korea, January 2011 http://pt.slideshare.net/MariusPreda/mpeg-vawareness- event
  88. 88. 88 Referências  S. Han, K.R. Yoon, “Text of ISO/IEC FDIS 23005-2 2nd edition Control Information” ISO/IEC JTC 1/SC 29/WG 11/N13057, Shanghai, China, Oct. 2012.  S., K, Kim, J.J. Han, “Text of white paper on MPEG-V” ISO/IEC JTC 1/SC 29/WG 11 W14187, San Jose, USA – Jan., 2014.  S., K, Kim, K.R. Yoon, J.J. Han, “Text of ISO/IEC FDIS 23005-5 2nd edition Data Formats for Interaction Device” ISO/IEC JTC 1/SC 29/WG 11/N13063, Shanghai, China, Oct. 2012.  Seong Gon Choi; Mi Ryong Park, "An architecture and method using MPEG-V metadata in smartphone and sensor aggregator," Advanced Communication Technology (ICACT), 2013 15th International Conference on , vol., no., pp.139,142, 27-30 Jan. 2013  Timmerer, C., “Immersive Future Media Technologies: Sensory Experience” MobiMedia 2011, Cagliari, Italy, 5th September, 2011. http://pt.slideshare.net/christian.timmerer/immersive-future- media-technologies-sensory-experience  Timmerer, C., Müller, K., 2010. Immersive future media technologies: from 3D video to sensory experiences. In Proceedings of the international conference on Multimedia (MM '10). ACM, New York, NY, USA, 1781-1782. DOI=10.1145/1873951.1874369  Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2012. A toolset for the authoring, simulation, and rendering of sensory experiences. In Proceedings of the 20th ACM international conference on Multimedia (MM '12). ACM, New York, NY, USA, 1469-1472. DOI=10.1145/2393347.2396522
  89. 89. 89 Referências  Waltl, M., Rainer, B., Timmerer, C., Hellwagner, H., 2013. An end-to-end tool chain for Sensory Experience based on MPEG-V. Image Commun. 28, 2 (February 2013), 136-150. DOI=10.1016/j.image.2012.10.009  Waltl, M.; Timmerer, C.; Hellwagner, H., "Improving the Quality of multimedia Experience through sensory effects," Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop on , vol., no., pp.124,129, 21-23 June 2010 - doi:10.1109/QOMEX.2010.5517704
  90. 90. 90 Material de apoio  Cenário dirigido (vídeo e anotações)  Binários SEVino 2  Todas as referências utilizadas e assuntos relacionados  Download disponível em: http://goo.gl/GZwjjF (157 MB)  Senha do arquivo é ...
  91. 91. 91 Obrigado pela atenção!  Estêvão Bissoli Saleme br.linkedin.com/in/estevaosaleme http://lattes.cnpq.br/8757661847246456  Dr. Celso Alberto Saibel Santos (Orientador) br.linkedin.com/pub/celso-alberto-saibel-santos http://lattes.cnpq.br/7614206164174151 Universidade Federal do Espírito Santo, Av. Fernando Ferrari, S/N, Vitória - ES, 29060-970, + 55 (27) 4009-2130

×