Ambientes Aumentados e
 Novas Formas Narrativas
Nuno Correia
DI/FCT/UNL e
CITI (Centro de Informática
e Tecnologias de Inf...
Resumo

Introdução e contexto
  Convergência dos media, interfaces tangíveis,
  wearables, realidade aumentada, realidade
...
CITI (Centro de Informática e
 Tecnologias de Informação)

Dep. Informática, FCT-UNL
Investigação fundamental
Investigação...
CITI (Centro de Informática e
  Tecnologias de Informação)

Cerca de 40 doutorados
Estudantes de doutoramento e mestrado
F...
CITI (Centro de Informática e
  Tecnologias de Informação)

Linhas de investigação:
  Programming Languages and Models
  S...
IMG
 Direcções de Investigação

Ambientes aumentados e mistos
Hipermédia
Personalização
Geração semi-automática de informa...
Introdução e
Contexto
Convergência dos Media

A televisão e o computador vão coexistir
com muitos outros dispositivos
  Mil canais?
Mobilidade a...
Telecomunicações

Mudança de paradigma: evolução das
comunicações/evolução do computador pessoal
Flexibilidade na gestão e...
Inteligência nos Objectos

Redes de comunicação e processamento
distribuídas pelos objectos
Rede de sensores (RF tags, IR,...
Interfaces Tangíveis

              Tangible Media,
              MIT Media Lab
Tangible Interfaces
               Kunst University,
                 Linz, Austria
Wearable Computer

Cada pessoa veste o seu computador (e
comunicador) pessoal
Rede pessoal comunica com sensores,
objectos...
Wearable Computer (Hoje)
Wearable Computer (Hoje)
Wearable Computer
Wearable Computer
Realidade Aumentada

Composição, em tempo real, de imagens
sintéticas com imagens reais
Acesso a informação adicional
Perm...
Tracking com Marcas Fiduciais
        (exemplo: AR Toolkit)
Tracking com Sensores
                Inerciais e Magnéticos
        N

    W       E

        S


   Sensores

3D Model S...
Hipermédia no
Mundo Real
Hipermédia e Realidade Mista

 Mecanismos hipermédia para realidade
 mista
 Em desenvolvimento DI/FCT/UNL,
 colaboração de...
Cenário

Espaço físico
Utilizador caminha pelo espaço
Vídeo real e detecção de locais/objectos
Informação aumentada sobre ...
Aplicações

Assistente de informação num museu/galeria
Jogo (mistério/aventura/exploração)
Objectos físicos são quadros em...
Cenário

Quadros de Edward Hopper
  Nighthawks
  Drugstore
Localização do utilizador e dos quadros
História de mistério: q...
Cenário
Virtual Nighthawks
Componentes do Sistema

Sistema Local
  Dispositivo portátil
  Captura de vídeo
  Reconhecimento óptico de marcas (AR Tool...
Arquitectura
Interface Realidade Mista (1)
Interface Realidade Mista (2)
Estrutura da Interface Mundo 3D
Novas Formas
Narrativas
Novas Formas Narrativas

Modelo narrativo tradicional é passivo
Televisão interactiva, filmes interactivos,
potenciam nova...
Hipervídeo

Hipermédia em que o tipo de informação
dominante é vídeo
  Natureza dinâmica e processo narrativo do
  vídeo
 ...
Redefinir as Hiperligações (AHM)
Exemplo
Aspectos estéticos e retóricos

Integração nas dimensões estéticas e
retóricas [Liestøl, ECHT94]
Evitar descontinuidades a...
HyperCafe



Café virtual, que integra um
conjunto de situações/cenas
nas quais é possível navegar
[Sawhney96] ACM Hyperte...
Conceitos (HyperCafe)

Cena: Menor unidade do hipervídeo,
sequência de imagens.
Sequência narrativa: Um caminho
(path) din...
Conceitos Cont.(HyperCafe)

Oportunidades de ligação
  Temporais: Pequenas sequências de vídeo
  referentes a cenas destin...
HyperCafe

Temporal Hypertext
Intruding on a Scene




Temporal Opportunity as a
Video-based Preview




Spatio-Temporal O...
MediaLoom
Cinema Interactivo
Voodoo Dolls, Michael Lew, MLE
Cinema Interactivo
Voodoo Dolls, Michael Lew, MLE
Cinema Interactivo
Voodoo Dolls, Michael Lew, MLE
Cinema Interactivo
Cinema Interactivo

             Margi Szperling,
             Uncompressed
Metacinema

Narrativas baseadas na localização do
utilizador
  Caça ao tesouro
Dispositivos e redes móveis
Participação do...
M-Views
M-Views
InStory

Projecto financiado pela FCT/MCES
centrado na Quinta da Regaleira
(DI/FCT/UNL, IST, Univ. de Évora)
Histórias per...
InStory




Quinta da Regaleira,
Sintra, Portugal


                       Poço Templário
InStory
InStory
Arquitectura
 Arquitectura cliente-servidor sobre uma
 rede wireless 802.11
  Sistema de
posicionamento              Clien...
Comunicação cliente-servidor

-   req    (in, out, pos)
-   user   (username)                                             ...
Cliente InStory v2.0

Aplicação com características de browser de
documentos hypermedia
Interface definida pelas páginas a...
Cliente InStory v2.0 -
            Arquitectura
                                      User                      Graphical ...
Projecto InStory - Narrativas
Em desenvolvimento para a Quinta da Regaleira,
Sintra, em parceria com a Fundação
CulturSint...
Projecto InStory - Narrativas
Narrativa actual:
  Temática alusiva à caça,
  utilizando elementos
  presentes no espaço da...
InStory Project - Narrativas
                             # 0 Reception




                             # 1 Palace




  ...
Cliente InStory - Interface

Interface definida pelas páginas apresentadas
As páginas são descritas por documentos XML, à
...
Cliente InStory – Modos

Divisão das páginas em cinco tipos distintos, consoante o
seu propósito:
   Opções da aplicação
 ...
Cliente – Modos – Opções

O modo de opções
providencia um menu de
opções, comum em
aplicações de diversos
tipos. As página...
Cliente – Modos – Jogador

O modo de jogador
apresenta informação
acerca das estatísticas do
utilizador no sistema tais
co...
Cliente – Modos – Jogo

O modo de jogo destina-se
exclusivamente à
apresentação de conteúdo
relativo à narrativa ou jogo
–...
Cliente – Modos – Mapa
O modo de mapa
apresenta páginas que
possuem um mapa do
espaço físico. As páginas
deste tipo destin...
Cliente – Informação
O modo de informação
permite o acesso e navegação
em páginas hypermedia
pertencentes a uma colecção
d...
Cliente InStory – Contribuição
Captura e upload de imagens
com anotação de voz e
subjacentes a um tema
Os dados são geo-
r...
Cliente InStory – Posicionamento

Dois sistemas de posicionamento distintos
  Global Positioning System (GPS)
   • Baseia-...
Authoring: Arquitectura
Authoring: InML
Authoring: SLang
Authoring: InAuthor
Authoring: InAuthor
Authoring: InContent
PhotoNav
Novas Interfaces
Referências

http://img.di.fct.unl.pt/InStory
http://tangible.media.mit.edu/
http://alumni.media.mit.edu/~lew/resear
ch/vo...
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Ambientes Aumentados e Novas Formas Narrativas
Próximos SlideShares
Carregando em…5
×

Ambientes Aumentados e Novas Formas Narrativas

3.372 visualizações

Publicada em

Publicada em: Tecnologia, Turismo
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
3.372
No SlideShare
0
A partir de incorporações
0
Número de incorporações
24
Ações
Compartilhamentos
0
Downloads
15
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Ambientes Aumentados e Novas Formas Narrativas

  1. 1. Ambientes Aumentados e Novas Formas Narrativas Nuno Correia DI/FCT/UNL e CITI (Centro de Informática e Tecnologias de Informação) nmc@di.fct.unl.pt http://img.di.fct.unl.pt
  2. 2. Resumo Introdução e contexto Convergência dos media, interfaces tangíveis, wearables, realidade aumentada, realidade aumentada Hipermédia no mundo real Novas formas narrativas Projecto InStory Perspectivas
  3. 3. CITI (Centro de Informática e Tecnologias de Informação) Dep. Informática, FCT-UNL Investigação fundamental Investigação aplicada Pós-graduação (PhD, MSc) No âmbito do departamentp de Informática: • Mestrado em Engenharia Informática Em programas europeus
  4. 4. CITI (Centro de Informática e Tecnologias de Informação) Cerca de 40 doutorados Estudantes de doutoramento e mestrado Financiado pelo Ministério da Ciência e Ensino Superior: Cerca de 100K Euro cada ano Adicionalmente 133K Euro Programático Avaliação externa: Muito Bom (2004) Projectos financiados: Projectos nacionais (FCT) Projectos internacionais (UE)
  5. 5. CITI (Centro de Informática e Tecnologias de Informação) Linhas de investigação: Programming Languages and Models Software Engineering Parallel and Distributed Processing Large-Scale Distributed Computing Computer Graphics Interactive Multimedia (IMG) Geographic Information Systems Natural Language Processing
  6. 6. IMG Direcções de Investigação Ambientes aumentados e mistos Hipermédia Personalização Geração semi-automática de informação Novos modelos narrativos e novos media Anotação e Metadata (MPEG-7) Processamento de imagem e vídeo
  7. 7. Introdução e Contexto
  8. 8. Convergência dos Media A televisão e o computador vão coexistir com muitos outros dispositivos Mil canais? Mobilidade assume um papel essencial Múltiplas formas de acesso, múltiplos estímulos sensoriais Multimodal -> Intermodal Desafios tecnológicos e novos modelos narrativos
  9. 9. Telecomunicações Mudança de paradigma: evolução das comunicações/evolução do computador pessoal Flexibilidade na gestão e configuração das redes (móveis) Redefinição da função do terminal (Java?) Redes ad-hoc, estabelecidas de acordo com necessidades temporárias Partilha de recursos incluindo processamento e comunicação Comunicação viral, peer to peer (modelo Napster)
  10. 10. Inteligência nos Objectos Redes de comunicação e processamento distribuídas pelos objectos Rede de sensores (RF tags, IR, ...) Modelos de computação massivamente distribuídos Computadores como tinta Interfaces tangíveis: o mundo como interface
  11. 11. Interfaces Tangíveis Tangible Media, MIT Media Lab
  12. 12. Tangible Interfaces Kunst University, Linz, Austria
  13. 13. Wearable Computer Cada pessoa veste o seu computador (e comunicador) pessoal Rede pessoal comunica com sensores, objectos, computadores (exemplo, Jini) Realidade aumentada, fornece informação adicional sobre o mundo que nos rodeia
  14. 14. Wearable Computer (Hoje)
  15. 15. Wearable Computer (Hoje)
  16. 16. Wearable Computer
  17. 17. Wearable Computer
  18. 18. Realidade Aumentada Composição, em tempo real, de imagens sintéticas com imagens reais Acesso a informação adicional Permite que o utilizador tenha uma melhor percepção sobre o mundo real
  19. 19. Tracking com Marcas Fiduciais (exemplo: AR Toolkit)
  20. 20. Tracking com Sensores Inerciais e Magnéticos N W E S Sensores 3D Model Server Composer
  21. 21. Hipermédia no Mundo Real
  22. 22. Hipermédia e Realidade Mista Mecanismos hipermédia para realidade mista Em desenvolvimento DI/FCT/UNL, colaboração de FBA/UL O mundo através do Internet Explorer? Como se guardam os sítios visitados num sistema deste tipo? Como se fazem bookmarks? ... Protótipo de Museu (Edward Hopper)
  23. 23. Cenário Espaço físico Utilizador caminha pelo espaço Vídeo real e detecção de locais/objectos Informação aumentada sobre vídeo História da experiência Narrativas contextuais
  24. 24. Aplicações Assistente de informação num museu/galeria Jogo (mistério/aventura/exploração) Objectos físicos são quadros em diferentes partes de uma sala Modelos 3D destes quadros permitem a navegação em busca de novas experiências e informação Ambiente de teste: PC Portátil com rede wireless, câmara, óculos see through, usa AR Toolkit
  25. 25. Cenário Quadros de Edward Hopper Nighthawks Drugstore Localização do utilizador e dos quadros História de mistério: quem roubou o diário?
  26. 26. Cenário
  27. 27. Virtual Nighthawks
  28. 28. Componentes do Sistema Sistema Local Dispositivo portátil Captura de vídeo Reconhecimento óptico de marcas (AR Toolkit) Game engine Serviços Remotos Servidor 3D da cena (ANTS) Grafo Hipermédia
  29. 29. Arquitectura
  30. 30. Interface Realidade Mista (1)
  31. 31. Interface Realidade Mista (2)
  32. 32. Estrutura da Interface Mundo 3D
  33. 33. Novas Formas Narrativas
  34. 34. Novas Formas Narrativas Modelo narrativo tradicional é passivo Televisão interactiva, filmes interactivos, potenciam novas formas narrativas e de interacção Existem limitações tecnológias a ultrapassar Múltiplas histórias e múltiplos canais de interacção O espectador passa também a ser autor Narrativas no espaço
  35. 35. Hipervídeo Hipermédia em que o tipo de informação dominante é vídeo Natureza dinâmica e processo narrativo do vídeo Aspectos estéticos e retóricos da integração com outros media Modelação do tempo (hiperligações) Sistemas relevantes: AHM (Amsterdam Hypermedia Model) Kontiki Museum HyperCafe
  36. 36. Redefinir as Hiperligações (AHM)
  37. 37. Exemplo
  38. 38. Aspectos estéticos e retóricos Integração nas dimensões estéticas e retóricas [Liestøl, ECHT94] Evitar descontinuidades ao passar de um meio a outro Exemplo: Forma passiva/experiencial de ver vídeo para a leitura activa/reflexiva de um livro Resulta num conjunto de regras: Dimensão topográfica para o vídeo Atribuição de propriedades temporais ao texto Narração para efeito de continuidade
  39. 39. HyperCafe Café virtual, que integra um conjunto de situações/cenas nas quais é possível navegar [Sawhney96] ACM Hypertext
  40. 40. Conceitos (HyperCafe) Cena: Menor unidade do hipervídeo, sequência de imagens. Sequência narrativa: Um caminho (path) dinâmico através do conjunto de cenas. Ligações Temporais: Referência baseada no tempo entre diferentes cenas (um instante na cena de origem provoca apresentação do destino). Espacio-temporais: Zona espacial na cena de origem provoca apresentação de outra cena, a partir de um determinado instante.
  41. 41. Conceitos Cont.(HyperCafe) Oportunidades de ligação Temporais: Pequenas sequências de vídeo referentes a cenas destino, numa cena de origem, que são apresentadas durante um determinado período, em pontos específicos no tempo. Espaciais: Uma zona espacial dinâmica na fonte de vídeo que pode provocar a apresentação de diferentes nós de destino.
  42. 42. HyperCafe Temporal Hypertext Intruding on a Scene Temporal Opportunity as a Video-based Preview Spatio-Temporal Opportunities in a Scene
  43. 43. MediaLoom
  44. 44. Cinema Interactivo Voodoo Dolls, Michael Lew, MLE
  45. 45. Cinema Interactivo Voodoo Dolls, Michael Lew, MLE
  46. 46. Cinema Interactivo Voodoo Dolls, Michael Lew, MLE
  47. 47. Cinema Interactivo
  48. 48. Cinema Interactivo Margi Szperling, Uncompressed
  49. 49. Metacinema Narrativas baseadas na localização do utilizador Caça ao tesouro Dispositivos e redes móveis Participação dos utilizadores Fotografias, filmes, anotações Personalização e contextualização Exemplos: M-Views (MIT Media Lab), InStory (DI/FCT/UNL e IST/INESC)
  50. 50. M-Views
  51. 51. M-Views
  52. 52. InStory Projecto financiado pela FCT/MCES centrado na Quinta da Regaleira (DI/FCT/UNL, IST, Univ. de Évora) Histórias personalizadas Localização do utilizador Interesses Histórias para grupos de utilizadores Dispositivos móveis para acesso (PDA iPaq) Arquitectura cliente-servidor, redes ad-hoc Vários cenários: personagens virtuais, jogos, caça ao tesouro, percursos Colaboração MIT Media Lab
  53. 53. InStory Quinta da Regaleira, Sintra, Portugal Poço Templário
  54. 54. InStory
  55. 55. InStory
  56. 56. Arquitectura Arquitectura cliente-servidor sobre uma rede wireless 802.11 Sistema de posicionamento Cliente Servidor Actualização Actualização da posição da posição Tabela de conteúdos Selecção de conteúdos Pedido de documento Documento
  57. 57. Comunicação cliente-servidor - req (in, out, pos) - user (username) Requests - lat (latitude) - lon (longitude) Example: server_url/index.php?req=quot;inquot;&user=quot;LuisAlvesquot;&lat=quot;20quot;&lon=quot;40quot; sever_url/index.php?req=quot;posquot;&user=quot;LuisAlvesquot;&lat=quot;35quot;&lon=quot;40quot; sever_url/index.php?req=quot;posquot;&user=quot;LuisAlvesquot;&lat=quot;60quot;&lon=quot;45quot; sever_url/index.php?req=quot;outquot;&user=quot;LuisAlvesquot;&lat=quot;25quot;&lon=quot;45quot; <content> <image x=quot;0quot; y=quot;0quot; url=quot;saladosreis.jpgquot; /> Interface <link x=quot;0quot; y=quot;0quot; width=quot;640quot; height=quot;480quot; definition url=quot;plantapisoterreo.xmlquot;/> </content>
  58. 58. Cliente InStory v2.0 Aplicação com características de browser de documentos hypermedia Interface definida pelas páginas apresentadas Capacidade de determinar a sua posição geográfica recorrendo a dois sistemas distintos Visualização da posição actual através de uma interface de mapa Posicionamento explícito através da interface de mapa, caso os sistemas automáticos falhem Upload de imagens anotadas para o servidor
  59. 59. Cliente InStory v2.0 - Arquitectura User Graphical Audio Arquitectura de input output output módulos Módulo de posicionamento Control Presentation Module Module utiliza um parser de frases NMEA 0183 escrito por Monte Variakojis Biblioteca de Positioning Upload File XML Content parsing XML Module Library Module Library utiliza a biblioteca TinyXML da autoria de Lee TCP/IP HTTP Thomason Server Local Files
  60. 60. Projecto InStory - Narrativas Em desenvolvimento para a Quinta da Regaleira, Sintra, em parceria com a Fundação CulturSintra
  61. 61. Projecto InStory - Narrativas Narrativa actual: Temática alusiva à caça, utilizando elementos presentes no espaço da Quinta Narrativa gira em torno de quatro personagens principais, representando quatro pontos de vista sobre o tema As personagens propõem actividades relacionadas com a narrativa; e durante as quais o desempenho do jogador decide o desenrolar da história
  62. 62. InStory Project - Narrativas # 0 Reception # 1 Palace # 2 Chapel # 3 Garden (Goes to Garden?) YES (Goes to Chapel?) YES NO NO # 4 Gate # 5 Banquet
  63. 63. Cliente InStory - Interface Interface definida pelas páginas apresentadas As páginas são descritas por documentos XML, à semelhança das páginas web Elementos possíveis: Imagens, texto Áudio (futuramente vídeo e/ou animações) Links, acções genéricas (adjudicadas pelo cliente) Balões de ajuda (tooltips) Barra de ferramentas (retráctil) Lista de valores (página de upload) Mapa
  64. 64. Cliente InStory – Modos Divisão das páginas em cinco tipos distintos, consoante o seu propósito: Opções da aplicação Estatísticas do jogador Desenrolar do jogo/narrativa Mapa do espaço físico Informação disponível acerca da área O modo do cliente ajuda a organizar a informação para o utilizador, reflecte o tipo de página apresentada e determina o comportamento do cliente na selecção e apresentação de novas páginas. O modos pode ser seleccionado explicitamente por intermédio de vinhetas presentes na maioria das páginas
  65. 65. Cliente – Modos – Opções O modo de opções providencia um menu de opções, comum em aplicações de diversos tipos. As páginas são maioritariamente locais ao cliente para possibilitar a sua configuração sem necessidade de protocolo Página de opções do cliente com o servidor.
  66. 66. Cliente – Modos – Jogador O modo de jogador apresenta informação acerca das estatísticas do utilizador no sistema tais como o seu nickname, o grupo a que pertence, o tempo decorrido no sistema, os seus objectivos actuais e objectos virtuais em sua posse. Este modo permite ainda o acesso à interface Página de estatísticas do de upload de contribuições. jogador
  67. 67. Cliente – Modos – Jogo O modo de jogo destina-se exclusivamente à apresentação de conteúdo relativo à narrativa ou jogo – que só fará sentido para uma dada posição geográfica e um dado estado do sistema. No geral pode ser uma interacção com uma personagem virtual, um quiz ou até Uma personagem virtual desafia o jogador com um quiz informação intimamente relacionada com a narrativa.
  68. 68. Cliente – Modos – Mapa O modo de mapa apresenta páginas que possuem um mapa do espaço físico. As páginas deste tipo destinam-se a auxiliar o utilizador na compreensão da sua localização geográfica Caso o posicionamento automático não esteja disponível o utilizador pode indicar a sua posição Página de mapa, mostrando uma tooltip no mapa e a posição actual do utilizador
  69. 69. Cliente – Informação O modo de informação permite o acesso e navegação em páginas hypermedia pertencentes a uma colecção de informação geo- referenciada, não necessariamente ligada à narrativa. Faceta típica de hypermedia browser. Página de informação acerca de um local
  70. 70. Cliente InStory – Contribuição Captura e upload de imagens com anotação de voz e subjacentes a um tema Os dados são geo- referenciados e armazenados no servidor permitindo: Cumprimento de objectivos nas actividades propostas Afixação virtual de mensagens para utilizadores ou grupos Criação de memórias digitais que podem ser reproduzidas mais tarde para diversos fins
  71. 71. Cliente InStory – Posicionamento Dois sistemas de posicionamento distintos Global Positioning System (GPS) • Baseia-se numa malha formada por 24 satélites à volta do globo • Informação da posição geográfica, direcção e velocidade, relógio global, percurso... • Comunicação com o dispositivo receptor através do protocolo NMEA 0183 Ekahau Positioning Engine™ • Triangulação de dispositivos em redes 802.11 • Comunicação com o motor através do protocolo YAX, baseado em sockets TCP • Necessita de calibração do motor de posicionamento Posicionamento explícito por parte do utilizador
  72. 72. Authoring: Arquitectura
  73. 73. Authoring: InML
  74. 74. Authoring: SLang
  75. 75. Authoring: InAuthor
  76. 76. Authoring: InAuthor
  77. 77. Authoring: InContent
  78. 78. PhotoNav
  79. 79. Novas Interfaces
  80. 80. Referências http://img.di.fct.unl.pt/InStory http://tangible.media.mit.edu/ http://alumni.media.mit.edu/~lew/resear ch/voodoo/ http://www.nobudget.org/ http://www.mixedrealitylab.org/

×