Realidade aumentada
 Uma abordagem focada em PCs e dispositivos móveis


              Lorival Smolski Chapuis

        Semana acadêmica da Computação 2011
Introdução




       Qualcomm Augmented Reality Challenge Winners
    Vídeo: http://www.youtube.com/watch?v=JDN_ZN0XEow
Lorival Smolski Chapuis
• Atuação acadêmica
  • Técnico em Informática pela Sociesc em 2004
  • Estudante do último semestre de Engenharia de Computação na
    Sociesc
  • Artigo científico de Inteligência Computacional, redes neurais, aceito
    e apresentado no ISA 2010, Alemanha
• Atuação profissional
  • Coordenador Técnico na Conceito W, empresa do grupo Thomson
    Reuters
  • Desenvolve principalmente em Java, .Net, Android, Web
  • Microsoft Certified Professional: MCP, MCTS ASP.NET, MCPD ASP.NET
• Atuação empreendedora
  • Fundador da Bit2Bit, Softwares Inovadores
  • Foco em projetos diferenciados e com aspectos tecnológicos
Objetivos do mini-curso
• Ter uma visão geral de o que é e o que se pode fazer com
  realidade aumentada
• Conhecer as ferramentas básicas para desenvolvimento com
  foco em realidade aumentada
• Criar um aplicativo Android utilizando recursos de realidade
  aumentada
• Modelar um objeto tridimensional e apresentar utilizando
  recursos de realidade aumentada
• Trocar experiências
• Despertar interesse em se aprofundar mais no assunto
• Ter uma ideia de como está o mercado e por onde começar
  para ingressar nele
Agenda
• Introdução a realidade aumentada
  • Definição, funcionamento e aplicações
  • Tendências e mercado
  • Ferramentas para desenvolvimento

• Desenvolvendo realidade aumentada para Android
  • Criação de um aplicativo utilizando API Wikitude

• Desenvolvendo realidade aumentada para PC
  • Modelagem de um objeto em 3D no Sketchup
  • Visualização do objeto no computador utilizando uma web-cam
  • Visualização do objeto no smartphone utilizando ANDAR

• Conclusão
  • Encerramento
  • Dúvidas e questionamentos
Definições
• Realidade virtual
  • é uma interface avançada para aplicações computacionais, onde
    o usuário pode navegar e interagir, em tempo real, em um
    ambiente tridimensional gerado por computador, usando
    dispositivos multi-sensoriais. [KIRNER, C. et al. (1995); PINHO,
    M.S.; KIRNER, C. (1997); KIRNER, C.; PINHO, M.S. (1997)].


• Realidade misturada
  • é a sobreposição de objetos virtuais gerados por computador
    com o ambiente físico, mostrada ao usuário, em tempo real, com
    o apoio de algum dispositivo tecnológico. A Realidade Misturada
    apresenta duas modalidades: Realidade Aumentada e
    Virtualidade Aumentada. [KIRNER, C. ; TORI, R. (2004)].
Definições
• Realidade aumentada
  • é a inserção de objetos virtuais no ambiente físico, mostrada ao
    usuário, em tempo real, com o apoio de algum dispositivo
    tecnológico, usando a interface do ambiente real, adaptada para
    visualizar e manipular os objetos reais e virtuais. [traduzido de
    KIRNER, C.; KIRNER, T.G. (2008)].

• Virtualidade aumentada
  • é a inserção de representações de elementos reais no mundo
    virtual, usando a interface que permite ao usuário interagir com
    o ambiente virtual. [traduzido de KIRNER, C.; KIRNER, T.G. (2008)].
Definições




                       Visão geral
       Fonte: http://realidadeaumentada.com.br
Realidade aumentada
• O termo foi cunhado em 1992 por Tom Caudell e definido pelo
  Ronald Azuma, atualmente líder de pesquisa na Nokia
  Research Center.

• Segundo a Wikipedia, a definição de Azuma sobre a Realidade
  Aumentada é a descrição melhor aceita.

• Ele define a Realidade Aumentada como um sistema que:
  1 - combina elementos virtuais com o ambiente real;
  2 - é interativa e tem processamento em tempo real;
  3 - é concebida em três dimensões.
Funcionamento, em tempo real

                        Mundo real




        Visor com
                                            Câmera
        resultado




                       Realidade
                      Aumentada


        Sistema de
      processamento                     Objetos virtuais
        de imagens



                       Referência no
                      mundo real para
                      o mundo virtual
Aplicações atuais
• Publicidade, com marcadores em revistas/outdoors;
• Jogos ;
• Aplicativos para dispositivos móveis como localização
  interativa ou visualização de objetos 3D;
• Auxílio em navegação;
• Auxílio na manutenção de automóveis;
• Alterações visuais aplicados em programas televisivos, como
  jogos de futebol;
• Aumentar acesso a informações em museus ou locais de
  necessidade de informações extras;
• Cirurgias;
Exemplos

                        Serviço BMW
                           Vídeo:
           http://www.youtube.com/watch?v=P9KPJl
                           A5yds




                   Robots Test Mobile AR App
                             Vídeo:
           http://www.youtube.com/watch?v=hXtq1q
                             BMLIw
Aplicações futuras - tendências
• Expansão de telas de computador para um ambiente real: janelas de
  programas e ícones se tornam dispositivos virtuais num espaço real e
  podem ser operados por gestos ou pelo olho. Um único mostrador
  pessoal (como óculos), poderia simular uma centena de monitores
  convencionais de computador ou janelas de aplicação ao redor do
  usuário concomitantemente.

• Aplicações de media aprimoradas, como telas virtuais pseudo-
  holográficas, cinema surround virtual, “holodecks” (como em Star Trek),
  permitindo imagens criadas por computadores interagir com sujeitos
  reais e platéias.

• Substituição de telas de navegação em carros e aparelhos celulares:
  discagem através do movimento dos olhos, inserção de informação
  diretamente no ambiente, como linhas guia diretamente na pista bem
  como aprimoramentos como vistas em Raio-X.
Aplicações futuras - tendências
• Plantas virtuais, papéis de parede, vistas panorâmicas, decorações,
  trabalhos artísticos e iluminação, melhorando a vida cotidiana. Por
  exemplo, uma janela virtual poderia ser disposta em uma parede
  comum, mostrando a tomada de uma câmera situada no exterior da
  construção.

• Dispositivos e aparelhos virtuais se tornam possíveis. Qualquer aparelho
  físico produzido para auxiliar em tarefas orientadas por dados (como
  relógios, computadores e aparelhos de som, outdoors eletrônicos),
  poderiam ser alteradas por dispositivos virtuais que não custariam nada
  para serem produzidos exceto pelo custo de produção do software. Um
  relógio de parede virtual ou uma lista de coisas a serem feitas no seu dia
  “projetada” na cabeceira da sua cama são simples exemplos.
Mercado
• “O mercado das aplicações de realidade aumentada para
  dispositivos móveis deverá chegar aos 732 milhões de dólares em
  2014, estimulado sobretudo pelo crescimento nos downloads de
  aplicações pagos, pelos serviços de assinatura e pela
  publicidade.” Fonte: http://www.computerworld.com

• “Mercado de realidade aumentada valerá US$ 1,5 bi em 2015.
  Um dos benefícios dessa atividade intensificada é o fato que ela
  gera o interesse da imprensa e uma conscientização do público.
  Mesmo que os consumidores não saibam necessariamente como
  ela funciona, eles podem ver exemplos de realidade aumentada
  em seu dia a dia", disse o analista Windsor Holden.” Fonte:
  http://www.techradar.com/
Mercado
• Em geral, aqui no Brasil, este tema ainda é pouco explorado. Mas
  nos próximos anos, dois mega eventos prometem mudar esse
  cenário promissor: a Copa do Mundo em terras brasileiras e os
  Jogos       Olímpicos         do       Rio      de       Janeiro.

  “Imagine um turista, que não fale português, chegando num
  estádio, chegando num ponto turístico. Ele passa o celular e ele
  consegue observar informações de onde comer onde se
  hospedar, como ele faz para pegar um táxi, curiosidades,
  informações de jogos, e mais todas as informações de marketing
  e publicidade que podem acontecer com esse tipo de interação”,
  Carlos Sena, representante da Telefônica Pesquisa e
  Desenvolvimento.
Mercado
Mercado
Mercado
Ferramentas/bibliotecas/SDK
• ARToolKit: é um software livre implementando pelo Dr. Hirokazu
  Kato, utilizado atualmente por pesquisadores do Laboratório
  Tecnológico de Interface Humana (HITL), na Universidade de
  Washington. Construído para o desenvolvimento de aplicações de
  Realidade Aumentada, o ARToolKit opera através de técnicas de
  visão computacional, processamento de imagens e programação.

• ARToolKit Plus: é uma biblioteca baseada na ARToolKit. Foi
  desenvolvida pela Graz University Technology. Esta biblioteca
  apresenta algumas otimizações, como, por exemplo, possibilidade
  de se utilizar computações de ponto fixo ao invés de ponto
  flutuante, com o intuito de gerar aplicações eficientes para
  dispositivos móveis, tais como PDAs e smartphones.
Ferramentas/bibliotecas/SDK
• Ar-media: é um conjunto de ferramentas, plugins (SketchUp, 3D
  Studio Max) e bibliotecas focadas em realidade aumentada tanto
  para PCs e Macs quanto para dispositivos móveis (Iphone e
  Android). É mantido pela empresa InglobeTechnologies;

• Wikitude: é uma solução focada inicialmente em localização
  interativa geográfica baseada em realidade aumentada para
  smartphones. Possui uma versão Android e outra IOS. Atualmente
  também uma versão chamada Wikitude drive que permite uma
  nova percepção em navegação utilizando GPS, pois define o
  caminho e identifica obstáculos pelo percurso.

• Qualcomm SDK: é um kit de desenvolvimento focado em realidade
  aumentada também com foco em Android e IOS. Se destaca pela
  qualidade e publicidade que faz em cima de sua ferramenta, como
  desafios valendo prêmios.
Realidade Aumentada
    com Android
Requisitos
• Ambiente de desenvolvimento Android
  • Motodev
  • Android SDK
     • Atualizações dos ambientes de desenvolvimento


• API Wikitude
  • Documentação
  • Arquivo JAR

• Computador
  • Windows
  • Linux
  • Mac
API Wikitude
Exemplos

                       Wikitude Drive
                           Vídeo:
             http://www.youtube.com/watch?v=g-
                         0cuqeUvCQ




                          Wikitude
                           Vídeo:
           http://www.youtube.com/watch?v=hAcAH
                   gUge-8&feature=related
Tutorial




                Seguir tutorial demonstrado

   Objetivo: Criar uma aplicação Android utilizando o
   Wikitude SDK e incluindo pontos para navegação
Realidade Aumentada
       com PC
Requisitos
• SketchUp 7 ou 8
  • Não necessita da versão PRO

• Plugin para SketchUp para exportação de modelo em OBJ
  • Utilizando a versão PRO do SketchUp não necessita deste plugin,
    pois já exporta para este formato por padrão


• Plugin para SketchUp para geração de realidade aumentada
  • AR-media Plugin for Google SketchUp


• Projeto ANDAR
  • Visualização de OBJ para Android em realidade aumentada
Tutorial




                Seguir tutorial demonstrado

  Objetivo: Modelagem e visualização de objeto 3D via
             Web-cam e dispositivo Android
Encerramento




        Microsoft Office Labs Productivity Future Vision
    Vídeo: http://www.youtube.com/watch?v=gHNBS5NJxHk
Dúvidas e questionamentos
Obrigado!
               Lorival Smolski Chapuis
                lorival@bit2bit.com.br
Material disponível para download em blog.lorival.com


        Semana acadêmica da Computação 2011

Realidade Aumentada - Sociesc 2011

  • 1.
    Realidade aumentada Umaabordagem focada em PCs e dispositivos móveis Lorival Smolski Chapuis Semana acadêmica da Computação 2011
  • 2.
    Introdução Qualcomm Augmented Reality Challenge Winners Vídeo: http://www.youtube.com/watch?v=JDN_ZN0XEow
  • 3.
    Lorival Smolski Chapuis •Atuação acadêmica • Técnico em Informática pela Sociesc em 2004 • Estudante do último semestre de Engenharia de Computação na Sociesc • Artigo científico de Inteligência Computacional, redes neurais, aceito e apresentado no ISA 2010, Alemanha • Atuação profissional • Coordenador Técnico na Conceito W, empresa do grupo Thomson Reuters • Desenvolve principalmente em Java, .Net, Android, Web • Microsoft Certified Professional: MCP, MCTS ASP.NET, MCPD ASP.NET • Atuação empreendedora • Fundador da Bit2Bit, Softwares Inovadores • Foco em projetos diferenciados e com aspectos tecnológicos
  • 5.
    Objetivos do mini-curso •Ter uma visão geral de o que é e o que se pode fazer com realidade aumentada • Conhecer as ferramentas básicas para desenvolvimento com foco em realidade aumentada • Criar um aplicativo Android utilizando recursos de realidade aumentada • Modelar um objeto tridimensional e apresentar utilizando recursos de realidade aumentada • Trocar experiências • Despertar interesse em se aprofundar mais no assunto • Ter uma ideia de como está o mercado e por onde começar para ingressar nele
  • 6.
    Agenda • Introdução arealidade aumentada • Definição, funcionamento e aplicações • Tendências e mercado • Ferramentas para desenvolvimento • Desenvolvendo realidade aumentada para Android • Criação de um aplicativo utilizando API Wikitude • Desenvolvendo realidade aumentada para PC • Modelagem de um objeto em 3D no Sketchup • Visualização do objeto no computador utilizando uma web-cam • Visualização do objeto no smartphone utilizando ANDAR • Conclusão • Encerramento • Dúvidas e questionamentos
  • 7.
    Definições • Realidade virtual • é uma interface avançada para aplicações computacionais, onde o usuário pode navegar e interagir, em tempo real, em um ambiente tridimensional gerado por computador, usando dispositivos multi-sensoriais. [KIRNER, C. et al. (1995); PINHO, M.S.; KIRNER, C. (1997); KIRNER, C.; PINHO, M.S. (1997)]. • Realidade misturada • é a sobreposição de objetos virtuais gerados por computador com o ambiente físico, mostrada ao usuário, em tempo real, com o apoio de algum dispositivo tecnológico. A Realidade Misturada apresenta duas modalidades: Realidade Aumentada e Virtualidade Aumentada. [KIRNER, C. ; TORI, R. (2004)].
  • 8.
    Definições • Realidade aumentada • é a inserção de objetos virtuais no ambiente físico, mostrada ao usuário, em tempo real, com o apoio de algum dispositivo tecnológico, usando a interface do ambiente real, adaptada para visualizar e manipular os objetos reais e virtuais. [traduzido de KIRNER, C.; KIRNER, T.G. (2008)]. • Virtualidade aumentada • é a inserção de representações de elementos reais no mundo virtual, usando a interface que permite ao usuário interagir com o ambiente virtual. [traduzido de KIRNER, C.; KIRNER, T.G. (2008)].
  • 9.
    Definições Visão geral Fonte: http://realidadeaumentada.com.br
  • 10.
    Realidade aumentada • Otermo foi cunhado em 1992 por Tom Caudell e definido pelo Ronald Azuma, atualmente líder de pesquisa na Nokia Research Center. • Segundo a Wikipedia, a definição de Azuma sobre a Realidade Aumentada é a descrição melhor aceita. • Ele define a Realidade Aumentada como um sistema que: 1 - combina elementos virtuais com o ambiente real; 2 - é interativa e tem processamento em tempo real; 3 - é concebida em três dimensões.
  • 11.
    Funcionamento, em temporeal Mundo real Visor com Câmera resultado Realidade Aumentada Sistema de processamento Objetos virtuais de imagens Referência no mundo real para o mundo virtual
  • 12.
    Aplicações atuais • Publicidade,com marcadores em revistas/outdoors; • Jogos ; • Aplicativos para dispositivos móveis como localização interativa ou visualização de objetos 3D; • Auxílio em navegação; • Auxílio na manutenção de automóveis; • Alterações visuais aplicados em programas televisivos, como jogos de futebol; • Aumentar acesso a informações em museus ou locais de necessidade de informações extras; • Cirurgias;
  • 13.
    Exemplos Serviço BMW Vídeo: http://www.youtube.com/watch?v=P9KPJl A5yds Robots Test Mobile AR App Vídeo: http://www.youtube.com/watch?v=hXtq1q BMLIw
  • 14.
    Aplicações futuras -tendências • Expansão de telas de computador para um ambiente real: janelas de programas e ícones se tornam dispositivos virtuais num espaço real e podem ser operados por gestos ou pelo olho. Um único mostrador pessoal (como óculos), poderia simular uma centena de monitores convencionais de computador ou janelas de aplicação ao redor do usuário concomitantemente. • Aplicações de media aprimoradas, como telas virtuais pseudo- holográficas, cinema surround virtual, “holodecks” (como em Star Trek), permitindo imagens criadas por computadores interagir com sujeitos reais e platéias. • Substituição de telas de navegação em carros e aparelhos celulares: discagem através do movimento dos olhos, inserção de informação diretamente no ambiente, como linhas guia diretamente na pista bem como aprimoramentos como vistas em Raio-X.
  • 15.
    Aplicações futuras -tendências • Plantas virtuais, papéis de parede, vistas panorâmicas, decorações, trabalhos artísticos e iluminação, melhorando a vida cotidiana. Por exemplo, uma janela virtual poderia ser disposta em uma parede comum, mostrando a tomada de uma câmera situada no exterior da construção. • Dispositivos e aparelhos virtuais se tornam possíveis. Qualquer aparelho físico produzido para auxiliar em tarefas orientadas por dados (como relógios, computadores e aparelhos de som, outdoors eletrônicos), poderiam ser alteradas por dispositivos virtuais que não custariam nada para serem produzidos exceto pelo custo de produção do software. Um relógio de parede virtual ou uma lista de coisas a serem feitas no seu dia “projetada” na cabeceira da sua cama são simples exemplos.
  • 16.
    Mercado • “O mercadodas aplicações de realidade aumentada para dispositivos móveis deverá chegar aos 732 milhões de dólares em 2014, estimulado sobretudo pelo crescimento nos downloads de aplicações pagos, pelos serviços de assinatura e pela publicidade.” Fonte: http://www.computerworld.com • “Mercado de realidade aumentada valerá US$ 1,5 bi em 2015. Um dos benefícios dessa atividade intensificada é o fato que ela gera o interesse da imprensa e uma conscientização do público. Mesmo que os consumidores não saibam necessariamente como ela funciona, eles podem ver exemplos de realidade aumentada em seu dia a dia", disse o analista Windsor Holden.” Fonte: http://www.techradar.com/
  • 17.
    Mercado • Em geral,aqui no Brasil, este tema ainda é pouco explorado. Mas nos próximos anos, dois mega eventos prometem mudar esse cenário promissor: a Copa do Mundo em terras brasileiras e os Jogos Olímpicos do Rio de Janeiro. “Imagine um turista, que não fale português, chegando num estádio, chegando num ponto turístico. Ele passa o celular e ele consegue observar informações de onde comer onde se hospedar, como ele faz para pegar um táxi, curiosidades, informações de jogos, e mais todas as informações de marketing e publicidade que podem acontecer com esse tipo de interação”, Carlos Sena, representante da Telefônica Pesquisa e Desenvolvimento.
  • 18.
  • 19.
  • 20.
  • 21.
    Ferramentas/bibliotecas/SDK • ARToolKit: éum software livre implementando pelo Dr. Hirokazu Kato, utilizado atualmente por pesquisadores do Laboratório Tecnológico de Interface Humana (HITL), na Universidade de Washington. Construído para o desenvolvimento de aplicações de Realidade Aumentada, o ARToolKit opera através de técnicas de visão computacional, processamento de imagens e programação. • ARToolKit Plus: é uma biblioteca baseada na ARToolKit. Foi desenvolvida pela Graz University Technology. Esta biblioteca apresenta algumas otimizações, como, por exemplo, possibilidade de se utilizar computações de ponto fixo ao invés de ponto flutuante, com o intuito de gerar aplicações eficientes para dispositivos móveis, tais como PDAs e smartphones.
  • 22.
    Ferramentas/bibliotecas/SDK • Ar-media: éum conjunto de ferramentas, plugins (SketchUp, 3D Studio Max) e bibliotecas focadas em realidade aumentada tanto para PCs e Macs quanto para dispositivos móveis (Iphone e Android). É mantido pela empresa InglobeTechnologies; • Wikitude: é uma solução focada inicialmente em localização interativa geográfica baseada em realidade aumentada para smartphones. Possui uma versão Android e outra IOS. Atualmente também uma versão chamada Wikitude drive que permite uma nova percepção em navegação utilizando GPS, pois define o caminho e identifica obstáculos pelo percurso. • Qualcomm SDK: é um kit de desenvolvimento focado em realidade aumentada também com foco em Android e IOS. Se destaca pela qualidade e publicidade que faz em cima de sua ferramenta, como desafios valendo prêmios.
  • 23.
  • 24.
    Requisitos • Ambiente dedesenvolvimento Android • Motodev • Android SDK • Atualizações dos ambientes de desenvolvimento • API Wikitude • Documentação • Arquivo JAR • Computador • Windows • Linux • Mac
  • 25.
  • 26.
    Exemplos Wikitude Drive Vídeo: http://www.youtube.com/watch?v=g- 0cuqeUvCQ Wikitude Vídeo: http://www.youtube.com/watch?v=hAcAH gUge-8&feature=related
  • 27.
    Tutorial Seguir tutorial demonstrado Objetivo: Criar uma aplicação Android utilizando o Wikitude SDK e incluindo pontos para navegação
  • 28.
  • 29.
    Requisitos • SketchUp 7ou 8 • Não necessita da versão PRO • Plugin para SketchUp para exportação de modelo em OBJ • Utilizando a versão PRO do SketchUp não necessita deste plugin, pois já exporta para este formato por padrão • Plugin para SketchUp para geração de realidade aumentada • AR-media Plugin for Google SketchUp • Projeto ANDAR • Visualização de OBJ para Android em realidade aumentada
  • 30.
    Tutorial Seguir tutorial demonstrado Objetivo: Modelagem e visualização de objeto 3D via Web-cam e dispositivo Android
  • 31.
    Encerramento Microsoft Office Labs Productivity Future Vision Vídeo: http://www.youtube.com/watch?v=gHNBS5NJxHk
  • 32.
  • 33.
    Obrigado! Lorival Smolski Chapuis lorival@bit2bit.com.br Material disponível para download em blog.lorival.com Semana acadêmica da Computação 2011