Slides usado para a defesa de mestrado

1. Um Arcabouço para o Desenvolvimento de
Aplicações de Realidade Aumentada para
Dispositivos Portáteis com o Uso de Múltiplos
Sensores
Maurílio Silva
Orientadores:
Hyggo Almeida
Angelo Perkusich

2. Introdução
 É fato!
Aplicações de RA em dispositivos portáteis aos poucos estão
se tornando uma realidade;
A medida que novos sensores são adicionados, maior poder
de processamento e redes de dados mais velozes vão
surgindo, esse tipo de aplicação só tende a crescer;
Entretenimento, publicidade, aplicações médicas e
educacionais são apenas algumas das áreas que podem se
beneficiar de um uso massivo dos sistemas de RA.
2

3. Introdução
 A Realidade Aumentada
A Realidade Aumentada (RA) é o campo de pesquisa da
ciência da computação que combina o mundo real com
dados digitais (SILTANEN, 2012);
Os primeiros sistemas foram focados em aplicações
militares, industriais e médicas, mas sistemas voltados para
uso comercial e de entretenimento apareceram logo em
seguida (KREVELEN & POELMAN, 2010).
3

4. Introdução
 Características
A capacidade de combinar objetos reais e virtuais em um
ambiente real;
Registrar/alinhar estes objetos uns com os outros de modo a
permitir a ilusão de completude da cena;
Serem executados de forma interativa, fazendo o uso de
imagens tridimensionais e em tempo real.
4

5. Introdução
 Áreas de aplicação
Sistemas de informação pessoal;
Aplicações industriais e militares;
Aplicações médicas;
Entretenimento;
Educação e treinamento.
 Tipos de aplicações
Indoor (ambientes preparados):
• Uso de marcadores;
Outdoor (ambientes sem preparação).
5

6.  Global pose estimation using multi-sensor fusion for
outdoor augmented reality
 Hardware para ambientes sem preparação;
 GPS para registro e posicionamento do usuário;
 Rastreamento via GPS + sensores inerciais;
 Uso do filtro de Kalman para melhorar precisão e remover
interferências dos dados do rastreamento.
Trabalhos Relacionados
7

7.  A survey of augmented reality technologies,
applications and limitations
 Survey;
 Ponto de partida de estudo;
 Problemas e avanços da RA;
 Requisitos adicionais para RA móvel;
 Áreas de aplicação.
Trabalhos Relacionados
8

8.  Application of Dynamic Binaural Signals in Acoustic
Games
 Sistema de som 3D, baseado apenas em um canal de
áudio;
 Posicionamento espacial do usuário via sensores;
 Uso do filtro de Kalman para melhorar precisão dos
dados;
 Uso de dispositivo Android para o protótipo.
Trabalhos Relacionados
9

9.  Theory and Applications of Marker-based Augmented
Reality
 Survey;
 Foco em aplicações com marcador;
 Uso da câmera como principal sensor;
 Uso da câmera para o registro e rastreamento da cena.
Trabalhos Relacionados
10

10. Problemática
 É complexo desenvolver aplicações de RA
Alta demanda de conhecimento
• Processamento de imagens
• Visão computacional
• Sensores
 Pré-requisitos acabam dificultando o desenvolvimento e
a massificação deste tipo de aplicação
12

11. Problemática
 É preciso sentir/perceber o ambiente
Acompanhar o movimento do usuário
Determinar a orientação do usuário é um problema
• Continua complexo sem solução padronizada
• Necessidade de maior precisão dos dados dos sensores
• Maior variedade de entradas
Rastreamento e posicionamento
• Fácil para ambientes fechados
• Problemático em ambientes abertos
13

12. Problemática
 Problema
Desenvolvedor: manipulação de multiplos sensores em
aplicações envolve muito tempo e esforço
 E por que essa dificuldade?
São necessários do desenvolvedor conhecimentos
específicos de processamento de imagens, visão
computacional, bem como tratar individualmente os dados
de cada um dos sensores envolvidos no sistema.
14

13. Objetivo
 Desenvolver um arcabouço para o desenvolvimento de
aplicações de realidade aumentada para dispositivos
portáteis utilizando múltiplos sensores.
 Objetivos Específicos
Identificar os principais sensores envolvidos neste tipo de
aplicação;
Definir e implementar o arcabouço;
Desenvolver três aplicações como forma de validar o
arcabouço.
16

14. MOBILE TOOLKIT FOR
AUGMENTED REALITY
17

15. Visão Geral
18

16. Arquitetura do Arcabouço
19

17. Arquitetura do Arcabouço
Parte do
arcabouço onde
estão localizados
os sensores do
dispositivo
20

18. Arquitetura do Arcabouço
Módulos
do arcabouço
21

19. Módulo de Aquisição
Responsável pelo
encaminhamento
dos dados para o
Módulo de
Tratamento
22

20. Módulo de Tratamento
Responsável pelo
tratamento e
extração dos
dados que irão
servir para compor
a cena
23

21. Módulo de Tratamento
Composto por dois submódulos:
 ImageData
 Câmera + Marcador
 Usa a biblioteca AndAR
 SensorData
24

22. Módulo de Tratamento
Composto por dois submódulos:
 ImageData
 SensorData
 Filtro de Kalman
25

23. Módulo de Tratamento
Fusão de dados dos sensores
26

24. Módulo de Tratamento
Funcionamento do Filtro
27

25. Módulo de Tratamento
Funcionamento do Filtro
28

26. Módulo de Tratamento
Funcionamento do Filtro
29

27. Módulo de Tratamento
Funcionamento do Filtro
30

28. Módulo de Montagem
Responsável pela
junção dos dados
obtidos do mundo
real através dos
sensores, com as
informações e
objetos do mundo
virtual
31

29. Módulo de Projeção
Responsável pela
projeção, no
display do
dispositivo, da
cena gerada pelo
Módulo de
Montagem
32

30. Extensibilidade do Arcabouço
Modelos de cenas podem ser extendidos
 Câmera + Marcador
 Câmera + Sensores
 Sensores
34

31. Extensibilidade do Arcabouço
Modelo de cena base (SceneBase) pode ser implementado
 init()
 start()
 stop()
 pause()
 update()
 render()
 dispose()
…
35

32. USANDO O ARCABOUÇO
36

33. Escolha de Cena
37

34. Configurando a Cena
38
class MyScene extends SceneModelA {
public void init() { … }
public void pause() { … }
public void update() { … }
public void render() { … }
public void dispose() { … }
….
}

35. Instanciando o Arcabouço
39
01 class MymTKarApp extends mTKarActivity {
02 MyScene scene;
03 MyObject3D obj;
04
05 public void init() {
06 scene = new MyScene();
07 obj = new MyObject3D;
08 scene.loadObject(obj);
09 this.setScene(scene);
10 this.start();
11 }
12 …
13 }

36. ESTUDOS DE CASO
Os três modelos de cenas permitem ao desenvolvedor criar
uma boa variedade de aplicações voltadas para as áreas de
entretenimento, educação, jogos e publicidade.
40

37. NavegAR
41

38. NavegAR
42

39. Visualizador de Objetos
43

40. Visualizador de Objetos
44

41. Navegador de Ambientes
45

42. Navegador de Ambientes
46

43. Considerações finais
 Espera-se ganho de tempo ao utilizar o arcabouço;
 Limitações: disponível apenas para a plataforma Android;
 Trabalho futuro:
 Aplicação e análise de resultados
 Portar para outras plataformas
 Suporte à interação com objetos, além das cenas
 Foco em sensores inerciais e GPS
48

44. Agradecimentos
49
UFCG / CAPES / COMPAL / HP

45. Referências
SILTANEN, Sanni. Theory and applications of marker-based
augmented reality. VTT Science, 2012.
DWF Van KREVELEN and R POELMAN. A survey of augmented
reality technologies, applications and limitations. Int. J. Virtual
Reality, 9(2):1–20, 2010.
50