Este documento discute a construção de aplicações de Realidade Cruzada Projetiva utilizando openFrameworks e Arduino. Ele apresenta quatro casos: 1) programa vazio, 2) rastreamento de cores, 3) projeção calibrada e 4) uso de hardware no loop de interação. O objetivo é demonstrar técnicas básicas de processamento de imagem, rastreamento visual, calibração de projeção e interação com dispositivos físicos para desenvolvimento de aplicações de Realidade Cruzada.

1. fb.com/RVA.BR
11/05/2014 1fb.com/RVA.BR

2. Preâmbulo
Introdução
• oF
• Definições
• Equipamentos
Casos
• Caso 1
• Caso 2
• Caso 3
• Caso 4
Finalização
11/05/2014 fb.com/RVA.BR 2

3. “The product is no longer the
basis of value. The experience
is.”
Venkat Ramaswamy
The Future of Competition
3
Preâmbulo
11/05/2014 fb.com/RVA.BR

4. Valor de uma boa experiência
4
Preâmbulo
11/05/2014 fb.com/RVA.BR

5. IHC – Interação Homem-Computador
• Estudo da interação entre pessoas e computadores.
• Onde são formadas as experiências.
5
Preâmbulo
11/05/2014 fb.com/RVA.BR

6. Mas quem desenvolve experiência?
• UX Developer – User Experience
– A pessoa que caminha entra o design e a
tecnologia.
http://blog.alexandremagno.net/2013/02/o-que-seria-um-ux-developer/
6
Preâmbulo
11/05/2014 fb.com/RVA.BR

7. Interação
7
Texto, som,
cores, visual,
mecânico ou
fisico.
Interface
Mensagens
Usuário Sistema
Preâmbulo
11/05/2014 fb.com/RVA.BR

8. Exemplo:
• Usabilidade:
1. Facilidade de
aprendizado
2. Eficiência
3. Facilidade de
memorização
4. Erros
5. Satisfação subjetiva
8
Meta-
Mensagens
Usuário Sistema
Preâmbulo
11/05/2014 fb.com/RVA.BR

9. 3 níveis
Lógico: Resolvem, solucionam,
facilitam.
Emocional: Satisfazem
necessidades e desejos
afetivos.
Visceral: resolvem questões
fundamentais, sem
consciência.
Impulso.
9
Preâmbulo
11/05/2014 fb.com/RVA.BR

10. Espera.... Visceral?
10
Preâmbulo
11/05/2014 fb.com/RVA.BR

11. 11
Preâmbulo
11/05/2014 fb.com/RVA.BR

12. Preâmbulo
11/05/2014 12fb.com/RVA.BR

13. Construção de
aplicações de
Realidade Cruzada
Projetiva utilizando
openFrameworks e
ARDUINO
13
Claudio Kirner1 and Christopher S. Cerqueira12
1Federal University of Itajubá – Universidade Federal de Itajubá (UNIFEI)
2National Institute for Space Research – Instituto Nacional de Pesquisas Espaciais (INPE)
1ckirner@gmail.com ,2christophercerqueira@gmail.com
1http://realidadevirtual.com.br/, 2http://cscerqueira.com.br11/05/2014 fb.com/RVA.BR

14. Autores
Christopher Shneider Cerqueira – é graduado na Universidade Federal de Itajubá e
pesquisador da área de realidade virtual e aumentada desde 2009, atuando no
desenvolvimento de aplicações baseadas em ARToolKit, para o desenvolvimento de
ferramentas de autoria de realidade aumentada com cross-reality. É um dos
desenvolvedores da ferramenta de autoria comportamental basAR. Atualmente é aluno
de pós-graduação do INPE desenvolvendo um sistema de simulação de satélites
distribuídoscom visualização em realidade virtual.
Claudio Kirner – é graduado em Engenharia Elétrica pela Universidade de São Paulo
(1973), mestre em Engenharia Eletrônica pelo Instituto Tecnológico de Aeronáutica (1978),
doutor em Engenharia de Sistemas e Computação pela Universidade Federal do Rio de
Janeiro (1986) e Pós-doutor pela University of Colorado at Colorado Springs – UCCS (1993-
1995). Atualmente é Professor Adjunto na Universidade Federal de Itajubá (UNIFEI). Tem
experiência em Realidade Virtual e Realidade Aumentada, Interação Humano-Computador,
Ambientes Colaborativos e educação à Distância. Coordenou o I Workshop de Realidade
Virtual, em 1997, e o I Workshop de Realidade Aumentada, em 2004, e outros
subsequentes. Orientou 30 alunos de mestrado e 8 de doutorado; coordenou Projetos
CNPq, FAPESP, RHAE e FAPEMIG; publicou cerca de 270 artigos científicos e 40 livros e
capítulos.
Dúvidas: christophercerqueira@gmail.com 14
Introdução
11/05/2014 fb.com/RVA.BR

15. Introdução
11/05/2014 15fb.com/RVA.BR

16. ERA TROGLODITA
• Graduação (2010):
– ARToolKit
– PTAMM
• Bolsista DTI (2011):
– basAR
Conectar com ARDUINO em C++
Literatura indica FIRMATA:
http://firmata.org/wiki/Download
Introdução
11/05/2014 16fb.com/RVA.BR

17. Processing
Adobe Flash
Unity
Cinder
openFrameworks
17
Introdução
11/05/2014 fb.com/RVA.BR

18. openframeworks.cc
18
• Vídeo oF1..videos1_openFrameworks1.mp4
• Vídeo oF2..videos1_openFrameworks2.mp4
Introdução
11/05/2014 fb.com/RVA.BR

19. oF
• Criado para artistas e designers
• Desenvolvido por: Zach Liberman, Theo
Watson, Artuno Castro e Chris O’Shea
• Proposta: Arrumar a falta de comunicação
entre diversas bibliotecas em C++, e permitir
portabilidade.
• Escrita em C++
• Licença: MIT (educacional e venda)
19
Introdução
11/05/2014 fb.com/RVA.BR

20. utilizar oF quando:
• O projeto renderiza muitos gráficos 3D, e/ou;
• Utilizar muita visão computacional, e/ou;
• Controlar equipamentos, como, por exemplo,
o ARDUINO.
20
Introdução
11/05/2014 fb.com/RVA.BR

21. Libs no pacote padrão
• OpenGL, GLEW, GLUT, libtess2 e cairo para
gráficos.
• rtAudio, PortAudio ou FMOD e Kiss FFT para
entrada, saída e análise de áudio.
• FreeType para fontes.
• FreeImage para salvar e carregar imagens.
• Quicktime e videoInput para playback e aquisição
de vídeo.
• Poco, que contém uma variedade de utilidades.
21
Introdução
11/05/2014 fb.com/RVA.BR

22. C++ Portável!!!!
22
Introdução
11/05/2014 fb.com/RVA.BR

23. Página Principal – openframeworks.cc
23
Introdução
11/05/2014 fb.com/RVA.BR

24. • Introdução à utilização de openFrameworks para o
desenvolvimento de aplicações de RVA
• cscerqueira.com.br
• ppt disponível em:
http://pt.slideshare.net/christophercerqueira/svr2013-o-frev
Introdução
11/05/2014 24fb.com/RVA.BR

25. ERA TROGLODITA (C++)
• Graduação (2010):
– ARToolKit
– PTAMM
• Bolsista DTI (2011):
– basAR
ERA DO FOGO (C++/oF)
• Mestrado (2012):
• Doutorado (2014):
Introdução
11/05/2014 25fb.com/RVA.BR

26. Billinghurst Vision
Introdução
11/05/2014 26fb.com/RVA.BR

27. Realidades – Realidade Aumentada
uma interfacebaseada na
sobreposição de informações virtuais
geradas por computador (envolvendo
imagens estáticas e dinâmicas, sons
espaciais e sensações hápticas) com o
ambiente físico do usuário, percebida
através de dispositivos tecnológicos e
usando as interações naturais do
usuário, no mundo físico.
Claudio Kirner
SOURCE: Adapted from ESA (2009) and Capua (2008)
Introdução
11/05/2014 27fb.com/RVA.BR

28. Christopher Vision
Informação virtual
Interação Natural
dispositivos tecnológicos
11/05/2014 28fb.com/RVA.BR

29. Realidades – Realidade Cruzada
é um ambiente de realidade
misturada ubíqua, que vem da
fusão de uma rede de sensores e
atuadores (que coletam e enviam
dados relacionados ao mundo real)
com mundos virtuais
compartilhados, usando a
interface da realidade
aumentada.
Claudio Kirner
Introdução
11/05/2014 29fb.com/RVA.BR

30. Milgram Continuum - interfaces
SOURCE: Milgram et al. (1995)
Aumento de elementos reaisAumento de elementos virtuais
Introdução
11/05/2014 30fb.com/RVA.BR

31. Kirner’s Diagram – elementos
Source: (KIRNER et al., 2012)
Introdução
11/05/2014 31fb.com/RVA.BR
M$
GRU
Lego
Cave
2L

32. Realidade Cruzada
Objetos reais
Sensores e
Atuadores
Realidade Aumentada
OCR
NOCR
NOCR
Introdução
11/05/2014 32fb.com/RVA.BR

33. Introdução
11/05/2014 33fb.com/RVA.BR

34. Construção de aplicações de
Realidade Cruzada Projetiva
utilizando openFrameworks e
ARDUINO
Introdução
11/05/2014 34fb.com/RVA.BR

35. Equipamentos
Rastreio
• Visão Computacional
• Câmeras
Interface de
Hardware
• Prototipagem rápida
Projetor
Introdução
11/05/2014 35fb.com/RVA.BR

36. Rastreio
• Óptico
• Via webcam
Logitech HD Webcam C525
720P
Foco Automático
USB 2.0
Introdução
11/05/2014 36fb.com/RVA.BR

37. Projetor
Introdução
11/05/2014 37fb.com/RVA.BR

38. Interface de Hardware
Introdução
11/05/2014 38fb.com/RVA.BR

39. Construção de aplicações de
Realidade Cruzada Projetiva
utilizando openFrameworks e
ARDUINO
Introdução
11/05/2014 39fb.com/RVA.BR

40. CASOS
11/05/2014 fb.com/RVA.BR 40

41. Construção da Aplicação
Caso 1 – Programa Vazio.
Caso 2 – Rastreio de Cores.
Caso 3 – Projeção Calibrada.
Caso 4 – Uso de Hardware no loop de interação.
DEVEL
11/05/2014 41fb.com/RVA.BR

42. Caso 1: Montagem do programa vazio
• oF na versão 0.8.0
• Windows 8.1
• Visual C++ 2012 Express
• Componentes:
– ofxCv
– ofxGlWrapper
DEVEL–Caso1
11/05/2014 42fb.com/RVA.BR

43. projectGenerator:
Onde inicia tudo (easy way)
DEVEL–Caso1
11/05/2014 43fb.com/RVA.BR

44. projectGenerator:
DEVEL–Caso1
11/05/2014 44fb.com/RVA.BR
projectGenerator

45. Código no oF
• oF baseia-se em OO
• Arquivo de cabeçalho
• Arquivo de métodos
– Setup
– Update
– Draw
DEVEL–Caso1
11/05/2014 45fb.com/RVA.BR

46. Algoritmo
DEVEL–Caso1
11/05/2014 46fb.com/RVA.BR
pointCloud pointPicker particle

47. Caso 2: Rastreio de cores
1. Breve teoria de cores e rastreio de blobs em
openCV,
2. Construção dos artefatos de manipulação,
3. Algoritmo de rastreio,
4. Algumas sugestões de usos para este caso.
DEVEL–Caso2
11/05/2014 47fb.com/RVA.BR

48. Cores
RGB-A (red, green, blue)-alfa HSV (hue (cor), saturation, value)
DEVEL–Caso2
11/05/2014 48fb.com/RVA.BR

49. Blobs
• Método de busca de caracteristicas.
• Blobs compartilham propriedades constantes
que podem ser “percebidas” na imagem.
DEVEL–Caso2
11/05/2014 49fb.com/RVA.BR colorTrack

50. Construção dos artefatos
DEVEL–Caso2
11/05/2014 50fb.com/RVA.BR

51. Para infraestrutura
• Foi considerado estático, então é proposto (no
caso 3) uma calibração fixa (versão easy).
DEVEL–Caso2
11/05/2014 51fb.com/RVA.BR

52. Algoritmo
DEVEL–Caso2
11/05/2014 52fb.com/RVA.BR

53. Resultado do Rastreio de cores
DEVEL–Caso2
11/05/2014 53fb.com/RVA.BR
exemplo

54. Usos
• Reconhecimento de gestos
• Interação 2D
• Realidade Aumentada
* Sem projeção calibrada.
DEVEL–Caso2
11/05/2014 54fb.com/RVA.BR
sixthSense
Robot
AirDraw
HandTracking

55. Caso 3: Projeção Calibrada
1. Teoria simplificada de calibração
2. Algoritmo
3. Resultados
4. Usos
DEVEL–Caso3
11/05/2014 55fb.com/RVA.BR

56. Projection Mapping
11/05/2014 fb.com/RVA.BR 56
Audi case

57. Teoria simplificada
DEVEL–Caso3
11/05/2014 57fb.com/RVA.BR

58. Algoritmo
DEVEL–Caso3
11/05/2014 58fb.com/RVA.BR

59. Resultados
DEVEL–Caso3
11/05/2014 59fb.com/RVA.BR

60. Usos
• Table-tops
• Projeções em paredes
DEVEL–Caso3
11/05/2014 60fb.com/RVA.BR
SketchSynth
Sensetable
L.A.S.E.R. Tag
Coca-Cola Case
Climbing
OASIS
Missile Command

61. Caso 4: Uso de hardware no loop de
interação
• Teoria (super reduzida) sobre ARDUINO
• Algoritmos
• Resultados
• Sugestões de uso
DEVEL–Caso4
11/05/2014 61fb.com/RVA.BR

62. O que tem no ARDUINO?
11/05/2014 62fb.com/RVA.BR

63. Outras versões
11/05/2014 63fb.com/RVA.BR

64. Shields
11/05/2014 64fb.com/RVA.BR

65. FIRMATA
Literatura indica FIRMATA:
http://firmata.org/wiki/Download
11/05/2014 65fb.com/RVA.BR

66. O que a FIRMATA faz!?
• Transforma o ARDUINO numa interface de
controle, podendo ser modificado por um
host.
• Quais as vantagens?
– O host controla a execução!
– O host tem mais memória.
• Desvantagens?!
– Tem que ficar atrelado ao host!
11/05/2014 66fb.com/RVA.BR

67. Métodos para conectar com o
ARDUINO
 connect()
 disconnect()
 getAnalog()
 getAnalogPinReporting()
 getDigital()
 getDigitalPinMode()
 getPwm()
 getString()
 isArduinoReady()
 isInitialized()
 sendAnalogPinReporting()
 sendByte()
 sendDigital()
 sendDigitalPinMode()
 sendPwm()
 sendReset()
 sendString()
 setUseDelay()
 update()
11/05/2014 67fb.com/RVA.BR

68. “esquemático”
11/05/2014 68fb.com/RVA.BR

69. Montando o circuito
11/05/2014 69fb.com/RVA.BR

70. Algoritmo conceitual
11/05/2014 70fb.com/RVA.BR

71. Algoritmo
11/05/2014 fb.com/RVA.BR 71

72. Resultados
11/05/2014 72fb.com/RVA.BR
exemplo

73. Usos
• Bancadas interativas
• Interação com projeção
• Objetos inteligentes
11/05/2014 73fb.com/RVA.BR
inForm
SandStation
Space Glasses
MYU
Project Tango

74. FECHAMENTO
Considerações finais.
11/05/2014 fb.com/RVA.BR 74

75. • oF é indicado quando é necessário alto
desempenho, controle de hardware,
distribuição, etc.
• Foi visto:
– Estrutura básica
– Color tracking
– Calibração da projeção
– Uso de hardware
11/05/2014 fb.com/RVA.BR 75

76. • No material fornecido:
– Apresentação.
– Vídeos.
– Capítulo (corrigido).
– Códigos usados.
– Códigos de alguns exemplos.
– Compilador usado (VS 2012).
– oF e add-nos utilizados.
11/05/2014 fb.com/RVA.BR 76

77. Uma idéia
• ..videosfechamento_ibm.avi
11/05/2014 fb.com/RVA.BR 77

78. Dúvidas
Sites:
cscerqueira.com.br
realidadevirtual.com.br
E-mails:
christophercerqueira@gmail.com
ckirner@gmail.com
Facebook:
fb.com/RVA.BR
Aproveitem o evento!
11/05/2014 fb.com/RVA.BR 78

79. 79

80. Informação virtual
Interação Natural
dispositivos tecnológicos
11/05/2014 80fb.com/RVA.BR