Interação com ambientesde realidade virtual por gestoscorporaisGustavo Jordan Castro BrasilAo meu anjo da guarda
laviic.dc.ufscar.br 2ÍndiceEvolução das interfaces deusuário e de seusdispositivos•CLI•GUI•NUI•OUIDispositivos de captura ...
laviic.dc.ufscar.br• Interface de usuário é o sistema pelo qual as pessoas(usuários) interagem com uma máquina.• Interface...
laviic.dc.ufscar.br 4Humanos possuem a capacidade de comunicação pela linguagem corporalGestos do corpo podem representar ...
laviic.dc.ufscar.br 5Como representar os gestos do corpo humano para uma interface que possainterpretar por meio de dispos...
laviic.dc.ufscar.br 6CLI•Estática•Desconectada(abstrata)•Baixo-nível•Estrita•Direta•DifícilGUI• Responsiva• Indireta• Expl...
laviic.dc.ufscar.br 7Segundo Weiyuan (2010), a NUI possuí as seguintes característicasDesigncentradono usuárioLargura deba...
laviic.dc.ufscar.br 8• A evolução dos computadores e das suas interfaces permitiram que o serhumano possa se comunicar cad...
laviic.dc.ufscar.br 9• Modelagem tridimensional por luz estruturada• São padrões de luz com características conhecidas que...
laviic.dc.ufscar.br 10• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispo...
laviic.dc.ufscar.br 11• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispo...
laviic.dc.ufscar.br 12• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispo...
laviic.dc.ufscar.br 13• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispo...
laviic.dc.ufscar.br• Suas características e benefícios são amplos, podendo seraplicados em áreas como :• Robótica• Realida...
laviic.dc.ufscar.br• Existem diversas ferramentas dedesenvolvimento para dispositivosreferência PrimeSense, cada uma comsu...
laviic.dc.ufscar.br 16Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 17• O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC• Héctor Martin liberou o ...
laviic.dc.ufscar.br 18• Captura de histogramas para geração de imagens de profundidade e RGB• Controle do Motor (posição d...
laviic.dc.ufscar.br 19• Não possui integração com a NITE (middleware NUI)• Derivada da engenharia reversa do driver oficia...
laviic.dc.ufscar.br 20Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 21Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 22Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br• É um framework que fornece uma API para odesenvolvimento de aplicações que necessitam deinteração nat...
laviic.dc.ufscar.br 24Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 25Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br• O NITE é um middleware usado pela interface OpenNI, edesenvolvido pela PrimeSense.• Apesar de possuir...
laviic.dc.ufscar.br 27Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 28Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 29Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 30Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuár...
laviic.dc.ufscar.br 31OpenKinect OpenNI Microsoft Kinect SDK v1.0Licença LGPLv3+ LGPLv3+(Nite tem código fechado masque po...
laviic.dc.ufscar.br 32DispositivoMicrosoft Kinect XBOX 360Framework/MiddlewareOpenNI 1.X/NITELinguagem de programaçãoDispo...
laviic.dc.ufscar.brAgradecimentosReferênciasTrabalho FuturosConclusãoLições Aprendidas33GNECCO, B. B. ; BRASIL, G. J. C. ;...
laviic.dc.ufscar.brPerguntas?gustavojcbrasil@gmail.comgustavo.brasil@dc.ufscar.brhttp://laviic.dc.ufscar.br34
Próximos SlideShares
Carregando em…5
×

Interação com ambientes de realidade virtual por gestos corporais

952 visualizações

Publicada em

Interação com ambientes de realidade virt

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
952
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
22
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Interação com ambientes de realidade virtual por gestos corporais

  1. 1. Interação com ambientesde realidade virtual por gestoscorporaisGustavo Jordan Castro BrasilAo meu anjo da guarda
  2. 2. laviic.dc.ufscar.br 2ÍndiceEvolução das interfaces deusuário e de seusdispositivos•CLI•GUI•NUI•OUIDispositivos de captura degestos baseados emimagens de profundidade•Como funciona•Dispositivos Atuais•Possibilidades de usoDesenvolvimento•Framework e Middlewares•Aplicações práticas
  3. 3. laviic.dc.ufscar.br• Interface de usuário é o sistema pelo qual as pessoas(usuários) interagem com uma máquina.• Interface do usuário inclui hardware (físico) e software(lógico) componentes.– Entrada: permitindo que os usuários manipulem um sistema– Saída: permitindo que o sistema para indicar os efeitos da manipulaçãodos utilizadores3DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  4. 4. laviic.dc.ufscar.br 4Humanos possuem a capacidade de comunicação pela linguagem corporalGestos do corpo podem representar algum tipo de significadoDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  5. 5. laviic.dc.ufscar.br 5Como representar os gestos do corpo humano para uma interface que possainterpretar por meio de dispositivos computacionais?DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  6. 6. laviic.dc.ufscar.br 6CLI•Estática•Desconectada(abstrata)•Baixo-nível•Estrita•Direta•DifícilGUI• Responsiva• Indireta• Exploratória• LimitadaNUI•Evocativa•Imediata (direta)•Contextual•Interativa•IntuitivaOUI• Fluida• Extensiva• Antecipada• SintéticaDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  7. 7. laviic.dc.ufscar.br 7Segundo Weiyuan (2010), a NUI possuí as seguintes característicasDesigncentradono usuárioLargura debanda altaMulti canalSimples enaturalInteraçãobaseadaporimagensInteraçãobaseadapor vozInteraçãobaseadanocomportamentoDesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  8. 8. laviic.dc.ufscar.br 8• A evolução dos computadores e das suas interfaces permitiram que o serhumano possa se comunicar cada vez mais de uma maneira intuitiva enatural.• O desenvolvimento de ferramentas e soluções para que essa comunicaçãose torne efetiva tem sido o foco de pesquisas nos últimos anos.• A capacidade de monitorar e reconhecer os movimentos de uma pessoapode ser alcançado através de vários sensores.• Com o surgimento de câmeras de luz estruturada com informação dedistância/profundidade (Z-buffer) e não apenas cor (RGB) foi possívelrealizar esta tarefa Gnecco et al (2012).DesenvolvimentoDispositivos de captura de gestosbaseados em imagens deprofundidadeEvolução das interfaces de usuário e de seusdispositivos
  9. 9. laviic.dc.ufscar.br 9• Modelagem tridimensional por luz estruturada• São padrões de luz com características conhecidas que são projetadossobre a superfície do objeto e um instrumento sensor captura a imagemdos padrões que são distorcidos pela superfície de projeção.• Pela medição desta distorção e pelo conhecimento das característicasgeométricas (e/ou radiométrica) dos padrões que são projetados se faz adeterminação das coordenadas de pontos que compõem a superfície doobjeto.DesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  10. 10. laviic.dc.ufscar.br 10• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  11. 11. laviic.dc.ufscar.br 11• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  12. 12. laviic.dc.ufscar.br 12• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidadePRO LIVEUS 199,00PROUS 150,00for WindowsUS 240,00for Xbox 360US 110,00
  13. 13. laviic.dc.ufscar.br 13• Dispositivos referência PrimeSenseDesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidadeCARMINE1.08CARMINE1.09CARMINE1.25
  14. 14. laviic.dc.ufscar.br• Suas características e benefícios são amplos, podendo seraplicados em áreas como :• Robótica• Realidade virtual• Vigilância• Educação (fisioterapia etc..)• Captura de movimento de pessoas ou objetos• Rastreamento• Captura de vídeo ou imagem 3D14DesenvolvimentoEvolução das interfaces de usuário e de seusdispositivosDispositivos de captura de gestos baseados emimagens de profundidade
  15. 15. laviic.dc.ufscar.br• Existem diversas ferramentas dedesenvolvimento para dispositivosreferência PrimeSense, cada uma comsuas características.15Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  16. 16. laviic.dc.ufscar.br 16Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  17. 17. laviic.dc.ufscar.br 17• O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC• Héctor Martin liberou o código da libfreenect no Github• Primeiro commit em 10 Novembro de 2010• 17 de dezembro já foi implementado libfreenect plataforma win32• A libfreenect compõe classes de desenvolvimento para acesso ao hardware do dispositivo.• OpenKinect é uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect emcomputadores e outros dispositivos criando bibliotecas livres para que o Kinect seja utilizada emdiferentes plataformasGoogle Groups: OpenKinect#openkinect - FreenodeCódigo fonte disponível em: https://github.com/OpenKinect/libfreenectDispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  18. 18. laviic.dc.ufscar.br 18• Captura de histogramas para geração de imagens de profundidade e RGB• Controle do Motor (posição de orientação vertical)• Captura de dados do Acelerômetro• LED de status• Áudio• Bindings (C#, C++ , Python, Java , AS3)• Suporte nas plataformas Windows, GNU/Linux e OS XDispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  19. 19. laviic.dc.ufscar.br 19• Não possui integração com a NITE (middleware NUI)• Derivada da engenharia reversa do driver oficial doKinect• A OpenKinect não é um framework• A libfreenect é apenas um modulo (driver), uma API paraacesso ao hardware do dispositivo Microsoft KinectDispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  20. 20. laviic.dc.ufscar.br 20Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  21. 21. laviic.dc.ufscar.br 21Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  22. 22. laviic.dc.ufscar.br 22Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento● PrimeSense reconhece o interesse e as realizações da comunidadede código aberto● Surgi um mês depois da libfreenect ser lançada em 09 de dezembro2010● Lança seus drivers do PrimeSensor em (LGPLv3+)● Surgi fork do PrimeSensor para o Kinect (SensorKinect by Avin2)● Lança sua OpenNI framework, atualmente 2.(LGPLv3+)● Promove iniciativas, sem fins lucrativos de utilização da NUI
  23. 23. laviic.dc.ufscar.br• É um framework que fornece uma API para odesenvolvimento de aplicações que necessitam deinteração natural.• API abrange a comunicação com dispositivos de baixonível (por exemplo, sensores de visão e áudio), bemcomo soluções de alto nível (por exemplo, oacompanhamento visual utilizando visão computacional).• O framework está escrito e distribuído sob a GNU LesserGeneral Public License (LGPL)23Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  24. 24. laviic.dc.ufscar.br 24Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  25. 25. laviic.dc.ufscar.br 25Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  26. 26. laviic.dc.ufscar.br• O NITE é um middleware usado pela interface OpenNI, edesenvolvido pela PrimeSense.• Apesar de possuir código fechado, é gratuito e pode serusado comercialmente.• Responsável por identificar os usuários nas imagens deprofundidade e rastrear seus movimentos, além deprover uma API que detecta gestos.• Modos de operação:• Rastrear mãos, com detecção de gestos em particular• Rastrear o corpo todo (esqueleto)26Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  27. 27. laviic.dc.ufscar.br 27Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimentoCaptura e rastreia o centro da mão e oferece coordenadas X, Y e Z do planocartesiano em tempo real. Detecção de gestos (Push, swipe, steady, wave, circle)
  28. 28. laviic.dc.ufscar.br 28Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimentoCaptura e rastreia 15 joints (juntas) e oferece coordenadas X, Y e Z do plano cartesiano do corpoem tempo real.
  29. 29. laviic.dc.ufscar.br 29Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  30. 30. laviic.dc.ufscar.br 30Dispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento• O Microsoft Kinect SDK 1.0 para Windows• Destinado aos sistemas operacionais Windows 7 e WindowsEmbedded Standard• O SDK fornece suporte para os componentes de hardware dodispositivo Kinect.• É um SDK proprietário, sendo a distribuição de licença, para o usocomercial, vinculada ao somente ao dispositivo Microsoft Kinectpara Windows.
  31. 31. laviic.dc.ufscar.br 31OpenKinect OpenNI Microsoft Kinect SDK v1.0Licença LGPLv3+ LGPLv3+(Nite tem código fechado masque pode ser usadocomercialmente)Proprietária e uso nãocomercial para o MicrosoftKinect para Xbox360.Hardware Microsoft Kinect paraXbox360 e Microsoft Kinectpara WindowsQualquer compatível compadrão OpenNIMicrosoft KinectDriver libfreenect SensorKinect Avin2 Microsoft Kinect SDK v1.0Multiplataforma de S.O Sim Sim NãoMúltiplos Kinects Sim Sim SimCâmera RGB Sim Sim SimCâmera Infravermelho Sim Sim SimProjetor Infravermelho Sim Sim SimLED de estatus Sim Sim NãoMotor de inclinação vertical Sim Não SimVetor de microfones Implementado Não SimDetecção de gestos Implementação a partir doOpenCVSim, pelo middleware *Detecção do esqueleto Não Sim, pelo middleware SimDetecção da mãos emódulos dereconhecimento de gestosNão Sim, pelo middleware NãoAnálisador de cena Não Sim Não
  32. 32. laviic.dc.ufscar.br 32DispositivoMicrosoft Kinect XBOX 360Framework/MiddlewareOpenNI 1.X/NITELinguagem de programaçãoDispositivos de captura de gestos baseadosem imagens de profundidadeEvolução das interfaces de usuário e de seusdispositivosDesenvolvimento
  33. 33. laviic.dc.ufscar.brAgradecimentosReferênciasTrabalho FuturosConclusãoLições Aprendidas33GNECCO, B. B. ; BRASIL, G. J. C. ; DIAS, D. R. C. ; GUIMARÃES, M. P. . Desenvolvimento de InterfaceNaturais de Interação usando o hardware Kinect. Tendências e Técnicas em Realidade Virtual eAumentada, v. 2, p. 1-264, 2012.Weiyuan Liu. Natural user interface- next mainstream product user interface.Computer-AidedIndustrial Design & Conceptual Design (CAIDCD), IEEE 11th International Conference on , vol.1, no.,pp.203-205, 17-19 Nov. 2010.OpenNI Documentation. http://openni.org/Documentation/OpenKinect. http://openkinect.orgKinect SDK EULA. http://www.microsoft.com/en-us/kinectforwindows/develop/sdkeula.aspxPrimeSense. “PrimeSense has delivered an important component to the technology, helping usdeliver revolutionary controller-free entertainment experiences”. http://www.primesense.comWAVI Xtion. Intuitive living room experience. http://event.asus.com/wavi/
  34. 34. laviic.dc.ufscar.brPerguntas?gustavojcbrasil@gmail.comgustavo.brasil@dc.ufscar.brhttp://laviic.dc.ufscar.br34

×