Desenvolvimento Livre no Kinect

6.737 visualizações

Publicada em

O Kinect chegou conheça as particularidades do desenvolvimento desse hardware que promete revolucionar o futuro dos games e ser a próxima febre entre usuários e desenvolvedores e veja como desenvolver aplicações para o Kinect com a libfreenect o módulo (driver) e também o uso do módulo SensorKinect os dois livres, e também conheça a API OpenNI o framework livre para você desenvolver aplicações com interação natural do usuário com reconhecimento de esqueleto, gestos de mãos e "analisador de cena"

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Desenvolvimento Livre no Kinect

  1. 1. IFSP Campus Salto
  2. 2. Um pouco sobre mim! <ul><li>Pesquisador Corollarium Technologies
  3. 3. CNPq – Desenv/Porte Sistemas para Multi Projeção p/ RV </li><ul><li>Orientador: Dr. Marcelo de Paiva Guimarães (IFSP) </li></ul><li>Coordenador Geral do FliSol Salto – SP (2 anos)
  4. 4. Mercado Livre na área de p revenção a Fraude.
  5. 5. Colaborador do projeto Debian GNU/Linux
  6. 6. Membro do GUD SP – planeta.debian-sp.org
  7. 7. Colaborador do projeto – DebianZine.org (alpha)
  8. 8. Fiz parte do projeto Hackerteen da 4Linux </li></ul>
  9. 9. Roteiro <ul><li>Evolução das interfaces de usuários
  10. 10. Evolução dos dispositivos de games
  11. 11. O que é Kinect?
  12. 12. - Como funciona o Kinect?
  13. 13. - Possibilidades
  14. 14. Desenvolvimento livre
  15. 15. - Middlewares e frameworks
  16. 16. - Samples e códigos
  17. 17. -Comparações de frameworks </li></ul>
  18. 18. Evolução das interfaces de usuário Fonte: http://en.wikipedia.org/wiki/Natural_user_interface interface de linha de comando interface gráfica de usuário Interface natural de usuário
  19. 19. Imagem: Google Imagens http://www.google.com.br/imghp - Keyboard Interface de Linha de Comando
  20. 20. Imagem: Google Imagens http://www.google.com.br/imghp - Mouse http://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/JauntyGUI.png/800px-JauntyGUI.png - JauntyGUI Interface Gráfica de Usuário
  21. 21. Imagem: Google Imagens http://www.google.com.br/imghp - Minority Report Interface Natural de Usuário
  22. 22. <ul><li>Design fácil de utilização
  23. 23. Design simples e natural
  24. 24. Controle de interface por detecção de gestos
  25. 25. Controle de interface por detecção de fala </li></ul>Design de aplicações NUI se resume <ul><li>TouchScreens
  26. 26. Sensores de movimento (acelerometros)
  27. 27. Câmeras de profundidade (3D)
  28. 28. Sensores de áudio </li></ul>Dispositivos
  29. 29. Evolução dos dispositivos dos games
  30. 30. Vídeo da evolução dos dispositivos de controle para consoles http://vimeo.com/18743950 - History of Gaming - by Florian Smolka
  31. 31. O Controle do Wii abriu possibilidades
  32. 32. Ele chegou !! vamos se movimentar! http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
  33. 33. O que ele é? <ul><li>Kinect é um dispositivo
  34. 34. Hardware com vários componentes </li></ul>
  35. 35. Câmera RGB 640x480 - (Polarização em software de 1200x600) - VNA38209015 IR câmera 320x240 - OG12 / 0956 / D306 / JG05A IR Projetor - Diodo laser de 830 nm - OG12 / 0956 / D306 / JG05A LED http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
  36. 36. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
  37. 37. Motor vertical http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
  38. 38. Microfones http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
  39. 39. Como funciona a captura de áudio Sinal de entrada de áudio O Kinect é capaz de captar áudio por dois microfones Sinal de entrada de áudio O Kinect está equipado com quatro microfones que são colocados em uma fileira. A matriz de microfones é capaz de determinar a direção da fonte em relação ao Kinect. Processamento de sinal de áudio Primeiro, o sinal de áudio é convertido a partir de um sinal analógico para um sinal digital. Em seguida, o sinal é processado
  40. 40. O processador The PrimeSensor™ Reference Design - http://www.primesense.com/?p=514
  41. 41. O verdadeiro “Kinect” The PrimeSensor™ Technology - http://www.primesense.com/?p=487 <ul>The PrimeSensor ™ Technology </ul>
  42. 42. O “Kinect” da ASUS para o “PC” http://event.asus.com/wavi/ http://us.estore.asus.com/index.php?l=product_detail&p=3397
  43. 43. Preços Brasil ≈ R$599 EUA = $149.99 Consulta data 23/06/2011 EUA = $189.00 EUA ≈ $200.00
  44. 44. Kinect e possibilidades Aproveitar suas características os benefícios são amplos, pode se aplicar em áreas como ; <ul><li>Robótica
  45. 45. Realidade virtual
  46. 46. Vigilância
  47. 47. Educação (fisioterapia etc..)
  48. 48. Captura de movimento de pessoas ou objetos
  49. 49. Rastreamento
  50. 50. Captura de vídeo ou imagem 3D. </li></ul><ul>Pode ser usado para desenvolvimento de aplicações NUI </ul>
  51. 51. Possibilidades http://www.youtube.com/watch?v=gu5Ywwb4RaU - 3D models built with Kinect style depth camera http://www.youtube.com/watch?v=YH58u_057Ac - 3D Reconstruction with Kinect http://www.youtube.com/user/nicolasburrus#p/u/0/Cldf7UdFq1k - RGBDemo 0.5.0: Improved scene reconstruction http://www.youtube.com/watch?v=ho8KVOe_y08 - 12 BEST Kinect HACKS http://www.youtube.com/watch?v=2Gp3E7IwLRQ - Kinect Robot Hack
  52. 53. <ul><li>O Kinect tem melhor desempenho no XBOX 360*
  53. 54. O Kinect só funciona no XBOX 360*
  54. 55. O Kinect queima se ligar o USB no PC* </li></ul>
  55. 56. OpenKinect é uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect em computadores e outros dispositivos criando bibliotecas livres para que a Kinect seja utilizada em diferentes plataformas • O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC • Héctor Martin liberou o código da libfreenect no Github • Primeiro commit em 10 Novembro de 2010 • 17 de dezembro já foi implementado libfreenect plataforma win32 Código fonte disponível em: https://github.com/OpenKinect/libfreenect Google Groups: OpenKinect #openkinect - Freenode
  56. 58. <ul><li>Imagens de profundidade e RGB
  57. 59. Motor (posição de orientação vertical)
  58. 60. Acelerômetro
  59. 61. LED
  60. 62. Áudio (mais não implementado)
  61. 63. Wrappers (C#, C++ , Python, Java , AS3) </li></ul>Suporte nas plataformas Windows, GNU/Linux e Mac OS X libfreenect
  62. 64. <ul><li>PrimeSense reconhece o interesse e as realizações da comunidade de código aberto
  63. 65. Surgi um mês depois da libfreenect ser lançada em 09 de dezembro 2010
  64. 66. Lança seus drivers do PrimeSensor em (LGPLv3+)
  65. 67. Surgi fork do PrimeSensor para o Kinect (SensorKinect by Avin2)
  66. 68. Lança sua OpenNI framework (LGPLv3+)
  67. 69. Promove iniciativas, sem fins lucrativos de utilização da NUI </li></ul>Google Groups: OpenNI
  68. 71. Rastreamento de Esqueleto Z do Kinect Y Pontos do esqueleto (x,y,z) http://www.openclipart.org/people/harmonic/Vitruvian_Man.svg
  69. 72. NiUserTracker (C++) Demonstração e código!
  70. 73. TuxSinbad (OpenNI+Ogre) https://github.com/ttair/TuxSinbad
  71. 74. Reconhecimento gestos da mão Demonstração e código!
  72. 75. Frameworks OpenKinect OpenNI Microsoft Kinect SDK Beta Licença LGPLv3+ LGPLv3+ Proprietária e não uso comercial Driver (módulo) libfreenect SensorKinect Avin2 / CL NUI * Windows,GNU/Linux e Mac OSX Sim Sim Não Suporte para câmeras referência da PrimeSense(Asus WAVI Xtion) Não Sim Não Uso de vários Kinects Sim Sim Sim Câmera RGB Sim Sim Sim Câmera Infravermelho Sim Sim Sim Projetor Infravermelho Sim sim Sim LED Sim Sim Não Motor vertical Sim Não Sim Áudio Implementado (não default) Não Sim Detecção de gestos Exemplo de uso OpenCV que possui módulos de processamento de imagem. NITE Middleware (Baseado em OpenCV) * Detecção do Esqueleto Não Sim Sim Detecção da Mão (Click, movimento e circulo) Não Sim Não Analisador de Cenas Não Sim Não
  73. 76. Referências <ul><li>http://openkinect.org – OpenKinect.org
  74. 77. https://github.com/OpenKinect/libfreenect - libfreenect
  75. 78. http://openkinect.org - OpenKinect. is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac
  76. 79. http://www.primesense.com - PrimeSense. “PrimeSense has delivered an important component to the technology, helping us deliver revolutionary controller-free entertainment experiences”
  77. 80. http://opencv.willowgarage.com/wiki/ - OpenCV
  78. 81. http://www.primesense.com/?p=514 - PrimeSense Reference Design
  79. 82. http://event.asus.com/wavi/ - WAVI Xtion. Intuitive living room experience
  80. 83. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/ - Microsoft Kinect Teardown
  81. 84. http://www.xbox.com/pt-br/kinect -Microsoft Kinect for Xbox360.
  82. 85. http://www.hitl.washington.edu/artoolkit/ - ARToolKit
  83. 86. http://en.wikipedia.org/wiki/Natural_User_Interface - Natural user interface
  84. 87. http://bit.ly/i045ty - RGBDemo 0.5.0: Improved scene reconstruction </li></ul>
  85. 88. Perguntas? Twitter: @gustavojordan Identi.ca: !gustavojordan Planeta Debian-SP : planeta.debian-sp.org softwarelivre.org/jordan Site/Blog: http://andarilhovirtual.com.br Blog: http://blog.andarilhovirtual.com.br [email_address]

×