Desenvolvimento Livre no Kinect

6.639 visualizações

Publicada em

O Kinect chegou conheça as particularidades do desenvolvimento desse hardware que promete revolucionar o futuro dos games e ser a próxima febre entre usuários e desenvolvedores e veja como desenvolver aplicações para o Kinect com a libfreenect o módulo (driver) e também o uso do módulo SensorKinect os dois livres, e também conheça a API OpenNI o framework livre para você desenvolver aplicações com interação natural do usuário com reconhecimento de esqueleto, gestos de mãos e "analisador de cena"

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
6.639
No SlideShare
0
A partir de incorporações
0
Número de incorporações
527
Ações
Compartilhamentos
0
Downloads
182
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Mito: O Kinect tem melhor desempenho no XBOX 360 Explicação: O Kinect não possui melhor desempenho, ele é dispositivo de hardware comum, você pode desenvolver ele da maneira que desejar e usar toda sua eficiência a diferença é que a Microsoft possui desenvolvedores que se focam a desenvolver uma SDK para empresas de desenvolvimento de jogos, assim elas focam em deixar um framework para o XBOX “perfeito” com todas suas funcionalidades. Mito: O Kinect só funciona no XBOX 360 Explicação: Como dito no mito anterior ele é um dispositivo de hardware comum, se você possui o driver e módulos, ele funciona aonde você quiser. Mito: O Kinect queima se você ligar o USB em qualquer outra plataforma que não seja o Xbox Explicação: Outro mito que pelo que foi dito anteriormente se resume a mito
  • Desenvolvimento Livre no Kinect

    1. 1. IFSP Campus Salto
    2. 2. Um pouco sobre mim! <ul><li>Pesquisador Corollarium Technologies
    3. 3. CNPq – Desenv/Porte Sistemas para Multi Projeção p/ RV </li><ul><li>Orientador: Dr. Marcelo de Paiva Guimarães (IFSP) </li></ul><li>Coordenador Geral do FliSol Salto – SP (2 anos)
    4. 4. Mercado Livre na área de p revenção a Fraude.
    5. 5. Colaborador do projeto Debian GNU/Linux
    6. 6. Membro do GUD SP – planeta.debian-sp.org
    7. 7. Colaborador do projeto – DebianZine.org (alpha)
    8. 8. Fiz parte do projeto Hackerteen da 4Linux </li></ul>
    9. 9. Roteiro <ul><li>Evolução das interfaces de usuários
    10. 10. Evolução dos dispositivos de games
    11. 11. O que é Kinect?
    12. 12. - Como funciona o Kinect?
    13. 13. - Possibilidades
    14. 14. Desenvolvimento livre
    15. 15. - Middlewares e frameworks
    16. 16. - Samples e códigos
    17. 17. -Comparações de frameworks </li></ul>
    18. 18. Evolução das interfaces de usuário Fonte: http://en.wikipedia.org/wiki/Natural_user_interface interface de linha de comando interface gráfica de usuário Interface natural de usuário
    19. 19. Imagem: Google Imagens http://www.google.com.br/imghp - Keyboard Interface de Linha de Comando
    20. 20. Imagem: Google Imagens http://www.google.com.br/imghp - Mouse http://upload.wikimedia.org/wikipedia/commons/thumb/2/2a/JauntyGUI.png/800px-JauntyGUI.png - JauntyGUI Interface Gráfica de Usuário
    21. 21. Imagem: Google Imagens http://www.google.com.br/imghp - Minority Report Interface Natural de Usuário
    22. 22. <ul><li>Design fácil de utilização
    23. 23. Design simples e natural
    24. 24. Controle de interface por detecção de gestos
    25. 25. Controle de interface por detecção de fala </li></ul>Design de aplicações NUI se resume <ul><li>TouchScreens
    26. 26. Sensores de movimento (acelerometros)
    27. 27. Câmeras de profundidade (3D)
    28. 28. Sensores de áudio </li></ul>Dispositivos
    29. 29. Evolução dos dispositivos dos games
    30. 30. Vídeo da evolução dos dispositivos de controle para consoles http://vimeo.com/18743950 - History of Gaming - by Florian Smolka
    31. 31. O Controle do Wii abriu possibilidades
    32. 32. Ele chegou !! vamos se movimentar! http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
    33. 33. O que ele é? <ul><li>Kinect é um dispositivo
    34. 34. Hardware com vários componentes </li></ul>
    35. 35. Câmera RGB 640x480 - (Polarização em software de 1200x600) - VNA38209015 IR câmera 320x240 - OG12 / 0956 / D306 / JG05A IR Projetor - Diodo laser de 830 nm - OG12 / 0956 / D306 / JG05A LED http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
    36. 36. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
    37. 37. Motor vertical http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
    38. 38. Microfones http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/1
    39. 39. Como funciona a captura de áudio Sinal de entrada de áudio O Kinect é capaz de captar áudio por dois microfones Sinal de entrada de áudio O Kinect está equipado com quatro microfones que são colocados em uma fileira. A matriz de microfones é capaz de determinar a direção da fonte em relação ao Kinect. Processamento de sinal de áudio Primeiro, o sinal de áudio é convertido a partir de um sinal analógico para um sinal digital. Em seguida, o sinal é processado
    40. 40. O processador The PrimeSensor™ Reference Design - http://www.primesense.com/?p=514
    41. 41. O verdadeiro “Kinect” The PrimeSensor™ Technology - http://www.primesense.com/?p=487 <ul>The PrimeSensor ™ Technology </ul>
    42. 42. O “Kinect” da ASUS para o “PC” http://event.asus.com/wavi/ http://us.estore.asus.com/index.php?l=product_detail&p=3397
    43. 43. Preços Brasil ≈ R$599 EUA = $149.99 Consulta data 23/06/2011 EUA = $189.00 EUA ≈ $200.00
    44. 44. Kinect e possibilidades Aproveitar suas características os benefícios são amplos, pode se aplicar em áreas como ; <ul><li>Robótica
    45. 45. Realidade virtual
    46. 46. Vigilância
    47. 47. Educação (fisioterapia etc..)
    48. 48. Captura de movimento de pessoas ou objetos
    49. 49. Rastreamento
    50. 50. Captura de vídeo ou imagem 3D. </li></ul><ul>Pode ser usado para desenvolvimento de aplicações NUI </ul>
    51. 51. Possibilidades http://www.youtube.com/watch?v=gu5Ywwb4RaU - 3D models built with Kinect style depth camera http://www.youtube.com/watch?v=YH58u_057Ac - 3D Reconstruction with Kinect http://www.youtube.com/user/nicolasburrus#p/u/0/Cldf7UdFq1k - RGBDemo 0.5.0: Improved scene reconstruction http://www.youtube.com/watch?v=ho8KVOe_y08 - 12 BEST Kinect HACKS http://www.youtube.com/watch?v=2Gp3E7IwLRQ - Kinect Robot Hack
    52. 53. <ul><li>O Kinect tem melhor desempenho no XBOX 360*
    53. 54. O Kinect só funciona no XBOX 360*
    54. 55. O Kinect queima se ligar o USB no PC* </li></ul>
    55. 56. OpenKinect é uma comunidade de pessoas interessadas em utilizar o Microsoft Kinect em computadores e outros dispositivos criando bibliotecas livres para que a Kinect seja utilizada em diferentes plataformas • O projeto surgiu na corrida para ganhar acesso do Microsoft Kinect no PC • Héctor Martin liberou o código da libfreenect no Github • Primeiro commit em 10 Novembro de 2010 • 17 de dezembro já foi implementado libfreenect plataforma win32 Código fonte disponível em: https://github.com/OpenKinect/libfreenect Google Groups: OpenKinect #openkinect - Freenode
    56. 58. <ul><li>Imagens de profundidade e RGB
    57. 59. Motor (posição de orientação vertical)
    58. 60. Acelerômetro
    59. 61. LED
    60. 62. Áudio (mais não implementado)
    61. 63. Wrappers (C#, C++ , Python, Java , AS3) </li></ul>Suporte nas plataformas Windows, GNU/Linux e Mac OS X libfreenect
    62. 64. <ul><li>PrimeSense reconhece o interesse e as realizações da comunidade de código aberto
    63. 65. Surgi um mês depois da libfreenect ser lançada em 09 de dezembro 2010
    64. 66. Lança seus drivers do PrimeSensor em (LGPLv3+)
    65. 67. Surgi fork do PrimeSensor para o Kinect (SensorKinect by Avin2)
    66. 68. Lança sua OpenNI framework (LGPLv3+)
    67. 69. Promove iniciativas, sem fins lucrativos de utilização da NUI </li></ul>Google Groups: OpenNI
    68. 71. Rastreamento de Esqueleto Z do Kinect Y Pontos do esqueleto (x,y,z) http://www.openclipart.org/people/harmonic/Vitruvian_Man.svg
    69. 72. NiUserTracker (C++) Demonstração e código!
    70. 73. TuxSinbad (OpenNI+Ogre) https://github.com/ttair/TuxSinbad
    71. 74. Reconhecimento gestos da mão Demonstração e código!
    72. 75. Frameworks OpenKinect OpenNI Microsoft Kinect SDK Beta Licença LGPLv3+ LGPLv3+ Proprietária e não uso comercial Driver (módulo) libfreenect SensorKinect Avin2 / CL NUI * Windows,GNU/Linux e Mac OSX Sim Sim Não Suporte para câmeras referência da PrimeSense(Asus WAVI Xtion) Não Sim Não Uso de vários Kinects Sim Sim Sim Câmera RGB Sim Sim Sim Câmera Infravermelho Sim Sim Sim Projetor Infravermelho Sim sim Sim LED Sim Sim Não Motor vertical Sim Não Sim Áudio Implementado (não default) Não Sim Detecção de gestos Exemplo de uso OpenCV que possui módulos de processamento de imagem. NITE Middleware (Baseado em OpenCV) * Detecção do Esqueleto Não Sim Sim Detecção da Mão (Click, movimento e circulo) Não Sim Não Analisador de Cenas Não Sim Não
    73. 76. Referências <ul><li>http://openkinect.org – OpenKinect.org
    74. 77. https://github.com/OpenKinect/libfreenect - libfreenect
    75. 78. http://openkinect.org - OpenKinect. is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac
    76. 79. http://www.primesense.com - PrimeSense. “PrimeSense has delivered an important component to the technology, helping us deliver revolutionary controller-free entertainment experiences”
    77. 80. http://opencv.willowgarage.com/wiki/ - OpenCV
    78. 81. http://www.primesense.com/?p=514 - PrimeSense Reference Design
    79. 82. http://event.asus.com/wavi/ - WAVI Xtion. Intuitive living room experience
    80. 83. http://www.ifixit.com/Teardown/Microsoft-Kinect-Teardown/4066/ - Microsoft Kinect Teardown
    81. 84. http://www.xbox.com/pt-br/kinect -Microsoft Kinect for Xbox360.
    82. 85. http://www.hitl.washington.edu/artoolkit/ - ARToolKit
    83. 86. http://en.wikipedia.org/wiki/Natural_User_Interface - Natural user interface
    84. 87. http://bit.ly/i045ty - RGBDemo 0.5.0: Improved scene reconstruction </li></ul>
    85. 88. Perguntas? Twitter: @gustavojordan Identi.ca: !gustavojordan Planeta Debian-SP : planeta.debian-sp.org softwarelivre.org/jordan Site/Blog: http://andarilhovirtual.com.br Blog: http://blog.andarilhovirtual.com.br [email_address]

    ×