Kinect: muito além do XboxAndré Luiz de Rocha Castro | André Paulovich | Idevar Junior
André Castro@alrcastroandrecastro@100loop.comwww.100loop.comwww.raptors.com.br
André Paulovich@andrepaulovichpaulovich@100loop.comwww.100loop.comwww.raptors.com.br
Idevar Junior@idevarjridevarjr@hotmail.comidevar.wordpress.comwww.raptors.com.br      For Windows 7
Visão Geral•   Câmera RGB•   Câmera de Profundidade (Depth)•   Rastreio de Esqueleto (Skeletal Tracking)•   Microfone     ...
NUI – Natural User InterfaceNUI é um sistema que facilita a interação Homem-Maquinacriando uma interface natural para o us...
NUI – Natural User Interface        Essa interface é supimpa em!
Kinect SDK - Nível de dificuldadeO SDK trabalha com muitas coisas que a maioria dos desenvolvedoresnão esta acostumado.O k...
Kinect SDK - Nível de dificuldadeA API do NUI detecta tudo automático.A única coisa que você tem que preocupar são com as ...
O que iremos usar?Kinect SDK v1.0http://kinectforwindows.orgCoding4Fun Toolkithttp://channel9.msdn.com/coding4fun/kinect
ProcedimentoPegar o Kinect ativo no sistema.KinectSensorAtivar os recursos do Kinect que você vai usar:KinectSensor.Skelet...
EventosQuando cada imagem é detectada ele invoca um evento:DepthFrameReady;ColorFrameReady;SkeletonFrameReady;AllFrameRead...
ColorStream e Tilt – DEMOHabilitar o ColorStream.Converter o array de bytes para uma imagem ou usar abiblioteca Coding4Fun...
Sério, não fique usando muitoo motor, ele não é um robô!
Skeletal TrackingDetecta até 6 pessoas no sensor do kinectDestes, apenas 2 são inteiramenteCompreendidos (20 articulações)...
Skeletal Tracking - DemoCada esqueleto possui um TrackingID.Articulações:Cada articulação conta com X, Y e Z e um estado:T...
Sensor de Profundidade (Depth) - DemoCaptura a distância e o jogador de cada ponto.Distância entre o ponto e Kinect em mil...
Trabalhando o Audio - DemoO Kinect é composto por vários microfones, aumentandoassim a confiabilidade da detecção de voz.A...
Posição e confiabilidade do som O Kinect retorna a confiabilidade de uma sentença: e.Result.Confidence de 0 a 1. Posição: ...
Conclusão Os sensores de movimentos vieram para ficar. E o Kinect abre uma gama de possibilidades, que os desenvolvedores ...
Perguntas?
Procurando um desafiante?         Teste sua sorte com esses aqui:André Castro                alrcastro                  Bl...
12/05/12
Próximos SlideShares
Carregando em…5
×

Conhecendo o Kinect: Muito além do XBOX - InfoTech 2012

735 visualizações

Publicada em

Aprenda a usar o Kinect e bibliotecas de fisica como a Farseer Physic para criar jogos e até mesmo aplicações dinâmicos em .NET. Aprenda conceitos de NUI e veja um pouco sobre o que o futuro nos reserva com relação a interação homem-maquina..

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Conhecendo o Kinect: Muito além do XBOX - InfoTech 2012

  1. 1. Kinect: muito além do XboxAndré Luiz de Rocha Castro | André Paulovich | Idevar Junior
  2. 2. André Castro@alrcastroandrecastro@100loop.comwww.100loop.comwww.raptors.com.br
  3. 3. André Paulovich@andrepaulovichpaulovich@100loop.comwww.100loop.comwww.raptors.com.br
  4. 4. Idevar Junior@idevarjridevarjr@hotmail.comidevar.wordpress.comwww.raptors.com.br For Windows 7
  5. 5. Visão Geral• Câmera RGB• Câmera de Profundidade (Depth)• Rastreio de Esqueleto (Skeletal Tracking)• Microfone Emissor do InfraVermelho Câmera RGB Sensor do InfraVermelho Tilt Motor Microfones Channel9
  6. 6. NUI – Natural User InterfaceNUI é um sistema que facilita a interação Homem-Maquinacriando uma interface natural para o usuário.
  7. 7. NUI – Natural User Interface Essa interface é supimpa em!
  8. 8. Kinect SDK - Nível de dificuldadeO SDK trabalha com muitas coisas que a maioria dos desenvolvedoresnão esta acostumado.O kinect não retorna Imagens, apenas bytes, que devem serconvertidos/interpretados pelo aplicativo. O que você imagina quando vê os primeiros códigos:
  9. 9. Kinect SDK - Nível de dificuldadeA API do NUI detecta tudo automático.A única coisa que você tem que preocupar são com as conversõesde valores. Como é de verdade:
  10. 10. O que iremos usar?Kinect SDK v1.0http://kinectforwindows.orgCoding4Fun Toolkithttp://channel9.msdn.com/coding4fun/kinect
  11. 11. ProcedimentoPegar o Kinect ativo no sistema.KinectSensorAtivar os recursos do Kinect que você vai usar:KinectSensor.SkeletonStream.Open()KinectSensor.DepthStream.Open()Adicionar evento para tratar os sensores:KinectSensor.AllFrameReady += ...E finalmente dar um Start no Kinect.KinectSensor.Start();
  12. 12. EventosQuando cada imagem é detectada ele invoca um evento:DepthFrameReady;ColorFrameReady;SkeletonFrameReady;AllFrameReady;AllFrameReady sempre que todos os frames são detectados,sempre no tempo do mais lento.
  13. 13. ColorStream e Tilt – DEMOHabilitar o ColorStream.Converter o array de bytes para uma imagem ou usar abiblioteca Coding4Fun.Jogar o Bitmap em um componente de imagem.Controle do motor do Kinect.
  14. 14. Sério, não fique usando muitoo motor, ele não é um robô!
  15. 15. Skeletal TrackingDetecta até 6 pessoas no sensor do kinectDestes, apenas 2 são inteiramenteCompreendidos (20 articulações)Valores das posições de cada articulação está em metros.Os outros 4 são parcialmente compreendidos(somente a localização)
  16. 16. Skeletal Tracking - DemoCada esqueleto possui um TrackingID.Articulações:Cada articulação conta com X, Y e Z e um estado:Tracked, Not Tracked, InferredSendo Inferred quando o Kinect não consegue achara articulação e presume sua posição baseado nasoutras.
  17. 17. Sensor de Profundidade (Depth) - DemoCaptura a distância e o jogador de cada ponto.Distância entre o ponto e Kinect em milímetros.De 1 a 6 jogadores. “Eu vim em paz”
  18. 18. Trabalhando o Audio - DemoO Kinect é composto por vários microfones, aumentandoassim a confiabilidade da detecção de voz.Ativar o AudioStream:AudioStream.Start()Criar variável para reconhecimento de voz:SpeechRecognitionEngineAdicionar as palavras que vão ser “entendidas”:var words = new Choices();words.Add("green");words.Add("blue");Adicionar o evento:sre.SpeechRecognized += this.SreSpeechRecognized;
  19. 19. Posição e confiabilidade do som O Kinect retorna a confiabilidade de uma sentença: e.Result.Confidence de 0 a 1. Posição: É possível pegar o ângulo da o onde o som vem. O resultado é gerado automaticamente dentro do AudioSensor. KinectSensor.AudioSensor.SoundSourceAngle KinectSensor.AudioSensor.SoundSourceAngleConfidence
  20. 20. Conclusão Os sensores de movimentos vieram para ficar. E o Kinect abre uma gama de possibilidades, que os desenvolvedores não tinham antes. Sua utilização vai muito além dos games.
  21. 21. Perguntas?
  22. 22. Procurando um desafiante? Teste sua sorte com esses aqui:André Castro alrcastro BloodGlocks
  23. 23. 12/05/12

×