Kinect: muito além do Xbox    Descobrindo o SDK do Kinect como plataforma de       desenvolvimento de aplicativos para win...
André Paulovichpaulovich@100loop.com@andrepaulovich               www.raptors.com.br   www.100loop.com
NUI – Natural User InterfaceNUI é um sistema que facilita a interaçãoHomem-Maquina criando uma interfaceintuitiva e “natur...
Visão Geral           Emissor do         InfraVermelho       Câmera RGB         Sensor do                                 ...
Kinect SDK - Nível de dificuldadeExiste realmente uma quebra de paradigmas envolvida quando começamos atrabalhar com o SDK...
Kinect SDK - Nível de dificuldade   O que você imagina quando vê os primeiros códigos.
Kinect SDK - Nível de dificuldadeComo é de verdade:                     A API do NUI detecta tudo automático.             ...
O que iremos usar?Kinect SDK v1.0http://kinectforwindows.orgCoding4Fun Toolkithttp://channel9.msdn.com/coding4fun/kinect
ProcedimentoPegar o Kinect ativo no sistema.KinectSensorAtivar os recursos do Kinect que você vai usar:KinectSensor.Skelet...
EventosQuando cada imagem é detectada ele invoca um evento:DepthFrameReady;ColorFrameReady;SkeletonFrameReady;AllFrameRead...
Tilt – DEMO   Pegar o sensor ativo.   Controlar do motor alterando a propriedade ElevationAngle.
TiltÉ importante ressaltar que o ângulo mostrado, é   relativo a gravidadee não é fixo a base, isso quer dizer que se o Ki...
Sério, não fique usando muitoo motor, ele não é um robô!
Skeletal Tracking                    Detecta até 6 pessoas                    Destes, apenas 2 são inteiramente           ...
Skeletal Tracking - DemoCada esqueleto possui um TrackingID.Articulações:Cada articulação conta com X, Y e Z e um estado:T...
Sensor de Profundidade (Depth) - DemoCaptura a distância e o jogador de cada ponto.Distância entre o ponto e Kinect em mil...
Trabalhando o Audio - DemoO Kinect é composto por vários microfones,aumentando assim a confiabilidade da detecção de voz.A...
Posição e confiabilidade do somO Kinect retorna a confiabilidade de uma sentença:e.Result.Confidence de 0 a 1.Posição:É po...
ConclusãoOs sensores de movimentos vieram para ficar.E o Kinect abre uma gama de possibilidades, que os desenvolvedores nã...
Perguntas?!
Procurando um desafiante?               andrepaulovich
Obrigado!
Próximos SlideShares
Carregando em…5
×

Kinect: Muito além do XBOX - SEMCOMP 2012

779 visualizações

Publicada em

Conheça o Kinect e suas principais bibliotecas e descubra o potencial que este equipamento tem para criar jogos e outras aplicações. Aprenda conceitos de NUI e veja um pouco sobre o que o futuro nos reserva com relação a interação homem-maquina.

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
779
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
18
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Esta é outra opção para um slide de Visão Geral.
  • Kinect: Muito além do XBOX - SEMCOMP 2012

    1. 1. Kinect: muito além do Xbox Descobrindo o SDK do Kinect como plataforma de desenvolvimento de aplicativos para windows André Paulovich
    2. 2. André Paulovichpaulovich@100loop.com@andrepaulovich www.raptors.com.br www.100loop.com
    3. 3. NUI – Natural User InterfaceNUI é um sistema que facilita a interaçãoHomem-Maquina criando uma interfaceintuitiva e “natural” para o usuário.
    4. 4. Visão Geral Emissor do InfraVermelho Câmera RGB Sensor do InfraVermelho Tilt Motor Microfones Câmera RGB  Rastreio de Esqueleto (Skeletal Tracking) Câmera de Profundidade (Depth)  Microfone
    5. 5. Kinect SDK - Nível de dificuldadeExiste realmente uma quebra de paradigmas envolvida quando começamos atrabalhar com o SDK, pois temos que lidar com operações bastante específicasque boa parte dos desenvolvedores não esta acostumada a trabalhar.Um detalhe importante é que o Kinect não retorna imagens montadas (comomuitos supõem), ele retorna apenas bytes, que devem ser convertidos ouinterpretados pelo aplicativo.
    6. 6. Kinect SDK - Nível de dificuldade O que você imagina quando vê os primeiros códigos.
    7. 7. Kinect SDK - Nível de dificuldadeComo é de verdade: A API do NUI detecta tudo automático. A única coisa que você tem que preocupar são com as conversões de valores.
    8. 8. O que iremos usar?Kinect SDK v1.0http://kinectforwindows.orgCoding4Fun Toolkithttp://channel9.msdn.com/coding4fun/kinect
    9. 9. ProcedimentoPegar o Kinect ativo no sistema.KinectSensorAtivar os recursos do Kinect que você vai usar:KinectSensor.SkeletonStream.Open()KinectSensor.DepthStream.Open()Adicionar evento para tratar os sensores:KinectSensor.AllFrameReady += ...E finalmente dar um Start no Kinect.KinectSensor.Start();
    10. 10. EventosQuando cada imagem é detectada ele invoca um evento:DepthFrameReady;ColorFrameReady;SkeletonFrameReady;AllFrameReady;AllFrameReady sempre que todos os frames são detectados, sempre notempo do mais lento.
    11. 11. Tilt – DEMO Pegar o sensor ativo. Controlar do motor alterando a propriedade ElevationAngle.
    12. 12. TiltÉ importante ressaltar que o ângulo mostrado, é relativo a gravidadee não é fixo a base, isso quer dizer que se o Kinect tiver preso naparede a posição 1 será diferente do 1 dele em cima da mesa.
    13. 13. Sério, não fique usando muitoo motor, ele não é um robô!
    14. 14. Skeletal Tracking Detecta até 6 pessoas Destes, apenas 2 são inteiramente Compreendidos (20 articulações) Valores das posições de cada articulação está em metros. Os outros 4 são parcialmente compreendidos (somente a localização)
    15. 15. Skeletal Tracking - DemoCada esqueleto possui um TrackingID.Articulações:Cada articulação conta com X, Y e Z e um estado:Tracked, Not Tracked, InferredSendo Inferred quando o Kinect não consegue achar a articulação epresume sua posição baseado nas outras.
    16. 16. Sensor de Profundidade (Depth) - DemoCaptura a distância e o jogador de cada ponto.Distância entre o ponto e Kinect em milímetros.De 1 a 6 jogadores. “Eu vim em paz”
    17. 17. Trabalhando o Audio - DemoO Kinect é composto por vários microfones,aumentando assim a confiabilidade da detecção de voz.Ativar o AudioStream:AudioStream.Start()Criar variável para reconhecimento de voz:SpeechRecognitionEngineAdicionar as palavras que vão ser “entendidas”:var words = new Choices();words.Add("green");words.Add("blue");Adicionar o evento:sre.SpeechRecognized += this.SreSpeechRecognized;
    18. 18. Posição e confiabilidade do somO Kinect retorna a confiabilidade de uma sentença:e.Result.Confidence de 0 a 1.Posição:É possível pegar o ângulo da o onde o som vem.O resultado é gerado automaticamente dentro do AudioSensor.KinectSensor.AudioSensor.SoundSourceAngleKinectSensor.AudioSensor.SoundSourceAngleConfidence
    19. 19. ConclusãoOs sensores de movimentos vieram para ficar.E o Kinect abre uma gama de possibilidades, que os desenvolvedores não tinhamantes. Sua utilização vai muito além dos games.
    20. 20. Perguntas?!
    21. 21. Procurando um desafiante? andrepaulovich
    22. 22. Obrigado!

    ×