Aprenda a usar o Kinect e bibliotecas de fisica como a Farseer Physic para criar jogos e até mesmo aplicações dinâmicos em .NET. Aprenda conceitos de NUI e veja um pouco sobre o que o futuro nos reserva com relação a interação homem-maquina..

1. Kinect: muito além do Xbox
André Luiz de Rocha Castro | André Paulovich | Idevar Junior

2. André Castro
@alrcastro
andrecastro@100loop.com
www.100loop.com
www.raptors.com.br

3. André Paulovich
@andrepaulovich
paulovich@100loop.com
www.100loop.com
www.raptors.com.br

4. Idevar Junior
@idevarjr
idevarjr@hotmail.com
idevar.wordpress.com
www.raptors.com.br
For Windows 7

5. Visão Geral
• Câmera RGB
• Câmera de Profundidade (Depth)
• Rastreio de Esqueleto (Skeletal Tracking)
• Microfone
Emissor do
InfraVermelho Câmera RGB Sensor do
InfraVermelho
Tilt Motor
Microfones
Channel9

6. NUI – Natural User Interface
NUI é um sistema que facilita a interação Homem-Maquina
criando uma interface natural para o usuário.

7. NUI – Natural User Interface
Essa interface é supimpa em!

8. Kinect SDK - Nível de dificuldade
O SDK trabalha com muitas coisas que a maioria dos desenvolvedores
não esta acostumado.
O kinect não retorna Imagens, apenas bytes, que devem ser
convertidos/interpretados pelo aplicativo.
O que você imagina quando vê os primeiros códigos:

9. Kinect SDK - Nível de dificuldade
A API do NUI detecta tudo automático.
A única coisa que você tem que preocupar são com as conversões
de valores.
Como é de verdade:

10. O que iremos usar?
Kinect SDK v1.0
http://kinectforwindows.org
Coding4Fun Toolkit
http://channel9.msdn.com/coding4fun/kinect

11. Procedimento
Pegar o Kinect ativo no sistema.
KinectSensor
Ativar os recursos do Kinect que você vai usar:
KinectSensor.SkeletonStream.Open()
KinectSensor.DepthStream.Open()
Adicionar evento para tratar os sensores:
KinectSensor.AllFrameReady += ...
E finalmente dar um Start no Kinect.
KinectSensor.Start();

12. Eventos
Quando cada imagem é detectada ele invoca um evento:
DepthFrameReady;
ColorFrameReady;
SkeletonFrameReady;
AllFrameReady;
AllFrameReady sempre que todos os frames são detectados,
sempre no tempo do mais lento.

13. ColorStream e Tilt – DEMO
Habilitar o ColorStream.
Converter o array de bytes para uma imagem ou usar a
biblioteca Coding4Fun.
Jogar o Bitmap em um componente de imagem.
Controle do motor do Kinect.

14. Sério, não fique usando muito
o motor, ele não é um robô!

15. Skeletal Tracking
Detecta até 6 pessoas no sensor do kinect
Destes, apenas 2 são inteiramente
Compreendidos (20 articulações)
Valores das posições de cada articulação está em metros.
Os outros 4 são parcialmente compreendidos
(somente a localização)

16. Skeletal Tracking - Demo
Cada esqueleto possui um TrackingID.
Articulações:
Cada articulação conta com X, Y e Z e um estado:
Tracked, Not Tracked, Inferred
Sendo Inferred quando o Kinect não consegue achar
a articulação e presume sua posição baseado nas
outras.

17. Sensor de Profundidade (Depth) - Demo
Captura a distância e o jogador de cada ponto.
Distância entre o ponto e Kinect em milímetros.
De 1 a 6 jogadores.
“Eu vim em paz”

18. Trabalhando o Audio - Demo
O Kinect é composto por vários microfones, aumentando
assim a confiabilidade da detecção de voz.
Ativar o AudioStream:
AudioStream.Start()
Criar variável para reconhecimento de voz:
SpeechRecognitionEngine
Adicionar as palavras que vão ser “entendidas”:
var words = new Choices();
words.Add("green");
words.Add("blue");
Adicionar o evento:
sre.SpeechRecognized += this.SreSpeechRecognized;

19. Posição e confiabilidade do som
O Kinect retorna a confiabilidade de uma sentença:
e.Result.Confidence de 0 a 1.
Posição:
É possível pegar o ângulo da o onde o som vem.
O resultado é gerado automaticamente dentro do
AudioSensor.
KinectSensor.AudioSensor.SoundSourceAngle
KinectSensor.AudioSensor.SoundSourceAngleConfidence

20. Conclusão
Os sensores de movimentos vieram para ficar.
E o Kinect abre uma gama de possibilidades, que os
desenvolvedores não tinham antes.
Sua utilização vai muito além dos games.

21. Perguntas?

22. Procurando um desafiante?
Teste sua sorte com esses aqui:
André Castro
alrcastro BloodGlocks

23. 12/05/12