Gabriel Schade Cardoso apresenta seu trabalho com desenvolvimento utilizando o Microsoft Kinect. Ele tem experiência com C# e .NET, além de ser autor de livros sobre Kinect e Windows Phone. O documento explica como o Kinect funciona para reconhecimento de voz, mãos e postura através de sensores e fluxos de esqueleto, bem como técnicas para detecção de gestos.

1. Gabriel Schade Cardoso
Desenvolvimento com Kinect

2. Sobre
2
GUI
Dev - 5 anos Dev – 2 anos
.NET
 Graduado em ciência da computação
 Mestrando em inteligência artificial aplicada
 Certificações Microsoft
 C#
 ASP .NET MVC
 HTML 5 + CSS 3 + JavaScript
 Programador desde 2009
 Palestrante desde 2012
 Autor dos livros sobre Kinect e Windows Phone
da editora Casa do Código

3. Interfaces
3
GUI
Command Line Interface Natural User InterfaceGraphical User Interface

4. Microsoft Kinect
4

5. Kinect for Windows SDK
5

6.  Reconhecimento de voz; (necessita do
SpeechRecognition SDK)
 Reconhecer a direção de uma fonte de áudio;
 Reconhecer o volume de uma entrada de áudio;
Kinect Audio Source
6
Microfones

7. Detecção da Mão
7
Cursor padrão
Pressionando
Pressionado
Segurando

8. Skeleton Stream
8
 Apesar de reconhecer 6 usuários o Kinect rastreia as
articulações de no máximo 2 usuários.

9. Skeleton Stream
9
Pose / Postura Gestos

10. Detecção de Poses
10
 Não há nenhuma forma simples nativa para se fazer a
detecção de poses ou gestos genéricos.
 Qual a grande dificuldade?

11. Produto Escalar
• Utiliza-se três articulações e suas posições espaciais (X, Y e Z) para
definir os vetores 3D utilizados para calcular o ângulo.
11

12. Detecção de Gestos
12
 A detecção de gestos é baseada em uma lista encadeada
de poses, que possuem tempo limite inferior e superior e
uma taxa de percentual de acerto.
Essas informações são baseadas em um motor de
reconhecimento que inferi quais foram as poses
reconhecidas e as dispara para a aplicação

13. Detecção de Gestos
13
 Cada elemento na lista é chamado de quadro chave
(keyframe), é uma técnica utilizada em outras áreas que
decidi aplicar no Kinect

14. 14
Detecção de Gestos

15. Demo – Final
15

16. www.casadocodigo.com.br
TDC2014
16

17. Muito Obrigado!!
17
/gabrielschade
www.programadorpoliglota.com.br
/twoplayersoficial
/gabrielschade
/gabrielschade
/gabrielschade