Kinect
Thiago Gouveia Rocha
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

2
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

3
Move Controllers
• Power Glove
– 1989 - Nintendo 8 bits
– Impreciso e difícil utilização

• Wii Remote
– 2006 - Nintendo Wii
– Sem fio
– Console mais vendido

• PSMove + Playstation Eye
– 2009 - Playstation 3
– Maior precisão que o Wii Remote
Kinect

4
Move Controllers

Power Glove
Kinect

Wii Remote

PS Move
5
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

6
O que é o Kinect?
• E3 2009 – Microsoft - Project Natal
– Alex Kipman

• NUI – Natural User Interface
• “You are the controller”
• Xbox 360 tornou-se o console mais vendido

Kinect

7
Efeitos do Kinect no Xbox 360

Kinect

8
O que é o Kinect?
• Características Básicas:
–
–
–
–

Kinect

Distância: 1,2 à 4 metros para o Kinect for Xbox
Distância: 40 cm à 4 metros para o Kinect for Windows
Detecta até 6 pessoas simultaneamente
Detecta até 2 jogadores ativos

9
Kinect
• http://www.youtube.com/watch?v=Cy3mTk0srw

Kinect

10
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

11
Hardware Kinect

Kinect

12
Hardware Kinect

Kinect

13
Câmera RGB
• Resolução 640x480
• 30 fps

Kinect

14
Sensor de Profundidade 3D
• Emissor infravermelho
• Sensor CMOS Monocromático
• Intensidade do Pixel representa a distância do
objeto em relação ao Kinect
• Gera o mapa de profundidade

Kinect

15
Sensor de Profundidade 3D

Kinect

16
Outros componentes:
• Microfone Multi-vetorial
– 4 microfones auto direcionáveis
– Beam Forming - Isola o som ambiente da fala do jogador
– Controlar por voz

• Base motorizada
– Adaptar-se a vários ambientes
– 27º de inclinação

Kinect

17
Qual é o diferencial do Kinect?
Hardware comum

Hardware comum
Kinect
Software poderoso

Kinect

18
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

19
Software Kinect
• Inicialização do aparelho
– Mapeia do ambiente

•
•
•
•

Detecção de 20 pontos do corpo de cada jogador
Interpolação de partes do corpo
Rápido reconhecimento de posição
Técnicas de aprendizado de máquina
– Software aprende a resolver problemas por exemplos
– Trilhões de possibilidades de corpos

Kinect

20
Software Kinect

Kinect

21
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

22
Aplicações
• 2010 - Hackearam o Kinect
• OpenNI – Biblioteca não oficial para desenvolvimento
• Utilização do Kinect em diversas áreas

Kinect

23
Aplicações
• http://www.youtube.com/watch?v=L7jeJ
SdJPpk

Kinect

24
Aplicações
• http://www.youtube.com/watch?v=oq9
8_35sQko

Kinect

25
Índice
•
•
•
•
•
•

Kinect

Histórico dos Move Controllers
Kinect
Componentes de hardware
Software
Aplicações
Como integrar o Kinect a um projeto pessoal

26
Integrando o Kinect
•
•
•
•

Kinect

2011 – SDK Kinect (Software Development Kit)
Fins não comerciais
Download Gratuito
C++ ou C#

27
SDK
•
•
•
•

Kinect

Documentação
Drivers
Bibliotecas
Samples e tutoriais

28
Procedimentos básicos
• Atua esperando eventos – listener
1. Achar o Kinect ativo
2. Ativar recursos do Kinect que você irá usar
a) SkeletonStream
b) DepthStream
c) AudioStream

3. Eventos para tratar os sensors
4. KinectSensor.Start()

Kinect

29
Exemplos
• http://www.youtube.com/watch?v=7vq1TiXi3g

Kinect

30
Exemplos
• http://www.youtube.com/watch?v=ho8
KVOe_y08

Kinect

31
Dúvidas

Kinect

32
Thiago Gouveia Rocha
tgr@labmetro.ufsc.br

Kinect