2 gestos para controlar el mundo con KinectSdk

1. 2 Gestos para
conquistar al
mundo con Kinect
SDK
Bruno Capuano
Innovation Manager
@elbruno

2. Bruno Capuano
Innovation Manager
@elbruno
http://www.elbruno.co
m

3. El Sensor
Bruno Capuano
Innovation Manager
@elbruno

4. Con ustedes > Kinect Sensor
3D DEPTH SENSORS
RGB CAMERA
MULTI-ARRAY MIC MOTORIZED TILT

5. Camera
Bruno Capuano
Innovation Manager
@elbruno

6. Información de la cámara
• Se recomienda utilizar el evento
AllFramesReady para sincronizar la
gestión de frames de la cámara
• El evento retorna un objeto de tipo
ImageFrame
– PixelDataLength
– FrameNumber
– Timestamp
– Dimensions: Height, Width

7. Resoluciones
• Color
– 12 FPS: 1280X960 RGB
– 15 FPS: Raw YUV 640x480
– 30 FPS: 640x480
• Depth
– 30 FPS: 80x60, 320x240, 640x480

8. Depth Sensor
Bruno Capuano
Innovation Manager
@elbruno

9. Sensor de Profundidad
• Retorna la distancia y usuario para cada
pixel
– Entorno: 320x240 = 76,800 pixels
• Distancia
– Distancia en milímetros desde el sensor
Kinect ej: 2,000mm
• Usuario
– De 1 a 6 usuarios diferente

10. Sensor de Profundidad
• Fórmula para el cálculo de la distancia
– int depth = depthPoint >>
DepthImageFrame.PlayerIndexBitmaskWidth;
• Fórmula para el cálculo del usuario
– int player = depthPoint &
DepthImageFrame.PlayerIndexBitmask;

11. Skeleton
Bruno Capuano
Innovation Manager
@elbruno

12. Fundamental > Skeleton

13. Joints
• El seguimiento se realiza para 2 jugadores, es
decir 2 skeletons
– Puede crecer hasta 6 jugadores
• Cada skeleton se componente de un array de
joints con valores <x, y, z> en metros
• Cada joint tiene un estado que permite identificar
si el mismo está
– Tracked
– Not tracked
– Inferred

14. Truco > Smoothing
• Fundamental para reducir el “ruido”
– Lo que conocemos como jitter
• La base es
– nui.SkeletonEngine.TransformSmooth = true;
• Se puede refinar utilizando
– TransformSmoothParameters
• Correction, JitterRadius,
MaxDeviationRadius, Prediction,
Smoothing

15. Audio
Bruno Capuano
Innovation Manager
@elbruno

16. Audio
• Permite utilizar Kinect como un micrófono
(es un dispositivo de entrada de audio)
• Toma realmente valor cuando se utiliza
con
– Kinect for Speech Recognition

17. Más !!!
Bruno Capuano
Innovation Manager
@elbruno

18. Recursos
• Descarga
– http://kinectforwindows.org
• Coding4Fun Kinect Toolkit
– http://c4fkinect.codeplex.com
• Mis posts
– http://elbruno.com/category/msn-
microsoft/kinect/

19. Demos
• Channel9 Kinect Projects
– http://channel9.msdn.com/coding4fun/kinect
• Kinect Paint
– http://paint.codeplex.com/
• Kinect Mayhem: Psychedelic ghost
cameras, Virtual mallets, a Kiss Detector
and a Head Tapping Game
– http://bit.ly/wZJP7l