NUI - Natural User Interface utilizando kinect

427 visualizações

Publicada em

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
427
No SlideShare
0
A partir de incorporações
0
Número de incorporações
1
Ações
Compartilhamentos
0
Downloads
11
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

NUI - Natural User Interface utilizando kinect

  1. 1. KINECT FOR WINDOWS NUI - Natural User Interface Utilizando o Kinect 1
  2. 2. KINECT FOR WINDOWS APRESENTAÇÃO ● Vitor A. Reis - vitor.reis7@gmail.com ● Desenvolvedor VBA, .NET no Grupo Custom Software ● Blog: www.vitorreis7.wordpress.com 2
  3. 3. KINECT FOR WINDOWS QUICKSTART SERIES 3
  4. 4. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamentos de Audio QUICKSTART SERIES 4
  5. 5. KINECT FOR WINDOWS INSTALANDO E USANDO O KINECT 5
  6. 6. KINECT FOR WINDOWS INTRODUÇÃO ● Elaborado para quem esta começando ● Assumindo que você tem alguma experiência em programação. ● API Gerenciada - Conceitos funcionam em VB/C# 6
  7. 7. KINECT FOR WINDOWS SENSORES DO KINECT Emissor de I.V Sensor de Cor Sensor I.V de Profundidade Eixo Motorizado Microfone Multidirecional 7
  8. 8. KINECT FOR WINDOWS COMEÇANDO ● http://kinectforwindows.org ● Adquira o Hardware Kinect ● Baixar a SDK do Kinect 8
  9. 9. KINECT FOR WINDOWS DEMO 9
  10. 10. KINECT FOR WINDOWS CONFIGURANDO O AMBIENTE DE DESENVOLVIMENTO 10
  11. 11. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamento de Audio QUICKSTART SERIES 11
  12. 12. KINECT FOR WINDOWS KINECT API - BASICO ● Gerenciar o estado do Kinect ● Conectado ● Ativar Cor, Profundidade, Esqueleto ● Iniciar o Kinect ● Obter Dados ● Eventos - AllFramesReady ● Polling (Sondagem) – OpenNextFrame 12
  13. 13. KINECT FOR WINDOWS RECURSOS ● Instalar Kinect Explorer ● KinectWpfViewers ● Coding4Fun Toolkit ● Skeletal scaling 13
  14. 14. KINECT FOR WINDOWS DEMO 14
  15. 15. KINECT FOR WINDOWS FUNDAMENTOS DA CAMERA 15
  16. 16. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamento de Audio QUICKSTART SERIES 16
  17. 17. KINECT FOR WINDOWS DADOS DA CAMERA ● Eventos retornam objetos do tipo ImageFrame ● PixelDataLength ● FrameNumber ● Timestamp ● Dimensões: Height, Width ● Usa o evento AllFramesReady para sincronizar. 17
  18. 18. KINECT FOR WINDOWS RESOLUÇÕES ● Cor ● 12 FPS: 1280X960 RGB ● 15 FPS: Raw YUV 640x480 ● 30 FPS: 640x480 ● Profundidade ● 30 FPS: 80x60, 320x240, 640x480 18
  19. 19. KINECT FOR WINDOWS DEMO 19
  20. 20. KINECT FOR WINDOWS TRABALHANDO COM DADOS DE PROFUNDIDADE 20
  21. 21. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamento de Audio QUICKSTART SERIES 21
  22. 22. KINECT FOR WINDOWS DADOS DE PROFUNDIDADE ● Retorna a distancia e jogador para cada pixel ● Ex: 320x240 = 76,800 pixels ● Distancia ● Distancia em mm do Kinect ex: 2,000mm (2 metros) ● Jogadores ● 1-6 jogadores 22
  23. 23. KINECT FOR WINDOWS MODO Modo Profundidade & Jogador Centro de Articulação do Quadril Outras 19 Articulações Default (Padrão) Sim Sim Yes Near (Perto) Sim Sim Não, para v1.0 23
  24. 24. KINECT FOR WINDOWS DISTÂNCIAS 1.3’ 2.6’ 9.8’ 13.1’ 26.2’ .4 .8 3 4 8 Default Mode Near Mode Passos Metros 24
  25. 25. KINECT FOR WINDOWS FORMULAS ● Distance Formula int profundidade = depthPoint >> DepthImageFrame.PlayerIndexBitmaskWidth; ● Player Formula int jogador = depthPoint & DepthImageFrame.PlayerIndexBitmask; 25
  26. 26. KINECT FOR WINDOWS DEMO 26
  27. 27. KINECT FOR WINDOWS FUNDAMENTOS DE RASTREAMENTO DE ESQUELETO 27
  28. 28. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamento de Audio QUICKSTART SERIES 28
  29. 29. KINECT FOR WINDOWS DADOS DE ESQUELETO 29
  30. 30. KINECT FOR WINDOWS ARTICULAÇÕES DO ESQUELETO ● Cada jogador possuí um conjunto <x, y, z> de articulações em metros ● Cada articulação é associada a um estado ● Tracked, Not tracked, or Inferred ● Inferred - Occluded, clipped, ou low confidence joints ● Use TransformSmoothParameters para suavizar o jitter (atraso de rede) nos dados de articulações. 30
  31. 31. KINECT FOR WINDOWS RASTREAMENTO DE ESQUELETO ● Máximo de 2 jogadores rastreados simultaneamente ● Cada esqueleto possui um identificador único - TrackingID ● SkeletonStream ● Configurar AppChoosesSkeletons em false ● Utilizar o método ChooseSkeletons para escolher qual esqueleto irá rastrear 31
  32. 32. KINECT FOR WINDOWS DEMO 32
  33. 33. KINECT FOR WINDOWS FUNDAMENTOS DE AUDIO 33
  34. 34. KINECT FOR WINDOWS ● Instalando e Usando o Sensor Kinect ● Configurando o Ambiente de Desenvolvimento ● Fundamentos da Camera ● Trabalhando com Dados de Profundidade ● Fundamentos de Rastreamento de Esqueleto ● Fundamento de Audio QUICKSTART SERIES 34
  35. 35. KINECT FOR WINDOWS POSIÇÃO DO SOM ● Sound Source Angle – O ângulo e o nivel de confiança da onde o audio esta vindo ● Beam Angle – O ângulo usado para gravar o audio que voce pode considerar de "microfone direcional" -50 0 +50 35
  36. 36. KINECT FOR WINDOWS GRAVAÇÃO ● KinectAudioSource audio buffer ● Utiliza "Echo Cancellation" para não gravar o som do PC. 36
  37. 37. KINECT FOR WINDOWS RECONHECIMENTO DE FALA ● Grammar – O que estamos escutando ● Code – GrammarBuilder, Choices ● Nota: Garantir que AutomaticGainControl = false 37
  38. 38. KINECT FOR WINDOWS GRAMATICA <!-- Confirmation_Yes._value: string ["Yes"] --> <rule id="Confirmation_Yes" scope="public"> <example> yes </example> <example> yes please </example> <one-of> <item> yes </item> <item> yeah </item> <item> yep </item> <item> ok </item> </one-of> <item repeat="0-1"> please </item> <tag> out._value = "Yes";</tag> var grammar = new Choices(); grammar.Add(“yes please"); grammar.Add(“yes"); grammar.Add(“yeah"); grammar.Add(“ok"); 38
  39. 39. KINECT FOR WINDOWS ● Modelo de Engajamento ● Indicação por fala para menus speech-enable ● Palavra chave para engajar ● Feedback e confirmação MULTI-MODAL FEEDBACK 39
  40. 40. KINECT FOR WINDOWS DEMO 40
  41. 41. KINECT FOR WINDOWS PROJETOS 41
  42. 42. KINECT FOR WINDOWS FUSION 4D 42
  43. 43. KINECT FOR WINDOWS BOARD OF AWESOMENESS 43
  44. 44. KINECT FOR WINDOWS MINORITY REPORT UI 44
  45. 45. KINECT FOR WINDOWS DÚVIDAS? 45
  46. 46. KINECT FOR WINDOWS FIM 46

×