Integrando
Delphi XE2
com Kinect


Victory Fernandes
Victory Fernandes

• Engenheiro, Diretor Técnico da TKS Software
• Autor da ActiveDelphi, TheClub e ClubeDelphi
• Autor de componentes para
   – Sintegra, SPED, Nfe, Cte, FCONT, SEF...
• Colaborador do projeto TKinect
• Edição 88 da ActiveDelphi
Quem jogou XBOX360 com Kinect?
Quem já integrou Kinect com PC?
Project Natal
 lançado nos EUA em 04.11.2010
lançado nos Brasil em 18.11.2010
R$350   US$110
R$1.100   US$300
Especificações do Hardware

• Câmera de vídeo RGB (Red-Green-Blue)
   – Imagens RGB em alta resolução (1600x1200 pixels)
• Hardware de scanner 3D
   – Imagens com informação de profundidade (640x480 pixels)
   – Resolução de 3mm; 1cm de precisão a 2m de distância
• Sensores acelerômetros
   – Detecta movimentação e inclinação (eixos X, Y e Z)
• Microfones
   – Reconhecimento e controle de voz
• Ajustes de altura com servo-motor instalado na base
• Controle do LED frontal
+



=
Por dentro do Kinect...

• PrimeSense (www.primesense.com)
  – Empresa Israelense; Patente americana: 2010/0118123-A1
Produto equivalente...

• D-IMager (Panasonic)
  – US$1,967.00 (digikey.com)
• Wavi Xtion (Asus)
  – US$189.00 (us.estore.asus.com)
Kinect muito além do XBOX360...




                              Stanford ‘JediBot’
                              http://youtu.be/VuSCErmoYpY




Real Time Lightsaber
http://youtu.be/3EeJCln5KYg
Kinect muito além do XBOX360...




Humanoid Robot by Kinect
http://youtu.be/w8BmgtMKFbY
Kinect muito além do XBOX360...




NAO Robot + Kinect
http://youtu.be/TmTW61MLm68




                    Quadrocopter Ball - ETH Zurich
                    http://youtu.be/3CR5y8qZf0Y
Kinect muito além do XBOX360...
?   ?
Kinect muito além do XBOX360...

• Inspeção 3D em planta industrial
• Manipulação Hands-Free
   – Ambiente industrial
   – Mídia Publicitária
Kinect + PC

• 06.11.2010 na semana do lançamento...
  – AlexP é o primeiro a hackear o Kinect no Windows
  – KinectHacks (http://kinecthacks.net/)
  – Ladyada (http://ladyada.net/learn/diykinect/)


• Algumas semanas depois...
  – Code Labs libera CLNUI - drivers estáveis para Windows
  – Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/)
  – Simons J. Stuart converte Headers em C para Delphi e libera
    TKinect v1.00
  – 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil
Kinect + Delphi = TKinect

• Download CLNUI
  – http://codelaboratories.com/nui/
• Download .NET Redistributable
  – http://www.microsoft.com/download/en/details.aspx?id=65
• Download TKinect
  – Freeware, Opensource
  – www.simonjstuart.com/delphi-stuff/tkinect/
CLNUI self-test


              +   +
TKinect v1
TKinect v1
TKinect v1
TKinect v1
01: Conectando DelphiXE2 e Kinect

• Conexão com múltiplos Kinects

• Controle de LEDs
  – MyKinect.Motor.LEDColor
  – TKinectLEDColor =
    (klcOff, klcGreen, klcRed, klcOrange, klcBlinkGreen, klcBlinkRed
    Orange);

• Controle de Motor
  – myKinect.Motor.SetPosition()
02: Imagens e acelerômetro

• Imagens
  –   myKinect.Camera.RGB.Output.Bitmap
  –   myKinect.Camera.Depth.Output.Bitmap
  –   myKinect.Camera.Start;
  –   myKinect.Camera.RGB.GrabFrame;
  –   myKinect.Camera. Depth.GrabFrame;


• Acelerômetro
  –   myKinect.Accelerometer.Update
  –   myKinect.Accelerometer.X;
  –   myKinect.Accelerometer.Y;
  –   myKinect.Accelerometer.Z;
03: Processamento das imagens

• Detecção de mãos e dedos
• Movimento do Mouse e Clicks
• Controle de sliding
TKinect v2 – Futuro Próximo...

• Integração SDK oficial Microsoft
   – http://kinectforwindows.org/
   – Atenção: Incompatível com CLNUI; Não executa em VMachines
• Acesso a Stream de dados para RGB, 3D e Audio
• Recursos de Joint e Skeletal Tracking
C:UsersPublicDocuments
C:Program Files (x86)
06: DelphiXE2 Skeletal Viewer
TKinect v2 – Futuro Próximo...

• Joint e Skeletal Tracking funcionais
• Problemas na captura de imagens em formato Stream
• Dificuldades na conversão Headers em C# para Delphi
TKinect v2 – Futuro Próximo...

• Disponível na próxima semana para download (AS-IS)
   – www.simonjstuart.com


• Componente nativo no Delphi XE3?
   – Empowering new hands free UI




• The Kinect Accelerator Project
   – Ten Startups. Three Months in Seattle. $20,000
   – www.microsoft.com/bizspark/kinectaccelerator/
Perguntas?

• Referências
   – ActiveDelphi - Edição 88
     www.activedelphi.com.br/mostra_edicao.php?ed=88


• Exemplos utilizados na palestra
   – www.igara.com.br/delphiconference


• Slides na EDN–Embarcadero Developer Network
   – http://edn.embarcadero.com/br


• Favor preencher ficha de avaliação 
Obrigado!

Victory Fernandes
     victory@igara.com.br
     www.igara.com.br/victory
     @victoryjorge

DelphiConferenceBrasil2011 Delphi + Kinect

  • 1.
  • 2.
    Victory Fernandes • Engenheiro,Diretor Técnico da TKS Software • Autor da ActiveDelphi, TheClub e ClubeDelphi • Autor de componentes para – Sintegra, SPED, Nfe, Cte, FCONT, SEF... • Colaborador do projeto TKinect • Edição 88 da ActiveDelphi
  • 3.
    Quem jogou XBOX360com Kinect?
  • 4.
    Quem já integrouKinect com PC?
  • 5.
    Project Natal lançadonos EUA em 04.11.2010 lançado nos Brasil em 18.11.2010
  • 6.
    R$350 US$110
  • 7.
    R$1.100 US$300
  • 9.
    Especificações do Hardware •Câmera de vídeo RGB (Red-Green-Blue) – Imagens RGB em alta resolução (1600x1200 pixels) • Hardware de scanner 3D – Imagens com informação de profundidade (640x480 pixels) – Resolução de 3mm; 1cm de precisão a 2m de distância • Sensores acelerômetros – Detecta movimentação e inclinação (eixos X, Y e Z) • Microfones – Reconhecimento e controle de voz • Ajustes de altura com servo-motor instalado na base • Controle do LED frontal
  • 12.
  • 13.
    Por dentro doKinect... • PrimeSense (www.primesense.com) – Empresa Israelense; Patente americana: 2010/0118123-A1
  • 14.
    Produto equivalente... • D-IMager(Panasonic) – US$1,967.00 (digikey.com) • Wavi Xtion (Asus) – US$189.00 (us.estore.asus.com)
  • 15.
    Kinect muito alémdo XBOX360... Stanford ‘JediBot’ http://youtu.be/VuSCErmoYpY Real Time Lightsaber http://youtu.be/3EeJCln5KYg
  • 16.
    Kinect muito alémdo XBOX360... Humanoid Robot by Kinect http://youtu.be/w8BmgtMKFbY
  • 17.
    Kinect muito alémdo XBOX360... NAO Robot + Kinect http://youtu.be/TmTW61MLm68 Quadrocopter Ball - ETH Zurich http://youtu.be/3CR5y8qZf0Y
  • 18.
    Kinect muito alémdo XBOX360...
  • 19.
    ? ?
  • 20.
    Kinect muito alémdo XBOX360... • Inspeção 3D em planta industrial • Manipulação Hands-Free – Ambiente industrial – Mídia Publicitária
  • 21.
    Kinect + PC •06.11.2010 na semana do lançamento... – AlexP é o primeiro a hackear o Kinect no Windows – KinectHacks (http://kinecthacks.net/) – Ladyada (http://ladyada.net/learn/diykinect/) • Algumas semanas depois... – Code Labs libera CLNUI - drivers estáveis para Windows – Aleks da IT Security Lab divulga videos (http://itsecuritylab.eu/) – Simons J. Stuart converte Headers em C para Delphi e libera TKinect v1.00 – 29.12.2010 – Andreano e ActiveDelphi noticiam no Brasil
  • 22.
    Kinect + Delphi= TKinect • Download CLNUI – http://codelaboratories.com/nui/ • Download .NET Redistributable – http://www.microsoft.com/download/en/details.aspx?id=65 • Download TKinect – Freeware, Opensource – www.simonjstuart.com/delphi-stuff/tkinect/
  • 23.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
    01: Conectando DelphiXE2e Kinect • Conexão com múltiplos Kinects • Controle de LEDs – MyKinect.Motor.LEDColor – TKinectLEDColor = (klcOff, klcGreen, klcRed, klcOrange, klcBlinkGreen, klcBlinkRed Orange); • Controle de Motor – myKinect.Motor.SetPosition()
  • 29.
    02: Imagens eacelerômetro • Imagens – myKinect.Camera.RGB.Output.Bitmap – myKinect.Camera.Depth.Output.Bitmap – myKinect.Camera.Start; – myKinect.Camera.RGB.GrabFrame; – myKinect.Camera. Depth.GrabFrame; • Acelerômetro – myKinect.Accelerometer.Update – myKinect.Accelerometer.X; – myKinect.Accelerometer.Y; – myKinect.Accelerometer.Z;
  • 30.
    03: Processamento dasimagens • Detecção de mãos e dedos • Movimento do Mouse e Clicks • Controle de sliding
  • 31.
    TKinect v2 –Futuro Próximo... • Integração SDK oficial Microsoft – http://kinectforwindows.org/ – Atenção: Incompatível com CLNUI; Não executa em VMachines • Acesso a Stream de dados para RGB, 3D e Audio • Recursos de Joint e Skeletal Tracking
  • 32.
  • 33.
  • 35.
  • 36.
    TKinect v2 –Futuro Próximo... • Joint e Skeletal Tracking funcionais • Problemas na captura de imagens em formato Stream • Dificuldades na conversão Headers em C# para Delphi
  • 37.
    TKinect v2 –Futuro Próximo... • Disponível na próxima semana para download (AS-IS) – www.simonjstuart.com • Componente nativo no Delphi XE3? – Empowering new hands free UI • The Kinect Accelerator Project – Ten Startups. Three Months in Seattle. $20,000 – www.microsoft.com/bizspark/kinectaccelerator/
  • 38.
    Perguntas? • Referências – ActiveDelphi - Edição 88 www.activedelphi.com.br/mostra_edicao.php?ed=88 • Exemplos utilizados na palestra – www.igara.com.br/delphiconference • Slides na EDN–Embarcadero Developer Network – http://edn.embarcadero.com/br • Favor preencher ficha de avaliação 
  • 39.
    Obrigado! Victory Fernandes victory@igara.com.br www.igara.com.br/victory @victoryjorge