Pedro Queiroz, formado em jogos digitais, trabalhou em projetos de realidade aumentada e educação, incluindo a criação da startup Rapps Studio e do projeto 'Educare'. Ele explorou diversas funcionalidades de reconhecimento facial, de gestos e de voz utilizando SDKs, além de desenvolver protótipos de aplicativos. Queiroz também expressou agradecimentos a colegas e familiares, e destacou a importância do suporte da incubadora ITEP e Incubatep.

1. Criado Por Pedro Queiroz

2. Formado em Jogos Digitais
Participação no projeto Aventuras de Bio-Bio
Sócio – Fundador da Startup Rapps Studio ( Incubatep – ITEP )
Criado Por Pedro Queiroz

3. Primeiro Contato Com Realidade Aumentada
Criação do Projeto de Conscientização Ambiental ( MangueTown ) FAIL
Criação do Projeto de Educação com Jogos em RA ( EducAR ) FAIL ?
Criado Por Pedro Queiroz

4. Projeto Pré-Incubado no Incubatep - ITEP
Prototipação do EducAR ( Versão Mobile )
Inscrição do EducAR no Intel Perceptual Challenge
Criado Por Pedro Queiroz

5. Estudo do Perceptual SDK
Adaptação do EducAR Mobile Para Perceptual
Desenvolvimento do EducAR Perceptual
Criado Por Pedro Queiroz

6. Reconhecimento de Gestos
Posicionamento das Mãos ( 2D e 3D )
Posicionamento dos Dedos ( 2D e 3D )
Reconhecimento Facial ( Olhos, boca e Nariz )
Reconhecimento de Voz
Realidade Aumentada
Criado Por Pedro Queiroz

7. Utilizando o Pipeline!
Criado Por Pedro Queiroz

8. PXCUPipelineOT ppot = null;
PXCUPipelineOT.Mode mode = PXCUPipelineOT.Mode.Gesture
Ppot = new PXCUPipelineOT();
If (!ppot.Init(mode)){
Return;
Print(“nao foi possivel iniciar o pipeline”);
}
Ppot.Close();
Ppot = null;
Criado Por Pedro Queiroz

9. Propriedades que podem ser utilizadas para iniciar o Pipeline:
COLOR_VGA
COLOR_WXGA
DEPTH_QVGA
DEPTH_QVGA_60FPS
GESTURE
FACE_LOCATION
FACE_LANDMARK
VOICE_RECOGNITION
COLOR_VGA|DEPTH_QVGA|GESTURE|FACE_LOCATION
Criado Por Pedro Queiroz

10. If (ppot == null) return;
If (!ppot.AcquireFrame(false)) return;
If (!ppot.IsDisconnected()){
UpdateApp();
}
Criado Por Pedro Queiroz

11. PXCMGesture.Gesture gestureData;
If (ppot.QueryGesture(PXCMGesture.GeoNode.Label.LABEL_ANY, out gestureData)){
Print( gestureData.label );
If( string.Compare( gestureData.label.ToString(),”LABEL_POSE_WAVE”) == 0 ){
Print( “você fez o Gesto Wave ( Tchau )” );
}
}
Criado Por Pedro Queiroz

12. Gestos Implementados pelo SDK :
LABEL_NAV_SWIPE_LEFT
LABEL_NAV_SWIPE_RIGHT
LABEL_NAV_SWIPE_UP
LABEL_NAV_SWIPE_DOWN
LABEL_POSE_PEACE
LABEL_POSE_BIG5
LABEL_HAND_WAVE
LABEL_HAND_CIRCLE
LABEL_POSE_THUMB_UP
LABEL_POSE_THUMB_DOWN
Criado Por Pedro Queiroz

13. PXCMGesture.GeoNode[] primeiraMao = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY,
out primeiraMao)){
Cubo.transform.localPosition = new Vector3(-primeiraMao[0].positionWorld.x,
primeiraMao[0].positionWorld.z, primeiraMao[0].positionWorld.y);
Cubo.transform.rotation = Quaternion.LookRotation(new Vector3(
-primeiraMao[0].normal.x, primeiraMao[0].normal.z,primeiraMao[0].normal.y));
}
Criado Por Pedro Queiroz

14. Algumas Propriedades da Captura da mão :
PositionWorld
PositionImage
Normal
Openness
OpennessState
LABEL_OPEN
LABEL_CLOSE
Criado Por Pedro Queiroz

15. PXCMGesture.GeoNode[] polegar = new PXCMGesture.GeoNode[1];
If (ppot.QueryGeoNode(PXCMGesture.GeoNode.Label.LABEL_HAND_PRIMARY |
PXCMGesture.GeoNode.Label.LABEL_FINGER_THUMB,out polegar)){
CuboPolegar.transform.localPosition =
new Vector3(-polegar[0].positionWorld.x, polegar[0].positionWorld.z,
polegar[0].positionWorld.y);
}
Criado Por Pedro Queiroz

16. Dedos Implementados pelo SDK :
Outros Implementados pelo SDK :
LABEL_FINGER_THUMB
LABEL_FINGER_INDEX
LABEL_FINGER_MIDDLE
LABEL_FINGER_RING
LABEL_FINGER_PINKY
LABEL_HAND_UPPER
LABEL_HAND_MIDDLE
LABEL_HAND_LOWER
LABEL_BODY_ELBOW_PRIMARY
LABEL_BODY_ELBOW_SECONDARY
Criado Por Pedro Queiroz

17. PXCMFaceAnalysis.Detection.Data rosto;
If (ppot.QueryFaceLocationData(face, out rosto)){
rect = new Rect(rosto.rectangle.x, rosto.rectangle.y, rosto.rectangle.w, rosto.rectangle.h)
}
PXCMFaceAnalysis.Landmark.LandmarkData[] rosto = new PXCMFaceAnalysis.Landmark.
LandmarkData[6];
If (ppot.QueryFaceLandmarkData(face,PXCMFaceAnalysis.Landmark.Label.LABEL_6POINTS,
rosto){
rect = new Rect(rosto[0].position.x, rosto[0].position.y, 5, 5 )
}
Criado Por Pedro Queiroz

18. Pontos de Rosto Identificados pelo SDK :
Rosto[0] = LABEL_LEFT_EYE_OUTER_CORNER
Rosto[1] = LABEL_LEFT_EYE_INNER_CORNER
Rosto[2] = LABEL_RIGHT_EYE_OUTER_CORNER
Rosto[3] = LABEL_RIGHT_EYE_INNER_CORNER
Rosto[4] = LABEL_MOUTH_LEFT_CORNER
Rosto[5] = LABEL_MOUTH_RIGHT_CORNER
Rosto[6] = LABEL_NOSE_TIP
Criado Por Pedro Queiroz

19. PXCMVoiceRecognition.Recognition audio;
If (ppot.QueryVoiceRecognized(out audio){
Print(“ label = ” + audio.label + “ Texto = ” + audio.dictation );
}
Criado Por Pedro Queiroz

20. Alertas de Captura de Som:
LABEL_VOLUME_HIGH
LABEL_VOLUME_LOW
LABEL_SNR_LOW
LABEL_SPEECH_UNRECOGNIZABLE
Criado Por Pedro Queiroz

21. Todos os códigos são fornecidos pelo Demo no SDK
Imprimir o Marcador
Precisamos Importar os Plugins e os Códigos
Montar a Estrutura no Unity3D
Criado Por Pedro Queiroz

22. Criado Por Pedro Queiroz

23. Criado Por Pedro Queiroz

24. Criado Por Pedro Queiroz

25. Criado Por Pedro Queiroz

26. Criado Por Pedro Queiroz

27. Criado Por Pedro Queiroz

28. Criado Por Pedro Queiroz

29. Criado Por Pedro Queiroz

30. Criado Por Pedro Queiroz

31. Criado Por Pedro Queiroz

32. Criado Por Pedro Queiroz

33. Criado Por Pedro Queiroz

34. Criado Por Pedro Queiroz

35. Criado Por Pedro Queiroz

36. Criado Por Pedro Queiroz

37. Criado Por Pedro Queiroz

38. Criado Por Pedro Queiroz

39. Criado Por Pedro Queiroz

40. Criado Por Pedro Queiroz

41. Criado Por Pedro Queiroz

42. Criado Por Pedro Queiroz

43. Criado Por Pedro Queiroz

44. Criado Por Pedro Queiroz

45. Criado Por Pedro Queiroz

46. Criado Por Pedro Queiroz

47. Criado Por Pedro Queiroz

48. Criado Por Pedro Queiroz

49. Criado Por Pedro Queiroz

50. Criado Por Pedro Queiroz

51. Criado Por Pedro Queiroz

52. Criado Por Pedro Queiroz

53. Criado Por Pedro Queiroz

54. Criado Por Pedro Queiroz

55. Criado Por Pedro Queiroz

56. Criado Por Pedro Queiroz

57. Criado Por Pedro Queiroz

58. Criado Por Pedro Queiroz

59. Criado Por Pedro Queiroz

60. Criado Por Pedro Queiroz

61. Criado Por Pedro Queiroz

62. Criado Por Pedro Queiroz

63. Criado Por Pedro Queiroz

64. Criado Por Pedro Queiroz

65. Criado Por Pedro Queiroz

66. Criado Por Pedro Queiroz

67. Criado Por Pedro Queiroz

68. Criado Por Pedro Queiroz

69. Criado Por Pedro Queiroz

70. Utilizando o Pipeline e Unity3D você não tem todas as funcionalidades da câmera,
Mas dá para fazer muita coisa bacana com tudo isso!
Email: Pedro@Rappstudio.com
/
contato@Rappstudio.com
www.rappstudio.com
Agradecimento:
Anthony Lins, Breno Carvalho, Intel, Renato Oliveira , Eric Pessoa
Minha Mãe , Minha avó e My Xuxuzinha Gabriela
Apoio: Itep – Incubatep
Criado Por Pedro Queiroz