1. CONTROLE ROBÓTICO REFERENCIADO
POR SISTEMA DE VISÃO COMPUTACIONAL
UTILIZANDO O KINECT®
Hamilton José da Silva Sena
Orientador: Arthur Schuler da Igreja

2. INTRODUÇÃO
• Qual o objetivo?
• Metodologia de controle de projeto
utilizada.
SCRUM + SVN + REDMINE
Page 2

3. INTRODUÇÃO – Divisão do trabalho
Processamento Integração
Engenharia Controle
KINECT das Documentação
Reversa Robótico de imagem tecnologias
Page 3

4. Engenharia Reversa
Descobrir os princípios tecnológicos
de um dispositivo, um objeto ou um
sistema.
Page 4

5. θ iii
α
d
a
Controle Robôtico – Modelagem Cinemática(D-H)
Page 5

6. θ iii
α
d
a
Controle Robôtico - Cinemática
• Cinemática Direta
• Cinemática inversa
Page 6

7. Controle Robôtico – Toolbox Robotics
Page 7

8. KINECT®
• O que é?
•Mas qual é o ineditismo?
Modelo atual de mapeamento 3D
na industria.
Page 8

9. KINECT® - HARDWARE
Page 9

10. KINECT® - Principio de funcionamento
• Luz estruturada (coerente)
• Speckle
Page 10

11. KINECT® - Principio de funcionamento
Page 11

12. KINECT® - Principio de funcionamento
Page 12

13. KINECT® - OPENNI + MATLAB
Page 13

14. INTEGRANDO TUDO ISSO!
Page 14

15. Engenharia Reversa – Sniffer Serial
Page 15

16. Engenharia Reversa – Script de controle
Comando Descrição Retorno Parâmetro
Retorna qual motor Valor decimal
AS está se movendo. correspondente.
CG
Habilita ou 0 desabilita envia_comando_robo_arm('hh',0,0)
desabilita a garra 1 habilita
Coloca o robô em
TH modo HOST
Verifica status da 1 se fechada
GS garra 0 se aberta
Verifica posição Retorna a posição M=A,B,C,D,E,F
PA,m atual do motor em pulsos do
encoder
Posiciona o robô
HH na posição inicial
Movimenta todos
MA os motores de
forma interpolada
Move os motores
MC para posição de
destino
Move o motor m M=A,B,C,D,E,F
para a posição
MS,m armazenada no
registrador.
Seta a velocidade M = A,B,C,D,E,F –
VC,m,d do motor 100 <= d <= 100
GO Abre a garra
GC Fecha a garra
Page 16

17. Aquisição da imagem RGB e mapa de profundidade
Imagem RGB - KINECT®
Imagem RGB – visão real
Page 17

18. Aquisição da imagem RGB e mapa de profundidade
2334 1166 1236 1233 333 445 66
1334 345 987 2323 6667 33 87
667 0 877 0 0 2434 1233
788 345 9 988 123 109 112
0 887 1098 778 998 112 0
254 189 110 0 122 301 0
Valor em milímetros
Page 18

19. Processamento Imagem – Pré-Processamento
Page 19

20. Processamento Imagem
• MATLAB + Image Processing
• Cálculo de centróide
• Correlação com a matriz de profundidade
EIXO Y
Matriz profundidade Matriz RGB
(5,5)
Page 20 EIXO X

21. Referenciando o campo de visão
Visão frontal
Visão Superior
Page 21

22. Referenciando o campo de visão
Page 22

23. Referenciando o campo de visão
Z
Y
X
Teorema de Pitágoras
Page 23

24. Fluxograma do controlador do Robô
Efetua a conversão do
deslocamento linear
para angular
Calcula a cinemática
inversa via Toolbox
Robotics
Efetua a conversão das
medidas geométricas em
pulsos do encoder
Utiliza o script criado
para captura do objeto
Page 24

25. RESULTADOS
Visão superior da área de trabalho
Figura Precisão Repetibilidade
(a) 80% 100%
(b) 60% 80%
(c) 80% 100%
Page 25

26. RESULTADOS
Visão superior da área de trabalho
Figura Precisão Repetibilidade
(a) 80% 100%
(b) 40% 60%
(c) 80% 80%
Page 26

27. RESULTADOS
Visão superior da área de trabalho
Figura Precisão Repetibilidade
(a) 80% 100%
(b) 60% 80%
(c) 80% 100%
Page 27

28. OBJETIVOS ALCANÇADOS?
- Estabelecer a comunicação com o controlador
do robô com o software MATLAB;
- Elaborar o controle de cinemática inversa do
braço robótico;
- Identificar e obter o posicionamento de objetos
através de visão computacional;
- Integrar o sistema de visão computacional com o
controle do robô;
Page 28

29. Mas será que funciona???
Page 29

30. Pense nisso!
Faça o necessário,
depois o possível,
e de repente, você estará
fazendo o impossível.
Francisco de Assis
Page 30

31. OBRIGADO
EMAIL DE CONTATO: hjssena@gmail.com
BLOG: http://hamiltonsena.net
Page 31