Campus Party 2010 - Daniel Lélis Baggio - Realidade Aumentada - OpenCV e RoboRealm

1. Daniel Lélis Baggio
Processamento de Imagens: RoboRealm e
OpenCV
ITA

2. Agenda
 RoboRealm
– Tracking por cor
– Segmentação do horizonte
– Ponto de fuga
– Reconhecimento de formas
– Processamento de marcadores
– Fluxo óptico
 OpenCV
– Camshift
– Head Tracking
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 2

3. Como os computadores veem?
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 3

4. Como os computadores veem?
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 4

5. RoboRealm
 Ferramenta poderosa para análise e processamento de
imagens
 Interface intuitiva
 Excelente para fazer protótipos de algoritmos antes da
implementação no OpenCV
 Comercial U$89,00 ~ R$ 160,00
 Extensão por scripts
 Comunicação por TCP/IP
 Trial de 30 dias:
– http://www.roborealm.com/registration/index.php
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 5

6. RoboRealm – Interface gráfica
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 6

7. RoboRealm – Hands On - Tracking
 Baixar pacote do workshop em COLOCAR AQUI
 Segmentação por cor
 Blob detection
 Centro de gravidade
 Scripting
 Controle de servo
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 7

8. RoboRealm – Segmentação do Horizonte
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 8

9. RoboRealm – Ponto de Fuga
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 9

10. RoboRealm – Reconhecimento de Formas
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 10

11. RoboRealm - Fluxo Óptico
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 11

12. RoboRealm - Processamento do ARToolkit
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 12

13. OpenCV
 Biblioteca open source de visão computacional
http://sourceforge.net/projects/opencvlibrary/
 Desenvolvida e mantida pela Intel
 Escrita em C e C++, roda em Linux, Windows e Mac
OS X com interfaces para Python, Ruby, Matlab e
outras linguagens. Otimizada para aplicações em
tempo real (> 15 fps)
 Prover infra-estrutura para aplicações de visão
computacional de fácil utilização: mais de 500 funções
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 13

14. OpenCV
 Composta por 4 sub-módulos:
CV MLL HighGUI
Processamento de imagens Classificadores estatísticos GUI, entrada e saída
Algoritmos de visão Ferramentas de clusterização de imagens e vídeos
CXCore
estruturas básicas e
algoritmos, suporte a XML,
funções de desenho
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 14

15. Camshift - Continuously Adaptive Mean Shift
Algorithm
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 15

16. Cascata de classificadores – Viola Jones
 Detecção de feições
 Face tracking
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 16

17. Features
 Retângulos
 Fáceis de serem calculados
– Áreas brancas são subtraídas das áreas pretas
– Integral Image – Representação especial que torna a
extração da feature mais rápida
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 17

18. Principais features identificadas
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 18

19. Principais features identificadas
 Classificador extremamente rápido (60 microinstruções)
 Ajustado para detectar 100% das faces, com 40% de falsos positivos no
primeiro estágio
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 19

20. Face Tracker
 Onde encontrar o software?
– Programas de demonstração da biblioteca OpenCv
• /usr/local/share/opencv/samples/c/facedetect
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 20

21. Agradecimentos
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 21

22. Dúvidas?
Campus Party 2010 – Daniel Lélis Baggio | danielbaggio@gmail.com | 22