O documento apresenta uma palestra sobre detecção de objetos em tempo real utilizando redes neurais convolucionais e o framework OpenVINO da Intel. É discutido o algoritmo YOLO para detecção de objetos em imagens e sua implementação no Intel AI Dev Cloud para treinamento. Também é mostrado como otimizar modelos de deep learning utilizando o OpenVINO para inferência em tempo real.

1. 4/30/2019
1
Globalcode – Open4education
Trilha – Intel Software Day
Daniel Theisges dos Santos
Pesquisador – Doutorando em
Ciências da Computação pela UFSC
Detecção de objetos em tempo real com OpenVino
Intel Student Ambassador Program
Com um Intel Student Ambassador, eu estou trabalhando
com aplicações de visão computacional utilizando
tecnologias e recursos da Intel® AI.
Daniel Theisges dos Santos
Universidade Federal de Santa Catarina
Estudante de doutorado - PPGCC

2. 4/30/2019
2
Agenda
Detecção de objetos
Deep Learning YOLO
Detecção de documentos
Intel OpenVINO
4

3. 4/30/2019
3
5
Visão computacional
História da detecção de objetos (2001-2019)
Viola-Jones Algorithm (2001)
6
Visão computacional
História da detecção de objetos (2001-2019)
Histograms of Oriented Gradients (2005)

4. 4/30/2019
4
7
Visão computacional
História da detecção de objetos (2001-2019)
Histograms of Oriented Gradients (2005)
8
Visão computacional
História da detecção de objetos (2001-2019)

5. 4/30/2019
5
Processo manual
Algoritmo de
aprendizagem Gato
Imagem de entrada Características
(HAAR, HOG, SIFT, SURF)
SVM, Adaboost, ANN Rótulo
Visão computacional
Reconhecimento de padrões
9
Camadas de convolução
Algoritmo de
aprendizagem Gato
Imagem de entrada Características
de nível baixo
Características
de nível médio
Características
de nível alto
Visão computacional
Aprendizagem profunda
10

6. 4/30/2019
6
11
Visão computacional
Redes Neurais Convolucionais
12
Visão computacional
Redes Neurais Convolucionais para detecção de objetos

7. 4/30/2019
7
13
Visão computacional
Redes Neurais Convolucionais para detecção de objetos
14
Visão computacional
Redes Neurais Convolucionais para detecção de objetos

8. 4/30/2019
8
Agenda
Detecção de objetos
Deep Learning YOLO
Detecção de documentos
Intel OpenVINO
16
Visão computacional
YOLO - You only live once
https://pjreddie.com/darknet/yolo/
look

9. 4/30/2019
9
Yolo
Processo de detecção de objetos
17
Yolo
Divisão da imagem em uma grid S x S
18

10. 4/30/2019
10
Yolo
Previsão de boundboxes (x,y,w,h) para cada células
19
each box predict:
P(Object): probability that
the box contains an object
B = 2
Yolo
Previsão de boundboxes (x,y,w,h) para cada células
20
Âncora

11. 4/30/2019
11
Yolo
Previsão de boundboxes (x,y,w,h) para cada células
21
Dog
Bicycle Car
Dining
Table
Yolo
Cada célula prevê uma classe de objetos
22

12. 4/30/2019
12
Dog
Bicycle Car
Dining
Table
Yolo
Cada célula prevê uma classe de objetos
Eg.
Dog =0.8
Cat =0
Bike =0
23
P(class|Object) * P(Object)
=P(class)
Yolo
Combinação da previsão do BB + classe do objeto
24

13. 4/30/2019
13
Yolo
Resultado do algoritmo
25
y is 3 × 3 × 2 × 8
y
0
?
?
?
?
?
?
?
0
?
?
?
?
?
?
?
=
0
?
?
?
?
?
?
?
1
0
1
0
1 - pedestrian
2 - car
3 - motorcycle
Yolo
Treinamento

14. 4/30/2019
14
Yolo
Estrutura da rede neural
27
Agenda
Detecção de objetos
Deep Learning YOLO
Detecção de documentos
Intel OpenVINO

15. 4/30/2019
15
Senior
Onbording de funcionários
29
Novo ciclo
de contratação
Verificação de
informações faltantes
Revisão da
contratação e confirmação
Adicionar
outras informações
Envio das
informações de contratação
Senior
Onbording de funcionários
30
Detectar região de interesse

16. 4/30/2019
16
Senior
Onbording de funcionários
31
Imagem 1: Exemplos de CNH
Imagem 2: Exemplos de RG - Frente
Imagem 3: Exemplos de RG - Verso
Senior
Onbording de funcionários
32
<annotation>
<folder>images</folder>
<filename>cnh-ann.jpg</filename>
<segmented>0</segmented>
<size>
<width>768</width>
<height>1024</height>
<depth>3</depth>
</size>
<object>
<name>cnh</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>132</xmin>
<ymin>168</ymin>
<xmax>686</xmax>
<ymax>532</ymax>
</bndbox>
</object>
</annotation>

17. 4/30/2019
17
Treinamento YOLO
Transfer Learning
33
Treinamento YOLO
Intel AI Dev Cloud
34
Benefícios
Trinta dias de acesso grátis
200 GB de armazenamento de arquivos
Acesso a um cluster remoto com processadores Intel® Xeon®
Ferramentas e frameworks otimizados
Implementação Darkflow

18. 4/30/2019
18
35
Agenda
Detecção de objetos
Deep Learning YOLO
Detecção de documentos
Intel OpenVINO

19. 4/30/2019
19
37
Visão computacional
Acurácia X Inferência
GoogLeNet – original (94.28 ms) GoogLeNet – modified (73.03 ms)
4a 
4b 
4a 
4c 
4e 
4d 
4e 
Deep Learning
Otimização de modelos
38

20. 4/30/2019
20
Deep Learning
Otimização de modelos
39
40
OpenVino
Formas de se trabalhar com modelos no OpenCV

21. 4/30/2019
21
41
OpenVino
Open Visual Inference and Neural Network Optimization
42
OpenVino
Otimizador de modelos

22. 4/30/2019
22
• Darknet: https://pjreddie.com/darknet/
• Darkflow: https://github.com/thtrieu/darkflow
• OpenVino: https://software.intel.com/en-us/openvino-toolkit
• Movidius Neural Compute Stick: https://developer.movidius.com/
• Intel Dev Mesh: https://devmesh.intel.com/
Referências
Perguntas?
44