O documento apresenta os conceitos fundamentais por trás do reconhecimento de objetos em imagens digitais, incluindo detecção de bordas, descritores locais, mapas de características e redes neurais convolucionais. Também discute como essas técnicas permitem que aplicativos reconheçam objetos em imagens para recomendar produtos similares.

1. RECOMENDANDO
PRODUTOS A PARTIR
DE IMAGENS

2. Oi!
Eu sou o Nelson Forte
linkedin.com/in/nelsonforte
@nelsonforte
nelsonfortejr@gmail.com

3. Você não vai ver
nesta apresentação
▪ Toda a matemática envolvida no
processamento de imagens digitais
▪ A biologia do olho em que os algoritmos
foram baseados
▪ Explicação detalhada de todos os
conceitos

4. Desmistificando
imagens
▪ Trabalhar com imagens é
mais simples do que você
imagina.

5. “ Imagens são “malhas” de
valores numéricos que
definem cor ou intensidade.

6. Imagens
digitais
são
tensores
com muitas
dimensões

7. 58.982.400É a quantidade de valores numéricos que devemos lidar numa imagem colorida
de 20 megapixels.

8. Entendendo
objetos
▪ Como descobrir onde começa
e termina um objeto?

9. O
que
faz
uma
sofá
ser
um
sofá?

10. O
que
faz
uma
sofá
ser
um
sofá?

11. O
que
faz
uma
sofá
ser
um
sofá?

12. Passos para
reconhecimento
Detecção de bordas e
cantos
Uma borda é uma região de
mudança brusca de
intensidade, horizontal ou
vertical.
Um canto é uma borda,
porém apontando para
mais de uma direção.
Descritores locais
São cantos ou bordas
relevantes numa imagem
(normalmente baseados na
frequência).
Mapa de características
São o conjunto de bordas e
cantos frequentes que
descrevem as imagens de
uma determinada classe.

13. Bordas detectadas. Quanto mais “branco” o pixel, mais importante é a borda.

14. Cantos detectados. Nesta abordagem, a escala importa.

15. Descritores SIFT detectados. Nesta abordagem, a escala não importa. Direção e tamanho.

16. SIFT detectados. Similares traçados.

17. Redes Neurais
Convolucionais
▪ Convoluções
▪ Muitas camadas
▪ Altamente escaláveis
▪ Imagens em mente

18. O que é?
Um tipo de rede neural que não
sofre com saturação mesmo
com muitas camadas, e que usa
convoluções para criar mapas
de características através das
camadas
Rede convolucional?
Características
● Escalável
● Dispensa normalização
● Invariante em escala e
rotação
● Melhores resultados em
reconhecimento de objetos
até então

19. Arquitetura de uma
CNN

20. Mapa de
características

21. Uso intensivo de
GPUs
Devido à natureza
vetorial de uma
imagem e convoluções
serem operações
matriciais, GPUs rodam
algoritmos com
performance superior a
CPUs devido ao alto
nível de paralelismo

22. ILSVR2016:
resultados
CUImage Hikvision NUIST Humano
Precisão média 0.662751 0.652704 0.608752 0.65
Classes de objeto
reconhecidos 109 30 15 ~

23. Taxa de erros caindo e uso de
GPUs subindo

24. Câmera reconhece
nativamente objetos
Samsung S8
Reconhece objetos

25. Usando o aplicativo do
Aliexpress, é possível
fotografar uma imagem...
Aliexpress
Produtos similares

26. ... e como resultado,
produtos com imagens
similares são retornados.
Aliexpress
Produtos similares

27. Amazon
Go

28. Perguntas?
Manda aqui também!
github.com/policratus/redeye