Baixado 25 vezes
Carregado porAgile Trends
Mauricio Onoda - Processamento de imagens com Deep Learning
O documento discute processamento de imagens com deep learning. O autor apresenta sua experiência em TI e machine learning e descreve como a OLX lida com milhões de imagens de anúncios usando deep learning para processamento de imagens. Ele explica os principais conceitos de deep learning e como o framework Caffe é usado para treinar modelos neurais profundos capazes de classificar imagens de forma automatizada.
Mais conteúdo relacionado
Semelhante a Mauricio Onoda - Processamento de imagens com Deep Learning
![[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/joseahirtonlopesdeeplearning-umaabordagemvisual-181209205137-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/joseahirtonlopesdeeplearning-umaabordagemvisual-181204182142-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Ahirton Lopes e Rafael Arevalo] Deep Learning - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/ahirtonlopeserafaelarevalodeeplearning-umaabordagemvisual-190215183628-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Jose Ahirton lopes] Do Big ao Better Data](https://cdn.slidesharecdn.com/ss_thumbnails/ahirtonlopesdobigaobetterdata-190410143141-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Jose Ahirton Lopes] Inteligencia Artificial - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/joseahirtonlopesinteligenciaartificial-umaabordagemvisual-200103185454-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Jose Ahirton Lopes] Deep Learning - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/joseahirtonlopesdeeplearning-umaabordagemvisual-181003230235-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Jose Ahirton Lopes] Inteligencia Artificial - Uma Abordagem Visual](https://cdn.slidesharecdn.com/ss_thumbnails/joseahirtonlopes-meetupinteligenciaartificial-umaabordagemvisual-200215025106-thumbnail.jpg?width=640&height=640&fit=bounds)
Mauricio Onoda - Processamento de imagens com Deep Learning
- 1. Processamento de Imagenscom Deep Learning Mauricio Onoda
- 2. Bio • Atualmente sou do 2me de Big Data da OLX, trabalhando com processamento de textos e de imagens. • Tenho mais de 10 anos de experiência em TI e há 13 anos trabalho com Machine Learning. • Possuo doutorado e mestrado pela COPPE/ UFRJ, sendo graduado em Computação pelo ITA.
- 3. 12.5 milhões deanúncios ativos na plataforma – quase meio milhão de novos anúncios por dia 2 milhões de imagens por dia!
- 4. Processamento de Imagens • Não é novidade! • Recentemente houve um salto no desempenho com a u2lização de Deep Learning
- 5.
- 6.
- 7.
- 8. ü Redes Neurais com mais neurônios que as redes “tradicionais” ü Formas mais complexas de conexão entre as camadas e neurônios ü Extração automá2ca de features Deep Learning neuralnetworksandde eplearning.com/ chap1.html 60 milhões de parâmetros 12 mil parâmetros
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. Nossa Escolha Fonte: hUps://pt.slideshare.net/irpycon/caffe-a-deep-learning-framework-ramin-fahimi • Especializado em imagens • Bastante popular • Coleção de modelos pré-treinados (Caffe Model Zoo) • Facilidade de realizar fine-tuning • Extração de features • Processamento em “batch”
- 16. Caffe Classes • Blob – Armazenamento e comunicação de dados • Layer – Unidade de computação • Net – DAG de layers e blobs conectados • Solver – O2mização dos parâmetros
- 17. Caffe Etapas • Converter dados para um formato suportado – LMDB, HDF5, lista de imagens • Definir a rede • Configurar o solver • Treinar o modelo
- 18. Caffe Definição da Rede • Através de schemas • Protobuf Model Format • Prototxt file Fonte: hUps://compu2ng.ece.vt.edu/~f15ece6504/slides/L2_caffe.pdf
- 19.
- 20. Caffe Definição da Rede • Na prá2ca... – Divcil criar uma rede do zero – Fine-tuning de modelo pré-treinado – A maioria das empresas adaptam as redes/ arquiteturas já existentes – Camadas iniciais/intermediários são man2das, que são responsáveis pelas features de baixo/ médio nível
- 21.
- 22.
- 23.
- 24.
- 25. Nossa solução • Usamos modelos pré-treinados – Classes já contempladas • Realizamos fine-tuning • Desvantagem – alguns modelos foram treinados para uma imagem por vez – batch size = 1
- 26. Nossa solução • U2lizamos AWS • Máquinas com GPU só tem nos Estados Unidos • Para treinamento, apenas uma instância EC2 com GPU • Para ambiente de produção, usamos algumas instâncias on demand e algumas spot • Desempenho depende do batch size e, principalmente, de quantos modelos estão sendo executados
- 27. E custos? • 2 milhões imagens/dia • Lançamentos de grandes soluções na nuvem de reconhecimento de imagem – Amazon Rekogni2on: US$ 54.000 – Google Vision: US$ 90.000 – Microso} Cogni2ve Services: US$ 36.000* * Limite de 10 imagens/seg • Nosso custo: ~US$ 5.000 VALORES MENSAIS
- 28. Não é somentecusto... Ao usar as grandes soluções na nuvem de reconhecimento de imagem, não está claro se elas vão u2lizar as imagens para outros fins.
- 29.