Este documento discute a automação de machine learning, desde o conjunto de dados até a produção. Apresenta desafios comuns em projetos de ML, como a dificuldade de cientistas de dados tipo A de construir soluções de produção. Também discute a arquitetura do Marvin, uma plataforma open source que visa simplificar o processo de ML de forma reproduzível.
4. Desafios em projetos de Machine Learning
A maioria dos cientistas de
dados (tipo A) não tem os skills
de engenharia de software
necessários para construir
soluções para produção.
Bons profissionais do tipo B são
unicórnios!
5. Desafios em projetos de Machine Learning
O código é prototipado
localmente em um Notebook
(algo como uma IDE interativa)
em qualquer linguagem.
Os modelos são gerados com
datasets de teste e não são
escaláveis para a produção.
6. Desafios em projetos de Machine Learning
Como simplificar o processo de
exploração, construção, teste e
implantação de projetos de machine
learning de forma reproduzível?
8. Marvin???
● Começou na B2W Digital em 2016 para solucionar problemas
internos
● Lançado como código aberto em 09/2017 com a licença Apache 2
● Primeiro artigo publicado na conferência Papis.io (Boston) em
09/2017
● Três versões lançadas desde 09/2017
● Meetup criado em 01/2018
● Primeira versão do projeto de AutoML em 05/2018
● Comunidade está crescendo...
10. AutoML???
“AutoML é a automação da automatização de automação” [1]
[1] - https://www.kdnuggets.com/2017/01/current-state-automated-machine-learning.html
12. AutoML e Marvin
Propósitos
● Base line para o cientista de dados
● MVP ou Piloto para pequenas equipes
● Prova de conceito para o negócio
Em breve
● Projeto de pesquisa com a UFSCar
● Interface gráfica
14. AutoML UI
[draw inspired on] - https://evincedev.com/blog/mean-stack-architecture/
Client
Angular.io 6
Request/Display
results for end user
Node Server
Hapi v17
Handle client request
and server the first
level APIs
Mongoose
Library to resolve
MongoDB connection
and queries
Mongo
DB
Marvin AutoML
API
Marvin API to handle
automl requests