SlideShare uma empresa Scribd logo
1 de 36
@timotta
Machine Learning
no dia a dia do desenvolvedor
@timotta
Problemas
determinísticos
@timotta
seu código
@timotta
framework
seu código
plataforma
biblioteca
biblioteca
banco de
dados
@timotta
@timotta
Problemas
probabilísticos
@timotta
@timotta
@timotta
@timotta
@timotta
Sociedade Amigos Família
Outros devs Matemáticos Realidade
@timotta
treino do
modelo
análise
exploratóri
a
preparação
dos dados
obtenção dos
dados
validação
do modelo
@timotta
treino do
modelo
análise
exploratóri
a
preparação
dos dados
obtenção dos
dados
validação
do modelo
@timotta
treino do
modelo
análise
exploratóri
a
preparação
dos dados
obtenção dos
dados
validação
do modelo
@timotta
99% de acurácia
@timotta
Label leak
y
Xy leaked
@timotta
Preprocessing leak
Dataset
seleção de
features
escalonamento
split
treino/teste
@timotta
Evitando preprocessing leak
seletor de features
escalonador
split treino/teste
Dataset treino Dataset teste
@timotta
Dataset desbalanceado
99% sem fraude
1%
com
fraude
@timotta
Dataset desbalanceado
99% sem fraude
1%
com
fraude
100%
previsto
sem fraude
algoritmo
@timotta
Pair analysis &
Analysis review
@timotta
ParetoLiftpercentual
Acuráciatotal
@timotta
Colocando em
produção
@timotta
Colocando em produção
modelo
preparação
Dataset
save
@timotta
Colocando em produção
modelo ML api
preparação
Dataset
load
Requests
@timotta
Micro serviços dividindo a responsabilidade
ML api
Requests
apifront-end
requests
BD
@timotta
Atualização
automática do
modelo
@timotta
Atualização do modelo
modelo
preparação
Dataset
job de
treino
histórico de
resultados
@timotta
Modelo enviesado
modelo 1
Dataset 1
treino 1
Dataset 2
treino 2
modelo 2
@timotta
Modelo enviesado
modelo 1
Dataset 1
treino 1
Dataset 2
treino 2
modelo 2
Parte dos
dados ignorada
aleatoriamente
pelo modelo 1
@timotta
10% ciência de dados
90% engenharia
@timotta
@timotta
Bigdata
na OLX
- Datalake acessível
- Coleta de sinais
simplificada
- Jupyter as a service
- Cursos e
treinamentos
- Squad de cientistas
de dados
@timotta
Bigdata squad
outros squads
@timotta
Modelos prontos e em desenvolvimento
- Identificação de fraude
- Identificação de anúncios inválidos
- Sugestão de categoria
- Previsão do próximo anúncio
- Identificação de uma conversa fechando negócio
- Estimativa de preço
- Recomendação de anúncio
- Identificação de conversa fraudulenta
@timotta
@timotta
timotta@gmail.com

Mais conteúdo relacionado

Semelhante a Machine Learning no dia a dia do desenvolvedor

CI&T Tech Summit 2017 - Machine Learning para Sistemas de Recomendação
CI&T Tech Summit 2017 - Machine Learning para Sistemas de RecomendaçãoCI&T Tech Summit 2017 - Machine Learning para Sistemas de Recomendação
CI&T Tech Summit 2017 - Machine Learning para Sistemas de RecomendaçãoGabriel Moreira
 
TDC2018FLN | Trilha Data Science - Explainable Machine Learning
TDC2018FLN | Trilha Data Science - Explainable Machine LearningTDC2018FLN | Trilha Data Science - Explainable Machine Learning
TDC2018FLN | Trilha Data Science - Explainable Machine Learningtdc-globalcode
 
Agile Trends 2018 - Além da Automação com Machine Learning
Agile Trends 2018 - Além da Automação com Machine LearningAgile Trends 2018 - Além da Automação com Machine Learning
Agile Trends 2018 - Além da Automação com Machine LearningEmerson Bertolo
 
QConSP 2014 - Continuous Delivery - Part 05 - Testes
QConSP 2014 - Continuous Delivery - Part 05 - TestesQConSP 2014 - Continuous Delivery - Part 05 - Testes
QConSP 2014 - Continuous Delivery - Part 05 - TestesRodrigo Russo
 
Melhores praticas no desenvolvimento magento
Melhores praticas no desenvolvimento magentoMelhores praticas no desenvolvimento magento
Melhores praticas no desenvolvimento magentoRicardo Martins
 
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...Rubens Guimarães - MTAC MVP
 
Introdução a Testes de Software
Introdução a Testes de SoftwareIntrodução a Testes de Software
Introdução a Testes de SoftwareIgor Takenami
 
Criando Símbolos Otimizados para Projetos no InduSoft Web Studio
Criando Símbolos Otimizados para Projetos no InduSoft Web StudioCriando Símbolos Otimizados para Projetos no InduSoft Web Studio
Criando Símbolos Otimizados para Projetos no InduSoft Web StudioAVEVA
 
Orquestrando Templates no Zabbix
Orquestrando Templates no ZabbixOrquestrando Templates no Zabbix
Orquestrando Templates no ZabbixThiago Leão Melo
 
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
 Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaSE-Commerce Brasil
 
Programando extensões para Internet Explorer (Webslices e Aceleradores)
Programando extensões para Internet Explorer (Webslices e Aceleradores)Programando extensões para Internet Explorer (Webslices e Aceleradores)
Programando extensões para Internet Explorer (Webslices e Aceleradores)Rogerio Cordeiro
 
Global Azure Bootcamp - Recursos de Segurança para Aplicações no Azure
Global Azure Bootcamp - Recursos de Segurança para Aplicações no AzureGlobal Azure Bootcamp - Recursos de Segurança para Aplicações no Azure
Global Azure Bootcamp - Recursos de Segurança para Aplicações no AzureRubens Guimarães - MTAC MVP
 
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017Renato Groff
 
Joomla Day Brasil 2010: Customizações para grandes portais
Joomla Day Brasil 2010: Customizações para grandes portaisJoomla Day Brasil 2010: Customizações para grandes portais
Joomla Day Brasil 2010: Customizações para grandes portaisrafaelberlanda
 
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...[DevOps Summit]Importância de testes automatizados para sustentar Continuous...
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...Samanta Cicilia
 
TDD com Código Legado - "Atualizado"
TDD com Código Legado - "Atualizado"TDD com Código Legado - "Atualizado"
TDD com Código Legado - "Atualizado"Cesar Romero
 

Semelhante a Machine Learning no dia a dia do desenvolvedor (20)

CI&T Tech Summit 2017 - Machine Learning para Sistemas de Recomendação
CI&T Tech Summit 2017 - Machine Learning para Sistemas de RecomendaçãoCI&T Tech Summit 2017 - Machine Learning para Sistemas de Recomendação
CI&T Tech Summit 2017 - Machine Learning para Sistemas de Recomendação
 
TDC2018FLN | Trilha Data Science - Explainable Machine Learning
TDC2018FLN | Trilha Data Science - Explainable Machine LearningTDC2018FLN | Trilha Data Science - Explainable Machine Learning
TDC2018FLN | Trilha Data Science - Explainable Machine Learning
 
Alats Seminario V03 3
Alats Seminario V03 3Alats Seminario V03 3
Alats Seminario V03 3
 
Agile Trends 2018 - Além da Automação com Machine Learning
Agile Trends 2018 - Além da Automação com Machine LearningAgile Trends 2018 - Além da Automação com Machine Learning
Agile Trends 2018 - Além da Automação com Machine Learning
 
Python para Programadores
Python para ProgramadoresPython para Programadores
Python para Programadores
 
QConSP 2014 - Continuous Delivery - Part 05 - Testes
QConSP 2014 - Continuous Delivery - Part 05 - TestesQConSP 2014 - Continuous Delivery - Part 05 - Testes
QConSP 2014 - Continuous Delivery - Part 05 - Testes
 
Melhores praticas no desenvolvimento magento
Melhores praticas no desenvolvimento magentoMelhores praticas no desenvolvimento magento
Melhores praticas no desenvolvimento magento
 
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...
Workshop Web - Do Pensamento ao Desenvolvimento - Design, Programação e Banco...
 
Introdução a Testes de Software
Introdução a Testes de SoftwareIntrodução a Testes de Software
Introdução a Testes de Software
 
Criando Símbolos Otimizados para Projetos no InduSoft Web Studio
Criando Símbolos Otimizados para Projetos no InduSoft Web StudioCriando Símbolos Otimizados para Projetos no InduSoft Web Studio
Criando Símbolos Otimizados para Projetos no InduSoft Web Studio
 
Orquestrando Templates no Zabbix
Orquestrando Templates no ZabbixOrquestrando Templates no Zabbix
Orquestrando Templates no Zabbix
 
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
 Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
Como usar Machine Learning no E-commerce com soluções de PaaS e SaaS
 
Programando extensões para Internet Explorer (Webslices e Aceleradores)
Programando extensões para Internet Explorer (Webslices e Aceleradores)Programando extensões para Internet Explorer (Webslices e Aceleradores)
Programando extensões para Internet Explorer (Webslices e Aceleradores)
 
Global Azure Bootcamp - Recursos de Segurança para Aplicações no Azure
Global Azure Bootcamp - Recursos de Segurança para Aplicações no AzureGlobal Azure Bootcamp - Recursos de Segurança para Aplicações no Azure
Global Azure Bootcamp - Recursos de Segurança para Aplicações no Azure
 
TDD na Prática
TDD na PráticaTDD na Prática
TDD na Prática
 
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017
Acesso a Dados em .NET: Boas práticas de Segurança - Agosto/2017
 
Os3
Os3Os3
Os3
 
Joomla Day Brasil 2010: Customizações para grandes portais
Joomla Day Brasil 2010: Customizações para grandes portaisJoomla Day Brasil 2010: Customizações para grandes portais
Joomla Day Brasil 2010: Customizações para grandes portais
 
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...[DevOps Summit]Importância de testes automatizados para sustentar Continuous...
[DevOps Summit]Importância de testes automatizados para sustentar Continuous...
 
TDD com Código Legado - "Atualizado"
TDD com Código Legado - "Atualizado"TDD com Código Legado - "Atualizado"
TDD com Código Legado - "Atualizado"
 

Mais de Tiago Albineli Motta

Challenges and research for a real-time recommendation at OLX
Challenges and research for a real-time recommendation at OLXChallenges and research for a real-time recommendation at OLX
Challenges and research for a real-time recommendation at OLXTiago Albineli Motta
 
Inteligência Artificial: Da ciência da computação à ciência de dados
Inteligência Artificial: Da ciência da computação à ciência de dadosInteligência Artificial: Da ciência da computação à ciência de dados
Inteligência Artificial: Da ciência da computação à ciência de dadosTiago Albineli Motta
 
Machine Learning e experimentos online para evitar o cancelamento no GloboPlay
Machine Learning e experimentos online para evitar o cancelamento no GloboPlayMachine Learning e experimentos online para evitar o cancelamento no GloboPlay
Machine Learning e experimentos online para evitar o cancelamento no GloboPlayTiago Albineli Motta
 
A ciência de dados por traz de sistemas de recomendação
A ciência de dados por traz de sistemas de recomendaçãoA ciência de dados por traz de sistemas de recomendação
A ciência de dados por traz de sistemas de recomendaçãoTiago Albineli Motta
 
Recomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.comRecomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.comTiago Albineli Motta
 
Testes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e PorqueTestes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e PorqueTiago Albineli Motta
 

Mais de Tiago Albineli Motta (17)

Multi Armed Bandit
Multi Armed BanditMulti Armed Bandit
Multi Armed Bandit
 
Challenges and research for a real-time recommendation at OLX
Challenges and research for a real-time recommendation at OLXChallenges and research for a real-time recommendation at OLX
Challenges and research for a real-time recommendation at OLX
 
Inteligência Artificial: Da ciência da computação à ciência de dados
Inteligência Artificial: Da ciência da computação à ciência de dadosInteligência Artificial: Da ciência da computação à ciência de dados
Inteligência Artificial: Da ciência da computação à ciência de dados
 
Experimentation anti patterns
Experimentation anti patternsExperimentation anti patterns
Experimentation anti patterns
 
Machine Learning e experimentos online para evitar o cancelamento no GloboPlay
Machine Learning e experimentos online para evitar o cancelamento no GloboPlayMachine Learning e experimentos online para evitar o cancelamento no GloboPlay
Machine Learning e experimentos online para evitar o cancelamento no GloboPlay
 
A ciência de dados por traz de sistemas de recomendação
A ciência de dados por traz de sistemas de recomendaçãoA ciência de dados por traz de sistemas de recomendação
A ciência de dados por traz de sistemas de recomendação
 
xCLiMF
xCLiMFxCLiMF
xCLiMF
 
Rastros digitais
Rastros digitaisRastros digitais
Rastros digitais
 
Big data
Big dataBig data
Big data
 
Recomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.comRecomendação de ponta a ponta na Globo.com
Recomendação de ponta a ponta na Globo.com
 
Recomendação na Globo.com
Recomendação na Globo.comRecomendação na Globo.com
Recomendação na Globo.com
 
Otimizando seu projeto Rails
Otimizando seu projeto RailsOtimizando seu projeto Rails
Otimizando seu projeto Rails
 
Meta-programacao em python
Meta-programacao em pythonMeta-programacao em python
Meta-programacao em python
 
Testes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e PorqueTestes unitários e de integração: Quando e Porque
Testes unitários e de integração: Quando e Porque
 
Redis na Prática
Redis na PráticaRedis na Prática
Redis na Prática
 
Dinamizando Sites Estáticos
Dinamizando Sites EstáticosDinamizando Sites Estáticos
Dinamizando Sites Estáticos
 
Escalando Sites com Nginx
Escalando Sites com NginxEscalando Sites com Nginx
Escalando Sites com Nginx
 

Machine Learning no dia a dia do desenvolvedor

Notas do Editor

  1. Machine Learning, por mais complexo que possa parecer, com toda a matemática e estatística envolvida, atualmente é bem mais simples do que parece. Com o estudo e ferramentas adequadas, todo o time de desenvolvimento tem a capacidade de criar e colocar em produção modelos que podem trazer resultados surpreendentes pra sua empresa.
  2. Pra gente entender como que machine learning se encaixa no desenvolvimento de software atualmente é preciso revisar o que são os problemas deterministicos, que são os problemas que a maioria dos times de desvolvimento solucionam hoje em dia. CRUDs, regras de negócio, cálculos, nossas maiores incertezas são em relação a se a gente entendeu bem o que o cliente precisava
  3. Hoje os desenvolvedores trabalham muito mais com conexão das abstrações do que realmente processamento de bits e bytes. Muito da teoria não precisa estar no sangue. Mas elas continuam sendo bem necessárias para que saiba como conectar e o que conectar.
  4. Comportamento humano, identificação e interpretação de texto, fotos e vídeos. Não é possível estabelecer regras
  5. De uma maneira simplificada esse aqui seria o workflow de um cientista de dados
  6. Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados
  7. Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados