SlideShare uma empresa Scribd logo
1 de 36
Baixar para ler offline
MLOps: transformando
seus modelos de ML
em produtos
Diogo Munaro Vieira
Machine Learning Engineer @ OLX
Co-Founder @ Data Bootcamp
PhD Student @ PUC Rio
/in/dmvieira
@diogomvieira
50 vendas por minuto
Marca Top of Mind
na categoria*
*Fonte: Ginger, 2018
OLX é o maior site e APP de compra
e venda do Brasil
Cerca de meio milhão
de anúncios todos os
dias
23 milhões de itens
marcados como
vendidos em 2019
1 em cada 5 coisas
vendidas online no Brasil
é por meio da OLX
Caso de uso de ML
em Produto
Chat
Chat
API
ML
Mensagem
Ok?
Chat
API
ML
Mensagem
Ok??
?
?
Online Offline
Previsão em tempo real
+ Impacto performance
Modelos + simples
Previsão pré calculada
- Impacto performance
Permite + complexidade
Usos de ML
Sobe esse
modelo pra
mim?
MLOps!
Existem muitas
ferramentas, mas vamos
falar do jeito certo de
usá-las!
Organização
dos notebooks
Organização
dos notebooks
VIDA REAL!
Modularizar
notebooks
● Preparação
○ Obter dados
○ Preparar dados
● Treino
○ Buscar Features
○ Gerar modelo
○ Otimizar
● Teste
○ Preparar dados
○ Validar Score
● Visualização
○ Insights
○ Gráficos
Então eu só preciso disso para
colocar modelos em produção?
Cientista de dados esperançoso
Sim!
Sim!
Testar
Módulos
● Preparação
○ Obter dados
○ Preparar dados
● Treino
○ Buscar Features
○ Gerar modelo
○ Otimizar
● Teste
○ Preparar dados
○ Validar Score
Testar
Módulos
● RUnit
● UnitTest
&
● Teste Metamórfico
● Teste Caixa Preta
Versionar
Módulos
● Preparação
○ Obter dados
○ Preparar dados
● Treino
○ Buscar Features
○ Gerar modelo
○ Otimizar
● Teste
○ Preparar dados
○ Validar Score
Versionar
Módulos
● git
&
● MLFlow
&
● DVC
Automatizar
Módulos e TESTES
● Preparação
○ Obter dados
○ Preparar dados
● Treino
○ Buscar Features
○ Gerar modelo
○ Otimizar
● Teste
○ Preparar dados
○ Validar Score
Automatizar
Módulos e TESTES
● Airflow
● Azkaban
&
● Spark
Automatizar
Infraestrutura
● Kubernetes
● Ansible
● Puppet
Automatizar
Deploy
● GitlabCI
● Codeship
&
● Aplicação??
Monitoramento
● Grafana
● Redash
&
● Prometeus
● StatsD
Canivete Suíço: Kubeflow
O que vem por aí
LGPD
Explicação de predições?
SLA de predições de ML?
LGPD
Federated Learning
Explicação de Predições
Shap Values
SLA de Predições
Pac Bayesiano
Estamos
Contratando!
go.olxbr.com/carreiras
/in/dmvieira
@diogomvieira

Mais conteúdo relacionado

Semelhante a MLOps: Transformando seus modelos de ml em produtos

palestra-vtex-day-2013
palestra-vtex-day-2013palestra-vtex-day-2013
palestra-vtex-day-2013Gerson Ribeiro
 
CONAIND 2015 - Tecnologia Para a Internet e E-commerce
CONAIND 2015 - Tecnologia Para a Internet e E-commerceCONAIND 2015 - Tecnologia Para a Internet e E-commerce
CONAIND 2015 - Tecnologia Para a Internet e E-commerceVitaminaWeb
 
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!Derek Willi
 
Oportunidades de Carreiras no E-Commerce
Oportunidades de Carreiras no E-CommerceOportunidades de Carreiras no E-Commerce
Oportunidades de Carreiras no E-CommerceImpacta Eventos
 
Palestra Impacta "Oportunidades de Carreira" - E-commerce
Palestra Impacta "Oportunidades de Carreira" - E-commercePalestra Impacta "Oportunidades de Carreira" - E-commerce
Palestra Impacta "Oportunidades de Carreira" - E-commerceUni Buscapé Company
 
Mercado, carreiras e escolhas no mercado de T.I
Mercado, carreiras e escolhas no mercado de T.IMercado, carreiras e escolhas no mercado de T.I
Mercado, carreiras e escolhas no mercado de T.IDaniel Marcos
 
SEO e as Redes Sociais - JR Martian
SEO e as Redes Sociais - JR MartianSEO e as Redes Sociais - JR Martian
SEO e as Redes Sociais - JR MartianMartian Digital
 
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...E-Commerce Brasil
 
Os Desafios do Design Mobile - Jun/2012
Os Desafios do Design Mobile - Jun/2012Os Desafios do Design Mobile - Jun/2012
Os Desafios do Design Mobile - Jun/2012Horácio Soares
 
AI, Machine Learning e BigData aplicado aos E-commerces
AI, Machine Learning e BigData aplicado aos E-commercesAI, Machine Learning e BigData aplicado aos E-commerces
AI, Machine Learning e BigData aplicado aos E-commercesE-commerce Brasil
 
O mercado de trabalho para a T.I.
O mercado de trabalho para a T.I.O mercado de trabalho para a T.I.
O mercado de trabalho para a T.I.Yan Magalhães
 
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson Ribeiro
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson RibeiroEntenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson Ribeiro
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson RibeiroErica Marques
 
B&P - Planejamento de mídia para Branding e Performance
B&P - Planejamento de mídia para Branding e PerformanceB&P - Planejamento de mídia para Branding e Performance
B&P - Planejamento de mídia para Branding e PerformanceIAB Brasil
 
Conectando-se com Compradores de Carros em um Mundo que Utiliza Smartphones
Conectando-se com Compradores de Carros em um Mundo que Utiliza SmartphonesConectando-se com Compradores de Carros em um Mundo que Utiliza Smartphones
Conectando-se com Compradores de Carros em um Mundo que Utiliza SmartphonesEduardo Cortez
 
Machine Learning integrado ao produto de software: No more XGH
Machine Learning integrado ao produto de software: No more XGHMachine Learning integrado ao produto de software: No more XGH
Machine Learning integrado ao produto de software: No more XGHDiogo Munaro Vieira
 
O Mercado e Desenvolvimento em Mobile
O Mercado e Desenvolvimento em MobileO Mercado e Desenvolvimento em Mobile
O Mercado e Desenvolvimento em MobileThiago Cortat
 
As vantagens de se tornar um desenvolvedor mobile
As vantagens de se tornar um desenvolvedor mobileAs vantagens de se tornar um desenvolvedor mobile
As vantagens de se tornar um desenvolvedor mobileDirceu Belém
 
Carreira no Mercado de TI: De servidores a aplicativos
Carreira no Mercado de TI: De servidores a aplicativosCarreira no Mercado de TI: De servidores a aplicativos
Carreira no Mercado de TI: De servidores a aplicativosBruna Griebeler
 

Semelhante a MLOps: Transformando seus modelos de ml em produtos (20)

palestra-vtex-day-2013
palestra-vtex-day-2013palestra-vtex-day-2013
palestra-vtex-day-2013
 
CONAIND 2015 - Tecnologia Para a Internet e E-commerce
CONAIND 2015 - Tecnologia Para a Internet e E-commerceCONAIND 2015 - Tecnologia Para a Internet e E-commerce
CONAIND 2015 - Tecnologia Para a Internet e E-commerce
 
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!
Toolkit Web para Analistas de Negócios: 3 Ferramentas que Vão Salvar o Seu Dia!
 
Oportunidades de Carreiras no E-Commerce
Oportunidades de Carreiras no E-CommerceOportunidades de Carreiras no E-Commerce
Oportunidades de Carreiras no E-Commerce
 
Palestra Impacta "Oportunidades de Carreira" - E-commerce
Palestra Impacta "Oportunidades de Carreira" - E-commercePalestra Impacta "Oportunidades de Carreira" - E-commerce
Palestra Impacta "Oportunidades de Carreira" - E-commerce
 
Palestra impacta-14-5-2013-lt
Palestra impacta-14-5-2013-ltPalestra impacta-14-5-2013-lt
Palestra impacta-14-5-2013-lt
 
Mercado, carreiras e escolhas no mercado de T.I
Mercado, carreiras e escolhas no mercado de T.IMercado, carreiras e escolhas no mercado de T.I
Mercado, carreiras e escolhas no mercado de T.I
 
SEO e as Redes Sociais - JR Martian
SEO e as Redes Sociais - JR MartianSEO e as Redes Sociais - JR Martian
SEO e as Redes Sociais - JR Martian
 
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...
Fórum E-Commerce Brasil 2023 | Transformando Dados em Lucro: A Jornada da Cla...
 
Os Desafios do Design Mobile - Jun/2012
Os Desafios do Design Mobile - Jun/2012Os Desafios do Design Mobile - Jun/2012
Os Desafios do Design Mobile - Jun/2012
 
AI, Machine Learning e BigData aplicado aos E-commerces
AI, Machine Learning e BigData aplicado aos E-commercesAI, Machine Learning e BigData aplicado aos E-commerces
AI, Machine Learning e BigData aplicado aos E-commerces
 
O mercado de trabalho para a T.I.
O mercado de trabalho para a T.I.O mercado de trabalho para a T.I.
O mercado de trabalho para a T.I.
 
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson Ribeiro
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson RibeiroEntenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson Ribeiro
Entenda o Comportamento do Consumidor e Otimize seu Negócio - Gerson Ribeiro
 
B&P - Planejamento de mídia para Branding e Performance
B&P - Planejamento de mídia para Branding e PerformanceB&P - Planejamento de mídia para Branding e Performance
B&P - Planejamento de mídia para Branding e Performance
 
Conectando-se com Compradores de Carros em um Mundo que Utiliza Smartphones
Conectando-se com Compradores de Carros em um Mundo que Utiliza SmartphonesConectando-se com Compradores de Carros em um Mundo que Utiliza Smartphones
Conectando-se com Compradores de Carros em um Mundo que Utiliza Smartphones
 
Machine Learning integrado ao produto de software: No more XGH
Machine Learning integrado ao produto de software: No more XGHMachine Learning integrado ao produto de software: No more XGH
Machine Learning integrado ao produto de software: No more XGH
 
Intensivo 80h Midias Digitais Aula 1
Intensivo 80h   Midias Digitais Aula 1Intensivo 80h   Midias Digitais Aula 1
Intensivo 80h Midias Digitais Aula 1
 
O Mercado e Desenvolvimento em Mobile
O Mercado e Desenvolvimento em MobileO Mercado e Desenvolvimento em Mobile
O Mercado e Desenvolvimento em Mobile
 
As vantagens de se tornar um desenvolvedor mobile
As vantagens de se tornar um desenvolvedor mobileAs vantagens de se tornar um desenvolvedor mobile
As vantagens de se tornar um desenvolvedor mobile
 
Carreira no Mercado de TI: De servidores a aplicativos
Carreira no Mercado de TI: De servidores a aplicativosCarreira no Mercado de TI: De servidores a aplicativos
Carreira no Mercado de TI: De servidores a aplicativos
 

Mais de Diogo Munaro Vieira

Testes metamórficos em problemas complexos
Testes metamórficos em problemas complexosTestes metamórficos em problemas complexos
Testes metamórficos em problemas complexosDiogo Munaro Vieira
 
Apache Spark Overview and Applications
Apache Spark Overview and ApplicationsApache Spark Overview and Applications
Apache Spark Overview and ApplicationsDiogo Munaro Vieira
 
Paralelismo em machine learning e suas aplicações
Paralelismo em machine learning e suas aplicaçõesParalelismo em machine learning e suas aplicações
Paralelismo em machine learning e suas aplicaçõesDiogo Munaro Vieira
 
Desenvolvedor de software para Big Data
Desenvolvedor de software para Big DataDesenvolvedor de software para Big Data
Desenvolvedor de software para Big DataDiogo Munaro Vieira
 
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por diaConhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por diaDiogo Munaro Vieira
 
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Diogo Munaro Vieira
 

Mais de Diogo Munaro Vieira (8)

Testes metamórficos em problemas complexos
Testes metamórficos em problemas complexosTestes metamórficos em problemas complexos
Testes metamórficos em problemas complexos
 
Apache Spark Overview and Applications
Apache Spark Overview and ApplicationsApache Spark Overview and Applications
Apache Spark Overview and Applications
 
Paralelismo em machine learning e suas aplicações
Paralelismo em machine learning e suas aplicaçõesParalelismo em machine learning e suas aplicações
Paralelismo em machine learning e suas aplicações
 
Desenvolvedor de software para Big Data
Desenvolvedor de software para Big DataDesenvolvedor de software para Big Data
Desenvolvedor de software para Big Data
 
Machine learning em Produção
Machine learning em ProduçãoMachine learning em Produção
Machine learning em Produção
 
Big Data na Globo.com
Big Data na Globo.comBig Data na Globo.com
Big Data na Globo.com
 
Conhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por diaConhecendo o desejo de mais de 10 milhões de usuários por dia
Conhecendo o desejo de mais de 10 milhões de usuários por dia
 
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)
 

MLOps: Transformando seus modelos de ml em produtos