Apresentação feita no evento AI Week Conference BR em 05/04/22 sobre conceitos de MLOps. Host: Henrique Eduardo Souza Palestrante: Eliézer Zarpelão Link do vídeo: https://www.youtube.com/watch?v=rCse1AGdan8&list=PL_yq9hmeKAk8MTgAXxbOUcuSEzerQytbE&index=4

1. 1 AI Week Conference BR – MLOps – Eliézer Zarpelão
MLOps
Eliézer Zarpelão
AI Week Conference BR

2. 2 AI Week Conference BR – MLOps – Eliézer Zarpelão
+ 17 anos desenvolvimento
Bacharel em Sistemas de Informação USP
Especialista em Engenharia de Software Unicamp
Mestrando em Ciência da Computação pela Unicamp
https://www.linkedin.com/in/eliezerzarpelao/
Eliézer Zarpelão
Tech Architect - Avanade

3. 3 AI Week Conference BR – MLOps – Eliézer Zarpelão
Mestrado
FEF + IC / Unicamp
Ciência da Computação
Futebol + Machine Learning + IoT

4. 4 AI Week Conference BR – MLOps – Eliézer Zarpelão
Horas vagas (?)
«Mente sana in corpore sano»

5. 5 AI Week Conference BR – MLOps – Eliézer Zarpelão
Google Trends - MLOps

6. 6 AI Week Conference BR – MLOps – Eliézer Zarpelão
Lei de Moore x Deep Learning

7. 7 AI Week Conference BR – MLOps – Eliézer Zarpelão
Evolução do Desenvolvimento
DevOps
Waterfall
Agile

8. 8 AI Week Conference BR – MLOps – Eliézer Zarpelão
Princípios DevOps

9. 9 AI Week Conference BR – MLOps – Eliézer Zarpelão
O que é MLOps?
“Capacidade de aplicar os princípios DevOps
para aplicações de Machine Learning”

10. 10 AI Week Conference BR – MLOps – Eliézer Zarpelão
Sistema de I.A. Código / Modelo Dados
Fonte: Material Andrew Ng

11. 11 AI Week Conference BR – MLOps – Eliézer Zarpelão
microsoft/MLOpsPython: MLOps using Azure ML Services and Azure DevOps (github.com)

12. 12 AI Week Conference BR – MLOps – Eliézer Zarpelão
Melhorar o Código ou os Dados?
Detecção de
Defeitos
Painéis
Solares
Inspeção de
superficies
Baseline 76,2 % 75,68 % 85,05%
Modelos
+0%
(76,2%)
+0,04%
(75,72%)
+0%
(85,05%)
Dados
+16,9%
(93,1%)
+3,06%
(78,74%)
+0,4%
(85,45%)
Fonte: Material Andrew Ng

13. 13 AI Week Conference BR – MLOps – Eliézer Zarpelão

14. 14 AI Week Conference BR – MLOps – Eliézer Zarpelão
Ação (20%)
Treinar o modelo
Preparação (80%)
Prover e preparar dados de alta qualidade
99%
pesquisa I.A.
1%
pesquisa I.A.

15. 15 AI Week Conference BR – MLOps – Eliézer Zarpelão
Ciclo de vida de um projeto de ML
Entrega em
produção
Definição
de Escopo
Treino do
modelo
Coleta
de Dados

16. 16 AI Week Conference BR – MLOps – Eliézer Zarpelão
Peça a dois especialistas independentes
para rotular uma amostra de imagens
Meça a consistência para descobrir onde
eles discordam
Para classes em que eles discordam, revise
as instruções de rotulagem até que se
tornem consistentes

17. 17 AI Week Conference BR – MLOps – Eliézer Zarpelão
Foco no Modelo
Colete os dados que puder, e desenvolva um modelo
bom o suficiente para lidar com o ruído nos dados.
Mantenha os dados fixos e melhore iterativamente o
código/modelo.
Foco nos dados
A consistência dos dados é essencial. Use ferramentas
para melhorar a qualidade dos dados;
Mantenha os códigos/modelos fixos e melhore
iterativamente os dados.

18. 18 AI Week Conference BR – MLOps – Eliézer Zarpelão
Poucos dados
Rótulos com ruídos
Muitos dados
Rótulos com ruídos
Poucos dados
Rótulos limpos/consistentes
Fonte: Material Andrew Ng

19. 19 AI Week Conference BR – MLOps – Eliézer Zarpelão Fonte: Material Andrew Ng

20. 20 AI Week Conference BR – MLOps – Eliézer Zarpelão
Treino do modelo
Entrega em
produção
Definição
de Escopo
Treino do
modelo
Coleta
de Dados
Foco no modelo
Como posso melhorar a arquitetura do modelo
para melhorar a performance?
Foco nos dados
Como posso modificar meus dados (novos
exemplos, aumento de dados, rotulagem, etc.)
para melhorar a performance?

21. 21 AI Week Conference BR – MLOps – Eliézer Zarpelão
Entrega em produção
Entrega em
produção
Definição
de Escopo
Treino do
modelo
Coleta
de Dados
Monitore o desempenho da implantação e envie de volta dados para
refinamento contínuo do modelo.

22. 22 AI Week Conference BR – MLOps – Eliézer Zarpelão
Código
Criação
Engenheiros
de Software
Qualidade + Infra DevOps

23. 23 AI Week Conference BR – MLOps – Eliézer Zarpelão
Sistema de I.A. Código Dados
Criação
Engenheiros
de Software
Qualidade + Infra DevOps
Engenheiros
de ML
MLOps

24. 24 AI Week Conference BR – MLOps – Eliézer Zarpelão
“Garantir de forma
consistente a qualidade
dos dados em todas as
fases do ciclo de vida do
projeto de ML”

25. 25 AI Week Conference BR – MLOps – Eliézer Zarpelão
Qualidade dos Dados
Definido de forma
consistente
Definição dos rótulos é
inequívoca Cobertura de casos
importantes
Boa cobertura de dados
de entrada
Feedback de produção
Distribuição cobre desvio
de dados e de conceito
Dimensionamento
Adequado para ter
performance e acurácia
corretas

26. 26 AI Week Conference BR – MLOps – Eliézer Zarpelão
MLOps visa unificar o ciclo de entrega de ML e aplicações
MLOps permite o teste automatizado de artefatos de ML (ex: validação
de dados, teste de modelos e teste de integração de modelos)
MLOps permite aplicação de princípios ágeis a projetos de ML
MLOps reduz o débito técnico em modelos de ML
MLOps deve ser uma prática independente de linguagem, estrutura,
plataforma e infraestrutura
Princípios MLOps
Fonte: ML Ops: Machine Learning Operations (ml-ops.org)

27. 27 AI Week Conference BR – MLOps – Eliézer Zarpelão
Dúvidas???
Obrigado!!!
LinkedIn - https://www.linkedin.com/in/eliezerzarpelao/
Twitter - https://twitter.com/eliezerzarpelao
GitHub - https://github.com/elizarp/
Instagram - https://www.instagram.com/eliezerzarpelao/
YouTube - https://www.youtube.com/EliézerZarpelão
Website - https://eliezerzarpelao.eti.br/