Baixar para ler offline
Carregado porTiago Albineli Motta
Machine Learning no dia a dia do desenvolvedor
O documento discute o uso de aprendizado de máquina no dia a dia de desenvolvedores. Aborda tópicos como problemas determinísticos e probabilísticos, o processo de treinamento e validação de modelos, desafios como vazamentos de dados e conjuntos de dados desequilibrados, e implementação de modelos em produção.
Machine Learning no dia a dia do desenvolvedor
- 1. @timotta Machine Learning no diaa dia do desenvolvedor
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 12. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 13. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 14. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 15.
- 16.
- 17.
- 18. @timotta Evitando preprocessing leak seletorde features escalonador split treino/teste Dataset treino Dataset teste
- 19. @timotta Dataset desbalanceado 99% semfraude 1% com fraude
- 20. @timotta Dataset desbalanceado 99% semfraude 1% com fraude 100% previsto sem fraude algoritmo
- 21.
- 22.
- 23.
- 24.
- 25. @timotta Colocando em produção modeloML api preparação Dataset load Requests
- 26. @timotta Micro serviços dividindoa responsabilidade ML api Requests apifront-end requests BD
- 27.
- 28. @timotta Atualização do modelo modelo preparação Dataset jobde treino histórico de resultados
- 29. @timotta Modelo enviesado modelo 1 Dataset1 treino 1 Dataset 2 treino 2 modelo 2
- 30. @timotta Modelo enviesado modelo 1 Dataset1 treino 1 Dataset 2 treino 2 modelo 2 Parte dos dados ignorada aleatoriamente pelo modelo 1
- 31. @timotta 10% ciência dedados 90% engenharia
- 32.
- 33. @timotta Bigdata na OLX - Datalakeacessível - Coleta de sinais simplificada - Jupyter as a service - Cursos e treinamentos - Squad de cientistas de dados
- 34.
- 35. @timotta Modelos prontos eem desenvolvimento - Identificação de fraude - Identificação de anúncios inválidos - Sugestão de categoria - Previsão do próximo anúncio - Identificação de uma conversa fechando negócio - Estimativa de preço - Recomendação de anúncio - Identificação de conversa fraudulenta
- 36.
Notas do Editor
- #2 Machine Learning, por mais complexo que possa parecer, com toda a matemática e estatística envolvida, atualmente é bem mais simples do que parece. Com o estudo e ferramentas adequadas, todo o time de desenvolvimento tem a capacidade de criar e colocar em produção modelos que podem trazer resultados surpreendentes pra sua empresa.
- #3 Pra gente entender como que machine learning se encaixa no desenvolvimento de software atualmente é preciso revisar o que são os problemas deterministicos, que são os problemas que a maioria dos times de desvolvimento solucionam hoje em dia. CRUDs, regras de negócio, cálculos, nossas maiores incertezas são em relação a se a gente entendeu bem o que o cliente precisava
- #6 Hoje os desenvolvedores trabalham muito mais com conexão das abstrações do que realmente processamento de bits e bytes. Muito da teoria não precisa estar no sangue. Mas elas continuam sendo bem necessárias para que saiba como conectar e o que conectar.
- #7 Comportamento humano, identificação e interpretação de texto, fotos e vídeos. Não é possível estabelecer regras
- #13 De uma maneira simplificada esse aqui seria o workflow de um cientista de dados
- #14 Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados
- #15 Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados