Baixar para ler offline
Carregado porTiago Albineli Motta
Machine Learning no dia a dia do desenvolvedor (Atualizado)
O documento discute o uso de aprendizado de máquina no dia a dia de desenvolvedores. Aborda problemas determinísticos e probabilísticos, o processo de treinamento e validação de modelos, desafios como vazamento de rótulos e desbalanceamento de dados, e implementação de modelos em produção.
![[DTC21] Raphael Castilho - Começando com Inteligência Artificial e Machine Le...](https://cdn.slidesharecdn.com/ss_thumbnails/iaemachine-210317154040-thumbnail.jpg?width=640&height=640&fit=bounds)
Machine Learning no dia a dia do desenvolvedor (Atualizado)
- 1. @timotta Machine Learning no diaa dia do desenvolvedor
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 12. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 13. @timotta treino do modelo análise exploratóri a preparação dos dados obtençãodos dados validação do modelo
- 14.
- 15.
- 16. @timotta Label leak withpandas index y X~y leaked
- 17. @timotta Dataset desbalanceado 99% semfraude 1% com fraude
- 18. @timotta Dataset desbalanceado 99% semfraude 1% com fraude 100% previsto sem fraude algoritmo
- 19.
- 20.
- 21. @timotta Evitando preprocessing leak seletorde features escalonador split treino/teste Dataset treino Dataset teste
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28. @timotta Colocando em produção modeloML api preparação Dataset load Requests
- 29. @timotta Micro serviços dividindoa responsabilidade ML api Requests apifront-end requests BD
- 30. @timotta Com grande datasets(Imagem, video…) ML api Requestsapi front-end requests Media Storage BD
- 31.
- 32. @timotta Atualização do modelo modelo preparação Dataset jobde treino histórico de resultados
- 33. @timotta Modelo enviesado modelo 1 Dataset1 treino 1 Dataset 2 treino 2 modelo 2
- 34. @timotta Modelo enviesado modelo 1 Dataset1 treino 1 Dataset 2 treino 2 modelo 2 Parte dos dados ignorada aleatoriamente pelo modelo 1
- 35. @timotta 10% ciência dedados 90% engenharia
- 36.
- 37. @timotta Bigdata na OLX - Datalakeacessível
- 38. @timotta Bigdata na OLX - Datalakeacessível - Coleta de sinais simplificada
- 39. @timotta Bigdata na OLX - Datalakeacessível - Coleta de sinais simplificada - Jupyter as a service
- 40. @timotta Bigdata na OLX - Datalakeacessível - Coleta de sinais simplificada - Jupyter as a service - Cursos e treinamentos
- 41. @timotta Bigdata na OLX - Datalakeacessível - Coleta de sinais simplificada - Jupyter as a service - Cursos e treinamentos - Squad de cientistas de dados
- 42.
- 43. @timotta Modelos prontos eem desenvolvimento - Identificação de fraude - Identificação de anúncios inválidos - Sugestão de categoria - Previsão do próximo anúncio - Identificação de uma conversa fechando negócio - Estimativa de preço - Recomendação de anúncio - Identificação de conversa fraudulenta
- 44. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 45. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 46. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 47. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 48. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 49. @timotta Sociedade Amigos Família Outrosdevs Matemáticos Realidade
- 50.
Notas do Editor
- #2 Machine Learning, por mais complexo que possa parecer, com toda a matemática e estatística envolvida, atualmente é bem mais simples do que parece. Com o estudo e ferramentas adequadas, todo o time de desenvolvimento tem a capacidade de criar e colocar em produção modelos que podem trazer resultados surpreendentes pra sua empresa.
- #3 Pra gente entender como que machine learning se encaixa no desenvolvimento de software atualmente é preciso revisar o que são os problemas deterministicos, que são os problemas que a maioria dos times de desvolvimento solucionam hoje em dia. CRUDs, regras de negócio, cálculos, nossas maiores incertezas são em relação a se a gente entendeu bem o que o cliente precisava
- #6 Hoje os desenvolvedores trabalham muito mais com conexão das abstrações do que realmente processamento de bits e bytes. Muito da teoria não precisa estar no sangue. Mas elas continuam sendo bem necessárias para que saiba como conectar e o que conectar.
- #7 Comportamento humano, identificação e interpretação de texto, fotos e vídeos. Não é possível estabelecer regras
- #11 E assim como em computação temos um monte de abstrações, para ciencia de dados também temos, e também precisamos do conhecimento dessa ciencia para saber qual, como e quando utilizar cada ferramenta
- #12 De uma maneira simplificada esse aqui seria o workflow de um cientista de dados
- #13 Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados
- #14 Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados