ML no dia a dia do desenvolvedor
•Transferir como PPTX, PDF•
0 gostou•76 visualizações
O documento discute o uso de aprendizado de máquina no dia a dia de desenvolvedores. Aborda problemas determinísticos e probabilísticos, o processo de treinamento e validação de modelos, desafios como vazamento de rótulos e desbalanceamento de dados, e implementação de modelos em produção.
Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a ML no dia a dia do desenvolvedor
Semelhante a ML no dia a dia do desenvolvedor (20)
Mais de Tiago Albineli Motta
Mais de Tiago Albineli Motta (17)
ML no dia a dia do desenvolvedor
- 1. @timotta Machine Learning no dia a dia do desenvolvedor
- 5. @timotta
- 7. @timotta
- 8. @timotta
- 9. @timotta
- 10. @timotta
- 11. @timotta treino do modelo análise exploratóri a preparação dos dados obtenção dos dados validação do modelo
- 12. @timotta treino do modelo análise exploratóri a preparação dos dados obtenção dos dados validação do modelo
- 13. @timotta treino do modelo análise exploratóri a preparação dos dados obtenção dos dados validação do modelo
- 16. @timotta Label leak with pandas index y X~y leaked
- 17. @timotta Dataset desbalanceado 99% sem fraude 1% com fraude
- 18. @timotta Dataset desbalanceado 99% sem fraude 1% com fraude 100% previsto sem fraude algoritmo
- 21. @timotta Evitando preprocessing leak seletor de features escalonador split treino/teste Dataset treino Dataset teste
- 22. @timotta Pair analysis & Analysis review
- 28. @timotta Colocando em produção modelo ML api preparação Dataset load Requests
- 29. @timotta Micro serviços dividindo a responsabilidade ML api Requests apifront-end requests BD
- 30. @timotta Com grande datasets (Imagem, video…) ML api Requestsapi front-end requests Media Storage BD
- 32. @timotta Atualização do modelo modelo preparação Dataset job de treino histórico de resultados
- 33. @timotta Modelo enviesado modelo 1 Dataset 1 treino 1 Dataset 2 treino 2 modelo 2
- 34. @timotta Modelo enviesado modelo 1 Dataset 1 treino 1 Dataset 2 treino 2 modelo 2 Parte dos dados ignorada aleatoriamente pelo modelo 1
- 35. @timotta 10% ciência de dados 90% engenharia
- 36. @timotta
- 37. @timotta Bigdata na OLX - Datalake acessível
- 38. @timotta Bigdata na OLX - Datalake acessível - Coleta de sinais simplificada
- 39. @timotta Bigdata na OLX - Datalake acessível - Coleta de sinais simplificada - Jupyter as a service
- 40. @timotta Bigdata na OLX - Datalake acessível - Coleta de sinais simplificada - Jupyter as a service - Cursos e treinamentos
- 41. @timotta Bigdata na OLX - Datalake acessível - Coleta de sinais simplificada - Jupyter as a service - Cursos e treinamentos - Squad de cientistas de dados
- 43. @timotta Modelos prontos e em desenvolvimento - Identificação de fraude - Identificação de anúncios inválidos - Sugestão de categoria - Previsão do próximo anúncio - Identificação de uma conversa fechando negócio - Estimativa de preço - Recomendação de anúncio - Identificação de conversa fraudulenta
- 44. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
- 45. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
- 46. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
- 47. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
- 48. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
- 49. @timotta Sociedade Amigos Família Outros devs Matemáticos Realidade
Notas do Editor
- Machine Learning, por mais complexo que possa parecer, com toda a matemática e estatística envolvida, atualmente é bem mais simples do que parece. Com o estudo e ferramentas adequadas, todo o time de desenvolvimento tem a capacidade de criar e colocar em produção modelos que podem trazer resultados surpreendentes pra sua empresa.
- Pra gente entender como que machine learning se encaixa no desenvolvimento de software atualmente é preciso revisar o que são os problemas deterministicos, que são os problemas que a maioria dos times de desvolvimento solucionam hoje em dia. CRUDs, regras de negócio, cálculos, nossas maiores incertezas são em relação a se a gente entendeu bem o que o cliente precisava
- Hoje os desenvolvedores trabalham muito mais com conexão das abstrações do que realmente processamento de bits e bytes. Muito da teoria não precisa estar no sangue. Mas elas continuam sendo bem necessárias para que saiba como conectar e o que conectar.
- Comportamento humano, identificação e interpretação de texto, fotos e vídeos. Não é possível estabelecer regras
- E assim como em computação temos um monte de abstrações, para ciencia de dados também temos, e também precisamos do conhecimento dessa ciencia para saber qual, como e quando utilizar cada ferramenta
- De uma maneira simplificada esse aqui seria o workflow de um cientista de dados
- Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados
- Mas é consenso que a maior parte do tempo de desenvolvimento de um modelo é na análise exploratória e na preparação de dados