Aplicações Práticas de Machine Learning

2.467 visualizações

Publicada em

Machine Learning tem se tornado um tópico importante no cenário de software atual. Muito do que se vê sobre o assunto ainda está altamente relacionado a uma matemática complicada, algo exclusivamente acadêmico ou relacionado ao tema do momento, Big Data. A proposta desta apresentação é tentar mostrar um pouco além da teoria sobre o assunto. Mostrar como parte de toda a carga conceitual por trás de Machine Learning, tem tornado aplicações ligeiramente mais “inteligentes” e como isso pode ser usado em projetos mais tradicionais do mundo empresarial, sem necessidade de ser uma grande startup, que produz alguns milhões de registros de dados por dia. Nesta palestra, será apresentada uma visão geral sobre o assunto, será mostrado alguns algoritmos e exemplos de aplicações. Além de mostrar um pouco pouco do trabalho que está sendo feito no processo de evolução de um sistema de recomendação e da otimização de processos empresariais através das idéias de Process Mining.

Publicada em: Dados e análise
  • Seja o primeiro a comentar

Aplicações Práticas de Machine Learning

  1. 1. aplicações práticas de machine learning Luiz Costa @gutomcosta www.sagadoprogramador.com.br
  2. 2. artificial Intelligence?machine learning?
  3. 3. IA e ML!
  4. 4. IA e ML???
  5. 5. machine learning In which we describe agents that can improve their behaviour through diligent study of their own experiences. “Artificial Intelligence -A modern approach" -Stuart Russell and Peter Norvig
  6. 6. Field of study that gives computers the ability to learn without being explicitly programmed. Arthur Samuel (1959)
  7. 7. Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field. Machine Learning - Wikipedia
  8. 8. Machine learning is a subfield of computer science (CS) and artificial intelligence (AI) that deals with the construction and study of systems that can learn from data, rather than follow only explicitly programmed instructions. Besides CS and AI, it has strong ties to statistics and optimization, which deliver both methods and theory to the field. Machine Learning - Wikipedia
  9. 9. supervised learning Aprendendo através de exemplos
  10. 10. dados de exemplo
  11. 11. unsupervised learning sem exemplos, o que é possível fazer?
  12. 12. clustering
  13. 13. clustering
  14. 14. marketing descobrir grupos distintos em uma base de clientes e usar estes grupos para ajudar no desenvolvimento de campanhas focadas nos nestes grupos
  15. 15. seguros descobrir perfis com alto risco para seguros de automóveis
  16. 16. na prática dois exemplos de uso. Será que dá tempo?
  17. 17. evoluindo um sistema de recomendação
  18. 18. vandal.com.br
  19. 19. collaborative filtering
  20. 20. usuários avaliam
  21. 21. não existe avaliação
  22. 22. content-based recommendation
  23. 23. características
  24. 24. 1. Mostrar itens similares
  25. 25. vector space model skull caveira flower vintage caveiras produto1 1 1 1 0 0 produto2 1 1 0 1 1 produto3 1 1 0 0 0
  26. 26. O quanto um produto é similar a outro?
  27. 27. cálculo de similaridade
  28. 28. cálculo de similaridade
  29. 29. obtendo produtos similares
  30. 30. obtendo produtos similares
  31. 31. obtendo produtos similares
  32. 32. obtendo produtos similares Hein ????
  33. 33. 2. recomendação personalizada em desenvolvimento
  34. 34. Como mostrar aqui o que é interessante para um usuário?
  35. 35. construindo um profile de preferências do usuário
  36. 36. capturando ações do usuário Usuário: Paulo José data evento conteúdo 01/09/2014 08:35 buscou {query: "caveira", produtos: [1991, 1331, 3892] } 01/09/2014 08:39 visualizou {id: 1991} 01/09/2014 08:34 visualizou {id:1331} 01/09/2014 08:40 like {id: 1331} 01/09/2014 08:44 comprou {id: 1331}
  37. 37. capturando ações do usuário data evento conteúdo 01/09/2014 08:35 buscou {query: "caveira", produtos: [1991, 1331, 3892] } 01/09/2014 08:39 visualizou {id: 1991} 01/09/2014 08:34 visualizou {id:1331} 01/09/2014 08:40 like {id: 1331} 01/09/2014 08:44 comprou {id: 1331}
  38. 38. construindo as preferências
  39. 39. construindo as preferências
  40. 40. algumas ações não seriam mais importantes que outras?
  41. 41. capturando ações do usuário data evento conteúdo peso 01/09/2014 08:35 buscou {query: "caveira", produtos: [1991, 1331, 3892] } 0.3 01/09/2014 08:39 visualizou {id: 1991} 0.1 01/09/2014 08:34 visualizou {id:1331} 0.1 01/09/2014 08:40 like {id: 1331} 0.6 01/09/2014 08:44 comprou {id: 1331} 1
  42. 42. construindo as preferências com pesos
  43. 43. vector space model skull caveira flowers metal caveiras ilustração arte cool produto_1331 1 1 1 0 0 0 0 0 produto_1991 0 1 0 1 1 1 1 0 produto_3892 1 1 0 0 1 0 0 1 Paulo José 1 1 0 1 1 1 1 0
  44. 44. agora é só calcular a similaridade das preferências de usuário com os produtos
  45. 45. agora é só calcular a similaridade das preferências de usuário com os produtos
  46. 46. similaridade do cosseno
  47. 47. processos inteligentes e process mining aquela história de BPM, Enterprise, pode ser divertida
  48. 48. business process management
  49. 49. process mining • process discovery • performance analysis • process prediction • process improvement o que realmente aconteceu? quais são os gargalos do meu processo? esta instância vai estourar o sla? como posso redesenhar este processo com o que foi aprendido?
  50. 50. log de eventos
  51. 51. análise
  52. 52. e a análise sobre dados de negócios? exemplo compra de passagens aéreas
  53. 53. log resumido processo de compra de passagens aéreas passageiro companhia trecho preço data da compra data do embarque dias de diferença Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8 Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62 Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14 Ronaldo/Cristian o TAM SDU/CGH 258,70 25/11/2014 17/12/2014 22
  54. 54. dados de negócio? • o que define uma boa compra? • quais são as variáveis que mais influenciam na compra? • por que uma compra ruim, foi ruim?
  55. 55. definição de um processo automático para obter respostas Statistical Learning
  56. 56. qual seria a entrada de dados necessária? passageiro companhia trecho preço data da compra data do embarque case contexto e objetivo dias de diferença Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8 Costa/Luiz TAM SDU/CGH 200,00 08/04/2014 09/06/2014 62 Paiva/Roberto AVIANCA SDU/CGH 126,00 25/02/2014 11/03/2014 14 Ronaldo/Cristian o TAM SDU/CGH 258,70 25/11/2014 17/12/2014 22
  57. 57. como definir o que é uma boa compra? preço 570,00 200,00 126,00 258,70
  58. 58. como definir o que é uma boa compra? preço 570,00 200,00 126,00 258,70 preço <= 181,50
  59. 59. quais são as variáveis que mais influenciam na compra?
  60. 60. quais são as variáveis que mais influenciam na compra? lineares? Não lineares? variáveis mais importantes
  61. 61. quais são as variáveis que mais influenciam na compra? Ex. código R
  62. 62. por que uma compra ruim, foi ruim? passageiro companhia trecho preço data da compra data do embarque dias de diferença Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
  63. 63. por que uma compra ruim, foi ruim? utilizando as variáveis identificadas, é possível ter alguns insights dias de diferença companhia boas case boas case 14 8 100% Avianca TAM passageiro companhia trecho preço data da compra data do embarque dias de diferença Souza/Jose TAM SDU/CGH 570,00 28/01/2014 05/02/2014 8
  64. 64. muita estatística
  65. 65. considere R para prototipação. Para produção existem boas alternativas, mas não deixe de olhar python + pandas + scikit
  66. 66. existem vários cenários que é possível aplicar as idéias de machine learning dentro da sua empresa e não precisa ser big data small data
  67. 67. Obrigado.
  68. 68. Referências Introdução a sistemas de recomendação - https://www.coursera.org/course/recsys Recommender Systems: An Introduction - http://www.amazon.com/Recommender-Systems- Introduction-Dietmar-Jannach/dp/0521493366 Process Mining - http://www.processmining.org/ Statistical Learning Theory -http://en.wikipedia.org/wiki/Statistical_learning_theory An Introduction to Statistical Learning with applications in R - Gareth James, Daniela Wittern, Trevor Hastie, Robert Tibshirani R Language - http://www.r-project.org/ scikit learn - http://scikit-learn.org/stable/ Vandal - www.vandal.com.br

×