Text Mining - Social Media Week

590 visualizações

Publicada em

Text Mining - Técnicas, Algoritmos e outras nerdices
Leo Naressi & Luana Baio no Social Media Week

Publicada em: Dados e análise
0 comentários
3 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
590
No SlideShare
0
A partir de incorporações
0
Número de incorporações
6
Ações
Compartilhamentos
0
Downloads
6
Comentários
0
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Text Mining - Social Media Week

  1. 1. ®2012 dp6 - todos os direitos reservados®2012 dp6 - todos os direitos reservados Text  Mining   Técnicas,  Algoritmos  e  outras  nerdices  
  2. 2. Apresentação   •  Leonardo  Naressi   –  CIO  da  dp6   –  Presidente  do  Comitê  de  Digital   Analy9cs  da  IAB  Brasil   –  Professor  na  ESPM  São  Paulo   –  @LeoNaressi   –  Linkedin.com/in/LeoNaressi   –  facebook.com/LeoNaressi   –  Leo@dp6.com.br  
  3. 3. ®2012 dp6 - todos os direitos reservados O que fazer com Text Mining? Categorização / Classificação Matriz de Conceitos Linkagem de conceitos Extração de entidades Análise de Sentimentos Sumarização Identificação de autoria
  4. 4. ®2012 dp6 - todos os direitos reservados Coloquem seus óculos...
  5. 5. ®2012 dp6 - todos os direitos reservados OK! Ready!
  6. 6. ®2012 dp6 - todos os direitos reservados Algoritmos mais utilizados k-Means Naive Bayes Árvores de decisão Singular Value Decomposition (SVD) Support Vector Machines (SVM) TF-IDF Semântica latente
  7. 7. ®2012 dp6 - todos os direitos reservados Onde podemos fazer isso?
  8. 8. ®2012 dp6 - todos os direitos reservados R "   A ferramenta estatística mais famosa do mundo " http://www.r-project.org
  9. 9. ®2012 dp6 - todos os direitos reservados Weka "  Ferramenta Open-Source de Modelagem e Mineração " www.cs.waikato.ac.nz/ml/weka/
  10. 10. ®2012 dp6 - todos os direitos reservados Orange "  Ferramenta Open-Source de Data Mining " http://orange.biolab.si
  11. 11. ®2012 dp6 - todos os direitos reservados Google Prediction "   A caixa preta de análise preditiva do Google " https://developers.google.com/prediction/
  12. 12. ®2012 dp6 - todos os direitos reservados O que podemos fazer com Google Prediction?
  13. 13. ®2012 dp6 - todos os direitos reservados Cai como uma luva para nossas análises de conteúdo nas redes sociais!
  14. 14. ®2012 dp6 - todos os direitos reservados Vamos ver como se faz?
  15. 15. ®2012 dp6 - todos os direitos reservados Coloquem seus óculos...
  16. 16. ®2012 dp6 - todos os direitos reservados OK! Ready!
  17. 17. ®2012 dp6 - todos os direitos reservados Uma nuvem de palavras “simples” em R
  18. 18. ®2012 dp6 - todos os direitos reservados Análise de Frequência e Associações em R
  19. 19. ®2012 dp6 - todos os direitos reservados Matriz de Conceitos em R
  20. 20. ®2012 dp6 - todos os direitos reservados Text Mining no SAS Enterprise Miner
  21. 21. ®2012 dp6 - todos os direitos reservados Classificação / Categorização automática com Google Prediction
  22. 22. ®2012 dp6 - todos os direitos reservados O que queremos fazer? Coleta de dados de redes sociais Amostragem aleatória Classificação humana da amostra Criação de Modelo Preditivo Treinamento do modelo com os dados classificados Validação da performance do Modelo Análise preditiva baseada no modelo
  23. 23. ®2012 dp6 - todos os direitos reservados Coleta de dados através de monitoramento de redes sociais
  24. 24. ®2012 dp6 - todos os direitos reservados Amostragem aleatória usando Data Analysis Toolpak do Excel
  25. 25. ®2012 dp6 - todos os direitos reservados Classificação Humana da amostra
  26. 26. ®2012 dp6 - todos os direitos reservados Criação do modelo preditivo
  27. 27. ®2012 dp6 - todos os direitos reservados Ixi...
  28. 28. ®2012 dp6 - todos os direitos reservados E agora quem poderá me ajudar?
  29. 29. ®2012 dp6 - todos os direitos reservados Não priemos cânico! http://dp6.bi/google-prediction
  30. 30. ®2012 dp6 - todos os direitos reservados Treinamento do modelo preditivo usando Google Prediction
  31. 31. ®2012 dp6 - todos os direitos reservados Ixi...
  32. 32. ®2012 dp6 - todos os direitos reservados Para facilitar existe uma integração entre Google Prediction e Google Spreadsheets J http://dp6.bi/prediction-planilha
  33. 33. ®2012 dp6 - todos os direitos reservados De novo: Treinamento do modelo preditivo usando Google Prediction
  34. 34. ®2012 dp6 - todos os direitos reservados Vamos analisar o aprendizado da máquina... { "trainingComplete": "2013-09-23T14:48:05.007Z", "kind": "prediction#training", "id": "fastfood_tag1", "created": "2013-09-23T14:13:18.321Z", "modelInfo": { "numberLabels": "18", "numberInstances": "1260", "classificationAccuracy": "0.62", "modelType": "classification" }, "trainingStatus": "DONE" } Meu Modelo Precisão alcançada
  35. 35. ®2012 dp6 - todos os direitos reservados E o que fazemos com isso agora?
  36. 36. ®2012 dp6 - todos os direitos reservados Realizamos a classificação preditiva automágica!
  37. 37. ®2012 dp6 - todos os direitos reservados Vamos escrever posts aleatórios e checar o que a bola de cristal nos diz...
  38. 38. ®2012 dp6 - todos os direitos reservados
  39. 39. ®2012 dp6 - todos os direitos reservados Confiram comigo no replay... { "outputLabel": "Saúde", "outputMulti": [{ "score": "0.000179", "label": "Atendimento"}, { "score": "0.006472", "label": "Atribuição Prod."}, { "score": "0.000018", "label": "Atribuição prod."}, { "score": "0.002146", "label": "BigMac"}, { "score": "0.000010", "label": "Bob's"}, { "score": "0.001280", "label": "Burguer King"}, { "score": "0.003126", "label": "Campanha"}, { "score": "0.343566", "label": "Comparativo"}, { "score": "0.015228", "label": "Consumo"}, { "score": "0.018360", "label": "Desejo"}, { "score": "0.002519", "label": "Funcionário"}, { "score": "0.012200", "label": "Institucional"}, { "score": "0.000385", "label": "Lovebrand"}, { "score": "0.000010", "label": "Mc Donalds"}, { "score": "0.000009", "label": "Outros Lanches"}, { "score": "0.002906", "label": "PDV"}, { "score": "0.591548", "label": "Saúde"}, { "score": "0.000039", "label": "Whooper" }], "kind": "prediction#output", "id": "fastfood_tag1" } Maior probabilidade estatística
  40. 40. ®2012 dp6 - todos os direitos reservados Leiam! "   Mineração de Dados da Web Social " http://dp6.bi/mining-social
  41. 41. ®2012 dp6 - todos os direitos reservados Não tenham medo!
  42. 42. Obrigado!   •  Leonardo  Naressi   –  CIO  da  dp6   –  Presidente  do  Comitê  de  Digital   Analy9cs  da  IAB  Brasil   –  Professor  na  ESPM  São  Paulo   –  @LeoNaressi   –  Linkedin.com/in/LeoNaressi   –  facebook.com/LeoNaressi   –  Leo@dp6.com.br  

×