1. ®2012 dp6 - todos os direitos reservados®2012 dp6 - todos os direitos reservados
Text
Mining
Técnicas,
Algoritmos
e
outras
nerdices
2. Apresentação
• Leonardo
Naressi
– CIO
da
dp6
– Presidente
do
Comitê
de
Digital
Analy9cs
da
IAB
Brasil
– Professor
na
ESPM
São
Paulo
– @LeoNaressi
– Linkedin.com/in/LeoNaressi
– facebook.com/LeoNaressi
– Leo@dp6.com.br
3. ®2012 dp6 - todos os direitos reservados
O que fazer com Text Mining?
Categorização /
Classificação
Matriz de
Conceitos
Linkagem de
conceitos
Extração de
entidades
Análise de
Sentimentos
Sumarização
Identificação
de autoria
4. ®2012 dp6 - todos os direitos reservados
Coloquem seus óculos...
5. ®2012 dp6 - todos os direitos reservados
OK! Ready!
6. ®2012 dp6 - todos os direitos reservados
Algoritmos mais utilizados
k-Means Naive Bayes
Árvores de
decisão
Singular Value
Decomposition
(SVD)
Support Vector
Machines
(SVM)
TF-IDF
Semântica
latente
7. ®2012 dp6 - todos os direitos reservados
Onde podemos fazer isso?
8. ®2012 dp6 - todos os direitos reservados
R
" A ferramenta estatística mais famosa do mundo
" http://www.r-project.org
9. ®2012 dp6 - todos os direitos reservados
Weka
" Ferramenta Open-Source de Modelagem e Mineração
" www.cs.waikato.ac.nz/ml/weka/
10. ®2012 dp6 - todos os direitos reservados
Orange
" Ferramenta Open-Source de Data Mining
" http://orange.biolab.si
11. ®2012 dp6 - todos os direitos reservados
Google Prediction
" A caixa preta de análise preditiva do Google
" https://developers.google.com/prediction/
12. ®2012 dp6 - todos os direitos reservados
O que podemos fazer com Google Prediction?
13. ®2012 dp6 - todos os direitos reservados
Cai como uma luva para nossas análises de
conteúdo nas redes sociais!
14. ®2012 dp6 - todos os direitos reservados
Vamos ver como se faz?
15. ®2012 dp6 - todos os direitos reservados
Coloquem seus óculos...
16. ®2012 dp6 - todos os direitos reservados
OK! Ready!
17. ®2012 dp6 - todos os direitos reservados
Uma nuvem de palavras “simples” em R
18. ®2012 dp6 - todos os direitos reservados
Análise de Frequência e Associações em R
19. ®2012 dp6 - todos os direitos reservados
Matriz de Conceitos em R
20. ®2012 dp6 - todos os direitos reservados
Text Mining no SAS Enterprise Miner
21. ®2012 dp6 - todos os direitos reservados
Classificação / Categorização automática com
Google Prediction
22. ®2012 dp6 - todos os direitos reservados
O que queremos fazer?
Coleta de dados
de redes sociais
Amostragem
aleatória
Classificação
humana da
amostra
Criação de Modelo
Preditivo
Treinamento do
modelo com os
dados
classificados
Validação da
performance do
Modelo
Análise preditiva
baseada no
modelo
23. ®2012 dp6 - todos os direitos reservados
Coleta de dados através de monitoramento de
redes sociais
24. ®2012 dp6 - todos os direitos reservados
Amostragem aleatória usando Data Analysis
Toolpak do Excel
25. ®2012 dp6 - todos os direitos reservados
Classificação Humana da amostra
26. ®2012 dp6 - todos os direitos reservados
Criação do modelo preditivo
27. ®2012 dp6 - todos os direitos reservados
Ixi...
28. ®2012 dp6 - todos os direitos reservados
E agora quem poderá me ajudar?
29. ®2012 dp6 - todos os direitos reservados
Não priemos cânico!
http://dp6.bi/google-prediction
30. ®2012 dp6 - todos os direitos reservados
Treinamento do modelo preditivo usando Google
Prediction
31. ®2012 dp6 - todos os direitos reservados
Ixi...
32. ®2012 dp6 - todos os direitos reservados
Para facilitar existe uma integração entre Google
Prediction e Google Spreadsheets J
http://dp6.bi/prediction-planilha
33. ®2012 dp6 - todos os direitos reservados
De novo: Treinamento do modelo preditivo usando
Google Prediction
40. ®2012 dp6 - todos os direitos reservados
Leiam!
" Mineração de Dados da Web
Social
" http://dp6.bi/mining-social
41. ®2012 dp6 - todos os direitos reservados
Não tenham medo!
42. Obrigado!
• Leonardo
Naressi
– CIO
da
dp6
– Presidente
do
Comitê
de
Digital
Analy9cs
da
IAB
Brasil
– Professor
na
ESPM
São
Paulo
– @LeoNaressi
– Linkedin.com/in/LeoNaressi
– facebook.com/LeoNaressi
– Leo@dp6.com.br