O
cina: construc~ao de modelos 
descritivos e preditivos utilizando R 
Fabrcio J. Barth 
fabricio.barth@gmail.com 
Faculdade...
Objetivo 
O objetivo desta o
cina e apresentar exemplos de 
construc~ao de modelos descritos e preditivos utilizando a 
linguagem de programac~ao R. 
O
cina: construc~ao de modelos descritivos e preditivos utilizando R | Objetivo 2
Sumario 
 Conceitos: aprendizagem de maquina, knowledge 
discovery in databases e a linguagem de programac~ao 
R. 
 Analis...
nais. 
 Refer^encias. 
O
cina: construc~ao de modelos descritivos e preditivos utilizando R | Sumario 3
Conceitos 
4
Knowledge Discovery in Databases 
(KDD) 
KDD e o processo n~ao trivial de identi
cac~ao de padr~oes 
em dados que sejam validos, novos, potencialmente uteis e 
compreensveis [Fayyad, 1996]. 
Conceitos | ...
Descobrir conhecimento util: 
 Sintetizar informac~ao: 
? a partir de logs de servidores web, identi
car qual e o 
caminho mais frequente de navegac~ao dos usuarios no 
site. 
? a partir de notcias publicadas em veculos web...
Processo de KDD 
1. Qual e a pergunta? 
2. Aquisic~ao e pre-processamento dos dados. 
3. Analise Descritiva. 
4. Modelagem...
Aprendizagem de maquina 
Supervisionada 
Modelos preditivos 
Classificação Regressão 
Não supervisionada 
Modelos descriti...
Exemplo de dataset com classe 
Sepal.Length Sepal.Width Petal.Length Petal.Width Species 
1 5.10 3.50 1.40 0.20 setosa 
2 ...
Exemplo de modelo preditivo 
Conceitos | Exemplo de modelo preditivo 10
Exemplos de aprendizagem n~ao 
supervisionada 
Table 1: Exemplo de tabela com conex~oes entre usuarios 
usuario user1 user...
Exemplo de identi
cac~ao de grupos em 
redes sociais 
Conceitos | Exemplo de identi
cac~ao de grupos em redes sociais 12
Ferramentas que suportam o processo de 
KDD 
O processo de KDD (pode/deve) ser suportado por 
ferramentas computacionais, ...
Projeto R 
 http://www.r-project.org/ 
 R Studio - http://www.rstudio.com/ 
 E 
free 
 E 
a linguagem de programac~ao mais...
Analise de mensagens do 
twitter usando 
algoritmos de 
agrupamento 
15
Componentes para uma soluc~ao... 
Coletor 
Fonte 
Pré-processamento 
dos documentos 
Agrupa 
documentos 
Agrupamentos de 
...
Acessar e fazer o download do projeto 
https://github.com/fbarth/mlr 
Analise de mensagens do twitter usando algoritmos de...
Formato de um documento 
... Esta disciplina tem como objetivo apresentar os principais 
conceitos da area de Intelig^enci...
cial, caracterizar as 
principais tecnicas e metodos, e implementar alguns problemas 
classicos desta area sob um ponto de...
car intersecc~oes entre o projeto e a 
disciplina, e propor atividades para a disciplina. ... 
Analise de mensagens do twi...
Conjunto de Exemplos - Atributo/Valor 
Doc. apresent form tecnic caracteriz    
d1 0.33 0.33 0.33 0.33    
d2 0 0.5 0.2 0....
Atributo/Valor usando vetores 
Como representar os documentos?
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Oficina: construção de modelos descritivos e preditivos utilizando R
Próximos SlideShares
Carregando em…5
×

Oficina: construção de modelos descritivos e preditivos utilizando R

599 visualizações

Publicada em

O objetivo desta oficina foi exercitar a construção de modelos descritivos e preditivos utilizando a linguagem de programação R.

Publicada em: Engenharia
2 comentários
1 gostou
Estatísticas
Notas
  • Apresentar este tipo de pergunta para pessoal foda é foda. :)
    Da próxima vez eu faço uma pergunta mais detalhada :) Teoricamente sim, mas levando-se em consideração somente o dataset disponibilizado? Sem utilizar técnicas de geração de dados simulados ou sem a possibilidade de adquirir mais dados? Não vale aumentar o erro aceitável! Mas, claro que faltou especificar o erro aceitável!
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Sobre a questao apresentada: sera que é possivel .. com 90% de acurácia? Acredito que sim, lembrando que aumentando-se a precisão teriamos que variar o tamanho da amostra e o erro aceitável quando aplicado fora do training set e é claro, levar em conta a dimensao VC do conjunto de hipóteses.
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
Sem downloads
Visualizações
Visualizações totais
599
No SlideShare
0
A partir de incorporações
0
Número de incorporações
37
Ações
Compartilhamentos
0
Downloads
17
Comentários
2
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Oficina: construção de modelos descritivos e preditivos utilizando R

  1. 1. O
  2. 2. cina: construc~ao de modelos descritivos e preditivos utilizando R Fabrcio J. Barth fabricio.barth@gmail.com Faculdade BandTec e Watson Group IBM Outubro de 2014
  3. 3. Objetivo O objetivo desta o
  4. 4. cina e apresentar exemplos de construc~ao de modelos descritos e preditivos utilizando a linguagem de programac~ao R. O
  5. 5. cina: construc~ao de modelos descritivos e preditivos utilizando R | Objetivo 2
  6. 6. Sumario Conceitos: aprendizagem de maquina, knowledge discovery in databases e a linguagem de programac~ao R. Analise de mensagens do twitter usando algoritmos de agrupamento. Desenvolvimento de algoritmos anti-spam. Considerac~oes
  7. 7. nais. Refer^encias. O
  8. 8. cina: construc~ao de modelos descritivos e preditivos utilizando R | Sumario 3
  9. 9. Conceitos 4
  10. 10. Knowledge Discovery in Databases (KDD) KDD e o processo n~ao trivial de identi
  11. 11. cac~ao de padr~oes em dados que sejam validos, novos, potencialmente uteis e compreensveis [Fayyad, 1996]. Conceitos | Knowledge Discovery in Databases (KDD) 5
  12. 12. Descobrir conhecimento util: Sintetizar informac~ao: ? a partir de logs de servidores web, identi
  13. 13. car qual e o caminho mais frequente de navegac~ao dos usuarios no site. ? a partir de notcias publicadas em veculos web, sumarizar os principais eventos do dia. Prescrever ac~oes: ? a partir do historico de candidaturas em vagas de um candidato, recomendar novas vagas para o mesmo. ? a partir de conteudo previamente moderado, construir uma aplicac~ao capaz de moderar conteudo automaticamente. Conceitos | Knowledge Discovery in Databases (KDD) 6
  14. 14. Processo de KDD 1. Qual e a pergunta? 2. Aquisic~ao e pre-processamento dos dados. 3. Analise Descritiva. 4. Modelagem: construc~ao do modelo descritivo ou preditivo. 5. Avaliac~ao do modelo. 6. Entrega: relatorios estaticos, din^amicos, sistemas ou funcionalidade de sistemas. Conceitos | Processo de KDD 7
  15. 15. Aprendizagem de maquina Supervisionada Modelos preditivos Classificação Regressão Não supervisionada Modelos descritivos Aprendizagem Sumarização Associação Agrupamento Conceitos | Aprendizagem de maquina 8
  16. 16. Exemplo de dataset com classe Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.10 3.50 1.40 0.20 setosa 2 4.90 3.00 1.40 0.20 setosa 3 4.70 3.20 1.30 0.20 setosa 4 4.60 3.10 1.50 0.20 setosa 5 5.00 3.60 1.40 0.20 setosa 52 6.40 3.20 4.50 1.50 versicolor 53 6.90 3.10 4.90 1.50 versicolor 54 5.50 2.30 4.00 1.30 versicolor 55 6.50 2.80 4.60 1.50 versicolor 56 5.70 2.80 4.50 1.30 versicolor 104 6.30 2.90 5.60 1.80 virginica 105 6.50 3.00 5.80 2.20 virginica 110 7.20 3.60 6.10 2.50 virginica 115 5.80 2.80 5.10 2.40 virginica Conceitos | Exemplo de dataset com classe 9
  17. 17. Exemplo de modelo preditivo Conceitos | Exemplo de modelo preditivo 10
  18. 18. Exemplos de aprendizagem n~ao supervisionada Table 1: Exemplo de tabela com conex~oes entre usuarios usuario user1 user2 user3 usern user1 1 1 0 1 user2 1 1 0 0 user3 1 0 1 0 user4 0 1 0 0 usern 1 1 0 1 Conceitos | Exemplos de aprendizagem n~ao supervisionada 11
  19. 19. Exemplo de identi
  20. 20. cac~ao de grupos em redes sociais Conceitos | Exemplo de identi
  21. 21. cac~ao de grupos em redes sociais 12
  22. 22. Ferramentas que suportam o processo de KDD O processo de KDD (pode/deve) ser suportado por ferramentas computacionais, tais como: R SPSS RapidMiner Weka Tableau Python, Julia, Octave, Matlab. Conceitos | Ferramentas que suportam o processo de KDD 13
  23. 23. Projeto R http://www.r-project.org/ R Studio - http://www.rstudio.com/ E free E a linguagem de programac~ao mais popular para analise de dados Script e melhor que clicar e arastar: ? E mais facil de comunicar. ? Reproduzvel. ? E necessario pensar mais sobre o problema. Existe uma quantia grande de pacotes disponveis Conceitos | Projeto R 14
  24. 24. Analise de mensagens do twitter usando algoritmos de agrupamento 15
  25. 25. Componentes para uma soluc~ao... Coletor Fonte Pré-processamento dos documentos Agrupa documentos Agrupamentos de documentos Analise de mensagens do twitter usando algoritmos de agrupamento | Componentes para uma soluc~ao... 16
  26. 26. Acessar e fazer o download do projeto https://github.com/fbarth/mlr Analise de mensagens do twitter usando algoritmos de agrupamento | Acessar e fazer o download do projeto 17
  27. 27. Formato de um documento ... Esta disciplina tem como objetivo apresentar os principais conceitos da area de Intelig^encia Arti
  28. 28. cial, caracterizar as principais tecnicas e metodos, e implementar alguns problemas classicos desta area sob um ponto de vista introdutorio. A estrategia de trabalho, o conteudo ministrado e a forma depender~ao dos projetos selecionados pelos alunos. Inicialmente, os alunos dever~ao trazer os seus Projetos de Conclus~ao de Curso, identi
  29. 29. car intersecc~oes entre o projeto e a disciplina, e propor atividades para a disciplina. ... Analise de mensagens do twitter usando algoritmos de agrupamento | Formato de um documento 18
  30. 30. Conjunto de Exemplos - Atributo/Valor Doc. apresent form tecnic caracteriz d1 0.33 0.33 0.33 0.33 d2 0 0.5 0.2 0.33 d3 1 0.6 0 0 d4 0.4 0.3 0.33 0.4 d5 1 0.4 0.1 0.1 dn Analise de mensagens do twitter usando algoritmos de agrupamento | Conjunto de Exemplos - Atributo/Valor 19
  31. 31. Atributo/Valor usando vetores Como representar os documentos?

×