Introdução ao Weka: Um framework para Mineração de dados.

1. Weka - Um framework para
Mineração de Dados
fé
GMF Café
22/04/2009
Fábio de Sousa Leal 1
GMF/DSC/CEEI/UFCG

2. Apresentação da palestra
• Introdução a KDD e Data Mining
• Weka
• ARFF
• Explorer
• Preprocess
• Classify
• Associate
• Visualize
• Experimenter
• Knowledge Flow
• Simple CLI
GMF - Café Fábio de Sousa Leal 2
25/04/2009 GMF/DSC/CEEI/UFCG

3. KDD – Knowledge Discovery in
Databases
• Definição:
• “KDD é todo o processo de transformação de dados
puros em informação valiosa.”
Introduction to Data Mining
Tan,Steinbach, Kumar.
Input Data Data Information
Postprocessing
Data Preprocessing Mining
Processo de KDD
GMF - Café Fábio de Sousa Leal 3
25/04/2009 GMF/DSC/CEEI/UFCG

4. KDD – Knowledge Discovery in
Databases
GMF - Café Fábio de Sousa Leal 4
25/04/2009 GMF/DSC/CEEI/UFCG

5. Data Mining
• Data Mining é uma parte integral da KDD.
• Data Mining != Information retrieval
• Definições:
• “É o processo de descoberta automática de
informações úteis em grandes repositórios de dados.”
Introduction to Data Mining
Tan,Steinbach, Kumar.
• “Mineração de Dados é uma tecnologia capaz de descobrir
padrões de informação ‘escondidos’ em um BD”
Marcus Sampaio – Professor da
disciplina de Mineração de Dados
da UFCG – 2008.2
GMF - Café Fábio de Sousa Leal 5
25/04/2009 GMF/DSC/CEEI/UFCG

6. Aplicações de Data Mining
• Comércio e Indústria
• Biologia
…Em quase todas
• Física
as áreas da ciência
podemos perceber
• Química alguma aplicação
de DM.
• Medicina
• GMF
GMF - Café Fábio de Sousa Leal 6
25/04/2009 GMF/DSC/CEEI/UFCG

7. Data Mining
IA
Aprendizagem de
Máquina
Reconhecimento
Data de padrões
Mining
Computação
BD’s Paralela e
Distribuída
GMF - Café Fábio de Sousa Leal 7
25/04/2009 GMF/DSC/CEEI/UFCG

8. Weka
• Ferramenta para mineração de dados/aprendizagem de
máquina escrita em Java (Multiplataforma)
• Usada para pesquisas, educação e aplicações
• É descrita detalhadamente no livro “Data Mining” de
Witten & Frank.
• Boa documentação (JavaDoc)
• Várias versões
GMF - Café Fábio de Sousa Leal 8
25/04/2009 GMF/DSC/CEEI/UFCG

9. Formatos de dados no Weka
• Vários formatos aceitos:
• .arff
• .csv
• .bsi
• .names
• Formato padrão: .ARFF
GMF - Café Fábio de Sousa Leal 9
25/04/2009 GMF/DSC/CEEI/UFCG

10. ARFF
• Exemplo de arquivo ARFF:
@RELATION GmfExample
#Os comentarios sao escritos assim
@ATTRIBUTE idade numeric
@ATTRIBUTE classe {graduando, mestrando, doutorando,professor titular, professor adjunto}
@ATTRIBUTE sexo {masculino,feminino}
@ATTRIBUTE remuneracao numeric
#Comentarios podem vir em qualquer parte do ARFF.
@DATA
18,graduando,masculino,300
20,graduando,feminino,450
24,mestrando,feminino,1500
28,doutorando,masculino,3000
35,”professor titular”,masculino,12000
GMF - Café Fábio de Sousa Leal 10
25/04/2009 GMF/DSC/CEEI/UFCG

11. Weka
GMF - Café Fábio de Sousa Leal 11
25/04/2009 GMF/DSC/CEEI/UFCG

12. Weka – Simple CLI
• Simple CLI: Simple Command Line Interpreter
• Muitos parâmetros nas chamadas dos algoritmos.
• Tudo é feito manualmente, via linha de comando.
• Ferramenta útil, pois “adaptamos” o algoritmo para
trabalhar da melhor maneira para cada caso.
GMF - Café Fábio de Sousa Leal 12
25/04/2009 GMF/DSC/CEEI/UFCG

13. Weka - Explorer
• Módulo Principal do programa.
• Possibilidade de importar os dados via URL ou de um BD SQL
(através do JDBC).
• As ferramentas para pré-processamento são chamadas “filters”.
• Filtros Disponíveis:
• Discretização
• Normalização
• Seleção de atributos específicos
• Combinação de atributos
• Além de vários outros
GMF - Café Fábio de Sousa Leal 13
25/04/2009 GMF/DSC/CEEI/UFCG

14. 11/28/2009 University of Waikato 14

15. 11/28/2009 University of Waikato 15

16. 11/28/2009 University of Waikato 16

17. 11/28/2009 University of Waikato 17

18. 11/28/2009 University of Waikato 18

19. 11/28/2009 University of Waikato 19

20. 11/28/2009 University of Waikato 20

21. 11/28/2009 University of Waikato 21

22. 11/28/2009 University of Waikato 22

23. 11/28/2009 University of Waikato 23

24. 11/28/2009 University of Waikato 24

25. 11/28/2009 University of Waikato 25

26. 11/28/2009 University of Waikato 26

27. 11/28/2009 University of Waikato 27

28. 11/28/2009 University of Waikato 28

29. 11/28/2009 University of Waikato 29

30. 11/28/2009 University of Waikato 30

31. 11/28/2009 University of Waikato 31

32. 11/28/2009 University of Waikato 32

33. 11/28/2009 University of Waikato 33

34. 11/28/2009 University of Waikato 34

35. 11/28/2009 University of Waikato 35

36. 11/28/2009 University of Waikato 36

37. 11/28/2009 University of Waikato 37

38. 11/28/2009 University of Waikato 38

39. 11/28/2009 University of Waikato 39

40. 11/28/2009 University of Waikato 40

41. 11/28/2009 University of Waikato 41

42. 11/28/2009 University of Waikato 42

43. 11/28/2009 University of Waikato 43

44. 11/28/2009 University of Waikato 44

45. 11/28/2009 University of Waikato 45

46. 11/28/2009 University of Waikato 46

47. 11/28/2009 University of Waikato 47

48. 11/28/2009 University of Waikato 48

49. 11/28/2009 University of Waikato 49

50. 11/28/2009 University of Waikato 50

51. 11/28/2009 University of Waikato 51

52. 11/28/2009 University of Waikato 52

53. 11/28/2009 University of Waikato 53

54. 11/28/2009 University of Waikato 54

55. 11/28/2009 University of Waikato 55

56. 11/28/2009 University of Waikato 56

57. 11/28/2009 University of Waikato 57

58. 11/28/2009 University of Waikato 58

59. 11/28/2009 University of Waikato 59

60. 11/28/2009 University of Waikato 60

61. 11/28/2009 University of Waikato 61

62. 11/28/2009 University of Waikato 62

63. 11/28/2009 University of Waikato 63

64. 11/28/2009 University of Waikato 64

65. 11/28/2009 University of Waikato 65

66. 11/28/2009 University of Waikato 66