1) O documento apresenta Everton Gago, um pesquisador que estuda novos métodos de aprendizado de máquina. 2) É discutido a importância da mineração de dados e algumas técnicas como padrão associativo, agrupamento, predição/classificação. 3) O framework MADLib é apresentado como uma ferramenta fácil de usar para aplicar essas técnicas em bancos de dados PostgreSQL/Greenplum de forma paralela.

3. Everton Gago
- Doutorando e Mestre em
Eng. Elétrica – UNICAMP;
- Eng. de Software – Dextra;
- Pesquiso novos métodos
numéricos e analíticos para
aprendizado de máquina.

4. MINERAÇÃO DE
DADOS COM
MADLIB
Everton Gago

5. Por que minerar?

6. O que minerar?

7. Padrão
associativo

8. Ex Padrão Associativo:
1:{Pão, Leite, Manteiga, Macarrão, Cebola}
2:{Cenoura, Manteiga, Tomate, Leite, Pão}
3:{Feijão, Leite, Laranja, Pão, Manteiga}
...

9. Ex Padrão Associativo:
1:{Pão, Leite, Manteiga, Macarrão, Cebola}
2:{Cenoura, Manteiga, Tomate, Leite, Pão}
3:{Feijão, Leite, Laranja, Pão, Manteiga}
...

10. Padrão
sequencial

11. Agrupamentos

12. Ex Agrupamento:
- Clientes de uma empresa de telefonia

13. Predição/
classificação

14. Ex Predição / Classificação:
- Classificar indícios de fraude (Receita Federal);
- Predição de vendas;

15. Técnicas???
Muitas!

16. Apriori

17. Ex de utilização com MADlib:
SELECT * FROM assoc_rules(.25, .5,
'benef_social', 'combinado',
'habitacional','public', true);
SELECT * FROM assoc_rules;

18. K-Means

19. Ex de utilização com MADlib:
ALTER TABLE cadastro_social ADD COLUMN row_id
SERIAL;
CREATE TABLE input_points AS SELECT
row_id,array[genero,raca,freq_escola,grau_instrucao,
deficiente,benef_social,reg_cidade]::float8[] AS
points FROM cadastro_social;
SELECT * FROM kmeanspp('input_points','points',
11,'squared_dist_norm2','avg', 100, 0.00000);

20. Regressão
Logística

21. Ex de utilização com MADlib:
CREATE TABLE cadsocial_convertido (
benef_social text,
grau_instrucao text,
reg_cidade text,
benef_socialnr numeric,
grau_instrucaonr numeric,
reg_cidadenr numeric,
prioritario boolean
);
SELECT * FROM
logregr_train('conjunto_treinamento','conhecimento',
'prioritario','caracteristicas');

22. Qual utilizar?
Pode combinar?

23. Fácil aplicar?

24. Não sem uma
boa ferramenta!

25. MADLIB

26. Requisitos:
­ Instalação PostgreSQL com PL/Python
­ Cmake
­ M4
­ Python Setup Tools
­ apt­get install cmake m4 python­setuptools
­ pgxn install madlib
­ createdb pgday_cps
­ pgday_cps#= CREATE EXTENSION plpythonu;
­ pgday_cps#= CREATE EXTENSION madlib;

27. Dados gerais:
­ Versão mais recente: 1.2
­ Projeto open source
­ Desenvolvido por pesquisadores da
Universidade de Berkeley e cientistas de
dados do Greenplum (EMC)
­ Plataforma 64 bits
­ Suporte para:
­ Greenplum 4.1, 4.2
­ PostgreSQL 9.0, 9.1, 9.2

28. O que achamos
do MADLIB?

29. - Fácil de usar;
- Eficiente e tem bom desempenho;
- Facilita processamento paralelo;
- Mas.... Precisa de algumas melhorias para as
apresentações;

30. Comunidade Acadêmica:
- Cohen, J et al. MAD Skills: New Analysis Practices for Big
Data. VLDB, France, 2009.
- Dernoncourt, F et al. Machine Learning Algorithms for In-
Databases Analytics. Spring 2013.
- Hellerstein, J. M et al. The MADlib Analytics Library.
Technical Report, Electrical Engineering and Computer
Sciences University of California at Berkeley. 2012.

31. Exemplo...

32. Ex de utilização com MADlib:
SELECT * FROM assoc_rules(.25, .5,
'benef_social', 'combinado',
'habitacional','public', true);
SELECT * FROM assoc_rules;

33. Obrigado!

34. Contatos:
- Everton Gago <everton.gago@dextra-sw.com>
- Matheus Espanhol <matheus.espanhol@dextra-sw.com>
Mais informações:
madlib.net