Mining Frequent Patterns without
Candidate Generation
Alberto Bisognin
Jiawei Han, Jian Pei, and Yiwen Yin
School of Compu...
Introduç ão
– Algoritmo Apriori bastante usado
– Boa performance com conjuntos
reduzidos de candidatos
– Custoso com grand...
Principais problemas Apriori
– Geraç ão de grande conjunto de
candidatos
– Várias verificaç ões do banco de dados
– Checag...
Algoritmo proposto
– Composto de 3 aspectos:
– Estrutura de dados mais compacta
denominada FP-tree
– Desenvolvida árvore b...
Frequent Pattern Tree – FP-tree
– Armazena informaç ões cruciais
– Dados são compactados numa estrutura
de dados bem menor...
Projeto e Construç ão da FP-tree
Dado um banco de dados e considerando um suporte mínimo
– Varrer o banco de dados para en...
Exemplo FP-tree
Suporte=3
Alguns detalhes
– Cada transiç ão do banco de dados é mapeada
para um caminho na árvore
– Frequencia dos itens são armazen...
Comparativo com FP-tree
Teste com base de dados Connect-4 usado em MaxMiner
Contém 67557 transaç ões com 43 itens
Suporte ...
Gerando padrões frequentes através da FP-tree
– Para qualquer item freqüente ai, todos os possíveis padrões
que contem ai ...
Árvore condicional de m
Árvores condicionais
Algoritmo FP-growth
Avaliaç ão experimental do algoritmo
Comparaç ão entre os métodos FP-growth, Apriori
e TreeProjection
Computador Pentium 4...
Avaliaç ão FP-growth e Apriori
Tempo de execuç ão FP-growth
Avaliaç ão FP-growth e Apriori
Avaliaç ão FP-growth e TreeProjection
Avaliaç ão FP-growth e TreeProjection
Conclusão
– Gera uma árvore bastante compacta
– Reduz a geraç ão de candidatos
– Reduç ão do tamanho das bases subsequente...
Próximos SlideShares
Carregando em…5
×

Mining frequentpatternwithoutcandidate

180 visualizações

Publicada em

0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
180
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
3
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Mining frequentpatternwithoutcandidate

  1. 1. Mining Frequent Patterns without Candidate Generation Alberto Bisognin Jiawei Han, Jian Pei, and Yiwen Yin School of Computing Science Simon Fraser University
  2. 2. Introduç ão – Algoritmo Apriori bastante usado – Boa performance com conjuntos reduzidos de candidatos – Custoso com grande número de candidatos
  3. 3. Principais problemas Apriori – Geraç ão de grande conjunto de candidatos – Várias verificaç ões do banco de dados – Checagem de grande conjunto de candidatos
  4. 4. Algoritmo proposto – Composto de 3 aspectos: – Estrutura de dados mais compacta denominada FP-tree – Desenvolvida árvore baseada nos fragmentos dos padrões – Geraç ão ascendente de itens frequentes
  5. 5. Frequent Pattern Tree – FP-tree – Armazena informaç ões cruciais – Dados são compactados numa estrutura de dados bem menor – Reduz o espaç o de busca – Somente itens frequentes de comprimento 1 tem nodo na árvore – Disposiç ão dos nó s permite que nó s mais frequentes sejam melhor compartilhados – Cada nodo contem 3 campos: nome do item, contador e nodo link
  6. 6. Projeto e Construç ão da FP-tree Dado um banco de dados e considerando um suporte mínimo – Varrer o banco de dados para encontrar o conjunto de itens frequentes que superam o suporte – Armazenar o conjunto de itens frequentes em uma estrutura compacta (evitar verificaç ão do banco de dados) – Ordenar os itens frequentes em ordem decrescente – Criar a raiz da árvore, denominada null – Examinar a primeira transaç ão para construir o primeiro ramo da árvore, seguindo sempre a ordem decrescente dos itens frequentes – Na pró xima transaç ão, se esta tiver itens semelhantes já apresentados na árvore, o contador do mesmo item deve ser incrementado e se apresentar nodos diferentes, estes devem ser incluídos no ramo da árvore – Se pró xima transaç ão tiver itens diferentes da anterior, novo ramo serácriado
  7. 7. Exemplo FP-tree Suporte=3
  8. 8. Alguns detalhes – Cada transiç ão do banco de dados é mapeada para um caminho na árvore – Frequencia dos itens são armazenados na árvore – O tamanho é limitado pela ocorrência dos itens frequentes no banco de dados – A altura de uma árvore é limitada ao número máximo de itens de uma transaç ão do banco de dados – Um caminho pode representar itens frequentes em múltiplas transaç ões
  9. 9. Comparativo com FP-tree Teste com base de dados Connect-4 usado em MaxMiner Contém 67557 transaç ões com 43 itens Suporte de 50% Número total de ocorrência de itens frequentes:2219609 Número total de nodos numa árvore FP-tree:13449 Relaç ão de reduç ão de 165,04 vezes
  10. 10. Gerando padrões frequentes através da FP-tree – Para qualquer item freqüente ai, todos os possíveis padrões que contem ai podem ser obtidos seguindo os nó -links de ai, a partir de ai na estrutura da FP-tree. – Procura de padrões frequentes associados a um item – Padrões de caminhos simples são gerados pela combinaç ão dos itens deste ramo – Caminhos compostos é gerada uma árvore de padrão base para cada item
  11. 11. Árvore condicional de m
  12. 12. Árvores condicionais
  13. 13. Algoritmo FP-growth
  14. 14. Avaliaç ão experimental do algoritmo Comparaç ão entre os métodos FP-growth, Apriori e TreeProjection Computador Pentium 450MHz 128Mbytes Ram Windows NT Programas escritos em Microsoft Visual C++6.0 Banco de dados: D1-T25.I10.D10K 1000 itens 10000 transaç ões D2-T25.I20.D100K 10000 itens
  15. 15. Avaliaç ão FP-growth e Apriori
  16. 16. Tempo de execuç ão FP-growth
  17. 17. Avaliaç ão FP-growth e Apriori
  18. 18. Avaliaç ão FP-growth e TreeProjection
  19. 19. Avaliaç ão FP-growth e TreeProjection
  20. 20. Conclusão – Gera uma árvore bastante compacta – Reduz a geraç ão de candidatos – Reduç ão do tamanho das bases subsequentes de padrões condicionais e das árvores condicionais – Muito eficiente para banco de dados com grande número de transaç ões e suportes baixos

×