Mestrando Christiano Otero Avila Orientador Stanley Loh Desenvolvimento de um Sistema de Recomendação de Artigos Científic...
Sumário <ul><li>Objetivo do projeto </li></ul><ul><li>Diagrama e funcionamento interno da ferramenta </li></ul><ul><li>Mét...
Objetivo do Projeto <ul><ul><li>Desenvolver um sistema de recomendação para descobrir os melhores ou o melhor método para ...
 
Palavra 1 Documento Algoritmo para identificação automática de palavras-chave Palavra 1 Palavra 2 Palavra 3 Palavra 1 Pala...
Título do artigo + link origem do artigo resumo do artigo
Métodos de Extração <ul><li>1) Palavras mais freqüentes </li></ul>3 Processos 4 Sistema 5 Relacional 6 Postgresql 7 Sgbd 8...
Métodos de Extração <ul><li>Exemplos </li></ul><ul><ul><li>com 3 palavras </li></ul></ul><ul><ul><ul><li>banco, dados e ge...
Métodos de Extração <ul><li>2) Método “Fusion” </li></ul><ul><ul><li>São extraídas as 10 palavras mais freqüentes </li></u...
Métodos de Extração <ul><ul><li>São enviadas ao Google Acadêmico cada palavra individualmente  </li></ul></ul><ul><ul><ul>...
Métodos de Extração <ul><li>De cada palavra, são recuperados 30 links, totalizando 300 links </li></ul><ul><li>Apenas os 1...
Métodos de Extração <ul><li>3) Expressões </li></ul><ul><li>São extraídas do texto apenas expressões, ou seja, grupos de p...
Métodos de Extração <ul><li>São enviados ao Google Acadêmico somente as expressões mais freqüentes: </li></ul><ul><ul><li>...
Avaliação dos Métodos <ul><li>Avaliação subjetiva </li></ul><ul><li>Avaliação por similaridade </li></ul>
Avaliação subjetiva <ul><li>O próprio usuário do SisRecAC avalia cada documento recomendado. </li></ul><ul><ul><li>Este do...
Avaliação subjetiva  Qtd documentos considerados totalmente relevantes PercRelevantes = ----------------------------------...
Avaliação subjetiva – Tabulação dos resultados
Avaliação subjetiva – Tabulação dos resultados – fase I
Avaliação por similaridade <ul><li>Avaliar a similaridade média das recomendações de cada método </li></ul><ul><li>Fórmula...
Avaliação por similaridade <ul><li>Resultados </li></ul>
Avaliação por similaridade <ul><li>Gráficos </li></ul>
Avaliação por similaridade <ul><li>Gráfico similiaridade média </li></ul>
Fase 2 – Consolidação dos Métodos <ul><li>Tendo como base as avaliações da “Fase 1”, optamos por continuar avaliando os se...
Fase 2 – Novos Métodos <ul><li>Expressões </li></ul><ul><ul><li>Uma expressão de maior ocorrência </li></ul></ul><ul><ul><...
Fase 2 – Novos Métodos <ul><li>Visão Geral </li></ul><ul><ul><li>1 - uma expressão de maior ocorrência </li></ul></ul><ul>...
SisRecAC   Perspectiva do Usuário
SisRecAC – Objetivo e  Funcionalidades <ul><li>SisRecAC – Sistema de Recomendação de Artigos Científicos </li></ul><ul><li...
SisRecAC – Principais funcionalidades <ul><ul><li>Permite armazenar documentos  associando a uma ou mais tags </li></ul></...
 
 
Link para o  documento Avaliação
 
 
SisRecAC – Principais funcionalidades <ul><ul><li>Estatísticas  </li></ul></ul>
 
Tags --> folksonomia
 
 
SELECT  nomesite,tagorigem,tag as tagrelacionada  FROM  rec_tagdados  WHERE  tagorigem='framework'  ORDER BY  tagrelaciona...
SELECT  *  FROM  vtags  WHERE  tagorigem='framework'
Expansão Semântica - Folksonomia <ul><ul><li>Expansão do Método que utiliza as tags que o usuário cadastrou para identific...
Expansão Semântica – Descoberta Relações em Textos
SisRecAC – Funcionalidades extras <ul><ul><li>Integração com o SAPU </li></ul></ul><ul><ul><li>Convites (marketing viral) ...
Cronograma <ul><li>Artigo para WebMedia (julho) </li></ul><ul><li>Definir e implementar os novos métodos com alguma forma ...
Conclusão <ul><li>A importância do aumento do número de usuários e avaliações faz pensar a implementação de recursos inter...
Referências <ul><li>B. Ribeiro-Neto, M. Cristo, E. S. de Moura, and P. B. Golgher. Impedance coupling in content-target ad...
Referências <ul><li>Osinski S., Stefanowski J, and Weiss D. Lingo: Search results clustering algorithm based on Singular V...
Mestrando Christiano Otero Avila Orientador Stanley Loh Desenvolvimento de um Sistema de Recomendação de Artigos Científic...
Próximos SlideShares
Carregando em…5
×

Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avaliação de Métodos de Extração de Palavras-Chave

2.211 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
2.211
No SlideShare
0
A partir de incorporações
0
Número de incorporações
53
Ações
Compartilhamentos
0
Downloads
54
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avaliação de Métodos de Extração de Palavras-Chave

  1. 1. Mestrando Christiano Otero Avila Orientador Stanley Loh Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avaliação de Métodos de Extração de Palavras-Chave
  2. 2. Sumário <ul><li>Objetivo do projeto </li></ul><ul><li>Diagrama e funcionamento interno da ferramenta </li></ul><ul><li>Métodos de extração </li></ul><ul><li>Avaliação dos métodos </li></ul><ul><li>Fase 2 – consolidação dos métodos </li></ul><ul><li>Fase 2 – novos métodos </li></ul><ul><li>SisRecAC – perspectiva do usuário </li></ul><ul><li>Tags – folksonomia </li></ul><ul><li>Expansão semântica – folksonomia </li></ul><ul><li>Expansão semântica – descoberta de relações em textos </li></ul><ul><li>Cronograma </li></ul><ul><li>Conclusões </li></ul><ul><li>Referências </li></ul>
  3. 3. Objetivo do Projeto <ul><ul><li>Desenvolver um sistema de recomendação para descobrir os melhores ou o melhor método para extração de palavras-chave de documentos </li></ul></ul><ul><ul><ul><li>Melhor = retorna artigos científicos mais relevantes </li></ul></ul></ul><ul><ul><ul><li>Quem retorna ? </li></ul></ul></ul>
  4. 5. Palavra 1 Documento Algoritmo para identificação automática de palavras-chave Palavra 1 Palavra 2 Palavra 3 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 7 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 7 Palavra 8 Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 7 Palavra 8 Palavra 9 http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= banco+dados+gerenciamento +-cita%C3%A7%C3%A3o+-% 5Blivro%5D&btnG=Pesquisar&lr = Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 7 Palavra 8 Palavra 9 Palavra 10 Envio sucessivos Palavra 1 Palavra 2 Palavra 3 Palavra 4 Palavra 5 Palavra 6 Palavra 7 Palavra 8 Palavra 9 Palavra 10 Palavra 1 Palavra 2
  5. 6. Título do artigo + link origem do artigo resumo do artigo
  6. 7. Métodos de Extração <ul><li>1) Palavras mais freqüentes </li></ul>3 Processos 4 Sistema 5 Relacional 6 Postgresql 7 Sgbd 8 Modelagem 11 Projeto 12 Gerenciamento 15 Dados 15 Banco FREQÜÊNCIA PALAVRA
  7. 8. Métodos de Extração <ul><li>Exemplos </li></ul><ul><ul><li>com 3 palavras </li></ul></ul><ul><ul><ul><li>banco, dados e gerenciamento </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= banco+dados+gerenciamento +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><li>com 4 palavras </li></ul></ul><ul><ul><ul><li>banco, dados, gerenciamento e projeto </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= banco+dados+gerenciamento+projeto +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><li>1.3) com 5 palavras </li></ul></ul><ul><ul><li>1.4) com 6 palavras </li></ul></ul><ul><ul><li>1.5) com 7 palavras </li></ul></ul><ul><ul><li>1.6) com 8 palavras </li></ul></ul><ul><ul><li>1.7) com 9 palavras </li></ul></ul><ul><ul><li>1.8) com 10 palavras </li></ul></ul>
  8. 9. Métodos de Extração <ul><li>2) Método “Fusion” </li></ul><ul><ul><li>São extraídas as 10 palavras mais freqüentes </li></ul></ul>3 Processos 4 Sistema 5 Relacional 6 Postgresql 7 Sgbd 8 Modelagem 11 Projeto 12 Gerenciamento 15 Dados 15 Banco FREQÜÊNCIA PALAVRA
  9. 10. Métodos de Extração <ul><ul><li>São enviadas ao Google Acadêmico cada palavra individualmente </li></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= banco +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= dados +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= gerenciamento +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= projeto +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul><ul><ul><ul><li>..... </li></ul></ul></ul><ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= sistema +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul></ul>
  10. 11. Métodos de Extração <ul><li>De cada palavra, são recuperados 30 links, totalizando 300 links </li></ul><ul><li>Apenas os 10 links mais freqüentes dentre os 300 serão apresentados e avaliados </li></ul>
  11. 12. Métodos de Extração <ul><li>3) Expressões </li></ul><ul><li>São extraídas do texto apenas expressões, ou seja, grupos de palavras que se repetem </li></ul><ul><li>Exemplos: </li></ul><ul><ul><li>“ Banco de dados” </li></ul></ul><ul><ul><li>“ Gerenciamento de projetos” </li></ul></ul><ul><ul><li>“ Inteligência Artificial” </li></ul></ul>
  12. 13. Métodos de Extração <ul><li>São enviados ao Google Acadêmico somente as expressões mais freqüentes: </li></ul><ul><ul><li>Duas palavras e três palavras </li></ul></ul><ul><ul><li>Ex. “Inteligencia artificial” e “banco de dados” </li></ul></ul><ul><ul><li>http://scholar.google.com.br/scholar?hl=pt-BR&lr=&q= “ inteligencia artificial”+ “ banco de dados” +-cita%C3%A7%C3%A3o+-%5Blivro%5D&btnG=Pesquisar&lr= </li></ul></ul>
  13. 14. Avaliação dos Métodos <ul><li>Avaliação subjetiva </li></ul><ul><li>Avaliação por similaridade </li></ul>
  14. 15. Avaliação subjetiva <ul><li>O próprio usuário do SisRecAC avalia cada documento recomendado. </li></ul><ul><ul><li>Este documento é relevante no contexto do documento de origem ? </li></ul></ul><ul><ul><ul><li>( ) Totalmente Relevante </li></ul></ul></ul><ul><ul><ul><li>( ) Parcialmente Relevante </li></ul></ul></ul><ul><ul><ul><li>( ) Irrelevante </li></ul></ul></ul>
  15. 16. Avaliação subjetiva Qtd documentos considerados totalmente relevantes PercRelevantes = ---------------------------------------------------------------- X 100 Qtd documentos recomendados Qtd documentos considerados parcialmente relevantes PercParcRelev. = ---------------------------------------------------------------- X 100 Qtd documentos recomendados Qtd documentos considerados irrelevantes PercIrrelevantes ---------------------------------------------------------------- X 100 Qtd documentos recomendados
  16. 17. Avaliação subjetiva – Tabulação dos resultados
  17. 18. Avaliação subjetiva – Tabulação dos resultados – fase I
  18. 19. Avaliação por similaridade <ul><li>Avaliar a similaridade média das recomendações de cada método </li></ul><ul><li>Fórmula </li></ul>
  19. 20. Avaliação por similaridade <ul><li>Resultados </li></ul>
  20. 21. Avaliação por similaridade <ul><li>Gráficos </li></ul>
  21. 22. Avaliação por similaridade <ul><li>Gráfico similiaridade média </li></ul>
  22. 23. Fase 2 – Consolidação dos Métodos <ul><li>Tendo como base as avaliações da “Fase 1”, optamos por continuar avaliando os seguintes métodos: </li></ul><ul><ul><li>Métodos de palavras-chave </li></ul></ul><ul><ul><ul><li>4 PC </li></ul></ul></ul><ul><ul><ul><li>5 PC </li></ul></ul></ul><ul><ul><ul><li>6 PC </li></ul></ul></ul><ul><ul><ul><li>7 PC </li></ul></ul></ul><ul><ul><ul><li>8 PC </li></ul></ul></ul><ul><ul><ul><li>9 PC </li></ul></ul></ul>
  23. 24. Fase 2 – Novos Métodos <ul><li>Expressões </li></ul><ul><ul><li>Uma expressão de maior ocorrência </li></ul></ul><ul><ul><li>Duas expressões de maior ocorrência </li></ul></ul><ul><ul><li>Três expressões de maior ocorrência </li></ul></ul><ul><li>Tags cadastradas pelo usuário para identificar o documento </li></ul><ul><li>Título sem stopwords </li></ul>
  24. 25. Fase 2 – Novos Métodos <ul><li>Visão Geral </li></ul><ul><ul><li>1 - uma expressão de maior ocorrência </li></ul></ul><ul><ul><li>2 - duas expressões de maior ocorrência </li></ul></ul><ul><ul><li>3 - três expressões de maior ocorrência </li></ul></ul><ul><ul><li>4,5,6,7,8,9 – palavras-chave </li></ul></ul><ul><ul><li>10 – título sem stopwords </li></ul></ul><ul><ul><li>11 - tags </li></ul></ul>
  25. 26. SisRecAC Perspectiva do Usuário
  26. 27. SisRecAC – Objetivo e Funcionalidades <ul><li>SisRecAC – Sistema de Recomendação de Artigos Científicos </li></ul><ul><li>Objetivo </li></ul><ul><ul><li>Recomendar artigos científicos baseados em documentos armazenados pelo usuário </li></ul></ul><ul><ul><li>Permitir o compartilhamento de documentos e artigos recuperados </li></ul></ul>
  27. 28. SisRecAC – Principais funcionalidades <ul><ul><li>Permite armazenar documentos associando a uma ou mais tags </li></ul></ul><ul><ul><li>Apresenta artigos baseados nos documentos armazenados </li></ul></ul><ul><ul><li>Permite o compartilhamento de documentos e artigos </li></ul></ul>
  28. 31. Link para o documento Avaliação
  29. 34. SisRecAC – Principais funcionalidades <ul><ul><li>Estatísticas </li></ul></ul>
  30. 36. Tags --> folksonomia
  31. 39. SELECT nomesite,tagorigem,tag as tagrelacionada FROM rec_tagdados WHERE tagorigem='framework' ORDER BY tagrelacionada;
  32. 40. SELECT * FROM vtags WHERE tagorigem='framework'
  33. 41. Expansão Semântica - Folksonomia <ul><ul><li>Expansão do Método que utiliza as tags que o usuário cadastrou para identificar um documento </li></ul></ul>
  34. 42. Expansão Semântica – Descoberta Relações em Textos
  35. 43. SisRecAC – Funcionalidades extras <ul><ul><li>Integração com o SAPU </li></ul></ul><ul><ul><li>Convites (marketing viral) </li></ul></ul><ul><ul><li>Construção de um sistema de alertas, com o apoio de conceitos de IA, para informar ao usuário que novos artigos foram descobertos </li></ul></ul><ul><ul><ul><li>Email </li></ul></ul></ul><ul><ul><ul><li>RSS </li></ul></ul></ul>
  36. 44. Cronograma <ul><li>Artigo para WebMedia (julho) </li></ul><ul><li>Definir e implementar os novos métodos com alguma forma de expansão (julho) </li></ul><ul><li>Implementar recursos e mecanismos para aumentar a utilização do SisRecAC – julho/agosto 2007 </li></ul><ul><ul><li>convites </li></ul></ul><ul><ul><li>integração com o SAPU </li></ul></ul><ul><ul><li>alertas (????) </li></ul></ul><ul><li>Definir e implementar visualização de estatísticas das questões realizadas somente para Relevantes/Parcialmente Relevantes – “Justifique sua Avaliação” (agosto) </li></ul><ul><li>Monitorar os resultados da avaliação subjetiva (agosto/setembro) </li></ul><ul><li>Avaliar e documentar os resultados (outubro) </li></ul><ul><ul><li>avaliação subjetiva e avaliação matemática (similaridade) </li></ul></ul><ul><li>Artigos e monografia </li></ul>
  37. 45. Conclusão <ul><li>A importância do aumento do número de usuários e avaliações faz pensar a implementação de recursos interessantes </li></ul><ul><ul><li>cuidado para não provocar uma perda de foco com recursos e facilidades (ajax por exemplo) </li></ul></ul><ul><ul><li>concentrar no estudo e resultados dos métodos e não na ferramenta </li></ul></ul><ul><li>Folksonomia não era um estudo que estava previsto desde o início, mas é uma área emergente e interessante </li></ul><ul><ul><li>publicações são recentes (maioria em 2006 e 2007) </li></ul></ul><ul><ul><li>semântica emergente </li></ul></ul>
  38. 46. Referências <ul><li>B. Ribeiro-Neto, M. Cristo, E. S. de Moura, and P. B. Golgher. Impedance coupling in content-target advertising. In Proceedings of the 28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 496--500, Salvador, Bahia, Brazil, July 2005. </li></ul><ul><li>Brooks, C. H.; Montanez, N. (2006) Improved annotation of the blogosphere via autotagging and hierarchical clustering. In: International World Wide Web Conference – WWW, May 2006, Edinburgh, Scotland, p.625-631. </li></ul><ul><li>Dahlen,B.J., Konstan,J.A., Herlocker,J.L., Good,N., Borchers,A., Riedl,J., 1998. Jump-starting movielens: User benefits of starting a collaborative filtering system with &quot;dead data&quot;. University of Minnesota TR 98-017. </li></ul><ul><li>Goldberg, D. Nichols, D., Oki, B. M., and Terry, D. Using collaborative filtering to weave an information tapestry. Commun. ACM 35, 12 (Dec.1992), 61—70. </li></ul><ul><li>Herlocker, J., Konstan, J., Terveen, L., and Riedl, J. Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems 22, 1 (2004), 5–53 </li></ul><ul><li>Kraft, R., Chang, C. C., Maghoul, F., and Kumar, R. 2006. Searching with context. In Proceedings of the 15th International Conference on World Wide Web (Edinburgh, Scotland, May 23 - 26, 2006). WWW '06. ACM Press, New York, NY, 477-486. </li></ul><ul><li>Kraft, R., Chang, C. C., Maghoul, F., and Kumar, R. 2006. Searching with context. In Proceedings of the 15th International Conference on World Wide Web (Edinburgh, Scotland, May 23 - 26, 2006). WWW '06. ACM Press, New York, NY, 477-486.DOI= http://doi.acm.org/10.1145/1135777.1135847 </li></ul><ul><li>Lau, Tessa & Horvitz, Eric (1999) Patterns of search: analyzing and modeling web query refinement. In: 7th International Conference on User Modeling, June 1999, Banff, Canada, p.119-128 </li></ul><ul><li>Loh, S. Abordagem Baseada em Conceitos para Descoberta de Conhecimento em Textos. Porto Alegre: UFRGS. Requisito Parcial ao Grau de Doutor em Ciência da Computação, Instituto de Informática, Universidade Federal do Rio Grande do Sul, 2001. </li></ul><ul><li>McNee, S. , Riedl, J. , Konstan, J. . Accurate is not always good: How accuracy metrics have hurt recommender systems. ACM CHI 2006. </li></ul><ul><li>Orengo, V. M.; Huyck, C. R. A Stemming Algorithim for The Portuguese Language. In: Proceedings of the SPIRE Conference. Laguna de San Raphael: [s.n.], 2001, p. 13-15. </li></ul>
  39. 47. Referências <ul><li>Osinski S., Stefanowski J, and Weiss D. Lingo: Search results clustering algorithm based on Singular Value Decomposition. Submitted to Intelligent Information Systems Conference 2004, Zakopane, Poland, 2003. </li></ul><ul><li>Pereira, M, Reis, Carolina e Nunes, Maria. Implementação, Avaliação e Validação de Algoritmos de Extração de Palavras-Chave de Textos Científicos em Português. SBC - Revista Eletrônica de Iniciação Científica, 2002 </li></ul><ul><li>Resnick, P. ; Varian, H. R. 1997. Recommender systems. Commun. ACM 40, 56–58. </li></ul><ul><li>Schafer, J. Ben et al. (2001) E-commerce recommendation applications. Journal of Data Mining and Knowledge Discovery, v.5, n.1/2, Janeiro, p.115-153. </li></ul><ul><li>Salton, G.; Mcgill, M. J. Introduction to modern information retrieval. New York: McGraw-Hill, 1983. </li></ul><ul><li>Schmitz, C; Hotho, A ; Aschke, R J; Stumme,G. Mining Association Rules in Folksonomies. In Proceedings of the 10th IFCS Conference, 2006. </li></ul><ul><li>Silverstein, C.; Henzinger, M.; Marais, H.; Moricz, M. (1999) Analysis of a very large web search engine query log. ACM SIGIR Forum, 1999, v.33, n.3, p.6-12. </li></ul><ul><li>Smith, G. (2004) “Folksonomy: social classification.” August, 2004. http://atomiq.org/archives/2004/08/folksonomy_social_classification.html </li></ul><ul><li>Spink, Amanda; Wolfram, Dietmar; Jansen, Major B. J.; Saracevic, Tefko (2001) Searching the web: the public and their queries. Journal of the American Society for Information Science and Technology, v.52, n.3, p.226 – 234. </li></ul><ul><li>Teevan, J.; Adar, Eytan; Jones, R.; Potts, M. (2006) History repeats itself: repeat queries in Yahoo’s logs. In: Proceedings of the 29th International ACM SIGIR Conference on Research and Development in Information Retrieval – SIGIR, p.703-704. </li></ul><ul><li>Turney, P. Learning to Extract Keyphrases from Text, Tech. Report Number NRC−41622, National Research Council Canada, Institute for Information Technology, 1999. </li></ul><ul><li>Weiss Dawid and Stefanowski J. Web search results clustering in Polish: Experimental evaluation of Carrot. In Proceedings of the New Trends in Intelligent Information Processing and Web Mining Conference, Zakopane, Poland, 2003. </li></ul><ul><li>Witten I. H. et al. KEA: Practical automatic keyphrase extraction. In:Proceedings of the Fourth ACM Conference on Digital Libraries. [S.l.]: [s.n.], 1999. p. 254-255. </li></ul><ul><li>Wu, H., Zubair, M., and Maly, K. 2006. Harvesting social knowledge from folksonomies. In Proceedings of the Seventeenth Conference on Hypertext and Hypermedia (Odense, Denmark, August 22 - 25, 2006). HYPERTEXT '06. ACM Press, New York, NY, 111-114. DOI= http://doi.acm.org/10.1145/1149941.1149962 </li></ul><ul><li>Ziegler, C.N., McNee, S.M., Konstan, J.A., and Lausen, G., Improving Recommendation Lists through Topic Diversification. In Proc. of WWW 2005, ACM Press (2005), 22-32. </li></ul>
  40. 48. Mestrando Christiano Otero Avila Orientador Stanley Loh Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avaliação de Métodos de Extração de Palavras-Chave

×