SlideShare uma empresa Scribd logo
1 de 47
Tag suggestion using multiple sources of knowledge Ícaro Medeiros Fred Freitas H. Sofia Pinto 19/07/2010
Roteiro Introdução Sistemas de tagging social e folksonomias Motivação Trabalho relacionado Sugestão de tags ANTaReS Implementação Resultados Discussão Conclusão
Introdução
Sistemas de tagging social Usuários atribuem tags (palavras-chave) a recursos Páginas Web, fotos, vídeos Delicious: 150.000 bookmarks/dia
Youtube – vídeos + tags 52 milhões de visitantes/mês
Tagging social: atributos Tags são palavras-chave escolhidas livremente NÃO HÁ vocabulário pré-definido (Mathes, 2004) Encoraja a atribuição de tags Atribuição é geralmente colaborativa São também redes sociais e/ou agregadores de conteúdo publicado por usuários Organização de conteúdo aumenta a popularidade dos STS
Navegação por tags
Folksonomias Resultado de usuáriosinteragindo com o STS aoatribuirtags a recursos Tags Colaborativas+ Semântica emergindo da comunidade = Classificação  baixo-cima  conhecida como folksonomia(Mathes, 2004)
Desvantagens de STS Vocabulário livre leva à ambiguidade Polissemia: whistle (instrumento) e whistle (som) Homonímia: Java (linguagem) e Java (café) Sinônimos: Buy/purchase Palavras ligadas: webdev, semweb, semantic_web Tags populares no Delicious 25-10-09
Atribuição incorreta de tags
tags? tags! Processo de sugestão de tags STS “pede” TAGS! usa upload analiza Recurso Sistema de Sugestão Folksonomia gosta de analiza prediz são sugeridas tag1 tag2 tags
Sugestão no Delicious Tags mais usadas para um recurso Intersecção com folksonomia pessoal
Vantagens da sugestão(Heymannet al.,2008b) Convergência de  vocabulário Cobertura maior para consultas por tags Concordância entre usuários Desambiguação de tags Bootstrapping
Trabalho Relacionado
Filtragem colaborativa Dados os recursos A com tags {x,y} B com tags {z,w} E um novo documento C Sugerir ao recurso C tags do documento mais similar (A)(Jäschkeet al., 2007) Só sugere termos que já estão na folksonomia
Aprendizagem de Máquina Aprenderpadrões para “saber” quando um termo pode ser usado como tag Página Web Corpus Página Web Classificador Recursos Treinamento Classificador Novo recurso tag1, tag2 tag1, tag2 tag1, tag2 tag3, tag4
Sugestão de Tag com AM Termos - conjunto de atributos (features) Um classificador é construído por padrões desses atributos Ex: Um termo no títulopode ser uma boa tag Métodos Máquinas de Vetor Suporte (Wang and Davison, 2008)
ANTaReS A Novel TAgREcommendation System
Objetivos Sugerir tags a páginas Web Especialmente (novas) palavras-chave não presentes na folksonomia O método deve ser capaz de se adaptar à dinâmicas de vocabulário Aprendizagem de Máquina
Fontes de informação Atributos de páginas Web del.icio.us <description> leadingsocial bookmarkingservice</> The tastiestbookmarks on the web. ,[object Object]
Recuperação de informação (TF,IDF)
Atributos linguísticos,[object Object]
Contexto do link
Texto da páginaInbound link Delicious (website) - Wikipedia Delicious is a social bookmarking web service
Bases de conhecimento Termos Relacionados del.icio.us Wordnet <description> leading social bookmarking service </> The tastiest bookmarks on the web. consultas Ex: Sinônimos de termos relevantes de páginas Web
Metodologia Um classificador (SVM) para cada fonte Resultados combinados são usados para predizer se um termo é uma tag ou não Análises Fonte x Tags Comparação com tags do Delicious  Comparação com trabalhos relacionados Avaliação dos por usuários
Experimentos e Resultados
Extração do dataset Tags maispopulares no Delicious (199) Para cada top tag, páginaspopularesusando-as foramrecuperadas(~ 7 págs/tag) Para cadapágina, as tags maisusadasparaelaforamextraídas(~ 9.8 tags/pág) Resultado: 1394páginas 13667 tags (2201 únicas)
Fontes x Tags Das tags do Delicious, quantas são encontradas No texto Nas páginas Inbound Nos termos relacionados do Wordnet
Fontes x Tags : resultados
Impacto dos atributos Conhecer sua natureza Medidas padrão (%): Precisão, Cobertura (recall), F-1 Cobertura calculada usando apenas tags encontradas na fonte testada Experimentos Cada atributo isoladamente Removendo um atributo do conjunto total Adicionando atributos ao conjunto um por um
Atributos de páginas Web isolados
Atributos do Wordnet isolados
Removendo um atributo do conjunto total (atributos de páginas Web)
Removendo atributo de páginas inbound
Removendo atributos Wordnet
Adicionando atributos de páginas Web um a um
Melhores resultados para cada fonte Recall “real”
Classificador combinado Usando os melhores resultados de cada fonte (e regra do produto) Pouca diferença entre métodos de combinação
Diferentes métodos de classificação Resultadocombinado
Comparação com outros trabalhos
Avaliação baseada em usuários Usuários: Lêema página Atribuem 3 a 5 tags a ela Marcam como boa/ruim tags sugeridas 44 docs, 12 usuários, 11 docs/usuárioe 3 usuários/doc Medidas: Precisão1+, precisão2+ e precisão3 “Cobertura” Novidade
Resultados (média) Precisão1+: ~94% Precisão2+: ~77% Precisão3: ~44%  Cobertura:  ~20% Novidade: ~20%
Discussão
Resultados Satisfatórios em relação a Tags do Delicious Trabalhos estado da arte em sugestão de tags Avaliação de usuários reais
Conclusão
Conclusão Sugestão de tags com vários atributos de múltiplas fontes de informação Tagsnovas e interessantes Objetivos cumpridos A solução pode ser usada em cenários reais

Mais conteúdo relacionado

Semelhante a Tag Suggestion using Multiple Sources of Knowledge

Sistemas de gestão e difusão de aprendizagem online
Sistemas de gestão e difusão de aprendizagem onlineSistemas de gestão e difusão de aprendizagem online
Sistemas de gestão e difusão de aprendizagem onlineJoaquim Guerra
 
Apresentação Tags
Apresentação TagsApresentação Tags
Apresentação Tagsbbarbosa
 
Tags E Nuvens De Tags
Tags E Nuvens De TagsTags E Nuvens De Tags
Tags E Nuvens De Tagsbbarbosa
 
Grelha de avaliacao_de_red
Grelha de avaliacao_de_redGrelha de avaliacao_de_red
Grelha de avaliacao_de_redBecreStuart
 
Internet e as Redes Sociais
Internet e as Redes SociaisInternet e as Redes Sociais
Internet e as Redes SociaisPaula Peres
 
Ensino-aprendizagem de línguas no contexto 2.0
Ensino-aprendizagem de línguas no contexto 2.0Ensino-aprendizagem de línguas no contexto 2.0
Ensino-aprendizagem de línguas no contexto 2.0Claudio Franco
 
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...Luciana Monteiro
 
Sistemas de gestão de aprendizagem em e-learning
Sistemas de gestão de aprendizagem em e-learningSistemas de gestão de aprendizagem em e-learning
Sistemas de gestão de aprendizagem em e-learningJoaquim Guerra
 
Avaliação de Páginas de Internet
Avaliação de Páginas de InternetAvaliação de Páginas de Internet
Avaliação de Páginas de InternetCarlos Pinheiro
 
Apresentacao_Holon_Completa
Apresentacao_Holon_CompletaApresentacao_Holon_Completa
Apresentacao_Holon_Completalcolodete
 
Portais Institucionais IEUSEER2010
Portais Institucionais IEUSEER2010Portais Institucionais IEUSEER2010
Portais Institucionais IEUSEER2010Suelybcs .
 
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...Christiano Avila
 
Case Recommender: Fazendo recomendação em Python
Case Recommender: Fazendo recomendação em PythonCase Recommender: Fazendo recomendação em Python
Case Recommender: Fazendo recomendação em PythonArthur Fortes
 
Folksonomias: a Informação e a Metainformação
Folksonomias: a Informação e a MetainformaçãoFolksonomias: a Informação e a Metainformação
Folksonomias: a Informação e a MetainformaçãoLuísa Alvim
 
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogar
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogarRecursos didáticos: produzir, encontrar, remixar, organizar, catalogar
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogarBianca Santana
 
Palestra SEO - Otimização de Sites (Olhares Múltiplos)
Palestra SEO - Otimização de Sites (Olhares Múltiplos)Palestra SEO - Otimização de Sites (Olhares Múltiplos)
Palestra SEO - Otimização de Sites (Olhares Múltiplos)Aline Couto (alineideias)
 
Marinas digitais presentation
Marinas digitais presentationMarinas digitais presentation
Marinas digitais presentationAnderson Fagundes
 

Semelhante a Tag Suggestion using Multiple Sources of Knowledge (20)

Sistemas de gestão e difusão de aprendizagem online
Sistemas de gestão e difusão de aprendizagem onlineSistemas de gestão e difusão de aprendizagem online
Sistemas de gestão e difusão de aprendizagem online
 
Apresentação Tags
Apresentação TagsApresentação Tags
Apresentação Tags
 
Tags E Nuvens De Tags
Tags E Nuvens De TagsTags E Nuvens De Tags
Tags E Nuvens De Tags
 
Grelha de avaliacao_de_red
Grelha de avaliacao_de_redGrelha de avaliacao_de_red
Grelha de avaliacao_de_red
 
Internet e as Redes Sociais
Internet e as Redes SociaisInternet e as Redes Sociais
Internet e as Redes Sociais
 
Ensino-aprendizagem de línguas no contexto 2.0
Ensino-aprendizagem de línguas no contexto 2.0Ensino-aprendizagem de línguas no contexto 2.0
Ensino-aprendizagem de línguas no contexto 2.0
 
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...
Tags como fonte de coleta de candidatos a termos para elaboração de vocabulár...
 
Sistemas de gestão de aprendizagem em e-learning
Sistemas de gestão de aprendizagem em e-learningSistemas de gestão de aprendizagem em e-learning
Sistemas de gestão de aprendizagem em e-learning
 
Avaliação de Páginas de Internet
Avaliação de Páginas de InternetAvaliação de Páginas de Internet
Avaliação de Páginas de Internet
 
Apresentacao_Holon_Completa
Apresentacao_Holon_CompletaApresentacao_Holon_Completa
Apresentacao_Holon_Completa
 
Portais Institucionais IEUSEER2010
Portais Institucionais IEUSEER2010Portais Institucionais IEUSEER2010
Portais Institucionais IEUSEER2010
 
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...
Desenvolvimento de um Sistema de Recomendação de Artigos Científicos e Avalia...
 
Case Recommender: Fazendo recomendação em Python
Case Recommender: Fazendo recomendação em PythonCase Recommender: Fazendo recomendação em Python
Case Recommender: Fazendo recomendação em Python
 
Folksonomias: a Informação e a Metainformação
Folksonomias: a Informação e a MetainformaçãoFolksonomias: a Informação e a Metainformação
Folksonomias: a Informação e a Metainformação
 
Pesquisa com scopus 2020
Pesquisa com scopus 2020Pesquisa com scopus 2020
Pesquisa com scopus 2020
 
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogar
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogarRecursos didáticos: produzir, encontrar, remixar, organizar, catalogar
Recursos didáticos: produzir, encontrar, remixar, organizar, catalogar
 
Grelha analise red_ (2)
Grelha analise red_ (2)Grelha analise red_ (2)
Grelha analise red_ (2)
 
Palestra SEO - Otimização de Sites (Olhares Múltiplos)
Palestra SEO - Otimização de Sites (Olhares Múltiplos)Palestra SEO - Otimização de Sites (Olhares Múltiplos)
Palestra SEO - Otimização de Sites (Olhares Múltiplos)
 
Marinas digitais presentation
Marinas digitais presentationMarinas digitais presentation
Marinas digitais presentation
 
Marinas Digitais presentation
Marinas Digitais presentationMarinas Digitais presentation
Marinas Digitais presentation
 

Mais de Ícaro Medeiros

Data Science and Culture
Data Science and CultureData Science and Culture
Data Science and CultureÍcaro Medeiros
 
Why Python is better for Data Science
Why Python is better for Data ScienceWhy Python is better for Data Science
Why Python is better for Data ScienceÍcaro Medeiros
 
Statistics: the grammar of Data Science
Statistics: the grammar of Data ScienceStatistics: the grammar of Data Science
Statistics: the grammar of Data ScienceÍcaro Medeiros
 
Linked Data, Big Data, and User Science at Globo.com
Linked Data, Big Data, and User Science at Globo.comLinked Data, Big Data, and User Science at Globo.com
Linked Data, Big Data, and User Science at Globo.comÍcaro Medeiros
 
Expressões regulares no Linux
Expressões regulares no LinuxExpressões regulares no Linux
Expressões regulares no LinuxÍcaro Medeiros
 

Mais de Ícaro Medeiros (7)

Data Science and Culture
Data Science and CultureData Science and Culture
Data Science and Culture
 
Why Python is better for Data Science
Why Python is better for Data ScienceWhy Python is better for Data Science
Why Python is better for Data Science
 
Statistics: the grammar of Data Science
Statistics: the grammar of Data ScienceStatistics: the grammar of Data Science
Statistics: the grammar of Data Science
 
Linked Data, Big Data, and User Science at Globo.com
Linked Data, Big Data, and User Science at Globo.comLinked Data, Big Data, and User Science at Globo.com
Linked Data, Big Data, and User Science at Globo.com
 
Expressões regulares no Linux
Expressões regulares no LinuxExpressões regulares no Linux
Expressões regulares no Linux
 
Ontology Learning
Ontology LearningOntology Learning
Ontology Learning
 
Tag Suggestion
Tag SuggestionTag Suggestion
Tag Suggestion
 

Tag Suggestion using Multiple Sources of Knowledge

  • 1. Tag suggestion using multiple sources of knowledge Ícaro Medeiros Fred Freitas H. Sofia Pinto 19/07/2010
  • 2. Roteiro Introdução Sistemas de tagging social e folksonomias Motivação Trabalho relacionado Sugestão de tags ANTaReS Implementação Resultados Discussão Conclusão
  • 4. Sistemas de tagging social Usuários atribuem tags (palavras-chave) a recursos Páginas Web, fotos, vídeos Delicious: 150.000 bookmarks/dia
  • 5. Youtube – vídeos + tags 52 milhões de visitantes/mês
  • 6. Tagging social: atributos Tags são palavras-chave escolhidas livremente NÃO HÁ vocabulário pré-definido (Mathes, 2004) Encoraja a atribuição de tags Atribuição é geralmente colaborativa São também redes sociais e/ou agregadores de conteúdo publicado por usuários Organização de conteúdo aumenta a popularidade dos STS
  • 8. Folksonomias Resultado de usuáriosinteragindo com o STS aoatribuirtags a recursos Tags Colaborativas+ Semântica emergindo da comunidade = Classificação baixo-cima conhecida como folksonomia(Mathes, 2004)
  • 9. Desvantagens de STS Vocabulário livre leva à ambiguidade Polissemia: whistle (instrumento) e whistle (som) Homonímia: Java (linguagem) e Java (café) Sinônimos: Buy/purchase Palavras ligadas: webdev, semweb, semantic_web Tags populares no Delicious 25-10-09
  • 11. tags? tags! Processo de sugestão de tags STS “pede” TAGS! usa upload analiza Recurso Sistema de Sugestão Folksonomia gosta de analiza prediz são sugeridas tag1 tag2 tags
  • 12. Sugestão no Delicious Tags mais usadas para um recurso Intersecção com folksonomia pessoal
  • 13. Vantagens da sugestão(Heymannet al.,2008b) Convergência de vocabulário Cobertura maior para consultas por tags Concordância entre usuários Desambiguação de tags Bootstrapping
  • 15. Filtragem colaborativa Dados os recursos A com tags {x,y} B com tags {z,w} E um novo documento C Sugerir ao recurso C tags do documento mais similar (A)(Jäschkeet al., 2007) Só sugere termos que já estão na folksonomia
  • 16. Aprendizagem de Máquina Aprenderpadrões para “saber” quando um termo pode ser usado como tag Página Web Corpus Página Web Classificador Recursos Treinamento Classificador Novo recurso tag1, tag2 tag1, tag2 tag1, tag2 tag3, tag4
  • 17. Sugestão de Tag com AM Termos - conjunto de atributos (features) Um classificador é construído por padrões desses atributos Ex: Um termo no títulopode ser uma boa tag Métodos Máquinas de Vetor Suporte (Wang and Davison, 2008)
  • 18. ANTaReS A Novel TAgREcommendation System
  • 19. Objetivos Sugerir tags a páginas Web Especialmente (novas) palavras-chave não presentes na folksonomia O método deve ser capaz de se adaptar à dinâmicas de vocabulário Aprendizagem de Máquina
  • 20.
  • 22.
  • 24. Texto da páginaInbound link Delicious (website) - Wikipedia Delicious is a social bookmarking web service
  • 25. Bases de conhecimento Termos Relacionados del.icio.us Wordnet <description> leading social bookmarking service </> The tastiest bookmarks on the web. consultas Ex: Sinônimos de termos relevantes de páginas Web
  • 26. Metodologia Um classificador (SVM) para cada fonte Resultados combinados são usados para predizer se um termo é uma tag ou não Análises Fonte x Tags Comparação com tags do Delicious Comparação com trabalhos relacionados Avaliação dos por usuários
  • 28. Extração do dataset Tags maispopulares no Delicious (199) Para cada top tag, páginaspopularesusando-as foramrecuperadas(~ 7 págs/tag) Para cadapágina, as tags maisusadasparaelaforamextraídas(~ 9.8 tags/pág) Resultado: 1394páginas 13667 tags (2201 únicas)
  • 29. Fontes x Tags Das tags do Delicious, quantas são encontradas No texto Nas páginas Inbound Nos termos relacionados do Wordnet
  • 30. Fontes x Tags : resultados
  • 31. Impacto dos atributos Conhecer sua natureza Medidas padrão (%): Precisão, Cobertura (recall), F-1 Cobertura calculada usando apenas tags encontradas na fonte testada Experimentos Cada atributo isoladamente Removendo um atributo do conjunto total Adicionando atributos ao conjunto um por um
  • 32. Atributos de páginas Web isolados
  • 34. Removendo um atributo do conjunto total (atributos de páginas Web)
  • 35. Removendo atributo de páginas inbound
  • 37. Adicionando atributos de páginas Web um a um
  • 38. Melhores resultados para cada fonte Recall “real”
  • 39. Classificador combinado Usando os melhores resultados de cada fonte (e regra do produto) Pouca diferença entre métodos de combinação
  • 40. Diferentes métodos de classificação Resultadocombinado
  • 42. Avaliação baseada em usuários Usuários: Lêema página Atribuem 3 a 5 tags a ela Marcam como boa/ruim tags sugeridas 44 docs, 12 usuários, 11 docs/usuárioe 3 usuários/doc Medidas: Precisão1+, precisão2+ e precisão3 “Cobertura” Novidade
  • 43. Resultados (média) Precisão1+: ~94% Precisão2+: ~77% Precisão3: ~44% Cobertura: ~20% Novidade: ~20%
  • 45. Resultados Satisfatórios em relação a Tags do Delicious Trabalhos estado da arte em sugestão de tags Avaliação de usuários reais
  • 47. Conclusão Sugestão de tags com vários atributos de múltiplas fontes de informação Tagsnovas e interessantes Objetivos cumpridos A solução pode ser usada em cenários reais
  • 48. Trabalhos futuros Ajustar parâmetros dos métodos de AM Melhorar com o uso Ranking vs. Classificação Abordagem híbrida Melhorar resultado pra páginas com pouco texto Avaliação de usuários maior
  • 49. Referências P. Heymann, D. Ramage, and H. Garcia-Molina (2008). Social tag prediction. International SIGIR Conference on Research and Development in Information Retrieval (SIGIR), pages 531-538. ACM. R. Jäschke, L. Marinho, A. Hotho, L. Schmidt-Thieme, and G. Stumme (2007). Tag recommendations in folksonomies. EuropeanConference on Principles and Practice of Knowledge Discovery in Databases, pages 506-514. Springer-Verlag. A. Mathes (2004). Folksonomiescooperativeclassicationand communication through shared metadata. http://www.adammathes.com/academic/computer-mediated-communication/folksonomies.pdf.
  • 50. Referências II Y. Song, L. Zhuang , H. Li, Q. Zhao, J. Li,W.-C Lee, and C.L. Giles (2008a). Real-time automatic tag recommendation. In International Conference on Research and Development in Information Retrieval (SIGIR), pages 515–522. ACM. Y. Song, L. Zhang, and C. L. Giles (2008b). A sparse gaussian processes classification framework for fast tag suggestions. In Proceeding of the ACM conference on Information and Knowledge Management (CIKM), pages 93-102. ACM. J. Wang and B. D. Davison (2008). Explorations in tag suggestion and query expansion. In SSM '08: Proceeding of the 2008 ACM Workshop on Search in Social Media, pages 43-50. ACM.

Notas do Editor

  1. - CONTEXTO DAS SOLUÇÕES DE SUGESTÃO DE TAGS- ORGANIZAÇÃO DE PÁGINAS
  2. TAGS NUM DOS SITES MAIS POPULARES DA WEB DESCRIÇÃO E ORGANIZAÇÃO SERIA MAIS DIFÍCIL SEM TAGS
  3. - N HÁ CLASSIFICAÇÃO HIERÁRQUICA, DITA MTO RÍGIDA P CLASSIFICAR DADOS NA WEB- AGREGADORES -&gt; SISTEMAS DE COMPARTILHAMENTO DE RECURSOS (URLS NO DELICIOUS, VIDEOS NO YOUTUBE)
  4. POPULAR TAGSRAILS ( SEE MORE ) RUBY, PROGRAMAÇÃO
  5. FOLK + TAXONOMY
  6. PALAVRAS LIGADAS = BINDED WORDS
  7. // Coffee não é uma boa tag pra descrever essa página
  8. [FIM] PROCESSO “GENÉRICO”... EXEMPLO – SUGESTÃO NO DELICIOUS. . .
  9. PARA UM RECURSO – JÁ Q VÁRIOS USUÁRIOS PODEM ENVIAR A MESMA URL
  10. DESAMBIGUAÇÃO – JAVA (ÚNICA TAG EM PÁGS SOBRE LING E CAFÉ)- ATÉ AQUI == O QUE E PORQUÊ DE SUGESTÃO. MAS COMO?
  11. TREINAMENTO = DATASET DELICIOUS (PÁGS,TAGS)
  12. AM – MAIS USADA E COM BONS RESULTADOS EM SUGESTÃOMÁQUINA VETOR SUPORTE – USADA COM SUCESSO EM DIVERSAS APLICAÇÕES, ESPECIALMENTE EM TAREFAS ENVOLVENDO TEXTO
  13. NÃO É SISTEMA, É SOLUÇÃO!!!!
  14. // total number of 15 features
  15. // Delicious is not a goodexample of inboundanchor
  16. -- VERMELHO – TERMOS RELEVANTES NA PÁGINA ALVO-- EX: QTAS VEZES UM TERMO APARECEU COMO RELACIONADO NAS VÁRIAS CONSULTAS
  17. CLASSIFICADOR SVM (MAS A SOLUÇÃO É INDEPENDENTE DE MÉTODO)
  18. PRECISÃO: DOS TERMOS CLASSIFICADOS COMO TAGS, QTAS DECISÕES FORAM CORRETASCOBERTURA: DE TODAS AS TAGS, QTAS FORAM CORRETAMENTE CLASSIFICADAS?
  19. N DÁ PRA DESCREVER TODAS AS FEATURES, ALGUMAS SÃO ÓBVIAS PELO NOMEPRECISÃO TITLE - RECALL IDF
  20. !!!!!!EXPERIMENTO INBOUND N CONVERGIU!!!!!INBOUND INBOUNDINBOUND
  21. RESULTADOS QUE MAIS “GANHAM” COM A REMOÇÃO DE UM ATRIBUTO, A DIFERENÇA É MÍNIMAHÁ REDUDÂNCIA NA INFORMAÇÃO QUE OS ATRIBUTOS CARREGAM
  22. TODAS AS FEATURES SÃO IMPORTANTES, INFLUI DIRETAMENTE NA PERDA DE F-1
  23. VOLTAR AO SLIDE 30!!! FREQUENCY OF OCCURRENCE DOMINA AS OUTRAS FEATURES
  24. NÃO FOI FEITO EXPERIMENTO PARA WORDNET E INBOUND (REDUDANTE COM O ANTERIOR)
  25. RECALL CONDIZENTE COM A ANÁLISE FONTES X TAGS
  26. ==CLASSIFICADOR INBOUND “ATRAPALHA” A DECISÃO DOS OUTROS
  27. DATASET USADO EM 2008B
  28. COVERAGE – Similar A COBERTURANOVELTY - tags marked as goodbutnotassigned
  29. Precision1 – QUASE TODAS AS TAGS FORAM CONSIDERADAS BOAS POR PELO MENOS 1 USUARIOPrecision3 - User-agreement is difficultCoverage - Usersand ANTaReS use differentvocabularies. Lots of synonyms (pageand site) andbindedwords (user: “webpage”, antares: “web”, “page”)Novelty:2/10 tags werenotthought of byuser, notobvious