Avaliação e Testes em 
Sistemas de Recomendação"  Börje Karlsson & Francimar Maciel
Recomendação Personalização"Otimização de Tempo                               Conteúdos"                                  ...
Quem Recomenda                                     Você, seus amigos,                                       sua família et...
Sistema de Recomendação                                                         Personalização Automática                 ...
Dados e Uso    Histórico de    Compilar grandes “Pessoas que gostam acessos, consumo,   quantidades de    disto também …” ...
Amazon.com        3!                            1!                                                                  2!Aval...
Netflix                                                              3!                     1!2!Avaliação e testes em Siste...
Last.fm                      1!2!                                                      3!     Avaliação e testes em Sistem...
Em Ambientes Móveis…Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Também em Propaganda Personalizada      Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
O Que é um Recomendador?1.  Coleta de 2.  Treinamento do Modelo                                       3.     Gerador de   ...
Como se Testa um SR?•  Testes funcionais•  Testes do algoritmo de recomendação•  Teste da experiência do usuário Avaliação...
Avaliação do Algoritmo•  Avaliações geralmente offline"•  Comparação de predições com notas"   •  Root-mean-square error (RM...
Contexto“Contexto é qualquer informação que pode ser utilizadapara caracterizar a situação de uma entidade” (A. K. Dey et ...
User Experience "“Momentary, primarily evaluative feeling(good-bad) while interacting with a product orservice.” (Hassenza...
Experiência de Uso (UX) & Sistema de Recomendação" (Aspectos subjetivos) + (Algoritmos de aprendizado)"                   ...
User Experience "Conteúdo                    Rapidez                                         Necessidades                 ...
Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012)         Avaliação e testes em Sistemas de Re...
Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012)         Avaliação e testes em Sistemas de Re...
Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012)         Avaliação e testes em Sistemas de Re...
Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Entrevistas, Grupos de Foco,Pesquisa Contextual, QuestionáriosObservação Participativa,Testes de Usabilidade.•  Recrutamen...
Escalas de AvaliaçãoAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Escalas de AvaliaçãoAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Escalas de Avaliação•  NPS no celular       Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Ma...
Contexto para Recomendação             Comportamento + Ambiente + InteraçõesInformação fluindo dos, e para os, usuários: ex...
Contexto para Recomendação                             Microphone"      Camera"                                       GPS"...
Modelos de Contexto                                                  Requisitos"Usabilidade doFormalismo de               ...
ContextoAmbienteConhecimentoAtitudesFamiliaridade    Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et ...
Níveis de Inteligência Contextual                                                         From Xerox PARC!     Avaliação e...
Compreensão do Processo                  Não em detalhesEtapas em alto nível!                                             ...
Music Intelligence Spearhead (MIS)- Dispositivos móveis estão sempre com os usuários- Ouvir música é bastante pessoal e si...
Music Intelligence Spearhead (MIS)•  Podemos usar Contexto para melhorar recomendações de música?•  A aplicação deveria “j...
Music Intelligence Spearhead (MIS)      Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
MIS - Avaliação•  10 Usuários de música no celular | 18-32 anos•  Entrevistas em profundidade•  Cada usuário, 1 semana de ...
MIS - Avaliação                     Procedimentos iniciais                     • Tranferência de 200 músicas              ...
MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
MIS - Resultados                     •  A recomendação deveria ser                        mais rápida.                    ...
MIS - Resultados                     •  Eu gostei mas gostaria de                        receber mais conteúdos de um     ...
MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
MIS - Aprendizados•  Quanto mais testes melhor.•  Recompensas e Bônus não foram estímulos   significativos. O que realmente...
“So, if we decide that we want to strive for a comparablestandard of experience in the products that we aredesigning, and ...
ReferênciasKNIJNENBURG, B. P.; WILLEMSEN, M. C.; GARTNER, Z.; SONCU, H.; NEWELL, C.Explaining the user experience of recom...
Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
Börje:"                  Fran:"    !@tellarin!                      !@narf2916!
Próximos SlideShares
Carregando em…5
×

Avaliação e Testes em Sist. de Recomendação by Börje Karlsson & Fran Maciel

890 visualizações

Publicada em

0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
890
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
12
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Avaliação e Testes em Sist. de Recomendação by Börje Karlsson & Fran Maciel

  1. 1. Avaliação e Testes em 
Sistemas de Recomendação" Börje Karlsson & Francimar Maciel
  2. 2. Recomendação Personalização"Otimização de Tempo Conteúdos" relevantesServiço específicos Confiança eConteúdo de interesse relacionamento Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  3. 3. Quem Recomenda Você, seus amigos, sua família etcAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  4. 4. Sistema de Recomendação Personalização Automática Usuário diferente, experiência diferente Precisa de dados do usuário Recomendações por contextoConsulta Recomendações Dados usuário–item–contexto tempo, lugar, atividade, papel Itens! Recomendações por conteúdo Metadados de usuário (demográficos) Metadata dos itens (catálogo)Produtos: websites, blogs,notícias, músicas, livros, … Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  5. 5. Dados e Uso Histórico de Compilar grandes “Pessoas que gostam acessos, consumo, quantidades de disto também …” contatos e dados e mostrar Agregar dadoscompartilhamento de tendências comportamentais conteúdo personalizadas para realizar que agreguem recomendações valor ao usuário Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  6. 6. Amazon.com 3! 1! 2!Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  7. 7. Netflix 3! 1!2!Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  8. 8. Last.fm 1!2! 3! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  9. 9. Em Ambientes Móveis…Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  10. 10. Também em Propaganda Personalizada Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  11. 11. O Que é um Recomendador?1.  Coleta de 2.  Treinamento do Modelo 3.  Gerador de dados •  ”Aprende” ao processar os dados Recomendações Perfis dos itens! gostos! constrói! recomenda! casa! Azul! Círculos! Triângulos! Perfil do usuário! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  12. 12. Como se Testa um SR?•  Testes funcionais•  Testes do algoritmo de recomendação•  Teste da experiência do usuário Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  13. 13. Avaliação do Algoritmo•  Avaliações geralmente offline"•  Comparação de predições com notas" •  Root-mean-square error (RMSE)"•  Correlações"•  Modelo 0/1 (Interessante / Não interessante)" •  Cobertura" Deveria comparar alternativas!" Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  14. 14. Contexto“Contexto é qualquer informação que pode ser utilizadapara caracterizar a situação de uma entidade” (A. K. Dey et al., Understanding and using context, 2001)No caso de Sistemas de Recomendação: - Contexto de usabilidade (pessoa) - Contexto para recomendação (sistema) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  15. 15. User Experience "“Momentary, primarily evaluative feeling(good-bad) while interacting with a product orservice.” (Hassenzahl 2008 apud Knijnenburg et al 2012) “Experience is a very dynamic, complex and subjective phenomenon. It depends of upon the perception of multiple sensory qualities f a design, interpreted through filters relating to contextual factors” (Buxton, 2007) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  16. 16. Experiência de Uso (UX) & Sistema de Recomendação" (Aspectos subjetivos) + (Algoritmos de aprendizado)" ! Componentes da UX" Dificuldade! Conforto! Estes fatores não Esforço! Contexto! tem recebido a devida atenção Satisfacão com a escolha! (Knijnenburg et al 2012) Eficiência percebida do sistema! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  17. 17. User Experience "Conteúdo Rapidez Necessidades SugestõesProcesso Explorar Expectativas CompartilharFlexibilidade Intuitividade Semântica QuantidadeControle Disponibilidade Barreiras Custo x Benefício“A good experience varies from person to person, product toproduct, and task to task, but a good general definition is to definesomething as ‘usable’ if it is funcional, efficient and desirable to itsintend audience.” (Kuniavsky, 2003) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  18. 18. Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  19. 19. Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  20. 20. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  21. 21. Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  22. 22. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  23. 23. Entrevistas, Grupos de Foco,Pesquisa Contextual, QuestionáriosObservação Participativa,Testes de Usabilidade.•  Recrutamento•  Criação de tarefas específicas•  Observação e registro – ferramentas e meios utilizados, sequências de ações, métodos de organização, como são as interações.•  Transferências e compartilhamento de conhecimento Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  24. 24. Escalas de AvaliaçãoAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  25. 25. Escalas de AvaliaçãoAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  26. 26. Escalas de Avaliação•  NPS no celular Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  27. 27. Contexto para Recomendação Comportamento + Ambiente + InteraçõesInformação fluindo dos, e para os, usuários: extraída do conteúdo; inferida das atividades; sensorial; explícita (comentários, bookmarks, etc.) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  28. 28. Contexto para Recomendação Microphone" Camera" GPS" WLAN Accelerometer" positioning" Camera" Databases" Time table" Maps" Documents" Music Catalogue" Websites " Wikipedia" Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  29. 29. Modelos de Contexto Requisitos"Usabilidade doFormalismo de Lidar com Modelagem" Imperfeições" Provisionamento Raciocínio" Eficiente do Contexto" Relacionamentos e Dependências" Timeliness" Heterogeneidade" (Bettini et al., A Survey of Context Modeling and Reasoning Techniques, 2009)! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  30. 30. ContextoAmbienteConhecimentoAtitudesFamiliaridade Framework para Avaliação de Sistemas de Recomendação (Knijnenburg et al 2012) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  31. 31. Níveis de Inteligência Contextual From Xerox PARC! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  32. 32. Compreensão do Processo Não em detalhesEtapas em alto nível! Stern, Herbrich, Graepel 2009! Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  33. 33. Music Intelligence Spearhead (MIS)- Dispositivos móveis estão sempre com os usuários- Ouvir música é bastante pessoal e situacional Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  34. 34. Music Intelligence Spearhead (MIS)•  Podemos usar Contexto para melhorar recomendações de música?•  A aplicação deveria “just work” •  coletar dados contextuais; •  entender o contexto do usuário; •  recomendar quando e o que tocar.!•  Arquitetura e sistema capaz de suportar futuras pesquisas.•  Testes com usuários em quatro países. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  35. 35. Music Intelligence Spearhead (MIS) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  36. 36. MIS - Avaliação•  10 Usuários de música no celular | 18-32 anos•  Entrevistas em profundidade•  Cada usuário, 1 semana de uso•  Lista de tarefas acompanhadas e orientadas de forma presencial e via SMS•  Cada usuário recebeu 80 libras como estímulo para experimentar e comprar novas músicas. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  37. 37. MIS - Avaliação Procedimentos iniciais • Tranferência de 200 músicas • Lista de tarefas para estimular o uso do aplicativo e familiarização com as telas (Percepção inicial) • Instrução sobre os próximos passos da avaliaçãoAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  38. 38. MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  39. 39. MIS - Resultados •  A recomendação deveria ser mais rápida. •  A recomendação não foi relevante. •  Gostei! Mas eu não compraria. •  Queria entender como isso funciona. •  Eu gostei, mas não recomendaria para meu amigo.Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  40. 40. MIS - Resultados •  Eu gostei mas gostaria de receber mais conteúdos de um gênero específico. •  Superou minhas expectativas •  Interessante, mas gostaria de receber as músicas de acordo com o gênero que estou escutando naquele determinado momento.Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  41. 41. MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  42. 42. MIS - ResultadosAvaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  43. 43. MIS - Aprendizados•  Quanto mais testes melhor.•  Recompensas e Bônus não foram estímulos significativos. O que realmente importou? Receber o conteúdo de interesse. !•  A pesquisa deve ser Qualitativa e Quantitativa•  Maior alinhamento com a equipe de software e desenvolvimento para melhorias contínuas e maior controle durante a avaliação destes sistemas. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  44. 44. “So, if we decide that we want to strive for a comparablestandard of experience in the products that we aredesigning, and therefore adopt an appropriate processfor doing so, what might that process be? Making acontribution toward answering this question is at heartof what follows.” Bill Buxton (Sketching User Experience) Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  45. 45. ReferênciasKNIJNENBURG, B. P.; WILLEMSEN, M. C.; GARTNER, Z.; SONCU, H.; NEWELL, C.Explaining the user experience of recommender systems. User Modeling and User-Adapted Interaction. October 2012, Volume 22, Issue 4-5. pp 441-504. Disponível em:<http://www.usabart.nl/portfolio/KnijnenburgWillemsen-UMUAI2011_UIRecSy.pdf>.REICHHELD, F. F. A pergunta definitiva 2.0. Como as empresas que implementam o netpromoter score prosperam em um mundo voltado aos clientes. Rio de Janeiro: Elsevier,2011.BUXTON, B. Sketching User Experiences, getting the design right and the right design.San Francisco: Elsevier, 2007.KUNIAVSKY, M. Observing the user experience. San Francisco: Morgan KaufmannPublishers, 2003.KNIJNENBURG, B. P.; WILLEMSEN, M. C.; KOBSA, A. A Pragmatic Procedure to Supportthe User-Centric Evaluation of Recommender Systems. Proceedings of the fifth ACMconference on Recommender systems. Chicago, IL, 2011. Disponível em: < http://www.ics.uci.edu/~kobsa/papers/2011-RecSys-kobsa.pdf>. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  46. 46. Avaliação e testes em Sistemas de Recomendação | Börje Karlsson & Francimar Maciel"
  47. 47. Börje:" Fran:" !@tellarin! !@narf2916!

×