Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web  17.11.2005 Leandro Neum...
Agenda <ul><li>Introdução </li></ul><ul><li>Estratégias de recomendação </li></ul><ul><li>Recomendações Personalizadas </l...
Introdução Bom dia, dona Maricota.  O de sempre? Temos uma broa de milho que a senhora irá gostar. Em algum lugar no passa...
Introdução Hoje: necessidade de filtragem Existe uma enorme quantidade de opções para que as pessoas decidam o que consumi...
Estratégias de Recomendação Recomendações Gerais Alternativa para driblar a sobrecarga de opções Recomendações  não dirigi...
Recomendações Gerais na Web Listas de Recomendação Estratégias de Recomendação
Recomendações Gerais na Web Listas de Recomendação Comentários  de Texto Estratégias de Recomendação
Recomendações Gerais na Web Listas de Recomendação Comentários  de Texto Revisões/ Avaliações Estratégias de Recomendação
Recomendações Gerais na Web De fácil implementação Não consideram as preferências dos usuários Estratégias de Recomendação...
Direcionamento de Produtos Estratégias de Recomendação
Associação entre itens Estratégias de Recomendação Direcionamento de Produtos
Associação entre itens Cross-sell Estratégias de Recomendação Direcionamento de Produtos
Recomendações Personalizadas Consideram as características individuais dos consumidores Estratégias de Recomendação Necess...
Identificação dos Usuários Login Recomendações Personalizadas Cookies
Coleta Implícita de Informações Monitoramento de ações que indicam interesse Adicionar página aos “Favoritos” Visualizar a...
O usuário pode comprar  um presente para outra pessoa  Recomendações Personalizadas Desvantagem da Coleta Implícita
Coleta Explícita de Informações Recomendações Personalizadas Melhor customização das preferências
Desvantagem da Coleta Explícita   Exige paciência e  atenção dos usuários  Recomendações Personalizadas
Filtragem da Informação Momento 1: usuário como  produtor   de informações Recomendações Personalizadas
Informações coletadas de forma implícita ou explícita Recomendações Personalizadas Filtragem da Informação
Informações adicionadas  ao perfil do usuário Recomendações Personalizadas Filtragem da Informação
Momento 2: usuário como  consumidor   de informações Recomendações Personalizadas Filtragem da Informação
O usuário deseja receber uma recomendação Recomendações Personalizadas Filtragem da Informação
As informações armazenadas no perfil são lidas pelo SR Recomendações Personalizadas Filtragem da Informação
O SR “filtra” os itens de acordo com o perfil e gera as recomendações Recomendações Personalizadas Filtragem da Informação
As recomendações são entregues ao usuário Recomendações Personalizadas Filtragem da Informação
Filtragem Baseada em Conteúdo (FBC) Técnicas de Filtragem da Informação O conteúdo dos itens precisa ser descrito Compara ...
Desvantagens da FBC Técnicas de Filtragem da Informação Superespecialização Impossibilidade de análise de conteúdo em domí...
Filtragem Colaborativa (FC) Técnicas de Filtragem da Informação Sistema de Recomendação
Características Filtragem Colaborativa Baseada nas avaliações feitas pelos usuários Mede a similaridade entre os usuários ...
Entrada de Dados Filtragem Colaborativa Usuários com avaliações semelhantes são agrupados
Vantagens Aplicação em qualquer domínio Independe da classificação de itens feita por revisores Pode gerar recomendações i...
Problemas Matriz Esparsa Ovelha Negra Primeira avaliação Partida a Frio Falso Bom vizinho Falta de motivação Problema do “...
Avaliações Não-Confiáveis Avaliações intencionalmente desonestas  usuários com interesses especiais Avaliações aleatórias ...
Desafios Motivar os usuários  Garantir a honestidade das avaliações Filtragem Colaborativa
Iniciativas para motivar os usuários  e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento  da comu...
Iniciativas para motivar os usuários  e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento  da comu...
Características HYRIWYG:  How You Rate Influences What You Get Não utiliza sistemas complementares Todos os usuários possu...
Modelo HYRIWYG:  How You Rate Influences What You Get
Modelo HYRIWYG:  How You Rate Influences What You Get Avalia um item com  uma nota de valor  Vi Vi
Modelo HYRIWYG:  How You Rate Influences What You Get A avaliação é submetida ao SR... Vi
Modelo HYRIWYG:  How You Rate Influences What You Get ... Que a utiliza para configurar    o perfil do usuário. Vi Ajuste
Modelo HYRIWYG:  How You Rate Influences What You Get O perfil   i   é carregado... Vi Perfil   i Ajuste
Modelo HYRIWYG:  How You Rate Influences What You Get ... E utilizado para inferir o valor da suposta nota  V’i Vi Perfil ...
Modelo HYRIWYG:  How You Rate Influences What You Get O mecanismo utiliza uma  função de compensação  para conceder incent...
Modelo HYRIWYG:  How You Rate Influences What You Get Função de Compensação Incentivo concedido Avaliação inferida pelo si...
Incentivo indexado pela  qualidade da avaliação HYRIWYG:  How You Rate Influences What You Get Evitar a ocorrência de  ava...
Incentivo indexado pela  qualidade da avaliação HYRIWYG:  How You Rate Influences What You Get
Ciclo Virtuoso HYRIWYG:  How You Rate Influences What You Get O usuário deseja receber uma recomendação Vi Perfil   i V’i...
Ciclo Virtuoso HYRIWYG:  How You Rate Influences What You Get Solicita recomendação Vi Perfil   i V’i Incentivo Ajuste
Ciclo Virtuoso HYRIWYG:  How You Rate Influences What You Get Vi Perfil   i V’i Incentivo As informações armazenadas no p...
Ciclo Virtuoso HYRIWYG:  How You Rate Influences What You Get Vi Perfil    i V’i Incentivo O usuário recebe recomendações...
Em teoria: HYRIWYG:  How You Rate Influences What You Get
Estudo de Caso Hipóteses Hipótese 1:  O HYRIWYG faz com que a quantidade de avaliações fornecidas ao SR seja maior do que ...
Estudo de Caso Objeto de Estudo Avaliações Escala discreta de 0 a 6 Questionário com 300 filmes
Estudo de Caso Objeto de Estudo
Estudo de Caso Procedimentos FASE 1 - Altruística FASE 2 - Incentivo aberto FASE 3 - HYRIWYG
{SR(filmes,  i )    Acervo(filmes)} Estudo de Caso Variáveis de Medição    = 0 C =  1/40 de uma locação gratuita de DVD...
Estudo de Caso Instrumento SR de Filmes Filtragem Colaborativa Coeficiente  de Pearson
Estudo de Caso Instrumento Cadastro Gêneros prediletos
Estudo de Caso População 565 usuários cadastrados
Estudo de Caso Períodos de Coleta de Dados Fase 1 Fase 2 Fase 3
Estudo de Caso Análise dos Dados – Hipótese 1  (quantidade) “ Não vi” Nota  Usuários de Juiz de Fora
Estudo de Caso Análise dos Dados – Hipótese 1  (quantidade) “ Não vi” Nota  Usuários de Juiz de Fora
Estudo de Caso Análise dos Dados – Hipótese 1  (quantidade) “ Não vi” Nota  Usuários de outras cidades
Estudo de Caso Análise dos Dados – Hipótese 1  (quantidade) Usuários de outras cidades Usuários de Juiz de Fora 42,85% 54,...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Usuários de  Juiz de Fora Tempo médio de sessão Máximo 9 min. 3...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Avaliação da recomendação
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 2 Períodos sem incentivo Avaliação negativa < 4 Avaliação ...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 2 Avaliação negativa < 4 Avaliação positiva  ≥  4  Usuário...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 17 usuários contemplados
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 Apenas 7 resgataram as locações
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque n...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque a...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 “ Não resgatei as locações porque  não gostei dos filmes...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 l...
Estudo de Caso Análise dos Dados – Hipótese 2  (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 l...
Estudo de Caso Limitações População / distribuição restrita de incentivos Localização das videolocadoras Qualidade do ince...
Conclusões Contribuições Investigação da viabilidade real do HYRIWYG O experimento é sensível aos valores dos parâmetros U...
Conclusões HYRIWYG - Benefícios Matriz menos esparsa Redução do problema da Falta de Motivação Redução do problema do “car...
Conclusões Trabalhos Futuros Testar configurações diferentes das variáveis de medição Cadastrar mais filmes e melhorar que...
Conclusões Trabalhos Futuros
Conclusões Trabalhos Futuros
Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web  17.11.2005 Leandro Neum...
Próximos SlideShares
Carregando em…5
×

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web

1.315 visualizações

Publicada em

Apresentação da dissertação de Mestrado

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web

  1. 1. Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web 17.11.2005 Leandro Neumann Ciuffo
  2. 2. Agenda <ul><li>Introdução </li></ul><ul><li>Estratégias de recomendação </li></ul><ul><li>Recomendações Personalizadas </li></ul><ul><li>Técnicas de Filtragem da Informação </li></ul><ul><li>Filtragem Colaborativa </li></ul><ul><li>Avaliações Não-Confiáveis </li></ul><ul><li>HYRIWYG </li></ul><ul><li>Estudo de Caso </li></ul><ul><li>Conclusões </li></ul>
  3. 3. Introdução Bom dia, dona Maricota. O de sempre? Temos uma broa de milho que a senhora irá gostar. Em algum lugar no passado...
  4. 4. Introdução Hoje: necessidade de filtragem Existe uma enorme quantidade de opções para que as pessoas decidam o que consumir Falta de experiência para realizar escolhas acertadas
  5. 5. Estratégias de Recomendação Recomendações Gerais Alternativa para driblar a sobrecarga de opções Recomendações não dirigidas
  6. 6. Recomendações Gerais na Web Listas de Recomendação Estratégias de Recomendação
  7. 7. Recomendações Gerais na Web Listas de Recomendação Comentários de Texto Estratégias de Recomendação
  8. 8. Recomendações Gerais na Web Listas de Recomendação Comentários de Texto Revisões/ Avaliações Estratégias de Recomendação
  9. 9. Recomendações Gerais na Web De fácil implementação Não consideram as preferências dos usuários Estratégias de Recomendação Ineficaz em domínios onde existe heterogeneidade de opiniões
  10. 10. Direcionamento de Produtos Estratégias de Recomendação
  11. 11. Associação entre itens Estratégias de Recomendação Direcionamento de Produtos
  12. 12. Associação entre itens Cross-sell Estratégias de Recomendação Direcionamento de Produtos
  13. 13. Recomendações Personalizadas Consideram as características individuais dos consumidores Estratégias de Recomendação Necessidade de identificação das preferências pessoais e hábitos de consumo
  14. 14. Identificação dos Usuários Login Recomendações Personalizadas Cookies
  15. 15. Coleta Implícita de Informações Monitoramento de ações que indicam interesse Adicionar página aos “Favoritos” Visualizar a página por longo tempo Scrolling da barra de rolagem Colocar um produto na cesta de compras Análise das estatísticas de acesso Recomendações Personalizadas
  16. 16. O usuário pode comprar um presente para outra pessoa Recomendações Personalizadas Desvantagem da Coleta Implícita
  17. 17. Coleta Explícita de Informações Recomendações Personalizadas Melhor customização das preferências
  18. 18. Desvantagem da Coleta Explícita Exige paciência e atenção dos usuários Recomendações Personalizadas
  19. 19. Filtragem da Informação Momento 1: usuário como produtor de informações Recomendações Personalizadas
  20. 20. Informações coletadas de forma implícita ou explícita Recomendações Personalizadas Filtragem da Informação
  21. 21. Informações adicionadas ao perfil do usuário Recomendações Personalizadas Filtragem da Informação
  22. 22. Momento 2: usuário como consumidor de informações Recomendações Personalizadas Filtragem da Informação
  23. 23. O usuário deseja receber uma recomendação Recomendações Personalizadas Filtragem da Informação
  24. 24. As informações armazenadas no perfil são lidas pelo SR Recomendações Personalizadas Filtragem da Informação
  25. 25. O SR “filtra” os itens de acordo com o perfil e gera as recomendações Recomendações Personalizadas Filtragem da Informação
  26. 26. As recomendações são entregues ao usuário Recomendações Personalizadas Filtragem da Informação
  27. 27. Filtragem Baseada em Conteúdo (FBC) Técnicas de Filtragem da Informação O conteúdo dos itens precisa ser descrito Compara a descrição dos itens com o perfil do usuário Princípio da continuidade de preferências Se o usuário gostou de um item, deve gostar de um item similar no futuro
  28. 28. Desvantagens da FBC Técnicas de Filtragem da Informação Superespecialização Impossibilidade de análise de conteúdo em domínios não textuais Não-consideração de aspectos como a qualidade ou estilo do item
  29. 29. Filtragem Colaborativa (FC) Técnicas de Filtragem da Informação Sistema de Recomendação
  30. 30. Características Filtragem Colaborativa Baseada nas avaliações feitas pelos usuários Mede a similaridade entre os usuários Pessoas que concordaram no passado tendem a concordar novamente no futuro
  31. 31. Entrada de Dados Filtragem Colaborativa Usuários com avaliações semelhantes são agrupados
  32. 32. Vantagens Aplicação em qualquer domínio Independe da classificação de itens feita por revisores Pode gerar recomendações inesperadas Filtragem Colaborativa Alteração constante das vizinhanças
  33. 33. Problemas Matriz Esparsa Ovelha Negra Primeira avaliação Partida a Frio Falso Bom vizinho Falta de motivação Problema do “Carona” Filtragem Colaborativa Ataques a SRs
  34. 34. Avaliações Não-Confiáveis Avaliações intencionalmente desonestas usuários com interesses especiais Avaliações aleatórias ou constantes Usuários que não entendem o processo de geração das recomendações Extensos formulários de avaliação agravam este problema Filtragem Colaborativa
  35. 35. Desafios Motivar os usuários Garantir a honestidade das avaliações Filtragem Colaborativa
  36. 36. Iniciativas para motivar os usuários e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento da comunidade Reputação Web-of-Trust
  37. 37. Iniciativas para motivar os usuários e inibir avaliações não-confiáveis Avaliações Não-Confiáveis Reconhecimento da comunidade Reputação Web-of-Trust Dificulta a ação de usuários desonestos Não incentiva o cadastro de novos usuários
  38. 38. Características HYRIWYG: How You Rate Influences What You Get Não utiliza sistemas complementares Todos os usuários possuem uma mesma reputação De fácil implementação Promove o aumento da quantidade de avaliações honestas
  39. 39. Modelo HYRIWYG: How You Rate Influences What You Get
  40. 40. Modelo HYRIWYG: How You Rate Influences What You Get Avalia um item com uma nota de valor Vi Vi
  41. 41. Modelo HYRIWYG: How You Rate Influences What You Get A avaliação é submetida ao SR... Vi
  42. 42. Modelo HYRIWYG: How You Rate Influences What You Get ... Que a utiliza para configurar o perfil do usuário. Vi Ajuste
  43. 43. Modelo HYRIWYG: How You Rate Influences What You Get O perfil  i é carregado... Vi Perfil  i Ajuste
  44. 44. Modelo HYRIWYG: How You Rate Influences What You Get ... E utilizado para inferir o valor da suposta nota V’i Vi Perfil  i V’i Ajuste
  45. 45. Modelo HYRIWYG: How You Rate Influences What You Get O mecanismo utiliza uma função de compensação para conceder incentivos de forma proporcional à contribuição do usuário Incentivo Vi Perfil  i V’i Ajuste
  46. 46. Modelo HYRIWYG: How You Rate Influences What You Get Função de Compensação Incentivo concedido Avaliação inferida pelo sistema Avaliação real do usuário Constante para calibragem do sistema de avaliação
  47. 47. Incentivo indexado pela qualidade da avaliação HYRIWYG: How You Rate Influences What You Get Evitar a ocorrência de avaliações não-confiáveis de usuários que querem aumentar o valor dos incentivos Utilização do próprio SR para determinar em quais itens o incentivo poderá ser aplicado
  48. 48. Incentivo indexado pela qualidade da avaliação HYRIWYG: How You Rate Influences What You Get
  49. 49. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get O usuário deseja receber uma recomendação Vi Perfil  i V’i Incentivo Ajuste
  50. 50. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Solicita recomendação Vi Perfil  i V’i Incentivo Ajuste
  51. 51. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Vi Perfil  i V’i Incentivo As informações armazenadas no perfil são lidas pelo SR Ajuste
  52. 52. Ciclo Virtuoso HYRIWYG: How You Rate Influences What You Get Vi Perfil  i V’i Incentivo O usuário recebe recomendações de itens de acordo com seu perfil Ajuste
  53. 53. Em teoria: HYRIWYG: How You Rate Influences What You Get
  54. 54. Estudo de Caso Hipóteses Hipótese 1: O HYRIWYG faz com que a quantidade de avaliações fornecidas ao SR seja maior do que quando nenhum incentivo é concedido aos usuários Hipótese 2: O HYRIWYG faz com que as pessoas avaliem mais honestamente do que quando o incentivo concedido é aberto
  55. 55. Estudo de Caso Objeto de Estudo Avaliações Escala discreta de 0 a 6 Questionário com 300 filmes
  56. 56. Estudo de Caso Objeto de Estudo
  57. 57. Estudo de Caso Procedimentos FASE 1 - Altruística FASE 2 - Incentivo aberto FASE 3 - HYRIWYG
  58. 58. {SR(filmes,  i )  Acervo(filmes)} Estudo de Caso Variáveis de Medição  = 0 C = 1/40 de uma locação gratuita de DVD Função de compensação: Regra de Resgate: Alugar gratuitamente T i DVDs
  59. 59. Estudo de Caso Instrumento SR de Filmes Filtragem Colaborativa Coeficiente de Pearson
  60. 60. Estudo de Caso Instrumento Cadastro Gêneros prediletos
  61. 61. Estudo de Caso População 565 usuários cadastrados
  62. 62. Estudo de Caso Períodos de Coleta de Dados Fase 1 Fase 2 Fase 3
  63. 63. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de Juiz de Fora
  64. 64. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de Juiz de Fora
  65. 65. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) “ Não vi” Nota Usuários de outras cidades
  66. 66. Estudo de Caso Análise dos Dados – Hipótese 1 (quantidade) Usuários de outras cidades Usuários de Juiz de Fora 42,85% 54,16% 25% % de usuários que optaram por avaliar filmes de todos os gêneros 7 16,33 2,66 Média de cadastro/semana Fase 3 Fase 2 Fase 1   18% 22,22% 10% % de usuários que optaram por avaliar filmes de todos os gêneros 3,66 3 3,33 Média de cadastro/semana Fase 3 Fase 2 Fase 1  
  67. 67. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Usuários de Juiz de Fora Tempo médio de sessão Máximo 9 min. 30 primeiras avaliações Segundos t 0 = Página carregada t f = usuário submete avaliações
  68. 68. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Avaliação da recomendação
  69. 69. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 2 Períodos sem incentivo Avaliação negativa < 4 Avaliação positiva ≥ 4 Todos os usuários (198 avaliações) Usuários de J.Fora (39 avaliações) Base de dados diferentes
  70. 70. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 2 Avaliação negativa < 4 Avaliação positiva ≥ 4 Usuários de J.Fora (39 avaliações) Amostra pouco representativa O incentivo não foi bom o suficiente para os usuários serem desonestos
  71. 71. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 17 usuários contemplados
  72. 72. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 Apenas 7 resgataram as locações
  73. 73. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque não tive tempo.”
  74. 74. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Gostei das recomendações, mas não as resgatei porque as locadoras ficam longe da minha casa.”
  75. 75. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 “ Não resgatei as locações porque não gostei dos filmes recomendados.”
  76. 76. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 locações
  77. 77. Estudo de Caso Análise dos Dados – Hipótese 2 (qualidade) Fase 3 5 usuários ganharam 16 locações 2 usuários ganharam 12 locações
  78. 78. Estudo de Caso Limitações População / distribuição restrita de incentivos Localização das videolocadoras Qualidade do incentivo
  79. 79. Conclusões Contribuições Investigação da viabilidade real do HYRIWYG O experimento é sensível aos valores dos parâmetros Utilidade da recomendação – valor dos SRs Aumento da reputação do sistema
  80. 80. Conclusões HYRIWYG - Benefícios Matriz menos esparsa Redução do problema da Falta de Motivação Redução do problema do “carona” Predominância de avaliações honestas
  81. 81. Conclusões Trabalhos Futuros Testar configurações diferentes das variáveis de medição Cadastrar mais filmes e melhorar questões de projeto Parceria com uma locadora “virtual” de DVDs Parceria com a BLOCKBUSTER
  82. 82. Conclusões Trabalhos Futuros
  83. 83. Conclusões Trabalhos Futuros
  84. 84. Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web 17.11.2005 Leandro Neumann Ciuffo

×