Sistemas de Recomendação: Uma visão geral concisa (Parte 1

Sistemas de
Recomendação: uma
visão geral (Parte 1)
Ralph J. R. Filho

Tópicos

Parte I
●
Conceitos básicos
●
Exemplos usando MovieLens

Parte II
●
Algoritmos
●
Aplicações na Indústria
●
Pesquisa
●
Considerações Finais

3 bilhões de usuários
de Internet

Motivação
• Buscas
• Comunicação
• E-mail
• Notícias
• Artigos
• Música
• Videos
• Filmes
• Cursos
• Compras

Motivação
• Popularização da internet
• Primeiros motores de busca eram rudimentares
• Google revolucionou
• Os demais se aperfeiçoaram
• Artigos (Scopus, Scholar), Compras (Amazon)
dentre outros

Motivação
• ... desde que você saiba exatamente o
quê está procurando

Motivação
•Como encontrar conteúdo adequado, que
satisfaça as minhas necessidades como
consumidor, desde os momentos de
estudo até os momentos de
entretenimento?
•Eu sempre sei exatamente o que eu
quero consumir (assistir, ler, ouvir,
comprar)?

Motivação
•Como os sites que eu frequento podem
me ajudar a escolher?
•O que acontece quando eu me deparo
com muitas opções?
•Quais as vantagens que um negócio tem
em recomendar de forma eficaz e
eficiente?

O que é uma recomendação?
• É uma lista de itens ordenados gerada para um
usuário considerando suas preferências e em
conformidade com um contexto

• É uma lista de itens ordenados gerada para um usuário considerando suas
preferências e em conformidade com um contexto
• Normalmente, a recomendação é construída com base
em previsões do quão provável será de que o usuário
consumirá o item.

• É uma lista de itens ordenados gerada para um usuário considerando suas
preferências e em conformidade com um contexto
• Normalmente, a recomendação é construída com base em previsões do quão
provável será de que o usuário consumirá o item.
• As previsões são calculadas com entradas que inclui o
perfil do usuário e suas ações históricas

O que é um Sistema de
Recomendação?
• Um Sistema de Recomendação (SR) é um software que
• Antecipa as necessidades dos usuários

O que é um Sistema de
Recomendação?

Objetos de estudo
• Modelos que representam o perfil do usuário para
capturar preferências e gostos

Objetos de estudo
• Modelos que representam o perfil do usuário para capturar preferências e gostos
• Técnicas para calcular similaridades e relacionamentos

Objetos de estudo
• Condições que envolvem quais itens devem ser
recomendados e como estes devem ser apresentados
(acuracidade, serendipidade, cobertura, diversidade)

Objetos de estudo
• Condições que envolvem quais itens devem ser recomendados e como estes
devem ser apresentados (acuracidade, serendipidade, cobertura, diversidade)
• Compreender o que os usuários querem, quando eles
querem e porque eles querem (domínio).

Sistemas de recomendação
• Variam de acordo com o domínio
• Em alguns domínios o usuário consumirá um item
várias vezes (música, compras), em outros, o usuário
consumirá apenas uma vez (na maioria das vezes)
(filmes, notícias)

Dados
•São de origem implícita ou explícita
•Podem ser unários, binários ou contínuos

Dados
•De onde vem os dados dos domínios
• Filmes
• Notícias
• e-Commerce

Dados
•Filmes (memória longo prazo)
• Avaliação
• Tempo assistindo
• Quantas vezes assistiu
• Adicionou em uma lista

Dados
•Notícias (memória de curto prazo)
• Clicou no artigo
• Compartilhou em rede social
• Escreveu um comentário
• Upvote/downvote
• Tempo de leitura

Dados
•e-commerce
• Cliques
• Compras
• Comprou como presente
• Colocou no carrinho
• Escreveu comentários
• Avaliação

Sistemas de recomendação
• Divido em duas categorias:
• Avaliações de vizinhos (filtro colaborativo)
• Análise de vetor de atributos (filtro baseado em
conteúdo)
• Alguns autores incluem também:
• Filtro demográfico
• Filtro baseado em conhecimento

Filtro Colaborativo
• Utiliza apenas as avaliações dos usuários
(implícito ou explícito)
Usuário Item 1 Item 2 Item 3 Item 4 Item 5
Usuário X 4.5 3.0 1.0 2.0 ?
José 3.5 2.5 1.5 ? 4.5
Ana 5.0 ? 3.0 ? 3.0
Catarina 2.0 4.0 4.5 3.0 ?
Bruno ? ? 1.0 2.0 4.0
Janice 2.5 ? ? 3.0 5.0

Filtro Colaborativo
• Encontrar o(s) mais próximo(s)
Item 1
Item 2
Usuário X
José
Ana
Catarina
Janice

Filtro Colaborativo
• Em função de usuários
Ana
José
Item 2
Item 1
Item 5Item 3

Filtro Colaborativo
http://dataconomy.com/an-introduction-to-
recommendation-engines/

Filtro Colaborativo
•k-NN de itens ou usuários
•Medida de similaridade varia. Tradicional:
Correlação de Pearson
•Cálculos de previsão das avaliações que o
usuário dará para cada item varia (será
visto na seção Algoritmos)

Filtro baseado em conteúdo
http://dataconomy.com/an-introduction-to-
recommendation-engines/

• Utiliza apenas os atributos e a preferência do usuário
pelos mesmos
• Utilizado historicamente para documentos
• Term Frequency Inverse Document Frequency (TFIDF)
• Information Retrieval, motores de busca
• Modelo de Espaço Vetorial
• “Each dimension corresponds to a separate term. If a term
occurs in the document, its value in the vector is non-zero”
Wikipedia

• Atributos
• Filmes
• Atores
• Diretores
• Gêneros
• Tags
• Ano
• País
• Música
• Cantor(a)
• Componentes da banda
• Estilo(s)

• Domínio de filmes
Ação Comédi
a
Horror Roman
ce
Sci-Fi …
Toy Story 0 1 0 0 0
Alien 1 0 1 0 1
Titanic 1 0 0 1 0
Indiana Jones and the Raiders… 1 1 0 0 0
Pirates of the Caribean and the
Curse…
1 1 0 1 0
….

• Exemplo avaliações do usuário “Alice”
Ação Comédi
a
Horror Roman
ce
Sci-Fi …
Perfil do Usuário Alice +1 +2 -1 +2 -1
Filme Avaliação (0.5 – 5.0)
Toy Story 5.0
Alien 2.0
Titanic 4.5
Indiana Jones and the Raiders… 3.0
Pirates of the Caribean and the
Curse…
3.5

Jing, Y. et al. - “Visual Search at Pinterest”, 2015

Sistemas de Recomendação
•Outras técnicas
• Não-personalizado
• Ciente de contexto
• Demográficos
• Baseado em conhecimento
• Híbrido

Ciente de contexto
• Localização geográfica
• Infraestrutura (casa, apartamento, garagem)
• Humor
• Ocasião
• Condições climáticas
• Horário
• Iluminação
• Temperatura
• …

Demográfico
• Idade
• Gênero
• Etnia
• Orientação sexual
• Educação
• Tem crianças
• Cidade / Estado / País
• Renda
• Ocupação
• Religião
• …

Baseado em conhecimento
• O usuário sabe parte das especificações do que quer
• Geralmente, para itens que são comprados uma vez
ou poucas vezes
• Computador, carro, casa
• Tela 13” ou 14”
• Keyboard backlight
• 8 GB RAM
• SSD Hard Disk
• Peso máximo

Parte I
II. Exemplos no contexto MovieLens

• MovieLens (movielens.org) é mantido por
GroupLens Research Project (University of Minnesota)
• DataSets públicos
• Stable (benchmarks) [100K / 1M / 10M / 20M]
• Current (playground) [100K / 22M]
• MovieLens Current (2016-01) DataSet (Small)
• ≈ 700 users
• ≈ 10,000 movies
• ≈ 100,000 ratings
http://grouplens.org/datasets/movielens/

• A seguir serão apresentados algumas
análises de recomendações do MovieLens
para um usuário
• Abordagens
• Híbrido (preferência por grupos de itens
gerados por clustering)
• Filtro colaborativo Item-Item
• Feature learning através de fatorização
matricial usando SVD

• Porquê desta recomendação?
• Previsão é 5 estrelas
• Filtro colaborativo Item-Item

•Gêneros: Adventure, Family, Fantasy

• Preferências

•Gêneros “History”, “Western” ou “Crime”
seriam mais apropriados
•Mas neste caso está sendo utilizado
filtro colaborativo item-item
•Que representa as preferências gerais
de todos os outros usuários que
avaliaram os filmes
•Quais itens similares o usuário avaliou?

•Pensando bem: muda a avaliação de
“Raiders of the lost ark” de 5 para 4
estrelas.

Ainda recomendado, mas houve queda
de 4.87 para 4.73 na previsão
(apenas mudando um pouco a avaliação de 1 filme)

•Lembrando que filtro colaborativo ignora
features, então o filme seria
recomendado mesmo que o sistema
pudesse inferir que o usuário não gosta
do gênero Romance

•Trocando o algoritmo para: Simon
Funk’s SVD
• Comprime os dados de avaliações em
fatores que capturam as preferências
essenciais dos usuários
http://sifter.org/~simon/journal/20061211.html

• Preferências do usuário

Avaliações para filmes deste diretor

Avaliações para filmes do ator principal

Al Pacino
Coppola
Gêneros
•“The Godfather: Part II” parece ser uma
boa recomendação

•Outra recomendação
•Ainda usando Simon Funk SVD

• Não tem os gêneros favoritos do usuário
(Adventure, Fantasy, Animation)
• Não foi avaliado nada deste diretor nem do
elenco
• Então, porquê esta recomendação?

•Não tem os gêneros favoritos do usuário
(Adventure, Fantasy, Animation)
•Não foi avaliado nada deste diretor nem
do elenco
•Então, porquê esta recomendação?
•Existem outras features

•Foi traduzido para a língua Japonesa
•Inclui 5 tags marcadas com sentimento
positivo
•Tem boas avaliações

As tags do filme recomendado

Tags utilizadas pelo usuário em outros filmes,
indicando sentimento positivo

Avaliados pelo usuário que foram traduzidos
para a língua Japonesa

http://www.huffingtonpost.com/2013/08/21/netflix-my-
list_n_3790472.html

• Features no MovieLens
• Gêneros
• Ano
• Línguas
• Diretores
• Atores
• Wish List
• Tags

• Limites de Data Mining / Machine Learning:
como ir além dos padrões e capturar a
complexidade das necessidades humanas?
• A seguir exemplos hipotéticos

Avaliações do Usuário “Alice”

Previsões para o usuário “Alice”

•As previsões de avaliações resultariam
em um ranking ordenado de forma
decrescente o que significa que o usuário
provavelmente iria selecionar o seguinte
item:

•Mas, na maior parte do tempo em que
consome filmes, o usuário está cansado
de um dia corrido, e quer relaxar
•Então, a escolha é:

•Outro exemplo
•O usuário avalia ao máximo os seguintes
filmes

•Um algoritmo inspirado em filtro
baseado em conteúdo poderá detectar
que este usuário gosta de:
• Filmes aonde Silvester Stallone é o ator
principal
• Filmes do gênero ação

•Portanto, um filme de ação estrelando
Silvester Stallone seria muito bom para
este usuário, certo?
•Então, eis a recomendação

•Usando filtro colaborativo o resultado
poderia ter sido diferente
•Ou ainda, usando apenas a informação da
avaliação disponível para este filme

• Filtro baseado em conteúdo elimina o cold-start
para itens, mas nem sempre captura
adequadamente as preferências do usuário
• Filtro colaborativo é um modelo fácil de replicar
para qualquer domínio, mas ignora as features,
o que pode favorecer itens populares
• Preferências por features podem ser induzidas
através das avaliações

Sistemas de Recomendação: Uma visão geral concisa (Parte 1

Sistemas de Recomendação: Uma visão geral concisa (Parte 1

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Sistemas de Recomendação: Uma visão geral concisa (Parte 1

Semelhante a Sistemas de Recomendação: Uma visão geral concisa (Parte 1 (20)

Mais de Ralph Rassweiler

Mais de Ralph Rassweiler (8)

Sistemas de Recomendação: Uma visão geral concisa (Parte 1