Sistemas de Recomendação: Conceitos, Técnicas, Ferramentas e Aplicações

Introdu¸cão
Conceitos e Aplica¸cões
Técnicas e Ferramentas
Desafios e Tendências
O que temos feito?
TIPS - GRUPO DE TECNOLOGIAS INTELIGENTES
PERSONALIZADAS E SOCIAIS
Sistemas de Recomenda¸cão:
Conceitos, Técnicas, Ferramentas e Aplica¸cões
Jonathas Magalhães
UFCG
jonathas@copin.ufcg.edu.br
Magalhães, J.J. CAIITE 2014 1

Introdu¸cão
O que temos feito?
Sumário
1 Introdu¸cão
2 Conceitos e Aplica¸cões
3 Técnicas e Ferramentas
4 Desafios e Tendências
5 O que temos feito?

Introdu¸cão
O que temos feito?
Sobrecarga de Informa¸cão
Sugestão de Itens
Descoberta de Padrões
Problema da Sobrecarga de Informa¸cão

Introdu¸cão
O que temos feito?
Sugestão de Itens
Problema da Sobrecarga de Informa¸cão
Advento da Web 2.0;
Usuários passaram de consumidores para produtores;
Volume de itens cresceu astronomicamente;
Dificuldade em encontrar itens relevantes em tempo hábil.

Introdu¸c˜ao
O que temos feito?
Sugest˜ao de Itens
Vida em Sociedade
As pessoas vivem em sociedade.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Pessoas pedem Sugestões
As pessoas costumam pedir conselhos sobre diversos assuntos.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Sugestão de Música
Diz um bom álbum a´ı.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Sugestão de Leitura
Diz um bom livro a´ı.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Modelar o Comportamento
As pessoas seguem padrões.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Padrão Aliment´ıcio
Alimenta¸cão.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Padrão de Lazer
Viagens.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Intui¸cão
Estamos enfrentando a sobrecarga de informa¸cão;
As pessoas seguem padrões;
As pessoas pedem sugestões.

Introdu¸cão
O que temos feito?
Sugestão de Itens
Intui¸cão
Então, por que não unir as duas coisas para combater o
problema?
Podemos aprender os padrões das pessoas para poder sugerir
novos itens.

Introdu¸cão
O que temos feito?
Tarefa de um Sistema de Recomenda¸cão
Funcionamento
Conceitos Básicos
Apresentando a Recomenda¸cão
Aplica¸cões
Sistemas de Recomenda¸cão
Sistemas de Recomenda¸cão podem amenizar o problema da
sobrecarga de informa¸cão;
Podem ajudar os usuários a encontrar itens relevantes.

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Funcionamento Básico

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Conceitos Básicos
Avalia¸cão (Rating) – expressão da preferência;
Avalia¸cão expl´ıcita (Explicit rating) – direto do usuário;
Avalia¸cão impl´ıcita (Implicit rating) – inferida pela atividade do
usuário.
Perfil de usuário (User profile) – representa as preferências do
usuário.
Perfil expl´ıcito (Explicit profile) – direto do usuário;
Perfil impl´ıcito (Implicit profile) – inferido pela atividade do
usuário.

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Conceitos Básicos
Predi¸cão (Prediction) – estimativa da preferência;
Recomenda¸cão (Recommendation) – sele¸cão itens para o usuário;
Conteúdo (Content) – atributos, texto, etc.;
Colaborativo (Collaborative) – utilizar dados de outros usuários;
Personalizado (Personalized) – recomenda¸cão muda de acordo
com o perfil de usuário.

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Interfaces de Recomenda¸cão
Listas de sugestões, “top-n”, ofertas e promo¸cões.
Interfaces de Predi¸cão
Avalia¸cão de candidatos, predi¸cão de avalia¸cão.

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Amazon

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Submarino

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
Movielens

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
YouTube

Introdu¸cão
O que temos feito?
Funcionamento
Conceitos Básicos
Aplica¸cões
RecSalt

Introdu¸cão
O que temos feito?
Filtragem Colaborativa
Filtragem Baseada em Conteúdo
Avalia¸cão de Sistemas de Recomenda¸cão
Ferramentas para Sistemas de Recomenda¸cão
Classifica¸cão de Sistemas de Recomenda¸cão
Os Sistemas de Recomenda¸cão podem ser classificados em:
Filtragem Colaborativa;
Filtragem Baseada em Conteúdo;
Abordagens H´ıbridas.

Introdu¸cão
O que temos feito?
O sistema identifica usuários com gostos similares ao usuário
ativo e recomenda os itens que eles gostaram.

Introdu¸c˜ao
O que temos feito?
Table: Exemplo de uma matriz R|U|×|D| de avalia¸c˜oes de um SR.
R|U|×|D| d1 d2 d3 d4 ... d|D|
u1 2 3 ∅ ∅ ... 4
u2 1 ∅ 2 ∅ ... 5
... ... ... ... ... ... ...
u|U| ∅ 1 ∅ 3 ... 2

Introdu¸cão
O que temos feito?
Existem dois tipos de Filtragem Colaborativa:
Baseados em memória;
Ex.: Algoritmo baseado em vizinhan¸ca.
Baseados em modelo.
Ex.: Fatora¸cão de Matrizes.

Introdu¸cão
O que temos feito?
Algoritmo Baseado em Vizinhan¸ca
Passo 1: Calcular a similaridade do usuário ativo em rela¸cão aos
outros usuários.
Nesse sentido pode ser utilizada a similaridade do cosseno:
sim(u, v) = cos(u, v) =
u · v
u × v
=
|D|
i=1 ru,i rv,i
|D|
i=1 r2
u,i
|D|
i=1 r2
v,i
;
(1)
· denota a norma Euclidiana padrão;
cos(u, v) retorna um número real no intervalo [0, 1].

Introdu¸cão
O que temos feito?
Passo 2: Selecionar o subconjunto de usuários que será utilizado como
conjunto preditor.
Vu será composto pelos k vizinhos mais próximos ao usuário
ativo u:
Vu =
k
argmax
v∈U−{u}
sim(u, v), (2)
sim(u, v) é a fun¸cão de similaridade apresentada na Eq. 1.

Introdu¸cão
O que temos feito?
Passo 3: Computar a predi¸cão baseando-se numa combina¸cão das
avalia¸cões do conjunto preditor.
Nesse intuito pode ser utilizada a média das avalia¸cões do
conjunto Vu:
util(u, d) =
1
|Vu|
v∈Vu
r(v, d). (3)

Introdu¸cão
O que temos feito?
util(Jonathas, Estrelas) =?
Usuários Vingadores Rambo Karatê Eclipse Estrelas
Jonathas 4 4 5 1 ∅
Rodolfo ∅ 1 3 5 5
Rômulo 3 4 ∅ 1 2
Elthon 4 5 3 ∅ 1
Calculando similaridade, temos que:
sim(Jonathas, Rodolfo) = cos((4, 5, 1), (1, 3, 5)) = 0.62;
sim(Jonathas, Rômulo) = cos((4, 4, 1), (3, 3, 1)) = 0.99;
sim(Jonathas, Elthon) = cos((4, 4, 5), (4, 5, 3)) = 0.95.

Introdu¸cão
O que temos feito?
util(Jonathas, Estrelas) = 1.5
Usuários Vingadores Rambo Karatê Eclipse Estrelas
Jonathas 4 4 5 1 ∅
Rodolfo ∅ 1 3 5 5
Rômulo 3 4 ∅ 1 2
Elthon 4 5 3 ∅ 1
Para k = 2, VJonathas = {Rômulo, Elthon}, então:
util(Jonathas, Estrelas) = (1+2)/2 = 1.5

Introdu¸cão
O que temos feito?
Limita¸cões da Filtragem Colaborativa
Problema do novo item;
Avalia¸cões esparsas;
Preferências peculiares.

Introdu¸cão
O que temos feito?
Recomenda-se itens baseando-se no conteúdo previamente
analisado pelo usuário;
Um fator primordial é a representa¸cão do espa¸co de itens e perfis
de usuário;
A estratégia mais utilizada é o modelo vetorial.

Introdu¸cão
O que temos feito?
Modelo Vetorial
Modelo herdado da área de Recupera¸cão de Informa¸cão;
Cada documento é representado por um vetor de pesos;
Cada peso desse vetor será referente à importância de um termo;
A importância é computada por meio de análise textual.

Introdu¸cão
O que temos feito?
Modelo Vetorial
Dado um conjunto de termos T = {t1, ..., t|T|};
Dado um conjunto de itens D = {d1, ..., d|D|};
Cada item d ∈ D é representado pelo vetor d = (wd,1, ..., wd,|T|);
O peso wd,t significa a importância do termo t ∈ T para o item
d ∈ D.

Introdu¸cão
O que temos feito?
TF-IDF
TF-IDF Frequência do Termo/Frequência Inversa do Documento
(do inglês, Term Frequency/Inverse Document Frequency;
TF-IDF é uma das formas mais conhecidas de computar o peso
para indexar os documentos;

Introdu¸cão
O que temos feito?
Calculando o TF-IDF
Primeiro, calcula-se o TF:
TF(d, t) =
q(d, t)
q(d, T)
, (4)
q(d, t) é a quantidade de vezes que o termo t aparece no item d;
q(d, T) representa o número total de termos presentes em d

Introdu¸c˜ao
O que temos feito?
Calculando o TF-IDF
Segundo, calcula-se o IDF:
IDF(D, t) = log
|D|
|Dt|
, (5)
Dt
⊆ D ´e o conjunto de itens cujo termo t ocorre pelo menos
uma vez.

Introdu¸cão
O que temos feito?
Calculando o TF-IDF
Por fim, o TF-IDF(D, d, t) é dado pelo produto entre o TF e o
IDF:
wd,t = TF-IDF(D, d, t) = TF(d, t) ∗ IDF(D, t). (6)

Introdu¸cão
O que temos feito?
Perfil de Usuário
O perfil de usuário é obtido por meio de heur´ısticas que analisam
os itens previamente avaliados pelo usuário;
O perfil resultante é representado por:
pu = (wu,1, ..., wu,|T|), (7)
wu,i indica a importância do termo ti para o usuário u.

Introdu¸cão
O que temos feito?
Similaridade entre Usuários e Itens
Perfis dos documentos e usuário computados;
A utilidade de um documento d para o usuário u é computada
pela similaridade entre o perfil do documento d e o perfil do
usuário u
Geralmente é utilizada a similaridade do cosseno Eq. 1.

Introdu¸cão
O que temos feito?
Filmes Porrada A¸cão Aventura Romance Lobos
Vingadores 1 1 1 0 0
Rambo 1 1 1 0 0
Karatê 1 1 1 0 0
Estrelas 0 0 0 1 0
Eclipse 0 0 0 1 1
Lua 0 0 0 1 1
Supondo que assisti:
Rambo:4;
Eclipse:1.

Introdu¸cão
O que temos feito?
Usuário Porrada A¸cão Aventura Romance Lobos
Jonathas 1 1 1 0.25 0.25
Filmes Porrada A¸cão Aventura Romance Lobos sim
Vingadores 1 1 1 0 0 0.97
Rambo 1 1 1 0 0 –
Karatê 1 1 1 0 0 0.95
Estrelas 0 0 0 1 0 0.14
Eclipse 0 0 0 1 1 –
Lua 0 0 0 1 1 0.20
Recomendados:
Vingadores e Karatê.

Introdu¸cão
O que temos feito?
Limita¸cões da Filtragem Baseada em Conteúdo
Análise de conteúdo limitada;
Super-especializa¸cão;
O problema do novo usuário;
Atualiza¸cão de perfil.

Introdu¸cão
O que temos feito?
Precisão e Cobertura
Precisão e Cobertura
Cobertura = A/(A+D);
Precisão = A/(A+B).

Introdu¸c˜ao
O que temos feito?
Lucene – http://lucene.apache.org/core/;
Natural Language Toolkit (NLTK) – http://www.nltk.org/;
The LensKit Recommender Toolkit (LensKit) –
http://lenskit.grouplens.org/;
Apache Mahout – https://mahout.apache.org/.

Introdu¸cão
O que temos feito?
Desafios
Coletar opiniões e dados de experiência;
Descobrir dados relevantes para um determinado fim;
Apresentar os dados de forma útil.

Introdu¸cão
O que temos feito?
Tendências
Utiliza¸cão de multi-critérios;
Integra¸cão de múltiplas fontes de dados;
Redu¸cão de Dimensionalidade;
Combina¸cão de múltiplos Sistemas de Recomenda¸cão;
Utiliza¸cão de informa¸cão social;
Recomenda¸cão de novidade.

Introdu¸cão
O que temos feito?
Recomenda¸cão de Artigos Cient´ıficos
O que temos feito?
Recomenda¸cão de Artigos Cient´ıficos;
Recomenda¸cão de Especialistas;
Participa¸cão no 2014 RecSysChallenge.

Introdu¸cão
O que temos feito?
Desenvolvemos um Sistema de Recomenda¸cão Personalizada de
Artigos Cient´ıficos;
O Sistema de Recomenda¸cão constrói o perfil de usuário
utilizando informa¸cão do:
Lattes;
Mendeley;
LinkedIn.

Introdu¸c˜ao
O que temos feito?
O que ´e Lattes?

Introdu¸cão
O que temos feito?
O que é Capturado de cada Fonte?
Lattes
Resumé;
Forma¸cão Acadêmica;
Projetos;
Produ¸cão Bibliográfica.
Mendeley
Artigos na livraria do usuário.
LinkedIn
Habilidades.

Introdu¸cão
O que temos feito?
RecSalt - www.recsalt.com
RecSalt é uma ferramenta que ajuda aos seus usuários
recomendando artigos;
Foi desenvolvida utilizando o framework Django;
Avalia¸cão realizada com 30 usuários e 50 artigos;
Foram obtidos bons resultados com o Lattes;
A abordagem de integra¸cão de dados do Mendeley e LinkedIn
não obteve bons resultados.

Introdu¸c˜ao
O que temos feito?
RecSalt - www.recsalt.com

Introdu¸cão
O que temos feito?
Desafios
Como validar em larga escala?
Como expandir nossa abordagem para pesquisadores não
Brasileiros?
Como incorporar dados sobre o artigo no modelo?
Como lidar com questões de desempenho?

Introdu¸cão
O que temos feito?
Próximos Passos
Novidade na recomenda¸cão;
Incorporar informa¸cão social.

Introdu¸c˜ao
O que temos feito?
Quero Mais!!!

Introdu¸c˜ao
O que temos feito?
Grupos de Pesquisa
TIPS – UFAL;
LIA, SIMBAD – UFCG;
MADMUC – Saskatchewan - Canad´a;
GroupLens – Minnesota - EUA;
PAWS – Pittsburgh - EUA.

Introdu¸c˜ao
O que temos feito?
Artigos
Adomavicius e Tuzhilin 2005 – Toward the Next Generation of
Recommender Systems: A Survey of the State-of-the-art and
Possible Extensions;
Bobadilla et al. 2013 – Recommender Systems Survey.

Introdu¸c˜ao
O que temos feito?
Conferˆencias
RecSys – ACM Recommender Systems;
UMAP – International Conference on User Modeling, Adaption
and Personalization;
CSCW – ACM Conference on Computer Supported Cooperative
Work;
ACM/WWW – International World Wide Web Conference;
ICCSA – International Conference on Computational Science and
its Applications.

Introdu¸c˜ao
O que temos feito?
Cursos
Introduction to Recommender Systems
https://www.coursera.org/course/recsys.

Introdu¸c˜ao
O que temos feito?
Obrigado!!

Sistemas de Recomendação: Conceitos, Técnicas, Ferramentas e Aplicações

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Sistemas de Recomendação: Conceitos, Técnicas, Ferramentas e Aplicações

Semelhante a Sistemas de Recomendação: Conceitos, Técnicas, Ferramentas e Aplicações (20)

Mais de Jonathas Magalhães

Mais de Jonathas Magalhães (13)

Sistemas de Recomendação: Conceitos, Técnicas, Ferramentas e Aplicações