.

1. Engajando usuários nos portais de conteúdo
digital da Globo através de Sistemas de
Recomendação
Joel Pinho Lucas
26/08/2021

2. 1
2
3
4
Contexto de SR na Globo
Famílias de Algoritmos Utilizados em SR
Desafios e estratégias
Como avaliar e experimentar?
ROTEIRO
2

3. Contexto de
Recomendações
na Globo
1

4. 100 Milhões de Brasileiros
todos os dias
4

5. Felipe Furtado
Gestor Ágil
Ihan Bender
Dev
Laís Machado
Dev
Julia Ferreira
DS
quem somos
Luis Berns
UX
Felipe Ferreira
ML
Felipe Ramos
ML
Letícia Figueiredo
DS
Rafael Martins
PO
James Silva
DevOps
Igor Moura
Dev
Joel Lucas
ML
Kiki Santos
DBA
Thiago Ulle
DBA
Danilo Nunes
Dev
Samira Ribeiro
PO
Caio Monteiro
DevOps
Maria Felgas (Bibs)
DS
5

6. sinais de
consumo
de usuários
documentos
e metadados
globoesporte
g1
globoplay
6

7. requisições por segundo
48k
5 bilhões
eventos diários
2 petabytes
data lake
1.000 jobs
processamento diário
150k
novos conteúdos mensais
7

8. Recomendação baseada no Item
✓ Possui um conteúdo base para a recomendação
✓ Identifica similaridades no conteúdo
✓ Identifica correlações de consumo com o item base
✓ Permite recirculação de conteúdo
8

9. Recomendação baseada no Usuário
✓ Não possui conteúdo base para a
recomendação
✓ Considera histórico de navegação do
usuário
✓ Identifica correlações de consumo
✓ Permite recirculação de conteúdo
9

10. Famílias de Algoritmos
de Métodos Utilizados
em Sistemas de
Recomendação
2
10

11. ✓ Conteúdos mais visitados
✓ Podem ser segmentados (ex: últimas 24h, por
região, por time, etc.)
✓ Pouca personalização
✓ Abordagem mais rápida (real-time)
Top-based
11

12. Content-Based
✓ Se baseia na semelhança do conteúdo
✓ Pode fazer uso do histórico de navegação do
usuário
✓ Foco na representação do conteúdo
✓ Pode fazer uso de informação semântica
12

13. banana
laranja
morango
banana
morango
banana
morango
laranja
2
2
1
documento
original termos
extraídos
frequência
no documento
uva
banana
morango
4
2
1
morango
laranja
banana
3
2
1
limão
uva
laranja
3
3
1
cálculo de
similaridade
2764
1736
3427
#1
#2
#3
…
base de dados
de documentos
docID: 1736
docID: 2764
docID: 3427
…
Content-Based
13

14. Content-Based
✓ Geralmente feito em 2 etapas:
1. Extração de features: tf-idf, doc2vec, abordagem
semântica, features multi-modais**, etc.
2. Cálculo de similaridade:
**RecSys ’20: Investigating Multimodal Features for Video Recommendations
at Globoplay [Felipe Ferreira, et al.] 14

15. ✓ Não necessita de conteúdo base para a
recomendação
✓ Considera histórico de navegação do usuário
✓ Identifica correlações de consumo
✓ Permite recirculação de conteúdo
Filtragem Colaborativa
15

16. Filtragem Colaborativa
16

17. Filtragem Colaborativa
17

18. ✓ Geralmente feito em 2 etapas:
1. Definição e cálculo das preferências dos usuários
2. Algoritmo para selecionar (ou prever) items a
recomendar: ALS, covisitation, etc.
Filtragem Colaborativa
18

19. Preferências Explícitas
Preferências Implícitas
✓ Utilizadas em e-commerce como reviews
✓ Menor custo computacional
✓ Podem apresentar viés**:
✓ Mais custosas
✓ Baseadas em sinais de navegação:
✓ Clique
✓ Porcentagem de Scroll
✓ Completude de vídeo
✓ Tempo de sessão
✓ …
**Telefonica Research: I"I Like It... I Like It Not: Evaluating User Ratings Noise in Recommender
Systems User Modeling, Adaptation, and Personalization” [Xavier Amatriain, et al.] 19

20. Desafios e
Estratégias
3
20

21. Desafios
✓ Escalabilidade
✓ Sparsity
✓ Contexto
✓ Cold-start de item
✓ Cold-start de usuário
21

22. Como desenvolver
recomendações
consistentes?
22

23. Misturar famílias de algoritmos ampliam
as estratégias de recomendação!
23

24. top
✓ Contorna cold-start de usuário
✓ Lida bem com itens populares
e breaking news
✓ Near real-itme (NRT)
✓ Conteúdo não personalizado
content-based
✓ Contorna cold-start de usuário
✓ Não lida com popularidade de itens
✓ Entrega itens muito parecidos
(bolha)
filtragem
collaborativa
✓ Conteúdo personalizado
✓ Lida bem com itens populares
✓ Custoso e mais lento
✓ Sensível aos cold-start
24

25. content-based (item)
collaborative filtering (usuário)
top
Recomendação Híbrida
4
3
2
peso resultado score
algoritmo
score final
25

26. content-based (item)
collaborative filtering (usuário)
top
doc 1
doc 2
doc 3
4
3
2
4
2
1
peso resultado score
algoritmo score final
Recomendação Híbrida
26

27. content-based (item)
collaborative filtering (usuário)
top
doc 1
doc 2
doc 3
4
3
2
4
2
1
16
8
4
peso resultado score
algoritmo score final
Recomendação Híbrida
27

28. content-based (item)
collaborative filtering (usuário)
top
doc 1
doc 2
doc 3
4
3
2
4
2
1
16
8
4
doc 4
doc 5
doc 6
3
1
1
9
3
3
doc 7
doc 8
doc 9
5
3
2
10
6
4
peso resultado score
algoritmo score final
Recomendação Híbrida
28

29. doc 1
doc 2
doc 3
16
8
4
doc 4
doc 5
doc 6
9
3
3
doc 7
doc 8
doc 9
10
6
4
content-based (item)
collaborative filtering (usuário)
top
Recomendação Híbrida
29

30. Como avaliar e
experimentar?
4
30

31. Conversões
Impressão globoplay
Métricas online
31

32. ✓ CTR (click through rate)
✓ Taxa de visualização de páginas
✓ Taxa de visualização de vídeos
✓ Sessões por usuário
✓ …
Métricas online
32

33. formular
hipóteses
analisar
experimentar
Experimentação
33

34. Testes A/B
Controle
V a r i a ç ã o -
Nova Hipótese
80%
20%
Taxa de conversão
2.5%
Taxa de conversão
8.2%
34

35. @vempraglobo
#vempraglobo
Oportunidades na área de Dados
Obrigado!
https://www.linkedin.com/in/joelplucas/
@joelplucas
joelpl@gmail.com
35