O documento discute diferentes algoritmos e métricas para sistemas de recomendação de conteúdo. Aborda coleta de dados de usuários, processamento paralelo com Spark, algoritmos baseados em conteúdo, usuário e cold start, validação com cross-validation e métricas como root mean square error e F-measure. Apresenta resultados de sistemas de recomendação em sites como Globo Esporte, GShow, TechTudo e GlobosatPlay.

1. Recomendação

2. Recomendação de conteúdo

3. Em 2010...

4. Por dentro

5. Coleta de atividades antes
página visitada Papalog
página visitada Papalog
página visitada Papalog

6. Coleta de atividades atual
página visitada
tempo assistindo video
compartilhamento
comentário
tempo lendo matéria
Horizon
Gateway
porcentagem de scroll

7. Parquet e Spark SQL
df.groupBy(df("user"), df("object"))
.agg(first("user"), first("object"), max("scroll"))
.where(df("scroll") > 50)

8. Processamento paralelo
yarn

9. Tipos de algoritmos
● Content based
● User based
● Cold start

10. Content based

11. Preferências do usuário

12. TF-IDF
Importância do termo no documento
Quão incomum é o termo no acervo

13. Entidades semânticas

14. Encontrando a notícia certa
+BBB
+Edredon
Notícia c
Notícia B
Notícia A
Usuário

15. User based

16. Collaborative filtering

17. Matriz de preferências

18. Preferências implícitas
Porcentagem de scroll
Temo de página visivel

19. Matriz de preferências implícitas
0,9 0,8
0,8

20. Fatores latentes

21. Previsão n-dimensional
Duas dimensões:
f(x) = a + bx
Três dimensões:
f(x) = a + bx'1 + cx'2
N dimensões:
f(x) = a + bx'1 + cx'1 + … nx'n

22. Validação

23. Cross validation

24. K-fold cross validation

25. Força bruta
for (maxIter <- Array(5, 10, 15, 20)) {
for (feature <- Array(10, 20, 30, 40)) {
for (alpha <- Array(0.01, 0.1, 0, 1, 10, 100)) {
for (regParam <- Array(0.01, 0.1, 0, 1, 10, 100)) {

26. Root mean square error

27. Precision and recall
Quanto dos documentos recomendados acertamos
Quanto dos documentos relevantes acertamos

28. F-measure

29. Métricas por algoritmo

30. Baseada em testes AB

31. Resultados

32. Globo Esporte

33. BUG :(
Globo Esporte

34. GShow

35. 75% a mais de
conversão em mobile
que outras ofertas
automáticas
173% a mais de
conversão em
desktop que outras
ofertas automáticas
GShow

36. TechTudo

37. TechTudo
+195%
na partipação na
retenção do usuário
em 2014

38. TechTudo: Home

39. TechTudo: Home
50% a mais de
conversão em
mobile que outras
ofertas automáticas
32% a mais de
conversão em
desktop que outras
ofertas automáticas

40. Globosatplay

41. GlobosatPlay
45% de melhoria
de conversão

42. @timotta