Excelsior - Perfil usando Big Data e Web Semântica

1.989 visualizações

Publicada em

Apresentação sobre como conseguimos criar um perfil sobre a navegação dos usuários usando as técnicas de Big Data e de Web Semântica com tempos sempre na casa dos ms.

Publicada em: Tecnologia
0 comentários
3 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.989
No SlideShare
0
A partir de incorporações
0
Número de incorporações
945
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Excelsior - Perfil usando Big Data e Web Semântica

  1. 1. Perfil do usuário em realtime Big Data + Web Semântica @renan_oliveira
  2. 2. Como aprendemos os interesses dos usuários dado a sua navegação
  3. 3. Big Data na globo.com • 3 bilhões de eventos diários • 50 milhões de usuários únicos por mês • Isso é só o começo
  4. 4. Frentes de ação • Recomendação • Analytics • Conhecimento sobre o usuário
  5. 5. Frentes de ação • Recomendação • Analytics • Conhecimento sobre o usuário @cirocavani @timotta WIP
  6. 6. Spreading Activation
  7. 7. *Quando usuário leu alguma matéria sobre seu time teste off-line com 3.5M de usuários da base 82% deacerto 95% deacertonas3 primeirasposições Qual o seu time?
  8. 8. processor
  9. 9. api userId: 123 123: [(“uriNeymar”, 123456)] 123: [(“uriNeymar”, 123456)]
  10. 10. api { ":Neymar":{ "class":"atleta", "graph":"esportes", "step1":[ ":Barcelona" ], "step2":[ ":Espanha" ] } } :Neymar rdfs:type :Atleta; :atua_pelo :Barcelona. :Barcelona :localizacao :Espanha.
  11. 11. +Big Data • 2 bilhões de eventos salvos em 3 meses • 500 regiões no HBase • 30 mil requests/min no Excelsior API • +120GB em memória no redis e guava • P75 de 1ms em média no Excelsior API
  12. 12. +Web Semântica • + 300 classes na ontologia • + 6 milhões de instâncias • + 55 milhões de triplas • 99% das matérias anotadas atualmente • Banco de triplas (grafos e inferência)
  13. 13. Métricas
  14. 14. teste com 500M de impressões +48.1% +48.4% comspreading activation deconversão Resultado do teste A/B
  15. 15. Obrigado renanoliveira.net

×