O documento discute a experiência de Renan Oliveira como engenheiro de dados na Globo.com entre 2006 e 2012, abordando desafios como a gestão de 3 bilhões de eventos diários e as limitadas soluções anteriores. Ele destaca a importância de habilidades em ciência de dados, análise estatística e machine learning para enfrentar esses novos problemas. A apresentação também menciona o uso de diversas tecnologias e algoritmos para otimização de desempenho e recomendação.

1. ou como aprendi a viver sem cache
FROM DEV TO DATA ENGINEER

2. ENGENHEIRO DE
DADOS NA
GLOBO.COM
@renan_oliveira

3. entre 2006 e 2012
HÁ MUITO TEMPO

9. ou como aprendi a viver sem cache
E AGORA, JOSÉ?

10. 3bilhõesde eventos diários
E V E N T O S
2milhõesde conexões simultâneas
70milhõesde usuários únicos por mês
100mil novos conteúdos por mês

11. event tracker by globo.com

12. Para esses novos problemas os velhos truques não serviam

13. D A T A S C I E N C E S K I L L S

14. STUDY HARD

15. ESTATÍSTICA

16. PUBLICAÇÕES

17. MACHINE LEARNING

18. INFRAESTRUTURA

21. 100milrecomendações por minuto
15msde tempo de resposta(p50)
+20algoritmosdiferentes
Scalaparacomo principal linguagem
Multi-DB (HBase + Solr + Parquet)
R E C O M E N D A Ç Ã O

22. +1000testes AB
E X P E R I M E N T A Ç Ã O
5msde tempo de resposta (p50)
DataCulture
Visuaise deAlgoritmos
Scala- VM de < 2GB

23. o que tá nascendo por aí?!
NOVOS HORIZONTES

26. OBRIGADO!
@renan_oliveira
www.renanoliveira.net
http://slideshare.net/renangpa