De Desenvolvedor para Engenheiro de dados; Como fui de um dev web tradicional, usando uma stack para um mundo aonde vivo sem cache aonde o usuário é visto como único. Como as tecnologias evoluíram e como essa background me ajuda no dia-a-dia

1. ou como aprendi a viver sem cache
FROM DEV TO DATA ENGINEER

2. ENGENHEIRO DE
DADOS NA
GLOBO.COM
@renan_oliveira

3. entre 2006 e 2012
HÁ MUITO TEMPO

9. ou como aprendi a viver sem cache
E AGORA, JOSÉ?

10. 3bilhõesde eventos diários
E V E N T O S
2milhõesde conexões simultâneas
70milhõesde usuários únicos por mês
100mil novos conteúdos por mês

11. event tracker by globo.com

12. Para esses novos problemas os velhos truques não serviam

13. D A T A S C I E N C E S K I L L S

14. STUDY HARD

15. ESTATÍSTICA

16. PUBLICAÇÕES

17. MACHINE LEARNING

18. INFRAESTRUTURA

21. 100milrecomendações por minuto
15msde tempo de resposta(p50)
+20algoritmosdiferentes
Scalaparacomo principal linguagem
Multi-DB (HBase + Solr + Parquet)
R E C O M E N D A Ç Ã O

22. +1000testes AB
E X P E R I M E N T A Ç Ã O
5msde tempo de resposta (p50)
DataCulture
Visuaise deAlgoritmos
Scala- VM de < 2GB

23. o que tá nascendo por aí?!
NOVOS HORIZONTES

26. OBRIGADO!
@renan_oliveira
www.renanoliveira.net
http://slideshare.net/renangpa