Big Data na globo.com

3.569 visualizações

Publicada em

Palestra descrevendo como Big Data é usado na globo.com

Publicada em: Tecnologia
4 comentários
18 gostaram
Estatísticas
Notas
  • @Thiago Souza Coelho desculpa pela demora pra te responder. :( Infelizmente não tenho ela gravada, mas se vc tiver alguma dúvida me procura em "alguma rede social" se vc tiver twitter o meu é renan_oliveira lá a gente pode trocar uma ideia sobre o assunto :D
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Renann, gostei muito dos slides e fiquei bem curioso pra assistir essa apresentação. Tem em video compartilhada em algum lugar?
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • @fabiodesalles obrigado feedback. Queria te dizer que o foco nessa apresentação nem foi colocar o software no centro, poderia até colocar para outro público, mas o meu foco nessa apresentação era mostrar o case como usando as tecnologias chegamos a um resultado. Sobre Buzzwords a apresentação foi feita para ser apresentada, com isso ela não tem muito texto para a atenção do público ser voltada para o apresentador e com isso eu peguei as palavras chaves (que você denominou de buzzwords), sobre o caso específico do Data Discovery é um exemplo de como com dados brutos podemos fazer analises e descobrir novos caminhos. A apresentação foi para mostrar que tudo que é feito tem que ser medido e temos que aprender com oq os dados nos mostram (A apresentação poderia ser muito mais sobre Lean do que sobre Big Data). Sobre isso não ser uma tecnologia nova, concordo plenamente, mas você a de convir de que é uma evolução, dado que o custo é menor a capacidade de storage é maior. E sobre fazer barulho para vender produto, a apresentação não estava para vender nenhum, dado que o cluster nosso é todo baseado em tecnologias open-sources (permitimos apenas integrações de soluções proprietárias a ele). Espero ter esclarecido, abraços.
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • A apresentação é interessante e bem-feita, mas falha ao colocar no centro o software e várias buzzwords vazias (Data Discovery, por exemplo.) O que alavanca resultados com dados, de qualquer tamanho, é a análise deles, não a infra na qual estão guardados. Análise de dados tem um nome há 30, quiçá 40 anos: Data Mining. Todo o restante é barulho para vender produto.
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
Sem downloads
Visualizações
Visualizações totais
3.569
No SlideShare
0
A partir de incorporações
0
Número de incorporações
949
Ações
Compartilhamentos
0
Downloads
0
Comentários
4
Gostaram
18
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Big Data na globo.com

  1. 1. Big Data na globo.com Como estamos revolucionando com dados o maior portal do Brasil @renan_oliveira
  2. 2. Como aprendemos os interesses dos usuários dado a sua navegação
  3. 3. Números • 3 bilhões de eventos diários • 50 milhões de usuários únicos por mês • +100 mil novos conteúdos por mês
  4. 4. Páginas personalizadas são mais atrativas para os usuários
  5. 5. Social News
  6. 6. 0 4 8 12 16 1 2 3 4 5 6 7 8 9 14.72 15.81 10.06 7.55 5.59 4.05 4.28 5.37 13.07 3.04 3.06 3.01 2.93 2.92 3 2.85 3.02 3.13 AllVisits Social News Users Métricas
  7. 7. Veracidade Variedade Valor Velocidade Volume
  8. 8. • Lambda: Streaming + Batch • APIs com tempo de resposta em ms • Ferramentas de analise de dados • Map Reduce está morto :) Arquitetura
  9. 9. Frentes de ação • Recomendação • Conhecimento sobre o usuário • Plataforma de dados
  10. 10. 13.2% feed editorial Maior diversidade feed recomendado 100% *matérias que foram para o feed
  11. 11. *Dados extraídos em novembro de 2015
  12. 12. *Dados extraídos em novembro de 2015
  13. 13. Algoritmos • Collaborative Filtering • Content-Based • ALS
  14. 14. Spreading Activation
  15. 15. *Quando usuário leu alguma matéria sobre seu time teste off-line com 3.5M de usuários da base 82% deacerto 95% deacertonas3 primeirasposições Qual o seu time?
  16. 16. teste com 500M de impressões +48.1% +48.4% comspreading activation deconversão Resultado do teste A/B *Dados extraídos em novembro de 2015
  17. 17. Data Culture
  18. 18. • Métricas por todo lado • Cálculo de engajamento • Business Intelligence Saindo da fronteira da área
  19. 19. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data…
  20. 20. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… Grafana
  21. 21. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… GrafanaJupyter
  22. 22. • Métricas das Aplicações • Exploration and Visualization • Data Discovery Data… GrafanaJupyter
  23. 23. Obrigado renanoliveira.net

×