Chaordic - BigData e MapReduce - Robson Motta

743 visualizações

Publicada em

Apresentação sobre Big Data e MapReduce feita pelo caórdico Robson Motta na abertura no evento Computer On The Beach 2014, em Floripa.

Publicada em: Internet
0 comentários
3 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
743
No SlideShare
0
A partir de incorporações
0
Número de incorporações
15
Ações
Compartilhamentos
0
Downloads
22
Comentários
0
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Chaordic - BigData e MapReduce - Robson Motta

  1. 1. Robson Motta | robson@chaordic.com.br Big Data e MapReduce Admirável mundo novo
  2. 2. Mais de 200 milhões page views mensais
  3. 3. 116 milhões de pedidos
  4. 4. 3 bilhões de visitas em produtos
  5. 5. 700 milhões de recomendações geradas diariamente
  6. 6. Como armazenar?
  7. 7. Como processar?
  8. 8. Como visualizar?
  9. 9. Como monitorar?
  10. 10. Sumário • A Chaordic • Chaordic + Big Data + Cloud • Dos eventos às recomendações • A vida não é bela: surgem os desafios • Visualizando e monitorando • Futuro?
  11. 11. + Como tudo começou
  12. 12. Como fazemos Como fazemos?
  13. 13. +
  14. 14. • Volume • Velocidade • Variedade
  15. 15. quantidade de dados tempo de processamento 2010 16 M eventos 3 dias
  16. 16. quantidade de dados tempo de processamento 2010 2014 16 M eventos 4500 M eventos3 dias
  17. 17. quantidade de dados tempo de processamento 2010 2014 16 M eventos 4500 M eventos3 dias 7 horas
  18. 18. Arquitetura Onsite DashboardEngine Mail Platform
  19. 19. Como armazenar? Node 1 Node 3 Node 2Node... "Batch" Cassandra Cluster Availability Zone - 2 Node 1 Node 3 Node 2Node... "Online" Cassandra Cluster Availability Zone - 1 Online Service Tier Batch Service Tier
  20. 20. Como processar? MapReduce Um novo paradigma que permite e facilita a implementação de algoritmos distribuídos
  21. 21. Data Robson Motta Raul Seixas Ed Motta Reginaldo Rossi Nelson Mandela Valentino Rossi Map Motta, 1 Seixas, 1 Motta, 1 Rossi, 1 Mandela, 1 Rossi, 1 Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Reduce Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Mandela, 1 Motta, 2 Rossi, 2 Seixas, 1 Como processar?
  22. 22. Data A - B Cadeira - D Cadeira - E Cadeira - E F - A Map A, (B, F) B, (A) Cadeira, (D, E, E) D, (Cadeira) E, (Cadeira,Cadeira) F, (A) Reduce A, [B, F] B, [A] Cadeira, [E, D] D, [Cadeira] E, [Cadeira] F, [A] Como processar?
  23. 23. Hadoop: HDFS e Hadoop MapReduce • Escalável • Custo reduzido • Flexível • Tolerante a falha Como processar?
  24. 24. Engine 3 Como processar? Engine Core Platform EC2 + EMR S3 Uploader 5 64 2 1
  25. 25. recomendações eventos
  26. 26. recomendações eventos pré processamento processamento pós processamento ● produtos vistos ● cliques ● pedidos etc.
  27. 27. • Itens muito populares • Eventos inesperados • Clientes diferentes • Sazonalidade • Ausência de eventos Desafios
  28. 28. Desafios
  29. 29. Desafios R$ 270,81 Usuário entrou na página para comprar a boneca... ...e sugerimos que ele levasse junto um pneu
  30. 30. Compras conjuntas? Desafios +
  31. 31. Compras conjuntas? Desafios + 31
  32. 32. Dados consistentes? Desafios +
  33. 33. Dados consistentes? Desafios +
  34. 34. Bot gerando eventos? Desafios +
  35. 35. Bot gerando eventos? Desafios +
  36. 36. Kit da própria loja? Desafios +
  37. 37. Desafios + Kit da própria loja?
  38. 38. Destaques simultâneos? Desafios +
  39. 39. Reduziram de preço? Desafios +
  40. 40. Reduziram de preço? Desafios + ...só o pneu
  41. 41. Quando reduziu? Desafios +
  42. 42. Quando reduziu? Desafios +
  43. 43. Conclusão... Desafios +
  44. 44. Promoção de pneu no dia das crianças Desafios +
  45. 45. Visualizando e monitorando
  46. 46. Visualizar e monitorar • Consultas em bases não relacionais • Acompanhamento de desempenho • Visualização de logs • Acompanhamento de custos
  47. 47. Visualizar
  48. 48. KINESIS STORM Real Time Big Data Processing Futuro
  49. 49. SHARK In Memory Big Data Processing Futuro
  50. 50. Robson Motta robson@chaordic.com.br
  51. 51. /chaordic.com.br

×