Transferir como PDF, PPTX
![Data
A - B
Cadeira - D
Cadeira - E
Cadeira - E
F - A
Map
A, (B, F)
B, (A)
Cadeira, (D, E, E)
D, (Cadeira)
E, (Cadeira,Cadeira)
F, (A)
Reduce
A, [B, F]
B, [A]
Cadeira, [E, D]
D, [Cadeira]
E, [Cadeira]
F, [A]
Como
processar?](https://image.slidesharecdn.com/chaordic-bigdataemapreduce-robsonmotta-140414135341-phpapp02/85/Chaordic-BigData-e-MapReduce-Robson-Motta-25-320.jpg)
Carregado porChaordic
Chaordic - BigData e MapReduce - Robson Motta
O documento discute como a Chaordic usa Big Data e MapReduce para processar grandes volumes de dados de eventos e gerar recomendações em tempo real. Apresenta os desafios de armazenar e processar bilhões de registros e eventos diariamente e como a empresa usa Hadoop e Cassandra para resolver esses desafios de forma escalável e tolerante a falhas.
Chaordic - BigData e MapReduce - Robson Motta
- 1. Robson Motta |robson@chaordic.com.br Big Data e MapReduce Admirável mundo novo
- 3. Mais de 200 milhões pageviews mensais
- 4.
- 5. 3 bilhões de visitas emprodutos
- 6. 700 milhões de recomendações geradasdiariamente
- 7.
- 8.
- 9.
- 10.
- 11. Sumário • A Chaordic •Chaordic + Big Data + Cloud • Dos eventos às recomendações • A vida não é bela: surgem os desafios • Visualizando e monitorando • Futuro?
- 13.
- 15.
- 16.
- 17. • Volume • Velocidade •Variedade
- 18. quantidade de dados tempo de processamento 2010 16M eventos 3 dias
- 19. quantidade de dados tempo de processamento 20102014 16 M eventos 4500 M eventos3 dias
- 20. quantidade de dados tempo de processamento 20102014 16 M eventos 4500 M eventos3 dias 7 horas
- 21.
- 22. Como armazenar? Node 1 Node 3 Node2Node... "Batch" Cassandra Cluster Availability Zone - 2 Node 1 Node 3 Node 2Node... "Online" Cassandra Cluster Availability Zone - 1 Online Service Tier Batch Service Tier
- 23. Como processar? MapReduce Um novo paradigma quepermite e facilita a implementação de algoritmos distribuídos
- 24. Data Robson Motta Raul Seixas EdMotta Reginaldo Rossi Nelson Mandela Valentino Rossi Map Motta, 1 Seixas, 1 Motta, 1 Rossi, 1 Mandela, 1 Rossi, 1 Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Reduce Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Mandela, 1 Motta, 2 Rossi, 2 Seixas, 1 Como processar?
- 25. Data A - B Cadeira- D Cadeira - E Cadeira - E F - A Map A, (B, F) B, (A) Cadeira, (D, E, E) D, (Cadeira) E, (Cadeira,Cadeira) F, (A) Reduce A, [B, F] B, [A] Cadeira, [E, D] D, [Cadeira] E, [Cadeira] F, [A] Como processar?
- 26. Hadoop: HDFS eHadoop MapReduce • Escalável • Custo reduzido • Flexível • Tolerante a falha Como processar?
- 27.
- 28.
- 29.
- 30. • Itens muitopopulares • Eventos inesperados • Clientes diferentes • Sazonalidade • Ausência de eventos Desafios
- 31.
- 32. Desafios R$ 270,81 Usuário entrou napágina para comprar a boneca... ...e sugerimos que ele levasse junto um pneu
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47. Promoção de pneu nodia das crianças Desafios +
- 48.
- 49. Visualizar e monitorar • Consultasem bases não relacionais • Acompanhamento de desempenho • Visualização de logs • Acompanhamento de custos
- 50.
- 53. KINESIS STORM Real TimeBig Data Processing Futuro
- 54. SHARK In Memory BigData Processing Futuro
- 55.
- 56.