Baixado 128 vezes
Carregado porAmazon Web Services LATAM
Hadoop, Big Data e Cloud Computing
O documento discute como Hadoop, Big Data e Cloud Computing podem ser usados juntos. Apresenta exemplos de onde os dados em grande volume são gerados e como a AWS facilita a coleta, armazenamento, processamento e análise desses dados de forma elástica e econômica.
Mais conteúdo relacionado
Semelhante a Hadoop, Big Data e Cloud Computing
Hadoop, Big Data e Cloud Computing
- 1. Hadoop, Big Data eCloud Computing Hadoop Users Group SP José Papo AWS Tech Evangelist @josepapo
- 4. 4 bytes x1.000.000 domicílios x 1 medição/mês x 10 anos 480 MBytes
- 5. 4 bytes x1.000.000 domicílios x 1 medição/min x 10 anos 220 TBytes
- 6. Onde se vêBig Data Mídia/ Propaganda Anuncios Dirigidos Processa- mento de vídeos e imagens Óleo e Gás Análise Sismica Varejo Recomen- dações Análise de Transações Telecom Cobrança Log de Ligações Uso dos Produtos Instituições Financeiras Simulações de Monte Carlo Análise de Riscos Segurança Anti-virus Detecção de Fraudes Reconheci- mento de Imagens Marketing e Jogos (sobretudo social) Analise Comporta- mental Análise de Uso Métricas “In-game”
- 7. “Running 30 Hadoopmachines on-premises costs less than $500,000 vs. at least $7 million for an appliance. No wonder everyone is looking out for Hadoop talent… It’s a no-brainer when you plug in real numbers”. Por que novas soluções para Big Data?
- 8. Amazon Elastic MapReduce:Clusters já criados por clientes 5.5 M clusters desde Maio de 2010
- 9. Alguns clientes doElastic MapReduce
- 11. Sobre o Papelda AWS e Benefícios alcançados • 4 bilhões de requisições por mês; • +300 mil requisições por minuto; • +200 milhões de recomendações todos os dias; • Spot instances: -20% custo aws.
- 12. Apontador e MapLink eAWS Apoio:
- 13. • Hive (~40 instancias spot m3.large) 90% - Utilidades diárias • Streaming 10% - Solr, MapReduces mais complexos (MCMC, FastFourier, e.g.) • Estrutura usada Hive ( ~ 40 instancias spot m3.large), Elastic MapReduce S3 (aproximadamente 7 Tb de dados estruturados em diversos buckets) RDS (dados de organização dos dados do S3) O QUE usam?
- 14. Coleta e Storage Processamentoe ETL Buscas e Machine Learning Visualização e Relatórios
- 15. Coleta e Storage Processamentoe ETL Buscas e Machine Learning Visualização e Relatórios
- 17.
- 19. Como Cloud facilita Coletae Storage?
- 20. Amazon S3: Maisde 2 Trilhões de Objetos 1.1M requisições por segundo
- 21. 288 servidores comCassandra 1.100.000 transações / segundo Benchmarking Cassandra Scalability on AWS - Over a million writes per second 41 dólares / hora (Instâncias Reservadas)
- 22. DynamoDB é umBanco de Dados NoSQL “as a service” sem complexidades Armazene e recupere qualquer quantidade de dados Sirva níveis gigantescos de tráfego e requisições Sem instalações de software Não é necessário configurar clusters Custos mínimos de administração
- 24. Coleta e Storage Processamentoe ETL Buscas e Machine Learning Visualização e Relatórios
- 25. "Hadoop é umstorage confiável e um sistema analítico" HDFS MapReduce
- 28.
- 29. Implantar um clusterhadoop é difícil
- 30. Reduz complexidade/custo dagestão do Hadoop Integra diretamente com Serviços AWS (EC2, S3, DynamoDB, etc) Facilita a elasticidade para Big Data AMAZON ELASTIC MAPREDUCE
- 31. Elasticidade Aumenta para 25 instancias Data Warehouse (Estável) DataWarehouse (Processo Batch) Diminui para 9 instancias Data Warehouse (Estável)
- 32. AWS Elastic MapReduce Mapreduce HDFS
- 34. Input data S3, DynamoDB,Redshift
- 35.
- 36. Elastic MapReduce Code Name node Input data S3,DynamoDB, Redshift
- 37. Elastic MapReduce Code Name node Input data Elastic cluster S3,DynamoDB, Redshift S3/HDFS
- 38. Elastic MapReduce Code Name node Input data S3/HDFS Queries +BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster
- 39. Elastic MapReduce Code Name node Output Input data Queries +BI Via JDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster S3/HDFS
- 40. Output Input data S3, DynamoDB,Redshift
- 42. • Retailer cameto Razorfish 3.5 billion records, 71 million unique cookies, 1.7 million targeted ads required per day Targeted Ad User recently purchased a sports movie and is searching for video games (1.7 Million per day) Leveraged Elastic MapReduce to analyze billions of customer clicks and impressions
- 43.
- 44. FERRAMENTAS DE APOIO PARAHADOOP E EMR
- 48. Amazon S3 logs Custom Precondition EMR usage-by-geojob Amazon EC2 report generation Amazon DynamoDB event data Amazon RDS demographics Amazon Redshift DW table Amazon Redshift DW table Hive script
- 51. Elastic MapReduce, DynamoDBe Hive http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html
- 52. Clusters Elásticos Provisiona rápido StackHadoop completo e com diversas opções Sem o peso da gestão de hardware e clusters Otimizações de custos com instancias on-demand, reservadas e spot Benefícios do Elastic MapReduce
- 53. Coleta e Storage Processamentoe ETL Buscas e Machine Learning Visualização e Relatórios
- 56. Como Cloud facilita Buscase Machine Learning?
- 60. Coleta e Storage Processamentoe ETL Buscas e Machine Learning Visualização e Relatórios
- 64. Como Cloud facilita Visualizaçãoe Relatórios?
- 67. Soluções SaaS interessantes para BigData que rodam na Nuvem da AWS
- 72.
- 74.