O documento discute como Hadoop, Big Data e Cloud Computing podem ser usados juntos. Apresenta exemplos de onde os dados em grande volume são gerados e como a AWS facilita a coleta, armazenamento, processamento e análise desses dados de forma elástica e econômica.

1. Hadoop, Big Data
e Cloud Computing
Hadoop Users Group SP
José Papo
AWS Tech Evangelist
@josepapo

4. 4 bytes x 1.000.000 domicílios x 1 medição/mês x 10 anos
480 MBytes

5. 4 bytes x 1.000.000 domicílios x 1 medição/min x 10 anos
220 TBytes

6. Onde se vê Big Data
Mídia/
Propaganda
Anuncios
Dirigidos
Processa-
mento de
vídeos e
imagens
Óleo e Gás
Análise
Sismica
Varejo
Recomen-
dações
Análise de
Transações
Telecom
Cobrança
Log de
Ligações
Uso dos
Produtos
Instituições
Financeiras
Simulações
de Monte
Carlo
Análise de
Riscos
Segurança
Anti-virus
Detecção
de Fraudes
Reconheci-
mento de
Imagens
Marketing e
Jogos
(sobretudo
social)
Analise
Comporta-
mental
Análise de
Uso
Métricas
“In-game”

7. “Running 30 Hadoop machines on-premises costs less
than $500,000 vs. at least $7 million for an appliance. No
wonder everyone is looking out for Hadoop talent… It’s a
no-brainer when you plug in real numbers”.
Por que novas soluções para Big Data?

8. Amazon Elastic MapReduce: Clusters já criados por clientes
5.5 M clusters
desde Maio de 2010

9. Alguns clientes do Elastic MapReduce

11. Sobre o Papel da AWS e
Benefícios alcançados
• 4 bilhões de requisições por
mês;
• +300 mil requisições por
minuto;
• +200 milhões de
recomendações todos os
dias;
• Spot instances: -20% custo
aws.

12. Apontador e MapLink
e AWS
Apoio:

13. • Hive (~ 40 instancias spot m3.large)
90% - Utilidades diárias
• Streaming
10% - Solr, MapReduces mais complexos (MCMC, FastFourier, e.g.)
• Estrutura usada
Hive ( ~ 40 instancias spot m3.large), Elastic MapReduce
S3 (aproximadamente 7 Tb de dados estruturados em diversos buckets)
RDS (dados de organização dos dados do S3)
O QUE usam?

14. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

15. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

17. Relacional NoSQL

19. Como Cloud facilita
Coleta e Storage?

20. Amazon S3: Mais de 2 Trilhões de Objetos
1.1M
requisições
por segundo

21. 288 servidores com Cassandra
1.100.000 transações / segundo
Benchmarking Cassandra Scalability on AWS - Over a million writes per second
41 dólares / hora
(Instâncias Reservadas)

22. DynamoDB é um Banco de
Dados NoSQL “as a service”
sem complexidades
Armazene e recupere qualquer quantidade de dados
Sirva níveis gigantescos de tráfego e requisições
Sem instalações de software
Não é necessário configurar clusters
Custos mínimos de administração

24. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

25. "Hadoop é um storage confiável e um sistema analítico"
HDFS MapReduce

28. Como Cloud facilita
Processamento e ETL?

29. Implantar um cluster hadoop é difícil

30. Reduz complexidade/custo da gestão do Hadoop
Integra diretamente com Serviços AWS (EC2, S3,
DynamoDB, etc)
Facilita a elasticidade para Big Data
AMAZON ELASTIC MAPREDUCE

31. Elasticidade
Aumenta
para 25
instancias
Data Warehouse
(Estável)
Data Warehouse
(Processo Batch)
Diminui
para
9
instancias
Data Warehouse
(Estável)

32. AWS Elastic MapReduce
Map reduce
HDFS

34. Input data
S3, DynamoDB, Redshift

35. Elastic
MapReduce
Code
Input data
S3, DynamoDB, Redshift

36. Elastic
MapReduce
Code Name
node
Input data
S3, DynamoDB, Redshift

37. Elastic
MapReduce
Code Name
node
Input data
Elastic
cluster
S3, DynamoDB, Redshift
S3/HDFS

38. Elastic
MapReduce
Code Name
node
Input data
S3/HDFS
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster

39. Elastic
MapReduce
Code Name
node
Output
Input data
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster
S3/HDFS

40. Output
Input data
S3, DynamoDB, Redshift

42. • Retailer came to Razorfish
 3.5 billion records, 71 million unique cookies, 1.7 million targeted ads
required per day
Targeted Ad
User recently
purchased a
sports movie and
is searching for
video games (1.7 Million per day)
Leveraged Elastic MapReduce to analyze billions of customer
clicks and impressions

43. DEMOS

44. FERRAMENTAS DE APOIO
PARA HADOOP E EMR

48. Amazon S3
logs
Custom
Precondition
EMR usage-by-geo job
Amazon EC2
report generation
Amazon
DynamoDB
event data
Amazon RDS
demographics
Amazon Redshift
DW table
Amazon
Redshift
DW table
Hive
script

51. Elastic MapReduce, DynamoDB e Hive
http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html

52. Clusters Elásticos
Provisiona rápido
Stack Hadoop completo e com diversas opções
Sem o peso da gestão de hardware e clusters
Otimizações de custos com
instancias on-demand, reservadas e spot
Benefícios do Elastic MapReduce

53. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

56. Como Cloud facilita
Buscas e Machine
Learning?

60. Coleta e Storage
Processamento e ETL
Buscas e Machine Learning
Visualização e Relatórios

64. Como Cloud facilita
Visualização e
Relatórios?

67. Soluções SaaS
interessantes para
Big Data que rodam
na Nuvem da AWS

72. RECURSOS TÉCNICOS
awshub.com.br
www.bigdatahpc.com
aws.amazon.com/pt/big-data

74. OBRIGADO!
aws.typepad.com/brasil
slideshare.net/AmazonWebServicesLATAM
José Papo
AWS Tech Evangelist
@josepapo