Presentation delivered in Bogota - Colombia about Bigdata in Amazon Web Services

1. Implementar su Bigdata de
Cero a Millones de Registros
en AMAZON WEB SERVICES
Alex Coqueiro
Arquitecto de Soluciones
Amazon Web Services LATAM

3. Datos Generados
Disponible para su
análisis
VOLUMEN DE DATOS
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares

4. gran
complejidad

6. Una gran variedad de soluciones y componentes
Glacier
S3 DynamoDB
RDS
EMR
Redshift
Data Pipeline
Kinesis
Cassandra CloudSearch
AML

8. Simplificando el procesamiento de Big Data
Ingestión
Persistencia /
Storage Procesamiento Visualización
Datos
Respuestas
Tiempo

9. Glacier
S3
DynamoDB
RDS
Kinesis
Spark
Streaming
EMR
Data Pipeline
Storm
Kafka
Redshift
Cassandra
CloudSearch
Kinesis
Connector
Kinesis
enabled app

10. Amazon
Kinesis
LogsdeServidores
Amazon
EMR
Amazon S3
Amazon
Redshift
Visualização
e Análise
Caso de Uso – Análisis de logs de vuelos
Map Reduce
Parallel
Copy
SQL Query

11. INGESTIÓNè PERSISTENCIA è
PROCESARè VISUALIZACIÓN

12. INGESTIÓNè PERSISTENCIA è
PROCESARè VISUALIZACIÓN

13. Policy

14. AMAZON S3
SIMPLE STORAGE SERVICE

15. Nuevo Bucket

16. 99.999999999%
2.000.000.000.000.000+
1.1+ Millones

17. INGESTIÓNè PERSISTENCIA è
PROCESARè VISUALIZACIÓN

18. Tipos de datos para ingestión
Transaccionales
– RDBMS lectura/
escritura
Archivos
– Click-stream logs
– Texto libre
Stream
– IoT devices
– Tweets
Database
Cloud
Storage
Stream
Storage

19. AMAZON KINESIS
REAL TIME STREAMING

20. Ejemplo de archivo de log

21. Ejemplo de kinesis firehose

22. INGESTIÓNè PERSISTENCIA è
PROCESARè VISUALIZACIÓN

24. AMAZON
REDSHIFT
PETA-BYTE SCALE DATAWAREHOUSE

25. Ejemplo de cluster en redshift

26. Massively parallel online Analytic Processing
Resizible sin Downtime
Compatible con PostgreSQL

28. AMAZON ELASTIC
MAPREDUCE
HADOOP AS A SERVICE

29. Ejemplo de cluster en EMR – Hive y Spark

30. INGESTIÓNè PERSISTENCIA è
PROCESARè VISUALIZACIÓN

32. Marketplace para software en Nube
Mas de 1,900 opciones en
23 categorias

33. JDBC/ODBC

35. Muchas
Gracias