13. DATA VOLUME
Generated data
Available for analysis
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
18. AWS Import / Export
AWS Direct Connect
GENERATE STORE ANALYZE SHARE
19. Generated and stored in AWS
Inbound data transfer is free
Multipart upload to S3
Physical media
AWS Direct Connect
Regional replication of AMIs and snapshots
20. Amazon S3,
Amazon Glacier,
Amazon DynamoDB,
Amazon RDS,
Amazon Redshift,
AWS Storage Gateway,
Data on Amazon EC2
GENERATE STORE ANALYZE SHARE
36. AMAZON REDSHIFT LETS YOU
START SMALL AND GROW BIG
Extra Large Node
(HS1.XL)
Single Node (2 TB)
Cluster 2-32 Nodes (4 TB – 64 TB)
Eight Extra Large Node (HS1.8XL)
Cluster 2-100 Nodes (32 TB – 1.6 PB)
52. Price Per Hour for
HS1.XL Single
Node
Effective Hourly
Price Per TB
Effective Annual
Price per TB
On-Demand
$ 0.850
$ 0.425
$ 3,723
1 Year
Reservation
$ 0.500
$ 0.250
$ 2,190
3 Year
Reservation
$ 0.228
$ 0.114
$
999
53. DATA WAREHOUSING DONE THE AWS WAY
Easy to provision and scale up massively
No upfront costs, pay as you go
Really fast performance at a really low price
Open and flexible with support for popular tools
60. Social Games developer para Mobile y Facebook
Fundada en 2008, oficinas en Barcelona (22@), 170 personas.
Top #20 mobile grossing games worldwide
Top #3 facebook developer
61. Juegos Sociales: interacción
entre amigos, viralidad
Modelo freemium: Jugar es
gratis, algunos items de pago
Sector Midcore
Leader in Breeding & Collecting
strategy games
62. Top 20 Grossing en iOS
App Store worldwide
Lanzado
recientemente en
Android, featured en
Google Play
6M DAU en Facebook
63. No mantener ni planificar hardware: aumenta la velocidad del negocio
Flexible: Pago por uso
Facilita la escalabilidad:
Auto Scaling
Facilita la alta disponibilidad: múltiples availability zones
Managed components: Load Balancers, Bases de datos, …
64. Analytics Driven. Necesarias para casi todos nuestros equipos:
Ingenieros: analíticas realtime, monitorización, detección de problemas
Producto: tomar decisiones, A/B testing, game balancing, …
Marketing: optimización de campañas
Finanzas: seguimiento del negocio
66. Backend escribe eventos en listas de redis
Porque Redis?
Coste y rendimiento: 10K eventos/segundo/servidor
Problema: es una base de datos en memoria, hay que vaciar las colas
constantemente
Escalado y HA: N servidores distribuidos aleatoriamente
BACKEND
REDIS
REDIS
REDIS
67. Procesos python consumen las
colas constantemente y
Calculan métricas Real Time
Almacenan logfiles de
eventos para subirlos a S3
GENERACIÓN DE EVENTOS
Redis Queue
LPOP event
Consumer
Redis
Real Time
write event
Event Log File
Encolan en SQS la URL del
objeto S3
INCR
counter
put object
Amazon S3
CARGA DE DATOS
Amazon SQS
enqueue S3 object URL
68. GENERACIÓN DE EVENTOS
Python es muy adecuado para
desarrollar workers y tratar datos
Redis: estructuras como contadores,
sets, sorted sets, para métricas Real
Time
S3: espacio virtualmente infinito,
escalable, alta disponibilidad
SQS fiabilidad y disponibilidad a
mayor precio que Redis
Redis Queue
LPOP event
Consumer
INCR
counter
Redis
Real Time
write event
Event Log File
put object
Amazon S3
CARGA DE DATOS
Amazon SQS
enqueue S3 object URL
69. PROCESADO DE EVENTOS
Los importers leen URLs de SQS
Amazon S3
Amazon SQS
Se descargan logfiles de S3
Convierten a TSV
Importan masivamente a Redshift (N
logfiles a la vez)
Importer
TSV
RedShift
70. Nos permite ser flexibles -> cambios de esquema sin downtime
Muy escalable (con downtime de escrituras)
Poco riesgo de implantación
Sistema offline
Backups
Mantenimiento mínimo: vacuums, espacio
Buen soporte de SQL, a diferencia de otras columnar databases
71. Transformaciones y cálculos diarios implementados en SQL
Ejemplo:
UPDATE USER SET total_revenues = (SELECT SUM(amount) FROM transaction t
WHERE t.user_id = user.user_id);
Por qué no hadoop?
Mucho más complejo y lento; de momento las operaciones SQL
cumplen todos nuestros requisitos
72. ¿Te gustaría trabajar en el sector de los videojuegos?
Buscamos talento. El talento atrae al talento.
www.socialpoint.es/jobs
¡GRACIAS!