Präsentation von den Frankfurter Datenbanktagen Webinar-Aufzeichnung hier: http://aws.amazon.com/de/recorded-webinar/

1. SQL oder NoSQL
die Auswahl der richtigen Datenbankplattform für die Cloud
Steffen Krause
Technical Evangelist
@AWS_Aktuell
skrause@amazon.de

2. Das richtige Werkzeug
Wenn man nur einen Hammer hat sieht jedes Problem wie ein Nagel aus

3. Fokus auf Ihre Anwendung

5. Das universelle Systemdiagramm

6. Ihr Stack
Load Balancer
Application Tier
Database tier

7. Ihr Stack der Sorgen
Load balancer
Sicherheit, Skalierung, Verfügbarkeit…
Application tier
Sicherheit, Innovation, Skalierung, Performance, Verfügbarkeit…
Database tier
Sicherheit, Innovation, Skalierung, Transaktionen, Performance, Persistenz,
Verfügbarkeit, Kenntnisse..

8. Spektrum der Optionen
SQL
Do-it yourself

Geringe Kosten
NoSQL
Vollständig
verwaltet
Auf AWS
nicht verfügbar
Hohe Kosten

9. OL(T?)P

10. Anwendungsfall: Relational

12. ACID
A
•Atomicity
C
•Consistency
I
•Isolation
D
•Durability

13. Skalierung
Vertikale Skalierung – RAM, CPU usw.

14. Komplexes Schema

15. Optionen - Relational
Do-it Yourself
Jede relationale x64/x86 Datenbank die Sie wollen
Oracle
SQL Server
MySQL
Postgres
MariaDB
DB2
Sybase
…
Vollständig
verwaltet
Relational Database Service (RDS)

16. Kernkomponenten
• Amazon Virtual Private Cloud (Amazon VPC)
• Elastic Block Store (EBS) provisioned IOPS Volumes
– Bis zu 4000 IOPS pro Volume (bis 30000 mit RDS)
– Striping über mehrere Volumes möglich
•
•
•
•
•
EBS-optimized Instanzen
Oracle Automatic Storage Management (ASM)
Oracle Data Guard und Active Data Guard
Oracle Secure Backup Cloud Module
Oracle Transparent Data Encryption (TDE)

17. Standard Oracle Architektur auf EC2
Public Subnet
Private Subnet
App
Servers
Oracle DB
Server
S3 Bucket
AMI
(Ready to launch)
PIOPS
Root
Volume
Data
Volume
RMAN
Mirrored Redo
Log Volumes
Primary Availability Zone
Primary Region
EBS Snapshot
Backup
Volume
EBS Snapshot Copy
DR Region

18. Enterprise Architektur auf EC2
Public Subnet
Private Subnet
App
Web
Servers
Oracle DB
Server
Private Subnet
Root
Volume
ASM Striped
Data Volumes
App
Web
Servers
Oracle DB
Server
Oracle Data Guard
PIOPS
Root Volume
Public Subnet
PIOPS
Root
Volume
CloudFormation
Template
(Ready to launch)
PIOPS
ASM Striped
Data Volumes
Root
Volume
AMI Used by
CFN Template
OSB + RMAN
Mirrored Redo
log Volumes
Primary Availability Zone
OSB + RMAN
Secondary Availability Zone
RMAN Backup in
S3 Bucket
Primary Region
DR Region

19. Vereinfachung: Amazon RDS for Oracle
Public Subnet
Private Subnet
App
Web
Servers
Oracle DB
Server
Primary Availability Zone
Primary Region
Private Subnet
RDS Synchronous
Replication
Oracle DB
Server
Public Subnet
App
Web
Servers
Secondary Availability Zone

20. SQL Server 2012 AlwaysOn Availability Groups in AWS
Remote
Admin & Mgmt
Users
Elastic IP’s (Public Route)
NAT
Instance
Elastic IP’s (Public Route)
RDGW
Instance
NAT
Instance
RDGW
Instance
Windows Server Failover Clustering (WSFC) Cluster
Node
WSFC Configuration
Node
WSFC Configuration
SQL Server Instance
SQL Server Instance
Instance Network Name
Instance Network Name
AlwaysOn Availability Group
Secondary Replica
Availability Group Listener Virtual Network Name
Storage
Storage
Primary
DC/DNS
Rerplica
DC/DNS
Availability Zone 1
Availability Zone 2
AWS Region
Private IP’s (Private Route)
Private IP’s (Private Route)
Primary Replica

21. Relationale Datenbank
Relational Database Service
Database-as-a-Service
Datenbank-Instanzen ohne Installation und Administration
Skalierbare und fehlertolerante Konfigurationen
Feature
Details
Multi-Plattform
MySQL, Microsoft SQL Server und Oracle RDBMS
Deployment & Administration
Vorkonfiguriert
Sofort nutzbare Instanzen mit sinnvollen
Standardeinstellungen
App Services
Automatisches
Patching
Datenbankplattform wird optional automatisch
aktuell gehalten
Backups
Automatische Backups, Point in Time Recovery
möglich
Compute
Storage
Database
Provisioned IOPS
Networking
AWS Global Infrastructure
Failover
Replikation
Definierter IO-Durchsatz entsprechend der
Anforderungen (bis 30000)
Automatischer Failover auf zweiten Host bei
Ausfall des primären
Einfache Erstellung von Lese-Replikas, einfache
Replikation in andere Availability Zone

22. Relationale Datenbank
Amazon Relational Database Service
(Amazon RDS) databases stores forum
threads, site content, and project
configuration data.
High availability Multi-AZ database
deployment to handle live game metadata
and user-generated content.
Deployment & Administration
App Services
Compute
Storage
Database
Networking
AWS Global Infrastructure
Enterprise-grade fault tolerance for
protecting customer data.
By managing time-consuming database
administration tasks, Amazon RDS allows
SEGA to focus on business critical
applications.

23. Demo: RDS
http://bit.ly/RDSDemoDE

24. Best Practices: RDBMS auf AWS
• Verwenden Sie mehrere Availability Zones
– RDS bietet MultiAZ für Oracle und MySQL
• Verwenden Sie Provisioned IOPs
– Bis zu 30000 für RDS
– Bis zu 4000 für EBS Volumes
• Striping (RAID 0) möglich für mehr
• Backup nach S3
– Verwendung von DB Snapshots oder EBS Snapshots oder direktes S3
Backup wenn unterstützt (z.B. Oracle RMAN)
• Verwenden Sie geeignete Instanztypen
• Skalierung hoch/runter innerhalb von 5-20 Minuten durch
Änderung des Instanztyps

25. Anwendungsfall: NoSQL

26. Massives Scale Out

27. Flexibles Schema
2 Wochen später

28. Niedrige Latenz

29. NoSQL
BA
•Basically Available
S
•Soft state
E
•Eventually consistent
* Aber einige NoSQL Datenbanken bieten voll transaktionale Schreiboperationen

30. Scaling
Horizontales Scaling – RAM, CPU usw.

31. Optionen - NoSQL
Do-it Yourself
Jede x64/x86 NoSQL Datenbank die Sie wollen
Vollständig
verwaltet
DynamoDB
MongoDB
Cassandra
Riak
Redis
CouchDB
Memcache
…
SimpleDB
(ElastiCache: Memcache, Redis))

32. NoSQL Datenbanken auf AWS
• Whitepaper dokumentieren NoSQL Datenbanken auf AWS
– http://aws.amazon.com/whitepapers
– Couchbase on AWS
– Riak on AWS
– MongoDB on AWS

33. NoSQL Datenbank
DynamoDB
NoSQL Datenbank mit provisioniertem Durchsatz
Hohe, vorhersagbare Performance
Vollständig verteilte, fehlertolerante Architektur
Feature
App Services
Storage
Provisionierter
Durchsatz
Lese/Schreibdurchsatz einfach nach
Bedarf erhöhen und vermindern
Vorhersagbare
Performance
Deployment & Administration
Compute
Details
Durchschnittliche Latenz im einstelligen
Millisekunden-Bereich durch SSDs
Starke
Konsistenz
Database
Networking
Fehlertolerant
Monitoring
Sicher
AWS Global Infrastructure
Elastic
MapReduce
Sicheres Lesen der aktuellsten Werte
Daten repliziert über mehrere
Availability Zones
Integration mit CloudWatch
Integration mit AWS Identity and
Access Management (IAM)
Integration mit Elastic MapReduce
(Hadoop) für komplexe Analysen oder

34. NoSQL Datenbank
"When IMDb launches features to our over
110MM monthly unique users worldwide, we
want to be prepared for rapid growth (1000x
scale), and for customers to use our software in
exciting and different ways…
Deployment & Administration
App Services
Compute
Storage
Database
Networking
AWS Global Infrastructure
…To ensure we could scale quickly, we migrated
IMDb’s popular 10 star rating system to
DynamoDB. We evaluated several technologies
and chose DynamoDB because it is a highperformance database system that scales
seamlessly and is fully managed. This saves us a
ton of development time and allows us to focus
our resources on building better products for our
customers, while still feeling confident in our
ability to handle growth.”
H.B. Siegel, CTO, IMDb.

35. Demo: DynamoDB
http://bit.ly/SQLNoSQLDE ab 23:57

36. Data Warehousing
Reporting & Analytics

37. Komplexes Schema

38. Komplexes Schema
OK, hatten wir schon: Relational (RDS oder EC2)
Wenn die Datenmenge nicht zu groß ist

39. Data Warehousing
Aber was ist mit:
• Richtig großen
Datenmengen
• Niedrigen Kosten
?
€

40. Data Warehouse
Redshift
Schnelle und performante Analyse großer Datenmengen
1/10 der Kosten eines traditionellen Data Warehouse
Automatisches Deployment & Administration
Feature
Skalierung
Deployment & Administration
Niedrige Kosten
Columnstore
App Services
Fehlertolerant
Compute
Storage
Database
Vollständig
verwaltet
Networking
AWS Global Infrastructure
Sicher
Kompatibel
Details
Skaliert von Terabytes bis Petabytes
Preise ab US$999/TB/Jahr
Spaltenweise Speicherung optimiert für
DWH Workloads
Automatische Ersetzung von Nodes &
Disks, Automatisches Backup nach S3
Automatisches OS & Software Patching
Redshift Daten können verschlüsselt
werden
Kompatibel mit populären BI Tools über
ODBC und JDBC Treiber

41. Demo: Redshift
http://bit.ly/RedshiftDE

42. cr1.8xlarge hat 244 GB RAM!
Image Copyright by StuSeeger http://www.flickr.com/photos/stuseeger/
Direkt aus dem AWS Marketplace

43. SAP HANA on AWS
SAP HANA One
Premium
Business
Developer
Overview
SAP HANA One, plus SAP Cloud Integration (HCI)
and approval to load SAP source data
Fully featured SAP HANA virtual appliance on AWS
Fully featured SAP HANA virtual appliance
on AWS for individual developers
Use Cases
 Production and non-production
 All SAP HANA use cases supported including SAP
Business Suite and SAP NetWeaver Business
Warehouse on HANA
 Production and non-production
 Analytics acceleration
 Data merging
 Temporary event-based analytics
 Self-service BI
 Prototypes and proofs-of-concept
 Non-production only
 Develop, test and demo applications on
top of the HANA platform
 Learning environment
Key Benefits
 Instant provisioning
 Enterprise Support included
 Annual subscription pricing – economical for
24x7 customers
 Data Services included
 Instant, self-serve access – up and running in 10
minutes
 Start and stop when needed – reduce license
and infrastructure cost
 Community support
 Free developer license
 Easily accessible and rapidly deployable
 Pay-per-use infrastructure
Annual subscription
On-demand - $0.99 per hour
Free Developer License
SAP HANA Marketplace
AWS Marketplace
SAP SCN
License
Available from
Demo: http://aws.typepad.com/aws/2013/05/demo-sap-hana-one-on-aws.html

44. Demo: SAP HANA
http://bit.ly/HanaDemoDE

45. Elastic MapReduce
Halt, was ist mit Hadoop?
• Vollständig verwalteter Hadoop Service: EMR (Elastic MapReduce)
– Einfaches Erstellen von Clustern in Minuten
– Verwendung von S3 als skalierbarer Speicher ohne Kopieren von Daten
• Viele Kunden verwendne Hadoop für DWH-artige Workloads
– Weil das lange zeit die einzige skalierbare, kostengünstige Möglichkeit war
– In vielen Fällen ist Redshift für DWH Workloads schneller und preiswerter
• Hadoop/EMR ist erste Wahl für komplexe Berechnungen auf
großen Datenmengen
– Auch für explorative oder ETL-artige Jobs

46. DWH Workflow Beispiel
Reporting
und BI
Logs / Dateien
S3
Data
Pipeline
S3
EMR
explorative
Analytik
Redshift

47. Zusammenfassung
• Wählen Sie das richtige Werkzeug für die Aufgabe
• Ihre Wahl: Relational oder NoSQL
– Verwenden Sie RDS für Prototyping und hochwertige Daten
– Verwenden Sie Amazon DynamoDB für hochperformante,
persistente, kostengünstige Speicherung
– Verwenden Sie Redshift für skalierbares, kostengünstiges Data
Warehousing
• Ihre Wahl: Do-it-yourself oder voll verwaltet
– Verwaltete Dienste ermöglichen Ihnen den Fokus auf die eigentliche
Aufgabe

48. Ressourcen
• http://aws.amazon.com/de
• Getting started with Free Tier:
http://aws.amazon.com/de/free/
• 25 US$ credits für neue Kunden:
http://aws.amazon.com/de/campaigns/account/
• Twitter: @AWS_Aktuell
• Facebook:
http://www.facebook.com/awsaktuell
• Webinare: http://aws.amazon.com/de/about-aws/events/
• Slides: http://de.slideshare.net/AWSAktuell