Webinar vom 29.11.2013 Teil 2: (heute) Kinesis, AppStream, WorkSpaces

1. Neues von der re:invent 2013
Teil 2
Steffen Krause
Technical Evangelist
@AWS_Aktuell
skrause@amazon.de

2. Ihr Feedback ist wichtig
Teilen Sie mir mit:
Was gut ist, was nicht
Was Sie bei unseren Veranstaltungen sehen
wollen
Was Sie sich von AWS wünschen
skrause@amazon.de

3. Agenda
Teil 2: (heute)
• Kinesis
• AppStream
• WorkSpaces

4. Kinesis

5. Big Data Ansätze
• Traditionelle Big Data Ansätze
– Abfrageengine (Data Warehouse, YesSQL, NoSQL Datenbank)
– Batch Engines (Map-Reduce)
• Streaming Big Data Processing Ansatz

6. Grundlagen der Stream-Verarbeitung
Echtzeit Big Data Wunschliste
Dienst-Anforderungen
Gesamtlatenz im Sekundenbereich
Niedrigen Ende-zu-Ende Latenz von Datenaufnahme
bis Verarbeitung
Verarbeitung von Gigabytes pro Sekunde ohne Verlust der
Persistenz
Hoch skalierbar, persistent
Skalierung hoch/runter nach Bedarf
Elastisch
Einfaches Load Balancing von Datenströmen, verteilte
Dienstkoordinierung,
Entwickler müssen sich nur um Implementierung der
Geschäftslogik kümmern, nicht um Basisdienst
Automatische HW/ SW Provisionierung, Patching und Betrieb
einer zuverlässigen Streaming Plattform
Verwalteter Dienst für Echtzeit-Datenströme:
Sammlung, Verarbeitung, Analyse.

7. Architektur Amazon Kinesis
Verwalteter Dienst für Echtzeitverarbeitung von Big Data
App.1
Data
Sources
Availability
Zone
Data
Sources
Data
Sources
Availability
Zone
Availability
Zone
S3
App.2
AWS Endpoint
Data
Sources
[Aggregate &
De-Duplicate]
Shard 1
Shard 2
Shard N
[Metric
Extraction]
DynamoDB
App.3
[Sliding
Window
Analysis]
Redshift
Data
Sources
App.4
[Machine
Learning]
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html

8. Beispiel: twitter-trends.com Website
twitter-trends.com
Elastic Beanstalk
twitter-trends.com

9. Zu groß für eine Instanz
twitter-trends.com

10. Lösung: Streaming Map/Reduce
twitter-trends.com
My top-10
Global top-10
My top-10
My top-10

11. Kernkonzepte
Stream
Data record
Partition key
twitter-trends.com
My top-10
Global top-10
My top-10
My top-10
Data record
Shard:
Worker
Shard
14
17
18
Sequence number
21
23

12. Was das mit Kinesis zu tun hat
twitter-trends.com
Kinesis
Kinesis Applikation

13. Kernkonzepte wiederholt
• Data Record ~ Tweet
• Stream ~ alle Tweets (die Twitter Firehose)
• Partition Key ~ Twitter Thema (Jeder Tweet gehört zu genau einem)
• Shard ~ Alle Data Records, die zu einem Twitter Thema gehören werden
gruppiert
• Sequence Number ~ Jeder Data Record erhält eine beim Schreiben in den
Stream
• Worker ~ Verarbeitet die Records in einem Shard in Reihenfolge der Sequence
Number

14. Nutzen für Entwickler
Leichte Administration
Verwalteter Dienst
• Stream Erstellen
• Gewünschte Kapazität bestimmen
• Dienst kümmert sich um den Rest
S3, Redshift, & DynamoDB Integration
Auslieferung an verschiedene AWS Dienste
• Speicherung von aggregierten
Ergebnissen nach Bedarf
• Vorgefertigte Konnektoren
Echtzeit-Performance
Verarbeitung von großen Datenströmen
• Latenz im Sekundenbereich
Einfache Entwicklung
Client Libraries unterstützen Entwickler
• Low Level & high Level APIs nach Bedarf
Hoher Durchsatz, elastisch
Skalierung nach benötigtem Durchsatz
• Skalierung nach oben und unten
(Split/Merge Shards)
• Ohne Unterbrechung des Datenstroms
Kostengünstig
Cost-efficient for workloads of any scale. You
can get started by provisioning a small
stream, and pay low hourly rates only for
what you use.
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html

15. Clickstream Analytics Beispiel
Clickstream Archive
Aggregate
Clickstream
Statistics
Clickstream Trend Analysis
Clickstream Processing App

16. AppStream

17. What is Amazon AppStream?
• Streaming von Ressourcen-/Grafik-intensiven Anwendungen
aus der Cloud
• Rendering von grafischen Inhalten in der Cloud
• Skalierung nach Bedarf
• Schnell reagierende, flüssig laufende HD-Anwendung auf dem
Gerät
• Streaming der ganzen Anwendung oder eines Teiles
http://aws.typepad.com/awsaktuell/2013/11/amazon-appstream-streaming-von-grafischen-anwendungen-aus-der-cloud.html

18. Nutzen von Amazon AppStream
• Beseitigt Rechenleistungs- und Speicherplatzbeschränkungen
auf dem Client
• Spart Entwicklungszeit
• Instant-on Anwendungen
• Vereinfachte Updates
• Verbesserte Sicherheit und Schutz des eigenen Codes

19. Beispiel-Anwendungsfälle
•
•
•
•
Spiele
Medien und Unterhaltungsprogramme
Simulations-Software
3D Grafikentwicklung

20. Komponenten von AppStream
Ihre Applikation
AppStream Host
Ihr Client
AppStream Service
Ihr Entitlement Service
AppStream Konsole

21. Der neue EC2 G2.2xlarge Instanztyp
•
•
•
•
•
15 GiB Hauptspeicher
26 EC2 Compute Units
1 x NVIDIA GRID GPU (Kepler GK104)
60 GB SSD Instance Store
64-bit Plattform
Unterstützung für weitere Instanztypen 2014

22. Anforderungen
Anwendungsseite
Clientseite
• Windows Server 2008 R2
•
•
•
•
•
•
Kindle Fire OS
Android 4.0 (ICS) +
iOS 6 +
Windows 7
Mac OSX (kommt 2014)
3Mbps Internetverbindung

23. Streaming der Applikation
AppStream Host
AppStream Service
Ihr Client
Ihr Entitlement Service

24. Streaming der Applikation
AppStream Host
AppStream Service
Ihr Client
Autorisierung anfragen
Ihr Entitlement Service

25. Streaming der Applikation
AppStream Host
AppStream Service
Ihr Client
Session erstellen
Ihr Entitlement Service

26. Streaming der Applikation
AppStream Host
AppStream Service
Ihr Client
Session erstellen
Ihr Entitlement Service

27. Streaming der Applikation
AppStream Host
Entitlement einlösen
AppStream Service
Ihr Client
Ihr Entitlement Service

28. Streaming der Applikation
Anwendung streamen
AppStream Host
AppStream Service
Ihr Client
Ihr Entitlement Service

29. Amazon AppStream’s STX Protokoll
• Gewährleistet qualitativ hochwertige STreaming eXperience
• Video und Audio als H.264
enkodiert
– Transport über UDP
• Benutzereingaben über TCP transportiert
• Misst ständig Netzwerk-Bedingungen
• Encoding/Transport in Echtzeit angepasst

30. WorkSpaces

31. Was ist WorkSpaces?
• WorkSpaces ist eine voll verwaltete Desktop Lösung in der Cloud
• Endbenutzer greifen auf die benötigten Dokumente, Anwendungen und
Ressourcen mit dem Gerät ihrer Wahl zu – Laptop, iPad, Kindle Fire,
Android Tablet
• Hochwertiger Desktop für unbegrenzte Nutzerzahlen
http://aws.typepad.com/awsaktuell/2013/11/amazon-workspaces-desktop-computing-in-der-cloud.html

32. Warum? Kundenfeedback
Apps & Data

33. Warum? Mobiler Zugriff

34. Warum? Viele Gerätetypen
Mac or PC

35. Warum? Datensicherheit

36. Warum? OS Migration
Image Source: http://commons.wikimedia.org/wiki/File:Microsoft_Windows_XP_logo_and_wordmark.svg

37. Warum? Wechselnde Mitarbeiterzahl

38. Warum nicht VDI on premises?
Hohe Investitionskosten
VDI Nutzen
zu welchen Kosten?
Infrastruktur und Software kaufen
Spezialisten anstellen

39. WorkSpaces Bundle
Bundle
Hardware-Ressourcen
Anwendungen
Preis pro
Monat
Standard
1 vCPU, 3,75 GiB Hauptspeicher,
50 GB persistenter Speicherplatz
Utilities (Adobe Reader, Internet
Explorer 9, Firefox, 7-Zip, Adobe Flash,
JRE)
35 US$
Standard Plus
1 vCPU, 3,75 GiB Hauptspeicher,
50 GB persistenter Speicherplatz
50 US$
Performance
2 vCPU, 7,5 GiB Hauptspeicher,
100 GB persistenter Speicherplatz
Microsoft Office Professional 2010,
Trend Micro Anti-Virus,
Utilities (Adobe Reader, Internet
Explorer 9, Firefox, 7-Zip, Adobe Flash,
JRE)
Utilities (Adobe Reader, Internet
Explorer 9, Firefox, 7-Zip, Adobe Flash,
JRE)
Performance Plus
2 vCPU, 7,5 GiB Hauptspeicher,
100 GB persistenter Speicherplatz
Microsoft Office Professional 2010,
Trend Micro Anti-Virus,
Utilities (Adobe Reader, Internet
Explorer 9, Firefox, 7-Zip, Adobe Flash,
JRE)
75 US$
60 US$

40. Sicherer Datenzugriff

41. Desktop von jedem Gerät

42. Unternehmens-Authentifizierung

43. Verwaltungswerkzeuge

44. Anwendungsfälle

45. Ressourcen
• http://aws.amazon.com/de
• Getting started with Free Tier:
http://aws.amazon.com/de/free/
• 25 US$ Credits für neue Kunden:
http://aws.amazon.com/de/campaigns/account/
• Twitter: @AWS_Aktuell
• Facebook: http://www.facebook.com/awsaktuell
• Webinare: http://aws.amazon.com/de/about-aws/events/
• Slides: http://de.slideshare.net/AWSAktuell
• Blog: http://aws.typepad.com/awsaktuell/
• Youtube: http://www.youtube.com/awsaktuell