… und 10 typische Stolpersteine auf dem Weg dahin

1. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
 Überraschend mehr Möglichkeiten
© OPITZ CONSULTING 2018
… und 10 typische Stolpersteine auf dem Weg dahin
Lukas Berle
Big-Data-Architekturen

2. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin
Who am I?
Lukas Berle
 Big Data Software Engineering Lead @
OPITZ CONSULTING
 Scalable Computing
 Big-Data-Architekturen
 Hadoop Infrastruktur Setup
 Docker & Kubernetes

3. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich Seite 3
Überblick
1
2
Big Data Architekturen
Zehn Stolpersteine
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin

4. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 4
Die klassische Data Warehouse Architektur

5. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 5
Data Lake Grobarchitektur

6. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 6
Data Lake Feinarchitektur

7. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 7
Hadoop als Active Archive

8. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 8
DWH Architektur mit Streaming Layer

9. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 9
DWH Architektur mit Streaming Layer

10. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle - Big Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 10
Streaming Architekturen – Lambda Architektur

11. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle - Big Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 11
Streaming Architekturen – Kappa Architektur

12. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 12
Spark on Kubernetes

13. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 13
Stolperstein 1
Don‘t use NoSQL Database
SQL-like!

14. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin
Stolperstein 2
Hadoop Distribution?!
Ich nehm das Open Source Hadoop!

15. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 15
Stolperstein 3
Big Data != Analytics
Analytics < Big Data

16. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 16
Stolperstein 4
„My 5 men backend-developer team will make it“
Verzweiflung Vorbeugen:
• Grundlagenschulung
• Spezialistenschulung
Es gibt eine Menge an
• Bugs
• Versionsinkompatibilitäten
• Fehlender Doku
• Möglichkeiten der Fehlkonfiguration
+
Hortonworks Commmunity

17. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 17
Stolperstein 5
Denke in Rollen!

18. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 18
Stolperstein 6
Warum Big Data Projekte organisatorisch fehlschlagen
 Ungenaue Ziele
 Falsche Erwartungen
 Technologien und vorhandene Skills divergieren zu stark
Das „richtige“ erste Big Data Projekt
 Nachweisbarer Wert
 Management Attention + Sponsoring
 Small Use Case for Big Data
 Umsetzbar in 6 Monaten

19. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 19
Stolperstein 7
Automatisierung des Hadoop
Infrastruktursetups spart mir viel
Geld!
Denk an:
• Security
• Properties
• Versionsupdates
• Neue Tools

20. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 20
Stolperstein 8
Entkopplung von Storage und Compute Knoten

21. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 21
Stolperstein 8
Entkopplung von Storage und Compute Knoten

22. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 22
Stolperstein 8
Entkopplung von Storage und Compute Knoten

23. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 23
Stolperstein 9
Halte dich an die richtige Reihenfolge!
Hardware
Distribution /
Technologie
Anwendungs-
fälle
Hardware
Distribution /
Technologie
Anwendungs-
fälle

24. © OPITZ CONSULTING 2018
Informationsklassifikation:
Öffentlich
Lukas Berle – Big-Data-Architekturen und 10 typische Stolpersteine auf dem Weg dahin Seite 24
Stolperstein 10
Nutze nicht für alles das Beste!