Big Data ist in aller Munde, aber man findet vergleichsweise wenig Praxisberichte oder Best Practices zu dem Thema. Wir wollen in diesem Vortrag unsere Erfahrung aus Projekten mit Kunden wie 1&1 und ProSiebenSat.1 Digital teilen und Dos und Don'ts im Umgang mit großen Datenmengen und entsprechenden Technologien zur Diskussion stellen.

1. Big data-Projekte:
Best practices aus der Praxis
Dr. Kathrin Spreyer
Big Data Engineer
JAX / Big data days
Mainz, 14.05.2014

2. Agenda
1. Projekte
2. Big
3. Datenimport
4. Datenschutz
5. Testen
6. Tooling
7. Agilität
2

3. Agenda
1. Projekte
2. Big
3. Datenimport
4. Datenschutz
5. Testen
6. Tooling
7. Agilität
2

4. Zwei Projekte
• 1&1
• 2009-2013
• Web-Analytics
• ProsiebenSat.1 Digital (PSD)
• 2013-heute
• Integration von Reichweiten-,
Vermarktungserlös- und
Transaktionsdaten
3

5. Architektur 1&1
4

6. Architektur PSD
5
Lösungsansatz
Hybrides System aus relationaler Datenbank und Hadoop Cluster

7. Was heißt “Big?”
6
3V

8. Was heißt “Big?”
6
3V
Parallelisierung
Skalierbarkeit

9. Datenimport
7
Koordination m. Quellsystemen
Zwischenspeicherung
Skalierbarer
Transport
(N)RT

10. Datenschutz
8
Computersicherheit
Multi-Tenancy

11. Datenschutz
8
Computersicherheit
Multi-Tenancy
PII
Anonymisierung
Nutzen vs. Anonymität

12. Testen
9
Korrektheit
Robustheit
Performanz

13. Testen
9
Korrektheit
Robustheit
Performanz
Regressions-/Akzeptanztests

14. Testen
9
Datenmenge
Korrektheit
Robustheit
Performanz
Testdauer
Regressions-/Akzeptanztests
Wartbarkeit (Fachseite)

15. Tooling
10

16. Tooling
10
Reifegrad
Downstream-Anforderungen
Datenmodellierung
RT?
Nutzerakzeptanz

17. Agilität
11
REfactoring mit neuen Technologien
Iterativ
inkrementell

18. Agilität
11
Daten-Exploration
REfactoring mit neuen Technologien
Iterativ
inkrementell
Anforderungen erwachsen aus Daten

19. Und jetzt?
12
Luecken
Junge Technologien

20. inovex Academy
1. U.a. Hadoop-Entwickler-Training
2. 1-3 Tage
3. Inhouse oder offen
4. Offene Hadoop-Trainings 2014:
18.-20. März (Köln)
24.-26. Juni (München)
18.-20. November (Karlsruhe)
www.inovex.de/trainings/offene-trainings/
13

21. 14
Fragen?
Meinungen?