Dani Schnider, Principal Consultant und DWH/BI Lead Architectbei Trivadis in Zürich, an der DOAG Konferenz in Nürnberg. 19. November 2013.

1. Wie modelliere ich mein Core DWH?
DOAG Konferenz 2013, Nürnberg
Dani Schnider, Trivadis AG
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
1

2. Dani Schnider
 Principal Consultant und
DWH/BI Lead Architect
bei Trivadis in Zürich
 Kursleiter verschiedener
Trivadis-Kurse
 Co-Autor des Buches «Data
Warehousing mit Oracle –
Business Intelligence in der
Praxis»
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
2

3. Unser Unternehmen
Trivadis ist führend bei der IT-Beratung, der Systemintegration,
dem Solution-Engineering und der Erbringung von IT-Services
mit Fokussierung auf und Technologien
im D-A-CH-Raum.
Unsere Leistungen erbringen wir aus den strategischen Geschäftsfeldern:
Trivadis Services übernimmt den korrespondierenden Betrieb
Ihrer IT Systeme.
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
B E T R I E B
3

4. Mit über 600 IT- und Fachexperten bei Ihnen vor Ort
Hamburg
Stuttgart
Brugg
2013 © Trivadis
4
12 Trivadis Niederlassungen mit
über 600 Mitarbeitenden
200 Service Level Agreements
Mehr als 4'000 Trainingsteilnehmer
Forschungs- und Entwicklungs-budget:
CHF 5.0 / EUR 4 Mio.
Finanziell unabhängig und
nachhaltig profitabel
Erfahrung aus mehr als 1'900
Projekten pro Jahr bei über 800
Kunden
Stand 12/2012
4
DOAG - Modellierung Core DWH
19. November 2013
Düsseldorf
Frankfurt
Freiburg
München
Wien
Basel
Bern Zürich
Lausanne
4

5. Ausgangslage
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
Data Warehouse
Quellsysteme Staging Area Cleansing Area Core Marts
ETL Metadaten
BI-Plattform
5
Source driven Business driven

6. Vorgehensweise für Datenmodellierung im DWH
 Anforderungsgetriebene Datenmodellierung
 Business-driven (Top-down)
 Core-Modell wird aus fachlichen Anforderungen an
Data Marts abgeleitet
 Resultat: Dimensionales Core-Datenmodell
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
6
Data Warehouse
Data
Mart 1
Quell-system
A
Core
Cleansing Area
Staging Area
BI-Plattform
Data
Mart 2
Data
Mart 3
Quell-system
B
Top-down
Data Warehouse
Data
Mart 1
Quell-system
A
Core
Cleansing Area
Staging Area
BI-Plattform
Data
Mart 2
Data
Mart 3
Quell-system
B
Bottom-up
 Quellsystemgetriebene Datenmodellierung
 Source-driven (Bottom-up)
 Core-Modell wird aus verfügbaren Daten der
Quellsysteme abgeleitet
 Resultat: „Relationales“ Core-Datenmodell

7. Anforderungsgetriebene
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
Datenmodellierung
7

8. Dimensionales Core-Datenmodell
 Core ist „Gesamtmenge aller Data Marts“
 Dimensionen und Fakten aller Data Marts auf feinster Granularitätsstufe
 Implementierung als Star oder Snowflake Schema
 Einsatzgebiet:
 Struktur der Data Marts ist bekannt (Business
Requirements!)
 Conformed Dimensions zwischen den Data Marts
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
8
 Empfehlungen:
 Keine Aggregationen im Core
 Im Core generell Slowly Changing Dimensions verwenden
 Versionierung mit Head-/Versionstabellen
 Data Marts nicht zwingend als physische Schicht, eventuell
nur Views

9. 2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
D D
F
D D
D D
F
D
Data Mart 1
Data Mart 2
Core
D D
F
D D
F
D
Cleansing Area
Staging Area
9

10. 2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
D D
F
D D
F
D
D D
D D
D
F
F
D D
D D
D
D
D
D D D
Data Mart 1
Data Mart 2
Core
10

11. Beispiel: DWH für Liegenschaftenverwaltung
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
11
Data Mart „Gebäudeunterhalt“
Data Mart „Mieterzahlungen“
Core

12. Beispiel: DWH für Liegenschaftenverwaltung
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
12
V1 V2
V1 V2
V1 V2

13. Head-/Versionstabellen
 Head-Tabelle
 Eindeutiger Schlüssel pro Objekt (PK)
 Fachlicher Schlüssel (UK)
 Statische Attribute
 Versions-Tabelle
 Eindeutiger Schlüssel pro Version (PK)
 Fremdschlüssel auf Head-Tabelle
 Gültigkeitsdauer (Gültig von – Gültig bis)
 Dynamische Attribute
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
13
Head-
Tabelle
Versions-
Tabelle

14. Beispiel: DWH für Liegenschaftenverwaltung
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
14
V1 V2
V H
V H
V H
V H

15. 2013 © Trivadis
F
DOAG - Modellierung Core DWH
19. November 2013
D D
F
D D
F
D
H H
H H
F
D D
H H
H
H
H
H
Data Mart 1
Data Mart 2
Core
V
V
V
V
V
V V
V
V
V
D D D
V
V V
15

16. Quellsystemgetriebene
Datenmodellierung
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
16

17. „Relationales“ Core-Datenmodell
 Was bedeutet hier „relational“ und „3. Normalform“?
 Star und Snowflake Schemas sind auch relational
 Snowflake Schema ist in 3. Normalform (3NF)
 Gemeint ist: Aus Quellsystem abgeleitetes Core-Datenmodell
 Einsatzgebiet:
 Unterschiedliche oder noch unbekannte Anforderungen der
Data Marts
 Historisierung und Integration von Daten aus
verschiedenen Quellsystemen
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
17
 Empfehlungen:
 Nur fachlich relevante Daten in Core übernehmen
 Code-Tabellen und Lookup-Tabellen denormalisieren
 Stammdaten-Historisierung im Core mit Head- und
Versionstabellen

18. Source System 1
2013 © Trivadis
T
DOAG - Modellierung Core DWH
19. November 2013
T
T
T T
T
T
T
T
T
T
T
Source System 2
Core
H
H
F H
V
V
V
F
H V
H V
H F
V
H
V
H
V
Staging Area / Cleansing Area
18

19. Beispiel: Datenmodell des Quellsystems
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
19

20. Beispiel: Core-Datenmodell (nicht historisiert)
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
20

21. Beispiel: Core-Datenmodell (historisiert)
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
21
H
H
H H
H
H
H
V
V
V V
V
V
V

22. Data Vault Modeling
2013 © Trivadis
 Hub:
 Eindeutiger Schlüssel pro Objekt (PK)
 Fachlicher Schlüssel (UK)
 Audit-Informationen (Ladedatum, Quellsystem)
 Satellite:
 Fremdschlüssel auf Hub oder Link
 Gültigkeitsdauer (Gültig von – Gültig bis)
 Fachliche Attribute (statisch und dynamisch)
 Audit-Informationen (Ladedatum, Quellsystem)
 Link:
 Künstlicher Schlüssel (Surrogate Key)
 Fremdschlüssel auf zwei oder mehr Hubs
 Audit-Informationen (Ladedatum, Quellsystem)
DOAG - Modellierung Core DWH
19. November 2013
22
H
S
L

23. Source System 1
2013 © Trivadis
T
DOAG - Modellierung Core DWH
19. November 2013
T
T
T T
T
T
Core (Data Vault)
H
S
S
S
H
H
H
H
H
H
S
S
S
S S
S
S
S
S
S
L
L
L
L
L
S
L
23

24. Data Vault Modeling
 Einsatzgebiet:
 Enterprise Data Warehouse mit vielen Quellsystemen
 Agile DWH-Projekte mit vielen Erweiterungen und Change
Requests
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
24
 Empfehlungen:
 Hubs enthalten ausschliesslich Schlüsselattribute (keine
„statischen“ Daten)
 Fachliche Attribute in Satellites (historisiert)
 Alle Beziehungen über Links (n-zu-n Beziehungen)
abbilden
 Bei Bedarf auch Satellites für Links möglich

25. Beispiel: Core-Datenmodell als Data Vault
S H
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
25
S
S
S
H
L L
H H
S S
S
S
S
L
S
L

26. Generische Datenmodelle
 Einsatzgebiet:
 Agile DWH-Projekte mit vielen Erweiterungen und Change
Requests
2013 © Trivadis
 Grundidee:
 Erweiterungen ohne Modellanpassungen möglich
 Datenmodell soll möglichst allgemein gehalten werden
 Konfigurierbar über Metadaten (z.B. Rolle, Objekttyp, etc.)
DOAG - Modellierung Core DWH
19. November 2013
26
 Empfehlungen:
 Nicht verwenden!

27. 2013 © Trivadis
T
DOAG - Modellierung Core DWH
19. November 2013
Generic Core
Partner
Type
Role Object
Source System 1
T
T
T T
T
T
T
T
T
T
T
Source System 2
Staging Area / Cleansing Area
27

28. Beispiel: Generisches Datenmodell
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
28
Person
Firma
Mieter
Vermieter
Besitzer
G = Gebäude
W = Wohnung
Gebäude
Wohnung

29. Wie modelliere ich mein Core DWH?
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013
29

30. Fragen und Antworten...
Dani Schnider
Principal Consultant
Tel.: +41 58 459 50 81
dani.schnider@trivadis.com
BASEL BERN BRUGG LAUSANNE ZÜRICH DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. HAMBURG MÜNCHEN STUTTGART WIEN
2013 © Trivadis
DOAG - Modellierung Core DWH
19. November 2013