Mais conteúdo relacionado Mais de OPITZ CONSULTING Deutschland (20) Automatisiertes ETL mit Data Vault und ODI 1. © OPITZ CONSULTING 2016
überraschend mehr Möglichkeiten!
© OPITZ CONSULTING 2016
Steven Sittner, Marcel Aretz
Automatisiertes ETL mit
Data Vault und ODI
2. © OPITZ CONSULTING 2016 Seite 2
Agenda
1
2
3
4
5
Motivation
Rahmen und Voraussetzungen
Anwendungsaufbau und ODI SDK
Umsetzung und Arbeitsweise
Fazit
Automatisiertes ETL mit Data Vault und ODI
3. © OPITZ CONSULTING 2016 Seite 3
Motivation
1
Automatisiertes ETL mit Data Vault und ODI
4. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 4
Motivation
Nutzung von Automatisierungspotentialen durch
Data Vault
Steigerung der Effizienz in der Entwicklung
Vermeidung von Fehlern
Stringentes Umsetzen von Architektur- und
Entwicklungsrichtlinien
Möglichkeiten von Oracle Data Integrator eruieren
5. © OPITZ CONSULTING 2016 Seite 5
Rahmen und Voraussetzungen
Data Vault
Hub-Tabellen
Link-Tabellen
Satellite-Tabellen
Umgebung
Entwicklungsumgebung
Produktversionen
2
Automatisiertes ETL mit Data Vault und ODI
6. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 6
Hub-Tabellen
Jeder Business Key / Composite Key bildet eine
Hub-Tabelle
Inhalt
Primärschlüssel (Hashwert des Business Keys)
Business Key / Composite Key der Quelltabelle
Ladedatum
Quellsystem
7. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 7
Link-Tabellen
Bilden Beziehungen zwischen Quelltabellen ab
Inhalt
Primärschlüssel (Hashwert der Business Keys aller in
Beziehung stehenden Hubs)
Ladedatum
Quellsystem
8. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 8
Satellite-Tabellen
Enthalten Informationen zu einer Hub-/Link-
Tabelle, die zur genaueren Beschreibung der
Entität dienen
Inhalt
Primärschlüssel
Hashwert des zu beschreibenden Hubs/Links
Ladedatum
Beschreibende Attribute
9. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 9
Data Vault - Übersicht
10. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 10
Entwicklungsumgebung und Produktversionen
Eclipse Mars
Oracle DB 11g
Java 8u77
ODI 12.2.1
11. © OPITZ CONSULTING 2016 Seite 11
Anwendungsaufbau und ODI SDK
Aufbau der Applikation
Stand des ODI SDK
Umfang hinsichtlich der steuerbaren
Funktionen
3
Automatisiertes ETL mit Data Vault und ODI
12. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 12
Aufbau der Applikation
SAT DV
Analyse eines Quell-
Schemas (in 3NF o.ä.)
Definition von
Business Keys
Foreign Keys
Attributen
usw.
Generierung des
Datenmodelles als Data
Vault Modell
ODI Auto
Anlage der ODI
Strukturelemente
Auslesen und Prüfen der
Metainformationen
Generierung der ODI
Mappings
Hubs
Links
Satellites
ODI SDK
API Bibliothek
ODI Server
Repository
Domain
Metadatenmodell
13. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 13
ODI Software Development Kit
SDK:
In aktueller Version 12c sind alle
Funktionen steuerbar
Struktur- oder Mappingelemente per
Java-Code ansprechbar
Reverse-Engineering ferngesteuert
durchführen
Funktionen:
Reverse-Engineering liefert Quell-
/Zieltabellen und –schemata
Finderklassen für alle Arten von ODI-
Elementen
Operatoren und Komponenten zum
Erstellen eines Mappings per Code
nutzbar
Datenflüsse mithilfe von
InputConnectorPoints oder dem
gewohnten Bauen von Expressions für
jedes Attribut modellierbar
14. © OPITZ CONSULTING 2016 Seite 14
Umsetzung und Arbeitsweise
Metadatenmodell
Prozesse
4
Automatisiertes ETL mit Data Vault und ODI
15. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 15
Metadatenmodell
16. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 16
Übersicht der Anwendungsprozesse
Foreign-
Keys
Attribute
Business
PK
Hub-Mappings Link-Mappings
Satellite-
Mappings
Metadaten-
modell
Generator
17. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 17
Prozesse
Hub-Mappings Link-Mappings
1-n Datastore anhand Quelltabellen
ermitteln
Bei mehreren Data Stores zusammenführen
Business Key filtern und weiterleiten
Hash Key bilden
Oracle Datenbank liefert Hashfunktionen in
DBMS_Crypto
Identifizieren relevanter Beziehungen in den
Quellen
JOIN aller Data Stores
Nachbilden der Hash Keys zum
Referenzieren der Hub-Tabellen
Bilden des Hash Keys für den Link aus den
Keys der Hub-Tabellen
18. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 18
Prozesse
Satellite-Prozess
Quellschema/-system identifiziert einen
Satellite
UNION/JOIN aller für den PK/FK nötigen
Tabellen
Selektieren der beschreibenden Attributen
aus der Tabelle des angesprochenen
Schemas
20. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 20
Verprobung im Projekt
Einfacher Form der Historisierung setzt nicht alle spezifischen fachlichen
Anforderungen um
Fehlerhandling momentan rudimentär - nicht passende Sätze werden
nicht verarbeitet
Klassische Mappings für Staging und RAW-Vault sind gut zu
automatisieren, komplexe fachliche Ableitungen im Business Vault und
Data Mart Aufbau eher schwierig.
Stringente Architekturvorgaben müssen eingehalten werden
21. © OPITZ CONSULTING 2016 Automatisiertes ETL mit Data Vault und ODI Seite 21
Ausblick
Historisierung um spezifische Lösungen erweitern
Fehlerhandling um weitere Funktionen ergänzen
Erweitern der Anwendung um weiter durch das SDK bereitgestellte
Fernsteuerungsmöglichkeiten
Integration in Data Vault Generator (SAT DV) und Deployment Werkzeug
(OCSV)
22. © OPITZ CONSULTING 2016 Seite 22Automatisiertes ETL mit Data Vault und ODI
Fragen / offene Diskussion
23. © OPITZ CONSULTING 2016
überraschend mehr Möglichkeiten!
@OC_WIRE OPITZCONSULTING opitzconsultingWWW.OPITZ-CONSULTING.COM
Seite 23
Steven Sittner
Associate Developer
Norsk-Data-Straße 3
61348 Bad Homburg vor der Höhe
steven.sittner@opitz-consulting.com
+49 151 5802 6138
Marcel Aretz
Senior Consultant
Landwehr 2
22087 Hamburg
marcel.aretz@optiz-consulting.com
+49 40 741122-1362
Automatisiertes ETL mit Data Vault und ODI