Methode zur Organisation von Daten Management im Big Data Zeitalter - nach Ronald Damhoff

1. DATEN
QUADRANT
STRATEGIE UND ORGANISATION IM
ZEITALTER VON AGILEBI, DWH,
AUTOMATION UND BIGDATA

2. EINLEITUNG
• Quellen
• Datenquadrant von R.D. Damhof Mai 2014 – DWH Automation
• Whitepaper “Building A Data-Centric Strategy and Roadmap” – datablueprint.com,
Peter Aiken und Lewis Broome
• Daten als untrennbarer Verbund und/oder Bestandteil von den Produkten und
Dienstleistungen die verkauft werden.
• Strategie
• “Your data strategy must align to your organizational business strategy and
operating model.”
• Architektur
• “Data Architecture represents the common vocabulary, expressing integrated
requirements ensuring that data assets are stored, arranged, managed and used in
support of organizational strategy.”
• Governance
• “Data Governance is the exercise of authority and control over the management of
your mission- critical data assets.”
• Technical Practices: Qualität, Integration, Plattformen, BI
• Der Datenquadrant als Kommunikationsmittel für Strategie und Technik

3. DATENSTRATEGIE
Strategie
Ziele und Vorhaben
Datenmanagement
Systeme und
Applikationen
Network /
Infrastructure
Strategie
Ziele und Vorhaben
Systeme und
Applikationen
Network /
Infrastructure
Datenmanagement
Datengetrieben
Applikationsgetrieben

4. • Datenassets werden
durch die
Geschäftsprozesse
erstellt, die Ziele und
Vorhaben liefern
• Datenmanagement
ermöglicht
Geschäftsprozesse, Ziele
und Vorhaben zunehmend
direkt durch eigene
Wertbeiträge
• Personen, Organisation
und Geschäftsprozesse
liefern Kontext für das
Datenmanagement
• Datenmanagement
informiert die Personen
und Organisation
DATENSTRATEGIE
Personen und
Organisation
Geschäftsprozesse Ziele und
Vorhaben
Technologie
Technology Assets
Datenmanagement
Daten Assets
Informiert
ErstelltKontext

5. INFORMATIONEN
LIEFERN
Geschäftsprozesse Ziele und VorhabenPersonen und
Organisation
Technologie
Technology Assets
Informationsfluss Anforderungen
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
n
f
o
r
m
Produkt

6. PROBLEMSTELLUNG
KOMMUNIKATION
BI/IT
CIO/CTO/CDO
Fachabteilung
CEO/COO/CFO
NoSQL
BigData
MPP
Data
Vault
Analytics
???
AgileBI
Self
Service
Predictive

7. ANALOGIE: LOGISTIK
UND PRODUKTION

8. WIE KOMMEN PRODUKTE
AUF DEN MARKT
3FolieFolieAWF Arbeitsgemeinschaft “Pull-Systeme” – Dipl.-Ing. O. Völker und Dipl.-Ing. S. Binner
Einleitung „Push“ und „Pull“
In OutBestand in der Fertigung
Ziehlogik (PullZiehlogik (Pull--Prinzip)Prinzip)
Bestand in der Fertigung
In Out
Schiebelogik (PushSchiebelogik (Push--Prinzip)Prinzip)
Quelle: Ruhr-Universität Bochum, AWF AG Pull-Systeme, Dipl.Ing. O. Völker und Dipl. Ing. S. Binner

9. PULL VERSUS PUSH
PRODUKTE
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
Geringe
Änderungskosten
Geringe Vorbereitungszeit
Variable Anforderungen
Hohe Personalisierung
Geringer
Verkaufsaufwand
Variabilität in der
Produktion
Hohe Anpassungskosten
Größere
Vorbereitungszeit
Push
Pull

10. PULL VERSUS PUSH
DATEN
PUSH/SUPPLY/SOURC
E
• Fakten, historisiert
• Massendeployment
• Kontrolle>Agilität
• Wiederholbare &
vorhersagbare
Prozesse
• Standardisierung
• Automation
• Deklarativ > Prozedural
• Metadaten, Modell
getrieben
• IT und Datenexpertiese
PULL/DEMAND/PRODU
CT
• Interpretation &
Kontext
• Einzeldeployment
• Agilität > Kontrolle
• Nutzerfreundlichkeit
• Weniger IT-Expertise
• Hohes Fachwissen
• Prozedural >
Deklarativ

11. UNTERSCHEIDUNG
LIEFERMODUS
Systematisch
• Nutzer und Entwickler sind getrennt
• Fokus auf Kontrolle und Compliance
• Fokus auf Non-Functionals
• Zentrale, unternehmensweite Informationsobjekte
• Nutzer und Entwickler sind eng verbunden
• Offensive Governance – Fokus auf Agilität und Anpassbarkeit
• dezentralisierte Informationsobjekte
• Deployment direkt in Produktion
Opportunistisch
Development Style

12. DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic

13. DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic
EDWH
Star
OLAP
Report
Dashboard
Self-
Service BI
Analytics
Predictive
Machine
Learning
BPMN
KontextEIM

14. STRATEGIE UND
ARCHITEKTUR
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI

15. GOVERNANCE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Verantwortung beim
Anforderer
Verantwortung beim Lieferanten
Verantwortung beim Data Scientist / Analyst / Researcher

16. TRANSITIONEN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Auflösung von Produkten der
Shadow-IT oder aus der
Inkubation
Übergabe von Produkten aus
der eigenverantwotlichen
Produktion in die zentrale
Verantwortung –
Standardisierung von
Entwicklungsmethoden

17. ZENTRALISIEREN -
DEZENTRALISIEREN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design

18. PRODUKTION
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Produktionslinie Data
Product
Information
Product
Data Access
Analytics
Processing
Power

19. AUTOMATION
I DATA DELIVERY
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we produce…
II AGILE BI –
AUTOMATED SDLC
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we do projects…
I
• Facts
II
• Context
IV
• Shadow IT
• Incubation
• Ad-hoc
• Once off
III
• Research
• Innovation
• Design
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
Geringe Änderungskosten
Geringe Vorbereitungszeit
Push

20. AUTOMATION –
MODELLIERUNG
Strategie und Architektur
Modellierung eines EIM
Fact-Based Modeling
Conecptual -> Logical
Ontology –> Facts -> Relational
Transformation von Datenmodellen (EIM/FCO-
IM/ER/DataVault/AnchorModeling)
Integration von BPMN und Datenmodellierung
 Metadaten getriebene DWH Automation
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
•Ensemble
Modeling
II
•Dimensional,
hierarchical,
flat
III
•Shadow IT
•Incubation
•Ad-hoc
•Once off
IV
•Research
•Innovation
•Design

21. TECHNOLOGIE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
MPP
BigData
NoSQL
Blending
R-Programming
Map/Reduce
Python
Analytics
“Traditional
BI”Ensemble
Modeling
Self-Service BI

22. TECHNOLOGIE UND
VORGEHEN
I
•Storage: (R)DBMS
•Processing: Automation
•DQ: Validation,Profiling
•Dev: Data Modeling
•Access: Virtualization
II
•Storage: Pattern Based
•Processing: limited ETL
•DQ: Regeln,
Dashboards
•Dev: Data Modeling
•Access: BI Tools,
Visualisation
III IV
•Storage: Analytical
•Processing: Preptools
für Data Analst
•Access: Advanced
Analytics, Data
Visulisation

23. TAKE-AWAY
• Kommunikation der Realisierung einer Datenstrategie auf der
Basis von verständlichen Kategorien
• Kategorisierung von Anforderungen für Anwendungen und
Informationsquellen
• Automatisierung in der Datenversorgung ist eine
Grundvoraussetzung
• Sowohl die eigentliche Versorgung
• … als auch die Steuerung der Versorgung
• Für AgileBI
• Metadaten und Modelle sollten die Automatisierung steuern,
um die Strategie und die Implementierung zu verbinden

24. DANKESCHÖN
• Owner, Managing Consultant bei Alligator Company
• 10+ Jahre Erfahrung in BI
• Certified Data Vault 2.0 Practitioner
• Member of the Boulder BI Brain Trust
Torsten Glunde
mailto:t.glunde(at)alligator-company.de
Weitere Netzwerke:
https://www.xing.com/profile/Torsten_Glunde
https://www.linkedin.com/pub/torsten-glunde/8/aba/97
tglunde