‘Fehler vorprogrammiert’ Paul Tours, Senior Consultant/Human Inference

1. “ Fehler vorprogrammiert?!” Breakfast Session, 26.05.2009 – Hotel im Wasserturm/Köln

4. Die Ursachen mangelnder Datenqualität sind vielfältig Dubletten Groß/Kleinschreibung Inkonsistenzen Mißbrauch von Feldern Fehlerhafte Adressen

6. ETL: Traditionelle Methodik Im Hinblick auf die Datenqualität ist ETL zwar ein sinnvolles Tool für die Konvertierung oder Standardisierung, jedoch nicht für die Korrektur oder Verbesserung von Daten . Daneben ist ETL mit einer Konvertierung von Daten vor ihrer Speicherung in einem Data Warehouse, Datamart oder einer neuen Zieldatenbank eher auf den Datenfluss fokussiert. Subjektspezifische Daten wie Kunden- oder Produktdaten stehen nicht im Mittelpunkt.“ Data based Advisor “Data Quality: A Problem and an Approach” DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records load Target System

8. ETL mit Move & Improve DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting 4. Data Improver 5. Merge & Enrich „Golden Record“

9. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit ETL mit Move & Improve

10. Data Quality Audit Vorgehensweise: - Durchführung eines Workshop in Zusammenarbeit mit dem Projektteam und Vertretern der IT- und Fachabteilungen. - Analyse der Datenstruktur und der Feldinhalte hinsichtlich Vollständigkeit, Konsistenz und fehlerhaften Störelementen (Erika Mustermann, Test-Test, asdfg, qwertz, etc.). - Analyse der Bestandsliste hinsichtlich Crossreferenzen durch Einsatz der im Workshop abgestimmten Regeln. - Auswertung und Dokumentation der Ergebnisse. - Präsentation der Ergebnisse

11. Ergebnis Feldprüfung

12. Adressprüfung 18,00% 528 Manuelle Korrektor notwendig 10,00% 292 Nicht eindeutig Korrigiert 72,00% 2.107 Automatisch Korrigiert 12,32% 2.927 Verschmutze Adressen 77,68% 33.130 Saubere Adressen 100,00% 36.057 Addressen Gesamt

13. Ergebnis Data Quality Audit

14. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption ETL mit Move & Improve

16. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Human Inference: Move & Improve

18. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move and Improve 4. Data Improver

19. HI Data Improver (aka Waschstrasse )

20. DB 1 DB 2 DB n extract extract extract Storage of Original records Uniform Parse & Format Storage of All Uniformed records Validation Match Storage of Golden record load Target System 1. Datenanalyse durch ein Data Quality Audit 2. Konzeption 3. Transformierung und Standardisierung durch Transform und Scripting ETL mit Move & Improve 4. Data Improver 5. Merge & Enrich „Golden Record“

23. Manuelle Datenvermischung

24. Ein Mass für den Erfolg des Projektes sind die Ergebnisse aus den Audits! Führt man nach Abschluss der Datenmigration den gleichen Audit nochmal durch und vergleicht ihn mit den Ergebnissen des ersten Audits, hat man hier einen wesentlichen Indikator für den Erfolg des Projektes .

26. Fragen?

27. Vielen Dank für Ihre Aufmerksamkeit Kontakt: Paul Tours Senior Consultant Human Inference Hammfelddamm 4a 41460 Neuss Tel: +49 2131 403170 Fax: +49 21314031770 Mobile: +49 171 3811709 Internet: www.humaninference.com Email: [email_address]