NORA/Gegevensmanagement heeft de handschoen opgepakt om een overheidsbrede standaard voor gegevenskwaliteit op te zetten. We hebben internationale standaarden en een diversiteit aan ervaringen bij (overheids)organisaties geanalyseerd, geïntegreerd en vertaald naar een breed toepasbaar kwaliteitsraamwerk. Dit raamwerk beschrijft de dimensies en attributen waarbinnen gegevenskwaliteit expliciet kan worden gemaakt. Het is een praktische checklist, die je kunt toepassen in allerlei contexten. Met plezier presenteren we het resultaat en nodigen we jullie uit om mee te denken over het toepasbaar maken van deze resultaten.
1. Sturen op gegevens
Gegevenskwaliteit –
een raamwerk vanuit NORA
Symposium Gegevensmanagement 2020
Danny Greefhorst (dgreefhorst@archixl.nl)
namens kernteam (Wim Stolk, Kasper Kisjes, Jaap van den Berg, Gerald Groot Roessink)
2. Inhoud
• Het doel en de uitgangspunten
• Gegevenskwaliteit
• De input
• Het proces
• De output op dit moment
• Het vervolg
3. Het doel en de uitgangspunten
• Een gemeenschappelijk raamwerk voor gegevenskwaliteit voor de
Nederlandse overheid:
• Kwaliteitsdimensies, kwaliteitsattributen en voorbeelden
• Gebaseerd op beschikbare theorie, standaarden en best practices
• Uitgaan van eerder resultaat, met name Omgevingswet raamwerk
• Gericht op praktische toepasbaarheid
4. Basisbegrippen
Kwaliteit: Mate waarin een geheel van
eigenschappen en kenmerken van een object
voldoet aan eisen (ISO 9000:2015 DIS).
Gegevenskwaliteit: Mate waarin een geheel
van eigenschappen en kenmerken van één of
meer gegevens voldoet aan eisen.
Gegeven: Een formeel vastgelegd feit, begrip of
aanwijzing (NORA)
Het streven is dat
gegevenskwaliteit
“fit-for-purpose” is;
dat deze aansluit bij het
gebruik
Kwaliteit heeft betrekking
op de mate waarin wordt
voldaan aan
verwachtingen
5. Gerelateerde begrippen
Kwaliteitsraamwerk
Dataset
Een aspect van kwaliteit
waaraan gebruikers van
gegevens waarde hechten
Een aspect van een
kwaliteitsdimensie
Een verzameling
kwaliteitsdimensies en
kwaliteitsattributen
Een verzameling gegevens
die als geheel wordt
verwerkt
Een regel die een
beperking stelt aan
gegevens
Een norm waaraan
gegevens moeten voldoen
Kwaliteits
dimensie
Kwaliteits
attribuut
KwaliteitseisKwaliteitsregel
7. Voorbeeld kwaliteitsregels en -eisen
Kwaliteitsregels
• De naam van de medewerker komt
overeen met de naam zoals vermeld op
het paspoort
• Urendeclaraties en reisdeclaraties
overlappen niet met andere
urendeclaraties of reisdeclaraties
• Postcodes die worden geregistreerd bij
een werkreis komen voor in de
postcodetabel
• De tijd van een werkactiviteit wordt
afgerond op een half uur
• Bij urendeclaraties wordt een door de
klant getekend exemplaar van een
urenstaat meegeleverd
Kwaliteitseisen
• naam van de medewerker komt volledig
overeen met de naam zoals vermeld op
het paspoort voor 100% van de
medewerkers
• De reisafstand wijkt maximaal 5 kilometer
af van de afstand die Google maps
aangeeft voor de route voor 95% van de
werkreizen
• 95% van de postcodes die worden
geregistreerd als startpunt of eindpunt van
een werkreis komen voor in de
postcodetabel
• Urendeclaraties worden binnen 60 uur na
het verstrijken van de week in het systeem
geregistreerd
16. Waarom is gegevenskwaliteit belangrijk in
jouw context? (1)
• Meten hoe ver je bent
• Betrouwbaarheid van gegevens
• Om correcte gevolgtrekkingen te kunnen ondersteunen
• Goede dienstverlening mogelijk maken
• Basis voor betrouwbare bedrijfsuitoefening
• Hoe gaan we het belang van gegevenskwaliteit op de agenda
van bestuurders zetten?
• Procesbehandeling
• Breed gebruik basisregistraties
• Indicatie betrouwbaarheid
• Bron voor allerhande afgeleide gegevens, moet dus
kwalitatief goed zijn
• In het kader van het hergebruiken van data is het van belang
dat de data correct is
• Zonder goede datakwaliteit, lagere betrouwbaarheid van
rapportages met potentiële verkeerde beslissingen tot gevolg
• Betere Basis
• Context Informatiebeheer: informatie bestaat steeds meer
uit gegevens die in een verband/context gebruikt worden.
Kwaliteit gegevens bepaalt kwaliteit informatie
• DUO: Om onze wettelijke taken goed uit te kunnen voeren
• Matige kwaliteit leidt tot matige beslissingen
• Zonder gegevenskwaliteit geen vertrouwen in management
informatie
• Consistentie, Validiteit, Juistheid
• Onnodig gebruik van gegevens voorkomen & kwaliteit
verhogen bij afnemers
• Beslissing met financiële gevolgen, hergebruik door andere
overheden en open data
• Voor informatie gestuurd werken, monitoren en toezicht
houden.
• Basis voor besluitvorming
17. Waarom is gegevenskwaliteit belangrijk in
jouw context? (2)
• Omgevingseis
• Juistheid en betrouwbaarheid
• Nemen juiste beslissingen
• Juiste informatievoorziening
• Compliance
• Goede vindbaarheid
• Betrouwbaarheid zorgt ervoor dat je betere beslissingen kan
nemen en voldoet aan alle regelgeving
• Als je rapportages maakt wil je ervan uit kunnen gaan dat de
gegevens die je gebruikt juist en volledig zijn bijvoorbeeld
• Toegankelijkheid
• Beschikbaar stellen aan initiatiefnemers voor het maken van
plannen
• Meer grip
• Zonder kwaliteitsoordeel geen houvast
• Alles wat is genoemd
• Eenheid in gebruik van gegevens
• Kans op foute beslissing in groot
• Beslissingen en keuzes op basis van de juiste informatie
• Basis informatiehuishouding gemeente
• Gebruik voor betrouwbaarheid gegevens en uitwisseling
• Betrouwbare overheid
• Efficiënte werkprocessen
• Om je doel te bereiken
• Gegevens zijn een asset
• Besluitvorming
• Aanbieder authentieke gegevens in basisregistraties
18. Waarom is gegevenskwaliteit belangrijk?
• Snellere en betere besluitvorming – betere gegevens leiden tot
minder discussie en meer betrouwbare besluiten
• Meer efficiënte en voorspelbare processen – betere gegevens
voorkomen inefficiënte handelingen en onverwachte verrassingen
• Compliance – door betere gegevens kun je beter, efficiënter en met
meer vertrouwen rapporteren over het voldoen aan wet- en
regelgeving
19. Afbakening: kwaliteit van de gegevens zelf
gegevenskwaliteit
Kwaliteit
van de
data
governance
Kwaliteit
van de
processen
Kwaliteit
van de
aanlevering
Kwaliteit
van het
informatie
model
Kwaliteit
van de
systemen
Kwaliteit
van de
gegevens
zelf
Waarde van gegevens
in gebruik (ook wel:
externe kwaliteit)
20. De input
Open standaarden
• ISO/IEC 25012/25024, NEN/ISO 19157, ISO 5725, ISO 8000
De facto standaarden
• DAMA-NL Code voor Informatiekwaliteit, DAMA-NL Dimensions of Data Quality,
DAMA DMBoK, Conformed Dimensions of Data Quality
Onderzoek
• R.W. Wang, C. Batini, D. McGilvary, Y. Lee, D. Loshin, G. Tejay, C. Besselink, P. van Oort
Zelf-ontwikkelde raamwerken
• Omgevingswet, Rijkswaterstaat, IPO
Ervaringen bij de Nederlandse overheid
• DSO, Kadaster, RIVM, Rijkswaterstaat, RCE, DUO, IPO, Waterschapshuis, VNG, InspectieViews
21. Het proces tot nu toe
• Kernteam: Wim Stolk, Danny Greefhorst, Kasper Kisjes, Jaap van den Berg,
Gerald Groot Roessink
• Confrontatie van raamwerken Omgevingswet en Rijkswaterstaat
• Kritische beoordeling door vanuit kernteam en toetsing o.b.v. DUO praktijk
• Afstemming met DAMA-NL initiatief – Dimensions of Data Quality
• Reviewronde met circa 15 reviewers
• Verwerking reviewcommentaar:
• Splitsing kern en toevoegingen voor geo- en statistiek
• Mapping op Code voor Informatiekwaliteit en nieuwe DAMA-NL lijst
• Toevoeging van toepassingsniveau
• Toevoeging van toelichtingen en meer voorbeelden
22. Basisraamwerk
Juistheid
Compleetheid
Validiteit
Consistentie
Actualiteit
Precisie
Plausibiliteit
Traceerbaarheid
De mate waarin gegevens de echte waarde goed weergeven.
De mate waarin gegevens aanwezig zijn.
De mate waarin gegevens voldoen aan de verwachte structuur en opslagvorm.
De mate waarin gegevens niet in tegenspraak zijn met andere gegevens.
De mate waarin gegevens recent genoeg zijn.
De mate waarin gegevens exact of onderscheidend genoeg zijn.
De mate waarin gegevens worden beschouwd als waar en geloofwaardig door gebruikers.
De mate waarin de totstandkoming en het gebruik van gegevens zijn vastgelegd.
Begrijpelijkheid De mate waarin gegevens eenvoudig gelezen en geïnterpreteerd kunnen worden door gebruikers.
28. Welke vragen moet de werkgroep
beantwoorden?
• Context dus, welke gaat over de relevantie in een bepaalde
situatie
• Praktische toepasbaarheid van verschillende pooling.
Eventueel opensource
• Praktische tips voor het opstellen van kwaliteitseisen
• Een handreiking/checklist (van <100 blz als bet kan) die je als
gemeente kan gebruiken. Dit is veel theorie die ik graag zou
toepassen
• Hoe delen we dit met onderwijs (afstuderende ict-
ers/managers en zo)
• Zijn collectieve meetvoorschriften mogelijk?
• Met welke tool kun je kwaliteit van gegevens meten
• De meetbaarheid van de kwaliteit (waardes bepalen)
• informatiekwaliteit (extern) vs gegevenskwaliteit (intern)
• Uitwerking van voorbeelden, gerelateerd aan het raamwerk
• plan van aanpak, hoe pak je het aan, waar begin je, hoe kan
je effectief stappen zetten,
• Praktisch gaat voor mij over het hoe. Zijn daar story’s voor te
maken. Maakt het minder algemeen en meer te begrijpen
• Aansluiting kwaliteit op de beheersbaarheid van gegevens
volgen de archiefbeelden en AVG
• Waar begin je en hoe houd je het doel voor ogen? (Doel
wordt gaandeweg vaak uit het oog verloren)
• Hoe zien de Eerste stapjes eruit om data kwaliteit te bepalen.
Datakwaliteit voor dummy's
• Stappenplan om het praktisch toe te passen.
• Operationalisatie/ meetbaar maken
• Hoe helpt dit de digitale archiveerbaar?
• Voorbeelden van verschillende domeinen, zoals sociaal
domein, ruimtelijk domein, etc.
• tooling meten informatiekwaliteit
• Archiefbeeld en beheersbaarheid
29. Afsluiting
• Kwaliteit is de basis voor alles
• Kwaliteit is afhankelijk van de context
• We horen graag meer over jouw context
• NORA – Wim Stolk (info@stolkinformatiemanagement.nl)
• Omgevingswet – Danny Greefhorst (dgreefhorst@archixl.nl)
30. Definities kwaliteitsattributen basis (1)
Kwaliteitsattribuut Definitie
Thematische juistheid De mate waarin kwalitatief beschrijvende gegevens overeenkomen met de
werkelijkheid
Classificatie juistheid De mate waarin gegevensobjecten zijn geïdentificeerd als het juiste logische objecttype.
Dataset compleetheid De mate waarin objecten waarvan het bestaan bekend is aanwezig zijn.
Object compleetheid De mate waarin waarden bij gegevensobjecten aanwezig zijn.
Overcompleetheid De mate waarin gegevensobjecten niet onterecht aanwezig zijn.
Historie compleetheid De mate waarin historische gegevens aanwezig en temporeel dekkend zijn.
Metadata compleetheid De mate waarin metadata aanwezig zijn.
Formaatvaliditeit De mate waarin gegevens syntactisch correct zijn.
Domeinvaliditeit De mate waarin de inhoud van waarden consistent zijn met hun domein.
Logische consistentie De mate waarin de combinaties van waarden logisch samenhangend zijn.
Referentiële integriteit De mate waarin verwijzingen in gegevens verwijzen naar bestaande gegevens.
Identificeerbaarheid De mate waarin gegevens zijn voorzien van een unieke en stabiele identificatie die ook
buiten de directe gebruikscontext betekenis heeft.
31. Definities kwaliteitsattributen basis (2)
Kwaliteitsattribuut Definitie
Homogeniteit De mate waarin de gegevens in een dataset gelijksoortig zijn.
Updatefrequentie De snelheid waarmee gegevens worden vernieuwd.
Versheid De mate waarin gegevens tijdig zijn geactualiseerd.
Opslagprecisie De mate waarin gegevens zijn geregistreerd.
Authenticiteit De mate waarin de authenticiteit van de bron van de gegevens aantoonbaar is.
Reputatie De mate waarin de gegevens worden vertrouwd vanwege de bron.
Bewijsbaarheid De mate waarin de juistheid van een gegeven kan worden aangetoond.
Herleidbaarheid De mate waarin is vastgelegd wie of wat het gegeven waar, wanneer en op welke
manier heeft ingewonnen of bewerkt.
Reproduceerbaarheid De mate waarin de transformatieregels die zijn gebruikt om tot de gegevens te komen
bekend zijn.
Gebruiksinzicht De mate waarin er inzicht is in de gebruikers en hun gebruik.
Leesbaarheid De mate waarin teksten voor de doelgroep begrijpelijk zijn geformuleerd.
32. Definities kwaliteitsattributen geografie
Kwaliteitsattribuut Definitie
Positionele juistheid De mate waarin locatiegegevens overeenkomen met de werkelijkheid.
Ruimtelijke dekking De mate waarin de gegevens ruimtelijk dekkend zijn.
Topologische consistentie De mate waarin ruimtelijke gegevens zich op de juiste wijze tot elkaar verhouden.
Geometrische validiteit De mate waarin iedere geometrie voldoet aan geometrische regels.
Geometrische precisie De mate van detail waarmee ruimtelijke gegevens worden ingewonnen.
33. Definities kwaliteitsattributen statistiek
Kwaliteitsattribuut Definitie
Kwantitatieve juistheid De mate waarin kwantitatieve gegevens overeenkomen met de werkelijkheid.
Statistische precisie De mate waarin metingen of berekeningen bij herhaling dezelfde waarde opleveren.
Representativiteit De mate waarin een dataset een goede weergave geeft van het geheel.