Presentatie over scantechnieken, formaatkeuzes, kwaliteitsborging en technische scanfeiten en de relatie tot de handreiking vervanging van Archief 2020 uit 2014
2. Politici en beleidsmakers moeten
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
04 feb 2014 Binnenlands Bestuur
Politici en beleidsmakers moeten ,,digitaler'' denken. Ze zouden
digitalisering ruimer moeten opvatten. Dat zei prins Constantijn dinsdag
in Brussel.
Kabinetschef Kroes
Bij digitalisering gaat het om meer dan een industriële sector of een
technologie. ,,Het is veel meer dan dat'', benadrukte Constantijn als
kabinetschef van Europees Commissaris Neelie Kroes (Digitale
Agenda). Omdat haar mandaat deze herfst na 5 jaar eindigt, maakte
Constantijn een eerste balans op.
Industrie
Een van de problemen is dat digitalisering en ICT slechts als een van
vele industrieën wordt beschouwd, aldus de kabinetschef: ,,Dat is het
niet''. De digitalisering speelt inmiddels in praktisch heel de samenleving
een niet meer weg te denken rol.
3. Of deze, uit NU 4 februari 2014
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Boete Barclays voor slecht elektronisch archief
Barclays moet in de Verenigde Staten een boete van 3,75 miljoen
dollar, circa 2 miljoen euro, betalen omdat de Britse bank zijn
elektronisch archief slecht bijhield. De boete is uitgedeeld door
toezichthouder Financial Industry Regulatory Authority (Finra) schrijft
de BBC vrijdag.
Foto: ANP
Barclays heeft volgens de Finra tussen 2002 en 2012 onvoldoende
gegevens bewaard over orders, deals en rekeningen.
Ook zijn mails en chatberichten niet opgeslagen of zijn er geen
maatregelen genomen om te voorkomen dat informatie werd gewist of
veranderd.
4. Moraal
Als je dan toch digitaal gaat, kun
je het maar beter goed doen!
5. HANDREIKING VERVANGING
ARCHIEFBESCHEIDEN
• Archief 2020
• Positief - Alle noodzakelijke stappen voor het doen
vervangen van analoge archiefbescheiden staan
helder geformuleerd in één samenvattend
document (92 pagina’s)
• Negatief - Eisen ten aanzien van beeldkwaliteit en
kwaliteitsmetingen zijn geënt op Metamorfoze
(oftewel technische eisen ten aanzien van
erfgoedmateriaal)
6. Tijd- en plaatsonafhankelijk werken
• Keuzes
• Vervangen of digitaliseren, wat is het verschil
• Uitbesteden of zelf doen
• Hoe begin je
• Voorwerk
• Decentraal of centraal scannen
• Hoe bepaal je de scannerkeuze
• Kwaliteit en borging
• Het DMS en vakapplicaties
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
7. Keuzes bij het starten van digitaal werken
UITBESTEDEN
• Cultuur historische materialen
• Grote gestructureerde
archiefcollecties
ZELF DOEN
• Routinematige vervanging
• On demand
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Waar laat ik het papier?
8. Het postproces vervangen of digitaliseren
• Inventariseer de binnenkomende poststromen
• Communiceer met de ontvangende afdelingen over de impact
• Stel kaders vast voor wie doet wat
• Post- en werkverdeling, DIV of vakafdeling
• Toevoegen metadata, DIV of vakafdeling?
• Koppelen aan werkprocessen, DIV of vakafdeling?
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
9. Documentstromen en valkuilen
• De keuze voor een scanner en scansofware is een autonome keuze
• Hoe weet je zeker dat alles compleet gescand is
• Gaat een binnenkomend poststuk via het DMS of via de vakapplicatie
• Wat doe je met de uitgaande post
• Printen / scannen versus digitaal houden en elektronisch archiveren
• Gekoppelde sjabloongeneratoren en het DM systeem.
• Hoe om te gaan met ‘digitale’ handtekeningen.
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
10. Wat voor documenten komen we tegen
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
•Archieven zowel in overheidsomgeving als in het bedrijfsleving
kenmerken zich door een grote verscheidenheid aan soorten
materiaal, kwaliteiten en eigenschappen.
Bijvoorbeeld Bouw/milieu dossiers:
•Aanvragen
•Vergunningen
•Handhaving
•Overige bescheiden
•Berekeningen
•Tekeningen
11. Okay: het scannen
Hoeveel bit?
a) Bilevel
b) Greyscale
c) Indexed color
d) Full color
Hoeveel DPI?
a) 100 DPI
b) 200 DPI
c) 300 DPI
d) Meer?
Welke samenstelling
a) Single page
b) Multipage
c) Bookmarks
d) OCR
Welke format
a) tiff
b) jpg
c) PDF
d) PDF/A-1b
e) ODF ????
Indexering
a) Document
b) Zone OCR
c) Tagged
Metadata
13. Scanners en aansturing
Naast de aanschaf van de scanner
hoort ook de aanschaf van de
scansoftware.
Er is ruim keuze aan intelligente
software om scanners aan te
sturen. Laat je goed informeren
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Scansoftware
• Kofax
• EasySeparate
• Abbyy Flexicapture
• DPUscan
• Papervision
• IrisPowerscan
• Kodak Capture Pro
• …………..En veel meer
14. De workflow scannen
• Opschonen
• Ontnieten
• Scheidingsbladen /
barcodes toevoegen
Stap 1
werkvoorbereiding
• Scannen
Stap2 Scannen
• OCR
• Automatische classificatie
of data entry of beide
• Opmaak bestandsformaat
Stap 3 Processing
• QA beeldkwaliteit
• QA volledigheid
• QA metadata
Stap 3
kwaliteitsborging
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
15. Archiefbesluit 1995 artikel 6
JUISTE EN VOLLEDIGE WEERGAVE
• welke aspecten van het origineel (bijvoorbeeld kleur en
scherpte) zijn wezenlijk voor de juistheid en volledigheid
van de daarin voorkomende gegevens.
• Heeft kleur een informatieve waarde of is deze essentieel
voor correcte reproductie van het origineel!!!!
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
16. Vaststellen van de resolutie, volgens
handreiking vervanging Archief 2020 1/2
• 1 mm zespunts letter ‘e’ als uitgangspunt
• Uitgangspunt voor meting van detailwaarneming is de 1 mm onderkast letter ‘e’
(zespunts letter). Dit is namelijk de kleinste letter die in kranten (beursberichten)
wordt gebruikt.Voldoende reproductie van deze letter garandeert dat alle letters
van zespunts en groter goed leesbaar zullen zijn.
Met voldoende reproductie wordt hier bedoeld
• • Letter loopt niet dicht
• • Alle lijnen en details van de letter zijn te onderscheiden
• • De lijnen van de letter zijn duidelijk van de achtergrond gescheiden
• • De letter is niet rafelig
• Het kleinste onderdeel van een zespunts letter is ongeveer 0.2 mm groot. De
reproductie van een zespunts letter garandeert dus de reproductie van details die
groter of gelijk zijn aan 0.2 mm.
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
17. Vaststellen van de resolutie, volgens
handreiking vervanging Archief 2020 2/2
• Hoeveelheid benodigde lijnenparen/mm en opnameresolutie om een 1
mm zespunts letter te kunnen reproduceren
• Om een detail van 0,2 mm (en daarmee een 1 mm zespunts letter) te
kunnen reproduceren is een minimum van 5 lp/mm nodig. Deze
berekening gaat uit van de premisse dat om een detail voldoende te
kunnen oplossen minimaal één lijnenpaar nodig is.Voor een detail van
0.2 mm zijn dus vijf (1/0.2) lp/mm nodig.
• Voor verschillende resoluties is dit:
• 400 ppi = 7,9 lp/mm
• 300 ppi = 5,9 lp/mm
• 200 ppi = 3,9 lp/mm
• 150 ppi = 2,9 lp/mm
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
18. Vaststellen van de resolutie, veilige keuzes
1. Zwart wit scannen documenten; 300DPI
2. Kleur scannen documenten; 200DPI
3. Scannen t.b.v. OCR; 300DPI óók bij kleur
4. Zwart wit scannen tekeningen; 200DPI
5. Scannen voor internet; 100DPI
6. Historische documenten; grijs of kleur 300 DPI
7. Zwakke documenten; grijs of kleur 300 DPI
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
19. Zwart/wit of kleur
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Kleur
Voordelen
• Authenticiteit
• Behoud van
informatie
Nadelen
• Grote bestanden
• Mail-probleem
• Servercapaciteit
• Bandbreedte
• De Metamorfoze richtlijnen
Zwart/wit
Voordelen
• Kleine bestanden
• Snel opvraagbaar
Nadelen
• Kwaliteit en leesbaarheid
• Attentiewaarden
ontbreken
20. Zwart/wit of kleur en de archiefregeling
HandreikingVervanging van Programma Archief 2020, Ministerie
van OCW samen met gemeenten, waterschappen en provincies.
• De grote afweging:
Informatiefunctie en/of erfgoedbelang
• Risicoafwegingen
1. zijn er risico’s van toepassing?
2. hoe vaak komen deze voor?
3. wat is de impact bij verwaarlozing hiervan?
4. welke interne normen worden hierbij gehanteerd?
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
21. Scanner-output toegelicht
• één pagina A4 op 300 PPI 24 bits kleur levert “lossless” een
bestand op van 25 Mb.
• één echte productiescanner (vanaf 120 vel per minuut)
genereert in raw scan-formaat (masterbestanden) per dag 1
tot 1½Terabyte
• voor 100 meter archief in raw scanformaat is bijna 10
Terabyte geheugenruimte nodig (1 meter = 100 Gbyte)
Het gebruik van lossless kleurenbestanden zal dus niet veel
gebruikt kunnen worden voor de “informatiebehoefte”
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
22. Waarom is compressie zo beladen en oh zo
belangrijk
• Uitleg verschil lossless en lossy
• Uitleg Jpeg en Jpeg2000
• Zie ook: Digitalisering ontrafeld, technische aspecten van digitale
reproductie van archiefstukken (Stadsarchief Amsterdam)
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
23. De compressiemogelijkheden bij de meeste
scanners
JPEG (Joint Photographic Editor Group)
Quality (Kwaliteit)
wanneer u JPEG-compressie kiest, selecteert u een van de kwaliteitsopties:
• Concept: een maximale compressie waarbij het kleinste beeldformaat wordt
geproduceerd.
• Goed: een redelijke hoeveelheid compressie, maar toch met een acceptabele
beeldkwaliteit.
• Beter: enige compressie met een behoorlijke beeldkwaliteit.
• Best: een minimale compressie met een zeer goede beeldkwaliteit.
• Superieur: de minste hoeveelheid compressie waarbij het grootste beeldformaat
wordt geproduceerd.
24. Tabel Jpeg versus Jpeg 2000
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Bron: Digitalisering ontrafeld, stadsarchief Amsterdam
25. Image Jpeg versus Jpeg 2000 1/2
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect Bron: Digitalisering ontrafeld, stadsarchief Amsterdam
PSD20
4,21Mb
Jpeg2000
PSD 10
4,62 Mb
Jpeg
PSD10
2,13 Mb
Jpeg2000
PSD8
2,57 Mb
Jpeg
20,5 Mb
Raw scan
26. Image Jpeg versus Jpeg 2000 2/2
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Tiff 25,7 Mb
JPG2000 6,1 Mb
JPG 12 4,6 Mb
JPF 70 1,0 Mb
JPG 8 644 Kb
JPF 20 313 Kb
27. Hoe bepaal ik dan de beste
scankwaliteit
• Keuze 1: volg de Metamorfoze methode uit de
handreiking vervanging Archief2020 door gebruik te
maken van een technische testkaart (UTT) en
controleer op:
• Kleurzweem en kleurafwijking (Delta E)
• Scherpte (detail reproductie)
• Uitlichting
• Geometrische vervorming
• Kleurmisregistratie
• Witbalans
• Belichting
• Dynamisch bereik (OECF)
• Ruis
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
28. Hoe bepaal ik dan de beste
scankwaliteit visueel
• Keuze2: Controleer visueel op:
• Kleinste detail nog leesbaar
• Is scherpte gelijk aan het origineel.Geen halo’s of witte omrandingen bij tekst
• Voldoende contrast (barcodes!!!!!!!!)
• Alle scanlijnen aanwezig, zowel horizontaal als verticaal
• Zijn er scansporen aanwezig, vervuiling, transportrollers e.d.
• Is er vervuiling zichtbaar, door b.v. lijmresten op de lenzen
• Zijn er spiegelingen, vervormingen of andere onbedoelde effecten zichtbaar
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
29. Metadata toekennen
• Gebruik van OCR techniek om
archiefstructuren en metadata
vast te leggen
• Bijvoorbeeld door barcodes, zone
herkenning of combinatie van
factoren.
• Handmatige data-entry
• Een combinatie
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
• OCR – Optical Character
Recognition
• ICR – IntelligentCharacter
Recognition
• OMR – Optical Mark
Recognition
• Barcode
• Handschrift
• Semantische classificatie
Classificatie-
tools
30. Bestandsformaten Open Standaarden
• https://lijsten.forumstandaardisatie.nl/lijsten/open-
standaarden?lijst=Pas%20toe%20of%20leg%20uit&status[]=Opgenomen
&pagetitle=pastoeof
31. Bestandsformaten 1/1
• Tiff
• JPEG
• PNG
• JPG2000
• ODF
• PDF 1.7
• PDF/A 1a, 1b, 2a, 2b
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
• JPEG 2000 image compressie
• Meer geavanceerde ondersteuning
• digitalw handtekening OpenType
fonts
• 3D graphics
• Audio/video content
• Consistentie met andere op PDF-
gebaseerde standaarden
Waarom
2a/b?
32. Tiff uncompressed volume
• één pagina A4 op 300 DPI 24 bits kleur levert een bestand op
van 25 Mb.
• één productiescanner genereert per dag 1 tot 1½Terabyte
• voor 100 meter archief is bijna 10Terabyte geheugenruimte
nodig (1 meter = 100 Gbyte)
32
33. JPEG
Het JPEG-algoritme verdeelt de afbeelding in
blokken van 8 bij 8 pixels en neemt het
gemiddelde van de kleuren van al deze pixels.
Het bewaart dit gemiddelde als de waarde
voor de pixel linksboven in het blok.
De kleuren van de andere pixels worden dan
weergegeven als relatief tot de eerste pixel. Nu
hoeven voor de resterende 63 pixels niet meer
zoveel bits gebruikt te worden, omdat het
kleurverschil tussen een pixel in het blok en het
gemiddelde niet zo groot is.
Vervolgens wordt het proces herhaald: er
worden blokken gemaakt van 8 bij 8 blokken,
waarbij zoveel mogelijk pixels dezelfde kleur
wordt gegeven
33
34. Uitleg Jpeg 2000 compressie
34
Achtergrondkleuren / maximale compressie
Details en tekst / groep 4 compressie
Voorgrondkleuren / minimale compressie
35. Pdf/a is géén garantie
• Tussen het scanmoment en de daadwerkelijke vorming van een
PDF/A bestand kan veel misgaan!
• PDF/A voorschriften.
• Metadatavelden (XMP tags)
• Resolutie en compresssie?
• Validatiecriteria vast?
35
37. Validatie pdf/a bestanden
• Een zorgvuldige validatie van de output op PDF/A is aan te bevelen.
• Verschillende leveranciers leveren daartoe tools:
• Adobe
• Apagao
• Callas Software AG
• PDFToolsAG
• Intarsys
• Seal Systems AG
• Solid Documents
37
38. Hoe zit dat nu precies met ODF
• Is toch een open standaard en staat op de lijst “Pas toe of leg uit”
ODF is een Open Office uitwisselingsformaat, bedoeld voor de actieve
fase van een document.
Let op bij Spreadsheets bijvoorbeeld:
• Is weergave en precieze reproductie van het origineel van belang, kies
PDF/A.
• Is gedrag (formules/berekening) van belang, kies ODF.
39. De kosten van het digitaal gaan:
Meten is weten
• Hoe lang duurt het scannen
• Hoe lang duurt het verwerken van de scans
• Is de in-out controle automatisch
• Hoeveel scanfouten komen er voor
• wat vinden we acceptabel
• Wat doen we er aan
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
40. Hoe snel is de scanner in
praktijk
• Hoe lang duurt het scannen
De opgegeven scansnelheid en de 70%
regel
Landscape of portret
Bereken op voorhand piekmomenten en
stem daar de benodigde scancapaciteit op
af.
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
Invloed
• Resolutie
• Geheugen PC
• Netwerk
bandbreedte
• Aantal
processoren
• Videokaart
• USB poort
41. Werkvoorbereiding, onderschat het niet
• Opschonen
• Ontnieten
• Uit hechters nemen
• Scheidingsbladen, barcodes, patchcodes,
verwijzingsbladen, tokkelbladen
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect
42. Tijd voor vragen
Dank voor uw aandacht en graag tot ziens
Leon van Oosterom
www.elveo.nl
oosterom@elveo.nl
Workshop Ambtenaar 2.0 door Leon van Oosterom, Informatiearchitect