Beeldherkenning voor erfgoed collecties: presentatie Informatie aan Zee 2019

1. ./DATABLE./DATABLE
VR4CH
Artificiële Intelligentie voor Cultureel Erfgoed:
het gebruik van Visual Recognition Services
Informatie aan Zee
20 september 2019
Dieter Suls (MoMu) - Henk Vanstappen (Datable)

2. ./DATABLE./DATABLE
• Visual Recognition?
• Innovatief partnerproject: VR4CH
• Ontwikkelingsgericht erfgoedproject: VRS

3. ./DATABLE./DATABLE
Visual Recognition

4. ./DATABLE

5. ./DATABLE
advertising 99.8
black&white 99.9

6. ./DATABLE
advertising 99.8
black&white 99.9
children 98.0
play 95.3

7. ./DATABLE
advertising 99.8
black&white 99.9
children 98.0
play 95.3

8. ./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
children 98.0
play 95.3

9. ./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
children 98.0
play 95.3
age 12 95.3
age 11 98.3

10. ./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
emotion: happy 86.3
children 98.0
play 95.3
age 12 95.3
age 11 98.3
emotion: happy 84.2

11. ./DATABLE
advertising 99.8
viewmaster 86.3
boy 95.3
girl 98.3
black&white 99.9
emotion: happy 86.3
children 98.0
play 95.3
age 12 95.3
age 11 98.3

12. ./DATABLE

13. ./DATABLE
Visual recognition: toepassingen
• bewaking en toegangscontrole
• medische beeldverwerking
• navigatie (zelfsturende voertuigen)
• productieprocessen
• landbouw
• suitable for web
• ...

14. ./DATABLE
AI: basics
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation

15. ./DATABLE
VRS out of the box
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation
REST
API
VRS

16. ./DATABLE
VRS: training
Training/test
data
Feature
extraction
Model
Classifier
Classified data
Production
data
Evaluation
REST
API
REST
API
VRS

17. ./DATABLE

18. ./DATABLE
Visual Recognition Services

19. ./DATABLE./DATABLE
Visual Recognition Services
+ no/low coding
+ cloud based
+ documentatie
+/- kost
+/- out of the box training
- blackbox

20. ./DATABLE./DATABLE
VR4CH -
Visual Recognition for Cultural Heritage
Innovatieve partnerprojecten call 2018

21. ./DATABLE
VR4CH: onderzoeksvraag
Zijn Visual Recognition Services bruikbaar
voor metadata creatie in de cultureel
erfgoedsector ?
● Wat is de kwaliteit van untrained VRS ?
● Is de kwaliteit van VRS meetbaar ?
● Mogelijke toepassingen ?

22. ./DATABLE
Visual Recognition Services

23. ./DATABLE
MoMu studiecollectie

24. ./DATABLE

25. ./DATABLE
Kwantiteit VRS

26. ./DATABLE
Kwaliteit VRS

27. ./DATABLE
Kwaliteit: granulariteit

28. RESULTATEN
Resultaten:
Nastasia Vanderperren,
onderzoek classificatie
Huis van Alijn
(Clarifai trained model)

29. ./DATABLE./DATABLE
VR4CH: conclusies
+ sneller, goedkoper
+ andere soorten trefwoorden
+ veel nieuwe toepassingen mogelijk
- veel ruis
- niet even geschikt voor alle beeldmateriaal
- vervangt menselijke registrator niet
(helemaal)

30. ./DATABLE./DATABLE
VRS - Operationalisering van
beeldherkenning in de registratiepraktijk
Projectsubsidie Cultureel erfgoedwerking

31. ./DATABLE./DATABLE
VRS: onderzoeksvraag
Hoe kan VRS praktisch ingezet worden
in de registratiepraktijk?
• 4 use cases
• 4 content partners
• end-to-end oplossing

32. ./DATABLE

33. ./DATABLE
Erfgoedcel Brugge
Collectie Beeldbank Brugge
Doel Meer foto’s volgens bestaande categorieën
beschikbaar maken
Methode - Tagging door Clarifai
- Tags manueel aan Categorieën toegekend
- Classificatie van foto’s in post-processing
- Verwerkt tot CSV
Resultaat 100.000 foto’s geclassificeerd
>95% correct

34. ./DATABLE

35. ./DATABLE

36. ./DATABLE

37. ./DATABLE
FOMU
Collectie Suzy Embo: post-Cobra beweging
Doel Personen doorzoekbaar (face recognition)
Methode - Cropping en grouping faces (Python)
- Training Microsoft Vision model
- Tagging beeldcollectie
- Verwerking tags tot Adlib import file
Resultaat XXX foto’s geclassificeerd
? % correct

38. ./DATABLE

39. ./DATABLE

40. ./DATABLE

41. ./DATABLE
MOMU
Collectie Documentair beeldmateriaal
Doel Beelden filteren of sorteren op kwaliteit
Methode - Harvesting beelden uit ResourceSpace
- Kwalificatie door Everypixel
- verwerking tot CSV met score 0-5
- import CSV in DAMS
Resultaat 5558 foto’s gelabeld
‘redelijk’ correct

42. ./DATABLE

43. ./DATABLE

44. ./DATABLE
Netwerk oorlogsbronnen
Collectie Arolsen archives: archief van gedeporteerden WOII
Doel Verschillende types formulieren classificeren
Methode - Webscraping beeldarchief
- Model getrained met Clarifai GUI,
- Classificatie met Clarifai API,
- Verwerkt tot CSV + import
Resultaat Classificatie van 125.474 formulieren in 4 types
(100% correct)

45. ./DATABLE./DATABLE
Netwerk oorlogsbronnen

46. ./DATABLE
Conclusies
● toegankelijke, betaalbare technologie
● kwaliteit
○ training vaak meerwaarde
○ minder geschikt voor grafisch
beeldmateriaal
○ model afstemmen op use case
● mens vs. machine
○ afhankelijk van eisen vangst/precisie
○ efficiënter voor grote volumes
○ mens & machine

47. ./DATABLE
Conclusies: meer use cases
• ontsluiten op collectieniveau
• onderscheiden beeldtype (foto, tekening,
tekst)
• voorbereiden collectieregistratie
• combinatie crowdtagging
• herkennen landmarks
• tags omzetten naar Linked Data
• ...

48. ./DATABLE./DATABLE
dank aan
Alexander Derveaux (FOMU)
Ann Deckers (FOMU)
Dieter Suls (MOMU)
Katrien Steelandt (EGC Brugge)
Lizzy Jongma (NOB)
Michiel Demaeght (FOMU)
Nastasia Vanderperren (PACKED)
Tobias Hendrickx (MOMU)

49. ./DATABLE
Q&A
dieter.suls@momu.be
henk@datable.be

50. ./DATABLE
VR4CH/VRS technology stack
tranining & classification
Clarifai/Azure/GVision
data processing
KNIME
data
MongoDB
validation
Google Sheets
images
webserver
image & metadata
Omeka/Picturae/
ResourceSpace
metadata
Adlib/TMS
CSV/XML
FTP
viewer
javascript
FTP