Presentada en "Sesión de demostración de IMPACT en la BNE". Octubre 2011. Biblioteca Nacional España.

1. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
OCR Adaptativo – CONCERT
SESIÓN DE DEMOSTRACIÓN IMPACT,
Biblioteca Nacional de España, 5 de octubre de 2011

2. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Esquema del proceso OCR
CONVERSIÓN
DE FICHEROS
POST-PROCESO
“BINARIZACIÓN” OCR +
EVALUACIÓN
CORRECCIONES
GEOMÉTRICAS/ELIM.
MÁRGENES
2

3. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Ante los múltiples retos de IMPACT tiene una visión
integradora de varias soluciones:
OCR ADAPTATIVO
MEJORA en el reconocimiento del texto …¿cómo?
• Adaptabilidad (sistema que aprende)
• Integración de diversas herramientas IMPACT
• Kit herramientas preprocesamiento imagen
• Motor OCR Omni-font de ABBY FineReader
• Módulo postcorrección
• Recursos léxicos
3

4. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Algunos de los componentes de OCR adaptativo
Motor de agrupación de caracteres (grupos con variaciones similares)
Creación de un “super-símbolo”
Filtración de segmentaciones no relevantes
Corrección de curvatura de papel y la página
Valoración de diferencias mínimas
4

5. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
“Crowd sourcing”
5

6. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Visión de IMPACT:
Nuevo paradigma de la digitalización
Participación del público esfuerzos de digitalización a gran escala.
Herramientas avanzadas vayan más allá sistemas actuales (sistema
aprende = optimización del feedback recibido)
6

7. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Proyecto Gutenberg (1ª generación)
7

8. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Biblioteca Nacional de Australia (2ª)
www.nla.gov.au/ndp/project_details/documents/ANDP_ManyHands.pdf
8

9. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Biblioteca Nacional de Finlandia
http://www.digitalkoot.fi/en/splash
9

10. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
CORRECCIÓN EN COLABORACIÓN - ¿cómo funciona?
Sistemas de corrección basados en web
– No hay instalaciones en la parte cliente
– Intituitivo para permitir uso público en general
Participación mediante petición (opcional)
– Sitio web de la biblioteca
– En función de colecciones
Voluntarios interesados en contribuir a la preservación del patrimonio cultural
– Listas con los colaboradores destacados
– Premios de reconocimiento de la biblioteca
10

11. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
SISTEMAS ACTUALES
Simplemente se muestra imagen y resultados de OCR a corregir,
Inconvenientes:
– Proceso lento y poco productivo
– Dos revisiones que garanticen la calidad
Resultados:
mucho trabajo manual
contribución limitada y puntual
11

12. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
CONCERT (Cooperative Engine for Correction of Extracted Text)
Plataforma de corrección en colaboración adaptativa
– Aprovecha feedback para mejorar la productividad
– Conexión con el OCR adaptativo
Énfasis en herramientas de productividad
– Reducir el tiempo para la verificación/corrección
Patented smart-key approach
– Motivar a los voluntarios
Separación del proceso de introducción de datos en varias tareas complementarias
– Aplicación optimizada para cada tarea
– Tareas y subtareas
– Posibilitar el procesamiento en paralelo
12

13. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Arquitectura del sistema
Login seguro
Carga de libros como archivos de imágenes o mediante URL
Omni-OCR con selección de idioma
Descarga de metadatos de OCR compilados antes y depués de la introducción
13

14. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Flujo de trabajo del sistema:
Tres sesiones en las que el usuario sólo aquello que el OCR ha marcado como
sospechoso:
A nivel de carácter – para validación rápida de resultados OCR
• A nivel de palabra – (información contextual para validar caracteres)
• A nivel de página – (página completa para interpretar resultados)
14

15. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Sesión a nivel de carácter (character session)
– Resultados con nivel de confianza elevado no precisan verificación
– Sin embargo, algunos niveles elevados de confianza pueden corresponderse
con errores de reconocimiento
– Se extraen imágenes de caracteres individuales y se agrupan en función de
los resultados de reconocimiento
– Usuario aprueba, rechaza o señala como sospechosos caracteres ofrecidos
por el sw
15

16. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Sesión a nivel de palabra (word session)
Muestra palabras que contienen caracteres con un nivel de confianza bajo
Muestra palabras que contienen caracteres señalados como sospechosos
Muestra el reconocimiento de OCR original con sugerencias (diccionarios)
Los usuarios validan/corrigen la ortografía
16

17. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Sesión a nivel de página (page session)
Principalmente cuando un fallo en la segmentación ha llevado a un mal
reconocimiento o ausencia de reconocimiento
La segmentación puede verse de distintas formas: palabra, línea, párrafo,
etiquetado…
Puede automatizarse el paso de una palabra problemática a la siguiente
Sólo aquí se ve la corrección del OCR
17

18. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Demostración del sistema
http://fue.onb.ac.at/impact/gwsw/vid/EE1_showcase.html
Simulación creada por Gerd Zechmeister (Biblioteca Nacional de Austria, ONB)
18

19. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
ESCENARIOS POSIBLES DE INCORPORACIÓN
Como parte de la Una vez la colección está
MIXTA
digitalización disponible
+ - + - + -
Refuerzo Variación Grandes grupos
No adaptación
CONCERT y acuerdos usuarios-
WF
motor OCR proveedores formación
Corrección de re-OCR y
Reindexación
colecciones reindexación
OCR mejorado no Modificación WF
nuevas y ya (cada nueva
necesario
disponibles corrección) COMBINACIÓN COMBINACIÓN
ALTOs con
Corrección suficiente detalle
Implicación No límite de tº
limitada en el tº para sesión
usuarios/expertos carácter
monitorizable
OCR Integración
retrospectivo ¿? plataforma web
19

20. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
PRUEBAS PILOTO
Koninklijke Bibliotheek, British Library, Bavarian State Library (Marzo-Mayo 2011)
Observaciones generales:
– Muchas posibilidades
– Sencillez, rapidez
– Formación, usuarios expertos/comunidad global
– Contexto social de apoyo entre colaboradores, My Concert Page; Progreso…
BSB, Pilot (mayo 2011) 20

21. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Futuro CONCERT
Lista mejores colaboradores
Integración con sitios webs externos, con otros sistemas
Smartphones
Edición e-books.
…. Y MUCHO MÁS
21

22. IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
GRACIAS POR SU ATENCIÓN
Isabel Bordes Cabrera
Jefe de Servicio de Biblioteca Digital, BNE
isabel.bordes@bne.es
22