Impact fesabid 260511_sinnotas

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

IMPACT implicación de la BNE-UA
(Universidad de Alicante) y resultados
preliminares del proyecto

FESABID, XII Jornadas Españolas de Documentación- 26 mayo de 2011

TALLER FESABID 2011 26 MAYO


Antecedentes
 El texto no digitalizado es “virtualmente” invisible

 Disponibilidad de material digitalizado  demasiado lento, pequeñas cantidades y
pocas fuentes

 Tecnología OCR (reconocimiento óptico de caracteres) no resultados satisfactorios
para documentos históricos

 Falta de conocimiento institucional y especialización  ineficiencia y “reinventar la
rueda”

TALLER FESABID 2011 26 MAYO 2


Texto histórico: típicos resultados OCR

VVt Venetien den 1.Junij, Anno 1618.
DJgn i f paffato te S' aö'Jifeert mo?üen/bah .)etgi'uotbciraetail)i.r/JtmelchontDecht te /
sbnbe bele btr felbrr geiufttceert baer bnber eeniglje jprant o^fen/bie ftcb .met
beSpaenfcbeu enbeeemgljen bifet Cbeiiupcen berbonbru befe



Retos OCR: páginas dañadas, alabeadas, tintas traspasadas,
maquetación compleja, fuentes históricas…etc.



Retos lingüísticos: variantes ortográficas, variantes de
grafía, formas conjugadas, declinadas…y más
Variantes históricas para la forma verbal hubo:
hubo, huvo, uvo, vuo, uuo, huuo…

Variantes históricas para la palabra holandesa ‘wereld’ (mundo):
werelt weerelt wereld weerelds wereldt werelden weereld werrelts waerelds weerlyt wereldts
vveerelts waereld weerelden waerelden weerlt werlt werelds sweerels zwerlys swarels swerelts
werelts swerrels weirelts tsweerelds werret vverelt werlts werrelt worreld werlden wareld weirelt
weireld waerelt werreld werld vvereld weerelts werlde tswerels werreldts weereldt wereldje
waereldje weurlt wald weëled


Reto institucional: falta de conocimiento y experiencia
ineficiencia



Cómo afrontar estos retos: La visión de IMPACT

• Digitalizar los textos impresos históricos en
Europa mejor, más rápido , más barato

• Proporcionar herramientas, servicios e
instalaciones para continuar avanzando en
este campo



El proyecto en cifras
 Apoyado por la Comunidad Europea a través de la línea ICT del FP7
 Coordinación Biblioteca Nacional de Países Bajos (KB)
 Tipo de proyecto: Proyecto de integración a Gran Escala
 Financiación de la UE : € 11 500 000
 Fecha de inicio: 1 enero 2008
 Duración: 48 meses
 A partir de 2012: Centro de competencia sostenible
 Contacto: impact@kb.nl
 Sitio web: www.impact-project.eu



Consorcio IMPACT - Inicial
 Bibliotecas  Universidades y Centros de Investigación
– National Library of the Netherlands (KB) – Dutch Institute for Lexicology (INL)
– The British Library (BL) – National Centre for Scientific Research –
– Bibliothèque nationale de France (BNF) Demokritos (NCSR)
– German National Library (DNB) – University of Salford (USAL)
– Bavarian State Library (BSB) – University of Munich (CIS group)
– Göttingen State and University Library – University of Innsbruck (InfMath group)
(UGOE) – University of Bath (UKOLN)
– Austrian National Library (ONB)
– University of Innsbruck Library (UIBK)  Proveedores comerciales
– IBM (Haifa Research Lab)
– ABBYY (Moscow)



OBJETIVOS
Mejora significativa de la digitalización masiva del texto impreso históricos mediante:

 Innovación del software OCR y tecnologías en torno a los idiomas

 Compartir conocimientos y poner en pie habilidades a nivel europeo

 Garantizar existencia a largo plazo herramientas y servicios al finalizar el proyecto

 Conseguir el intercambio de procesos o datos entre sistemas heterogéneos
(„interoperabilidad‟)

 Proporcionar una Guía de Mejores Prácticas en el ámbito de la digitalización

 Atender las necesidades de usuarios en diversos idiomas



Inicio 2008 nuevos socios i.a.:
… ... … …

23 Biblioteca Nacional de España BNE ES

24 Fundación Biblioteca Virtual Miguel de Cervantes-UA BVC-UA ES

25 Poznań Supercomputing and Networking Center PSNC PL

… … … …

BNE/UA = marzo de 2010



Extensión de objetivos
 Utilizar las herramientas de IMPACT para construir un léxico eficiente para idiomas
fuera de los objetivos iniciales de IMPACT
→ Inicialmente: inglés, alemán, holandés
→ Dp: lenguas romance y eslavas ej español
 Demostrar y difundir los resultados del proyecto en Europa del Sur y del Este, y
apoyar la adquisición de conocimientos en digitalización en dichos países
 Reforzar la cooperación y mejorar la explotación de las sinergias de I+D sobre ICT
a lo largo de la Unión Europea
 Establecer vínculos estratégicos con el fin de avanzar en:
 el acceso al conocimiento,
 desarrollo de estándares y
 soluciones interoperables



Estructura del proyecto: 4 subproyectos
OPERATIONAL CONTEXT (OC)
Requisitos, documentación wfs y mediciones
Mejores prácticas y directrices
Marco de trabajo e integración técnica - interoperabilidad

TEXT RECOGNITION (TR) -5 WG ENHANCEMENT & ENRICHMENT (EE)
Pre-procesamiento y segmentación Corrección colaborativa
OCR adaptativo y experimental Lexica e índices geográficos
Modelos y diccionarios Metadatos estructurales

CAPACITY BUILDING (CB)
Publicación recursos
Formación y apoyo
Demostraciones



Herramientas de OCR
Tecnologías para la extracción de texto en formato digital a partir de una página

 Motor de OCR adaptativo: Clave del proyecto IMPACT, software de primera línea
adaptado específicamente a las necesidades de las bibliotecas y que se adapta durante el
proceso de OCR, integrando otras herramientas:
 Image enhancement toolkit
 Segmentation toolkit
 Módulos de post-corrección
 Otros motores OCR

 Prototipos y herramientas experimentales
 Prototipo OCR sobre textos escritos a máquina (Typewritten OCR prototype)
 Wordspotting…
OC

TR EE

CB


Herramientas de enriquecimiento (tecnología
lingüística)
Conseguir que los resultados de OCR sean más precisos y accesibles
 Corrección colaborativa
Sistema de corrección colaborativa a través de web: plataforma web, adecuada para
participación voluntaria masiva, valida y corrige resultados OCR. La primera herramienta de
este tipo que se relaciona directamente a un motor de OCR

 Lexicon e índices geográficos
 Léxicos generales y NER (nnll-uk-ger)
 Herramientas para proporcionar medios que permitan superar barrera lingüística
histórica

 Metadatos estructurales
FEP: un conjunto de servicios web que pueden explotarse para detectar y etiquetar
automáticamente metadatos estructurales del material escaneado
OC

TR EE

CB TALLER FESABID 2011 26 MAYO 16


Herramientas y servicios estratégicos
 Sitio web proporciona acceso a todos los resultados del proyecto y constituye el núcleo de una red virtual formada
por todos los centros de competencia europeos en materia de digitalización y las actividades de investigación
asociadas

 Un conjunto de herramientas de Apoyo a la Toma de Decisiones que puede utilizarse para inciar,
organizar, gestionar y evaluar el coste de los proyectos de digitalización masiva

 Recursos de aprendizaje (learning resource toolbox) con directrices de funcionamiento que sirvan
de guía para la implementación real de todas las herramientas producidas en el proyecto.

 Formación y apoyo
 Sistema Help Desk  peticiones, ayuda entre usuarios, socios del proyecto, centros de competencia de
digitalización.
 Programa de formación sobre temas y tecnologías en torno a la digitalización a gran escala con una amplia
gama de documentación de apoyo disponible a través del sitio web del proyecto

 Demos OC

TR EE

CB


Herramientas del entorno de trabajo



PRIMA
Repositorio de imágenes aportadas por las bibliotecas participantes que sirven de ejemplo
para los diversos planes proyectados

Home



PRIMA- groundtruth



MyExperiment
Plataforma o entorno de desarrollo donde investigadores intercambian ideas, desarrollos y
planes

Home



TAVERNA
Herramienta creada por un Grupo de Trabajo (myGrid) , de código libre (JAVA), que permite el
diseño y ejecución de Flujos de Trabajos
Servicio Web:
Interoperabilidad
Facilidad acceso
Dinamismo

Flujos simples & complejos



TAVERNA: flujos simples o complejos



Funcionamiento Taverna en Impact



Visión general del proceso y algunas de las
herramientas desarrolladas en IMPACT



Esquema del proceso OCR

CONVERSIÓN
DE FICHEROS

CORRECCIONES POST-PROCESO
GEOMÉTRICAS/ELIM. OCR +
EVALUACIÓN
MÁRGENES

“BINARIZACIÓN”



Conversión
Datos en el formato adecuado para cada aplicación

Módulos disponibles:

GIMP , ImageMagick
impact_gimp_tif_to_png_conversion_202058.t2flow

OpenJPEG
XML
Basic IMPACT Abbyy FRE 9 PAGE Exporter Ir
basic_impact_abbyy_fre_9_page_xml_creator_392392.t2flow

Iconv



Correcciones geométricas/Elim. márgenes
¿Porqué?
rotadas, márgenes no deseados, „curvas‟, páginas alabeadas …



A.-Correcciones geométricas
Basic IMPACT NCSR Geometric Correction Page Curl V3

ABBYY FineReader Engine
NCSR Geometric Correction “Page Curl”
TAVERNA:
basic_impact_ncsr_geometric_correction_page_curl_550389.t2flow
NCSR Border Removal
TAVERNA:
basic_impact_ncsr_border_removal_v4_603318.t2flow
OCRopus Deskewing



B.- Eliminación de márgenes
Basic IMPACT NCSR BorderRemoval



„Binarización‟ de imágenes
¿Porqué?
Tinta de una cara ha traspasado a la otra cara
Sombras de la otra cara de la hoja

TAVERNA: basic_abbyy_fre_10_binarisation_936808.t2flow
OCRopus



Reconocimiento Óptico de Caracteres (OCR)
Segmentar el texto en las divisiones más sencillas (letras, caracteres)

 Facilitar el análisis por la máquina.

 Se identifica el carácter y se comprueban sus características o
propiedades con una BD interna hasta que encuentra con la que mejor
“encaja”

texto editable a partir de una imagen.
IBM Adaptative OCR
Tesseract


Post-proceso / Evaluación
– mejorar una vez más el rendimiento al corregir los documentos
digitalizados.
– Groundtruth, que viene a ser una réplica exacta  análisis cuantitativo
cualitativo.

Módulos disponibles i.a.:
UIBK Functional Extension Parser
IBM CONCERT
NCSR Word Spotting (en fase de pruebas )



FEP (Functional Extension Parser)

Web para identificar automáticamente la estructura ( número de página, encabezamientos,
índice, tabla de contenido …) del material digitalizado Segmentación jerárquica

Puede reconocer el espacio de impresión y crear una tabla vinculada de contenidos, muy útil
para la producción de libros electrónicos

PROTOTIPO



CONCERT (Cooperative Engine for Correction of Extracted Text)

 Servicio Web como sistema para la corrección en colaboración o en convocatoria
abierta
 Evita la instalación en „cliente‟
 Intuitiva
 3 pasos:
 Carácter: presenta al usuario un listado con los caracteres identificados como la
misma letra
 Palabra: las anteriores letras se presentan en el contexto de la palabra y el
usuario eligirá las válidas
 Página: las anteriores selecciones se muestran a nivel de página



WORDSPOTTING

 Aplicación multiuso para detectar palabras clave en los documentos utilizando una
variedad de métodos de búsqueda
 Permite organización, gestión y administración de la colección de documentos
 Niveles: administradores y usuarios
 Uso de base de datos lo que proporciona un rapidez y fiabilidad en el
almacenamiento y la recuperación.



Papel de la BNE y de la UA en IMPACT



Biblioteca Nacional de España (CB)
 Entró a formar parte en marzo de 2010, II Fase del proyecto , en colaboración con
la Universidad de Alicante

 Aportación de más de 60.000 imágenes (UA-BVMC) y subida a PRIMA (md):
 Escala grises, color, 300 dpi, TIFF
 Obras anteriores XIX ej: Teatro Siglo de Oro
 Obras cuyo OCR no está ofreciendo buenos resultados
– En 3 sets: Development (Lexicon Building) – Evaluation - Demonstration

 Probar las funcionalidades realizadas por los desarrolladores participantes
 Demonstration dataset
 Lotes, repositorio resultados

 Difundir el proyecto (presentaciones a nivel interno, FESABID, T4 2011)



Universidad de Alicante (EE-CB)
 Colaboración en carga en el servidor de imágenes PRIMA

 Gestión de contrato GroundTruth (evaluación), control de calidad y subida a PRIMA

 Difundir el proyecto

 Creación de léxico español antiguo para conectar a las soluciones de OCR



Resultados clave de IMPACT
1. Un Centro de Competencia en digitalización textual con un modelo de negocio que pueda
sostenerse por sí mismo durante 3 años

2. Entorno de trabajo interoperable basado en sw Open Source con herramientas y recursos
extensibles para evaluar y demostrar resultados

3. Serie de herramientas y recursos modulares para mejorar el reconocimiento textual, la
implementación en workflows de digitalizaciones masivas

4. Prototipos que mejoran la investigación de 1ª línea en materia de reconocimiento textual.

5. Medios para poner en pie especialización en digitalización en Europa



IMPACT productos y servicios
IMPACT CENTRE OF COMPETENCE IN TEXT D I G I T I S A T I ON

LICENSING,
TOOL TAKE UP COMMITMENT
TERMS AND
IMPACT LIBRARIES IMPACT PARTNERS
CONDITIONS

INTEROPERABILITY FRAMEWORK
Framework components

Demonstration
results
Library expectations

Datasets and
Ground Truth
Evaluation tools and
metrics
Requirements

Means to build
digitisation capacity Tools that significantly
Modular suite of tools for improved text recognition
enhance SOA on different
Web Community (mass)
aspects of Text Recognition
Workflow
Decision Support Tools
ABBYY FR10 Functional Extension Parser Image enhancement toolkit
Documen-
Knowledge Base tation
Lexical Segmentation toolkit
IBM Adaptive OCR Resources
Helpdesk

Learning Experimental prototypes
Resources CONCERT Post correction modules

Training Programme Tools for lexicon building



Entorno de trabajo interoperable

Entorno de trabajo basado en Sw open
Source y Libre que permiten:

 Ofrecer herramientas como
servicios web,
 crear workflows con herramientas
de IMPACT y externas
 instrumentos y recursos para
deomostrar y evaluar resultados



Ejemplo: Entorno para la evaluación del rendimiento
Resultados
Evaluación
Escenarios de Mediciones
Evaluación Evaluación

Herramientas
Evaluación

Resultados Compatibilidad a través de Ground Truth
un formato común

Herramientas Herramientas
OCR Repositorio GT
de
imágenes TALLER FESABID 2011 26 MAYO 65


Herramientas IMPACT: Ejemplos

CONCERT: OCR
Corrección
participación
voluntaria

Functional
Extension Parser:
metadatos
estructurales



Prototipos de Investigación: Ejemplo

Plataforma
Mejora de
imagen y
segmentación TALLER FESABID 2011 26 MAYO 67


Puesta en pie de especialización en digitalización:
ejemplos
 Digitisation Health Check: expertos para evaluar y mejorar
workflows de digitalización actuales y recomendaciones para
poner en práctica nuevos flujos de trabajo.

 Herramientas comunitarias. :
– Helpdesk
– Recursos de aprendizaje.
– Comunidad web…



 Un único centro al que acudan todos los depositarios de contenido de Europa
 Objetivo principal: digitalización más rápida, de mejor calidad y más barata
 Plataforma adaptaple  productos y servicios diferentes a clientes distintos
 Modelo de negocio Freemium
– Productos y servicios básicos gratuitos,
– Pago por servicios, productos premium/especiales
– Permitir generación de ingresos para posibilitar sostenibilidad



Tres Segmentos deCompetence in Text Digitisation
IMPACT Centre of Clientes

Service & Product
Content Holders Researchers
Providers

institutiones institutiones e Tienen productos que
depositarias de textos individuos deseen poner a
históricos que desean relacionadas con disposición de
digitalizar. investigación dentro CH/Rr
del alcance de
IMPACT Fundamentalmente
Sector público y sector privado
Sector público y
privado privado



IMPACT Centre of Competence in Text Digitisation

Service & Product
Content Holders Researchers
Providers

Registration (Free)

IMPACT Tools IMPACT Tools
IMPACT Tools
IMPACT KnowledgeBase Researcher Evaluation
Training & Education (online tutorials)
Toolset Evaluation Research Dataset
Training & Education (online tutorials) Training & Education (online tutorials)

Subscription (fee)

IMPACT Tools
Reports & Publications IMPACT Tools
IMPACT Tools
Tools Online Reports & Publications
Training & Education (Sponsorship)
Toolset Evaluation (configurable) Training & Education
Community Tools
Training & Education Community Tools
Community Tools

Premium (pay as you go)

IMPACT Tools
Digitisation Health Check Training & Education (inc. Conference)
Training & Education (inc. Conference)



Tres niveles de acceso (propuestas)
 Registro (gratuito)
IMPACT Centre of Competence in Text Digitisation

 Suscripción Content Holders Researchers
Service & Product
Providers
 Pay as you go Registration (Free)

IMPACT Tools IMPACT Tools
IMPACT Tools
IMPACT KnowledgeBase Researcher Evaluation
Training & Education (online tutorials)
Toolset Evaluation Research Dataset
Training & Education (online tutorials) Training & Education (online tutorials)

 3º trimestre 2011
Subscription (fee)

IMPACT Tools
Reports & Publications IMPACT Tools
IMPACT Tools
Tools Online Reports & Publications
Toolset Evaluation (configurable) Training & Education
Community Tools
Training & Education Community Tools
Community Tools

Premium (pay as you go)

IMPACT Tools
Digitisation Health Check Training & Education (inc. Conference)
Training & Education (inc. Conference)

date footertext TALLER FESABID 2011 26 MAYO 72


Twitter: @impactocr, #impactproject

 Tweets sobre últimas
noticias en IMPACT

 (Re)tweets de noticias
en torno a la
digitalización,
tecnología OCR y
lingüística

 Tweets en vivo
durante conferencias,
talleres



LinkedIn group: IMPACT Improving Access to Text

 Comunidad online

 Canal para obtener
feedback sobre los
entregables IMPACT
(versiones posteriores)

 Discusiones sobre
digitalización, tecnología
OCR y lingüística



IMPACT blog: impactocr.wordpress.com

 Utilizado para talleres
y días de
demostración
 Incorporación de
– Presentaciones
– Vídeos



www.impact-project.eu



Boletín trimestral IMPACT
Secciones:

 Novedades
 Especial en torno a una
herramienta
 Fotos e informes sobre
contribuciones de IMPACT
a conferencias
 Entrevistas equipo humano
IMPACT



Canal de IMPACT en Youtube
www.youtube.com/user/theimpactproject
 Breves
introducciones sobre
cada subproyecto y
cada uno de los
líderes de los
distintos work
package

 Vídeo de
presentación de
IMPACT elaborado
por la KB

 Video de IBM sobre
CONCERT



IMPACT Helpdesk

www.impact-project.eu/helpdesk


Cómo estar al día sobre IMPACT
 En Twitter

 Unión al LinkedIn group

 Visita el blog y el website

 Lista de correo del proyecto para recibir el boletín trimestral

 Canal Youtube

 Para cualquier pregunta ó feedback: contactar con IMPACT helpdesk



GRACIAS POR SU ATENCIÓN
isabel.bordes@bne.es
Jefe de Servicio de Biblioteca Digital BNE


Impact fesabid 260511_sinnotas

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Impact fesabid 260511_sinnotas

Semelhante a Impact fesabid 260511_sinnotas (20)

Mais de FESABID

Mais de FESABID (20)

Impact fesabid 260511_sinnotas