Autenticación biométrica de firma manuscrita sobre dispositivos móviles de captura (UAM) - II Encuentro nacional sobre firma y administración electrónica

1. Autenticación Biométrica de Firma Manuscrita
sobre Dispositivos Móviles de Captura
Dr. Javier Ortega-Garcia
Catedrático de Teoría de la Señal y Comunicaciones
Director del Grupo de Reconocimiento Biométrico - ATVS
II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos
EPS/UAM, 15-16 Octubre 2013
Biometric Recognition Group – ATVS
(http://atvs.ii.uam.es)
Escuela Politécnica Superior
Universidad Autónoma de Madrid

2. Esquema de la Presentación
0. ¿Quiénes Somos?
1. Introducción
2. Autenticación Biométrica
2. Evaluación de Sistemas
3. Avances Recientes
4. Conclusiones
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
2/53

3. Grupo ATVS (i)
El grupo ATVS se crea en 1992 en la UPM, iniciado por los catedráticos Javier
Ortega García y Joaquín González Rodríguez
Sus actividades de I+D+i abarcan diversos aspectos de los campos de las
tecnologías del habla y el tratamiento de señales biométricas
Firma manuscrita y escritura, reconocimiento de huella dactilar y palmar,
autenticación de iris y de geometría de la mano, aplicaciones forenses y de
seguridad.
Actualmente, el grupo está formado por más de 30 personas, entre profesores /
investigadores de plantilla, investigadores pre- y post-doctorales, y otros
investigadores,
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
3/53

4. Contratos y Proyectos (selección)
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
4/53

5. Contratos y Proyectos (selección)
 BEAT; TABULA RASA (FP7 EU, STREPs)
•
•
Participants: ATVS + 8 European institutions
November 2010 – May 2014: BIOMETRIC SECURITY
 TeraSense (Consolider-Ingenio 2010)
•
•
Participants : 16 Spanish Universities
December 2008 – November 2013: BIOMETRICS BEYOND THE VISIBLE
 Bio-Residence, BBfor2 (FP6-FP7 EU, Marie Curie Actions)
•
•
Participants : ATVS, Michigan State University, + 8 European institutions
April 2007 – December 2013: RESEARCH MOBILITY IN BIOMETRICS
 BioSec, BioSecure (FP6 EU, IP and NoE)
•
•
Participants : 29 European institutions, incl. ATVS
December 2003 – September 2007: BIOMETRIC DATABASES AND RESOURCES
 COST IC-1106, COST-275, COST-2101 (ESF EU, COST Actions)
•
•
Participants : +15 European Countries
May 2001 – September 2010: BIOMETRIC RESEARCH NETWORKING
COST
Action
IC-1106
 CONTEXTS (Comunidad de Madrid)
•
•
Participants: ATVS, UAH, UPM, UC3M
January 2010 – December 2013: NEW BIOMETRIC APPLICATIONS
 MCYT Bimodal, Biosecur-ID, Bio-Pass, Bio-Challenge (Spanish
Ministry of Science and Technology)
•
•
Participants : ATVS, EUP Mataró, U País Vasco, U Valladolid
December 2000 – November 2012: BASIC RESEARCH IN BIOMETRICS
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
5/53

6. Contratos y Proyectos (selección)
 Cátedra Telefónica – UAM
• 2010-2014
 Common Criteria Development
• Funding from: Ministerio de Defensa
• Period: January 2009 – December 2010
 Automatic Writer & Latent Fingerprint ID
• Funding from: Ministerio del Interior
• Period: January 2009 – December 2010
 Touchless sensor
• Funding from: TBS
• Period: 2007 –2008
 Piramid Multimodal Biometrics
• Funding from: Mina Software, S.L.
• Period: March 2007 – October 2008
 Signature Verification over TabletPC
• Period : October 2004 – March 2005
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
6/53

7. 1.Introducción
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
7/53

8. Introducción

La firma es un rasgo biométrico que cuenta con una alta aceptación social por
parte de los usuarios, habiendo sido utilizada durante siglos como medio de
autenticación de documentos legales y de transacciones y contratos civiles

El reconocimiento automático de firma manuscrita se enfrenta a varios retos
tecnológicos:
 Variabilidad intra-usuario alta (variabilidad conductual, inter-sessión)
 Dificultad para modelarla; necesidad de gran cantidad de datos vs. escasez
de los mismos
 Baja variabilidad inter-usuario (especialmente en caso de imitaciones)
El grado de bondad en las imitaciones es impredecible
Muestras de un mismo usuario
Alta variabilidad
J. Ortega-Garcia
Imitación
Baja variabilidad
Autenticación Biométrica de Firma Manuscrita©
8/53

9. Introducción
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
9/53

10. Dispositivos y Escenarios de Adquisición
 La mayoría de dispositivos móviles permiten la adquisición de escritura
 La activación de esquemas de reconocimiento automático supone cambios
menores en las arquitecturas y sistemas
 La potencia de estos esquemas estriba en la I+D desarrollada en el laboratorio,
y pueden ser implementados con coste computacional moderado y ocupación
de memoria reducida
F. Alonso-Fernandez, J. Fierrez-Aguilar, J. Ortega-Garcia and J. Gonzalez-Rodriguez, “Secure Access System using Signature Verification over
Tablet PC”, IEEE Aerospace and Electronic Systems Magazine, Vol. 22, n. 4, pp. 3-8, April 2007.
M. Martinez-Diaz, J. Fierrez, J. Galbally, F. Alonso-Fernandez and J. Ortega-Garcia, "Signature verification on handheld devices", in Proc.
MADRINET Workshop, pp. 87-95, Salamanca, Spain, November 2007
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
10/53

11. Dispositivos y Escenarios de Adquisición
 Los dispositivos móviles representan un escenario novedoso,
con desafíos propios:
o Calidad de adquisición heterogénea
o Ergonomía singular
• El usuario debe sostener el dispositivo
• El útil y la pantalla son pequeñas
o La superficie de firma no es familiar
o No siempre es posible capturar la
presión, los trazos aéreos o la
orientación del útil
o Carga computacional limitada
M. Martinez-Diaz, J. Fierrez, J. Galbally and J. Ortega-Garcia, “Towards Mobile Authentication Using Dynamic Signature
Verification: Useful Features and Performance Evaluation”, Intl. Conf. on Pattern Recognition, ICPR 2008, Florida, USA
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
11/53

12. Escenarios de Aplicación

Log in / activación de cuentas
•
•
•

Pago en transacciones comerciales
•
•

Documentos / certificados legales
Aplicaciones de Administración electrónica
Validación de clientes
•

Wireless (WIFI, GPRS…) o Punto de Venta
Acceso ubicuo a transacciones comerciales, banca electrónica,
etc.
Transacciones legales
•
•

Control lógico de accesos (cuenta, LAN, etc.)
Activación local o remota de sistemas
Passwords gráficos
Paquetería y mensajería urgente
Acceso securizado
•
•
Archivos médicos / información financiera
Encriptado de datos
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
12/53

13. 2. Proceso de Autenticación
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
13/53

14. Etapas en el Proceso de Autenticación
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cáculo de Similitud (Matching)
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
14/53

15. Etapas en el Proceso de Autenticación
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cálculo de Similitud (Matching)
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
15/53

16. Adquisición de la Firma
Adquisición de muestras de firma dinámica
x
4000
2000
y
0
0
2000
Azimuth (0°-359°)
0
1000
z
Altitude (0°-90°)
0°
azimuth
180°
90°
100
150
200
250
300
350
400
50
100
150
200
250
300
350
400
50
100
150
200
250
300
350
400
50
100
150
200
250
300
350
400
50
100
150
200
250
300
350
400
500
0
0
1400
270°
50
1000
0
altitude

1200
1000
0
600
500
400
0
sample index
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
16/53

17. Adquisición de la Firma: Muestreo Espacial
La tableta captura muestras de la posición del útil a lo largo de la trayectoria de firma
Los puntos están equiespaciados en el tiempo, no en su ubicación espacial
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
17/53

18. Adquisición de Firma: Pre-Procesado
 Normalización
(necesaria siempre):
• Invarianza a la traslación
o coordenadas relativas al punto de comienzo, o al centro de masas …
o coordenadas relativas al punto anterior (∆𝑥, ∆𝑦)
• Invarianza con la escala
o Ajuste a tamaño prefijado
• Invarianza a la rotación
o Detección y giro respecto a
eje principal
 Remuestreo
(no siempre necesario):
• Se reduce o se normaliza el número de muestras para obtener puntos
equidistantes en el espacio.
• Problemas: pérdida potencial de información
• Solución: Inserción de puntos críticos (cambio de trayectoria, comienzo
y final de firma, …) como guía de remuestreo.
 ...
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
18/53

19. Etapas en el Proceso de Autenticación
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Cálculo de Similitud (Matching)
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
19/53

20. Representaciones de la Firma

Principales aproximaciones a las representaciones de firma
Datos de firma
dinámica
Basada en Parámetros
(“Características Globales”)
Basada en Funciones
(“Características Locales)
Las firmas son descritas a través
de vectores holísticos multidimensionales
La firmas se describen a través de un
conjunto de secuencias temporales
(derivadas de las señales adquiridas
por la tableta)
E.g.: Duración, velocidad media,
número de alzamientos, orientación
inicial, etc.
E.g.: trayectoria según x, trayectoria según
y, presión, velocidad, aceleración, etc.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
20/53

21. Representación por Características Globales
Ejemplos de Características Globales
Al
Az
P
Y
X

0
100
200
300
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
21/53

22. Características Locales más Comunes
Características espaciales (en cada punto de la trayectoria):






coordenadas 𝑥, 𝑦 respecto al centro de la firma
desplazamiento 𝑥, 𝑦 entre puntos consecutivos
seno / coseno del ángulo con el eje 𝑥
curvatura
escala de grises en un entorno de 𝑛 × 𝑛 píxeles
...
Características dinámicas (en cada punto de la trayectoria):







velocidad absoluta: (𝑝 𝑖 − 𝑝 𝑖−1 )/(𝑡 𝑖 − 𝑡 𝑖−1 )
velocidad relativa (respecto a la velocidad promedio)
aceleración (tangencial, normal)
presión instantánea ejercida
trayectoria de los trazos aéreos
posición angular del útil
…
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
22/53

23. Representación por Características Locales
Ejemplos de Secuencias Temporales basadas en Características
Locales
Al
Az
P
Y
X

0
100
200
300
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
23/53

24. Rendimiento según Secuencia
Tasa de Falso Rechazo (%)
20
10
5
2
1
x,y,p,θ
x,y,p,θ,v
x,y,p,θ,v,ρ
x,y,p,θ,v,ρ,a
40
Tasa de Falso Rechazo (%)
x,y
x,y,p
x,y,p,γ
x,y,p,Φ
40
20
10
5
2
1
0.5
0.5
0.2
0.2
0.2 0.5 1 2
5
10
20
40
Tasa de Falsa Aceptación (%)
0.2 0.5 1 2
5
10
20
40
Tasa de Falsa Aceptación (%)
x, y
x, y, p
x, y, p, γ
x, y, p, γ, Ф
x, y, p, θ
x, y, p, θ, v
x, y, p, θ, v, ρ
w = x, y, p, θ, v, ρ, a
EER (%)
[w, Δw]
0
2
4
6
8
10
12
S. Garcia-Salicetti, et al., “Biosecure Reference Systems for On-Line Signature Verification; A Study of Complementarity”,
Annals of Telecommunications Journal, Vol. 62, Nos.: 1&2, Jan.-Feb. 2007
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
24/53

25. Etapas en el Proceso de Autenticación
1. Adquisición de Datos y Pre-Procesado
2. Extracción de Características
3. Medida de Similitud (Matching)
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
25/53

26. Matching/Autenticación
¿Cómo se lleva a cabo el reconocimiento de la firma?
 En primer lugar, es necesario una medida de similitud/distancia.
 Retos:
• las firmas tienen longitud variable
• La medida de distancia debe ser insensible a variaciones intra-clase
en la forma o los tiempos de la firma
 Entonces, se aceptará una firma como genuina si la distancia es
pequeña (similitud alta), y se rechazará en caso contrario.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
26/53

27. Medidas de Similitud en Firma

Cálculo de la similitud: enfoques principales
Similitud en Firma
Dinámica
Basada en Parámetros
(“Características Globales”)
Clasificadores basados en Distancia
• Euclídea
Basada en Funciones
(“Características Locales”)
Regional
(segmento a segmento)
Local
(punto a punto)
• Mahalanobis
Clasificadores Estadísticos / otros
Matching de Secuencias Temporales
• GMM
• Modelos Ocultos de Markov (HMM)
• Ventanas de Parzen
• Alineamiento Temporal Dinámico (DTW)
• Redes Neronales
• Matching Estructural
• Correlación Regional
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
27/53

28. Matching basado en Características
Cada firma es descrita mediante un igual
número de características globales
 Ej.: los vectores de características son
todos ellos de igual longitud
Medidas de Distancia:
 Distancia Euclídea
Entre al firma x y la y:
Problema: La escala y la importancia de la
dimensión individual del vector de
características no se tiene en cuenta.
 Distancia de Mahalanobis
entre la firma x y un conjunto de
referencia de media m, y matriz de
covarianza S:
𝑁
𝑑 𝐱, 𝐲 =
𝐱 𝑖 − 𝐲𝑖
2
𝑖=1
𝑑 𝐱, 𝐦 = 𝐱 − 𝐦
𝑇
∙ Σ −1 ∙ 𝐱 − 𝐦
Problema: Disponer de suficiente cantidad de
datos para estimar la matriz de covarianzas.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
28/53

29. Enfoques usando Secuencias Temporales
Modelos Ocultos de Markov
Modelado Estadístico de las Regiones
de la Firma
J. Ortega-Garcia
Alineamiento Temporal Dinámico
Correspondencia punto a punto
Autenticación Biométrica de Firma Manuscrita©
29/53

30. 3. Evaluación de Rendimiento
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
30/53

31. Hitos en el Reconocimiento de Firma Dinámica
1982: Alineamiento Temporal Dinámic, DTW (Sato & Kogure)
1989: Estado del Arte (Plamondon & Lorette)
1995: Modelos Ocultos de Markov, modelado de segmentos (Yang et al.)
1996: Características Globales (Lee et al.)
2003: Modelos de Mezclas de Gaussianas, GMM(Richiardi and Drygajlo)
2003: Modelos Ocultos de Markov, secuencias temporales (Ortega-Garcia et al.)
2004: Signature Verification Competition SVC 2004 (Yeung et al.)
2007: Estandarización, formatos de intercambio (ISO/IEC 19794-7, -11)
2007: BioSecure Mobile Evaluation Campaign 2007
2009: BioSecure Signature Evaluation Campaign, PDA/Tablet, Calidad, Entropía
J. Richiardi and A.et al., “Complete Signal Modeling and Score Normalization for Function-In
J. Ortega-Garcia, Drygajlo. “Gaussian Mixture Models for on-line signature verification”.
D. Plamondon “Application “Automatic Signature and Applications, WBMA, pages Proc.
L. L. Yeung,K. Kogure. Onlineofon Biometric Methodsbased Signature Writer Identification
Y. Yang, ACMetand “SVC2004: First “Reliable On-LineVerification andmotion and writing
Y.
et SIGMM and E. Aviczer, International Signature Verification Verification
Signature Competition”,
R. Sato and al., al.,G. Lorette,signatureMarkov Models Human shape, Verification”, Pattern
Proc. Lee, T. Berger, Workshop Hidden verification for on658-667, Springer LNCS-2688,
Basedof
Dynamic Signature Verification”, Proc. of AVBPA, pp.:
http://biometrics.it-sudparis.eu/BSEC2009/ 643-647, pp. 823–826, 1982.
http://biometrics.it-sudparis.eu/BMEC2007 22, No. 2,1996.
Recognition, Trans. on 2, pp.: 161-170, 1995.
of ICBA, 2003.the Art”, PAMI, Recognition, Vol.
Systems”,In Proc. of No.Intl. Conf. on No. 6,
pressure.pp.: Vol. 28, 6thPatternVol. 18,Pattern pp.
- The State of16-22. Springer LNCS-3072, 2004.Recognition, pp. 107-131, 1989.
115–122, IEEE
2003.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
31/53

32. Evaluación del Rendimiento: Bases de Datos
 Las bases de datos permiten la evaluación sistemática de los algoritmos de
reconocimiento
 Las bases de datos grandes y públicas son escasas, debido fundamentalmente a
dos factores:
 Cuestiones legales (datos de carácter personal) y de privacidad
 Son necesarios enormes recursos para adquirir y procesar los datos
 La base de datos MCYT ha sido la base más empleada desde 2003; alcanzándose
con ella rendimientos sobre los 330 usuarios que llevan el EER por debajo del 1%.
 Otras base de datos referenciadas incluyen SVC, Biomet, MyIdea, Susig
 Más recientemente se han adquirido bases de datos con características
adicionales (p. ej., BioSecure Multimodal Database)
J. Ortega-Garcia, J. Fierrez et al., “MCYT Baseline Corpus: A Multimodal Biometric Database”, IEE
Proceedings - Vision, Image and Signal Processing, Vol. 150, No. 6, pp. 395-401, December 2003.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
32/53

33. Resultados: Global / Segmental y Fusión
Con Imitaciones, HMM
Con Imitaciones, Global
Con Imitaciones, Fusión
Sin Imitaciones, HMM
Sin Imitaciones, Global
Sin Imitaciones, Fusión
Entrenamiento con 5 muestras
Entrenamiento con 20 muestras
40
Tasa de Falso Rechazo (%)
Tasa de Falso Rechazo (%)
40
20
10
5
2
1
0.5
20
10
5
2
1
0.5
0.2
0.2
0.1
0.1
0.1 0.2 0.5 1
2
5
10
20
Tasa de Falsa Aceptación /%)
J. Ortega-Garcia
40
0.1 0.2 0.5 1
2
5
10
20
40
Tasa de Falsa Aceptación (%)
Autenticación Biométrica de Firma Manuscrita©
33/53

34. Signature Verification Competition, SVC-04
SVC-04 sin imitaciones
SVC-04 con imitaciones
Sistemas
ATVS-UAM
http://www.cs.ust.hk/svc2004/
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
34/53

35. Evaluación de Rendimiento: Bases de Datos
 BioSecure Multimodal Database
 667 donantes
 Equilibrio entre géneros; 18~65, distribución de edades
 Dos dispositivos de firma para todos los usuarios
 Tablet
 Dispositivo Móvil
 2 sesiones separadas meses; cada uno dividida en 3 bloques de 5
firmas
 Permite la comparación sistemática de ambos dispositivos de captura
 Imitaciones de muy alta calidad
 Las imitaciones se hicieron conociendo la dinámica específica de cada
firma; incluso era posible firmar sobre la imagen de la firma objetivo.
J. Ortega-Garcia, J. Fierrez, et al., “The Multi-Scenario Multi-Environment BioSecure Multimodal
Database”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
35/53

36. Evaluación de Rendimiento: Bases de Datos
 Algunas muestras de ‘BioSecure Multimodal DB’:
Tablet
J. Ortega-Garcia
Móvil
Autenticación Biométrica de Firma Manuscrita©
36/53

37. Evaluación de Rendimiento: Comparación
 3 evaluaciones públicas de referencia
 BioSecure Multimodal Evaluation Campaign, BMEC 2007
Evaluación sobre la ‘BioSecure Multimodal Database’
Firma dinámica capturada con dispositivo móvil
Sin Imitaciones
Con Imitaciones
Incremento de EERs
http://biometrics.it-sudparis.eu/BMEC2007/
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
37/53

38. Evaluación de Rendimiento: Comparación
 3 evaluaciones públicas de referencia
 BioSecure Signature Evaluation Campaign, BSEC 2009
Evaluación sobre la ‘BioSecure Multimodal Database’
Tarea 1: Móvil vs Tablet, interoperabilidad entre sensores
http://biometrics.it-sudparis.eu/BSEC2009/
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
38/53

39. Performance Evaluation: Benchmarks
 3 evaluaciones públicas de referencia
 BioSecure Signature Evaluation Campaign, BSEC 2009
Evaluación sobre la ‘BioSecure Multimodal Database’
Tarea 2: Efecto de la variabilidad temporal
http://biometrics.it-sudparis.eu/BSEC2009/
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
39/53

40. Performance Evaluation: Benchmarks
 3 evaluaciones públicas de referencia
 ICDAR 2009 Signature Verification Competition, SigComp 09
Condiciones (quasi)forenses, con datos estáticos y dinámicos
Comparación 1:1 (sin modelos estadísticos de usuario)
http://sigcomp09.arsforensica.org/
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
40/53

41. 4. Avances Recientes
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
41/53

42. Avances Recientes

Los sistemas de reconocimiento de firma han sido estudiados de manera
exhaustiva

Han aparecido nuevos ámbitos de interés:
o Dispositivos móviles (smartphones) con calidad de adquisición
heterogénea
o Creciente interés en temas de seguridad y protección de la privacidad
o Generación sintética de firmas, para compensar la escasez de datos
o Mejor comprensión del proceso de generación de firma, para una mejor
representación y modelado de la misma
o Trabajos en complejidad y calidad de la firma
o Multibiometría: comparación multi-algorítmica
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
42/53

43. Avances Recientes
Proceso de Producción de la Firma
 Basado en la Teoría Cinemática de producción de movimientos manuscritos
 La velocidad del útil entre dos puntos de control sigue un modelo sigmalognormal
 Para secuencias de puntos de control, es necesario usar modelos más complejos
(que pueden ser estimados de forma automática: p. ej., usando el algoritmo
XZERO)
A. Woch, R. Plamondon, “Using the Framework of the Kinematic Theory for the Definition of a
Movement Primitive”, Motor Control, Vol. 8, pp.547-557, 2004.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
43/53

44. Avances Recientes
Proceso de Producción de la Firma
 La firmas son descritas a través de secuencias de puntos de control
 A signature can be described by a set of primitives, which are
estimated by the XZERO algorithm.
C. O’Reilly, R. Plamondon, “Automatic Extraction of Sigma-Lognormal Parameters on Signatures”, Intl. Conf. on Frontiers in
Handwriting Recognition, ICFHR 2008, Montreal, Canada
J. Galbally, J. Fierrez, J. Ortega-Garcia and R. Plamondon, “Synthetic On-Line Signature Generation. Part I (Methodology and
Algorithms), Part II: (Experimental Validation)”, Pattern Recognition, Vol. 45, Iss. 7, pp. 2610-2621 & 2622-2632, July 2012.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
44/53

45. Avances Recientes
Información Contenida en la Firma
 Recientemente, se ha propuesto una medida de la entropía
del cliente, derivada de la Teoría de la Información
 Esta medida está relacionada con la información contenida
en la firma ( discriminabilidad  calidad)
 Aplicaciones de las medidas de la entropía del cliente:
 Categorización automática de las firmas
 Análisis de bases de datos
 Modelos de usuario específicos
S. Garcia-Salicetti, N. Houmani, B. Dorizzi. “A Client-Entropy Measure for On-Line Signatures”, Biometrics
Symposium, BSYM-08, pp. 83-88, 2008.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
45/53

46. Avances Recientes
Información Contenida en la Firma
 La entropía del cliente aumenta normalmente con la
‘complejidad’ de la firma (dependiendo de la intra- e intervariabilidad del usuario)
Complejidad
Entropía
+
+
F. Alonso-Fernandez, M. C. Fairhurst, J. Fierrez, J. Ortega-Garcia, “Impact of Signature Legibility and
Signature Type in Off-Line Signature Verification”, in Proc. IEEE Biometrics Symposium, BSYM-07,
Baltimore, Maryland, USA, September 2007.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
46/53

47. Avances Recientes
Seguridad y Protección de Plantillas
 Los datos biométricos se pueden ver comprometidos si son
almacenados directamente ‘en crudo’ (sin procesar)
 Se han desarrollado esquemas de protección de plantillas para
garantizar la privacidad
 Criptosistemas biométricos: combinación de claves criptográficas y
datos biométricos (p. ej., fuzzy vault, fuzzy commitment)
 Esquemas basados en transformadas: aplicación de funciones noinvertibles sobre los datos biométricos (p. ej., biometría cancelable)
 Abordar la variabilidad intrínseca es el principal reto en este área
E. Maiorana, P. Campisi, and A. Neri, “User Adaptive Fuzzy Commitment for Signature
Templates Protection and Renewability”, SPIE Journal of Electronic Imaging, Jan-March 2008.
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
47/53

48. Avances Recientes
Seguridad y Ataques
 Ratha et al. describe la taxonomía de ataques sobre sistemas
biométricos.
 Ataques Directos, directamente sobre la entrada del sistema (p.
ej., firmas imitadas, firmas sintéticas)
 Ataques Indirectos, sobre partes internas del sistema (p. ej.,
ataques tipo ‘hill-climbing’)
 Se ha demostrado que es factible atacar los sistemas de firma
manuscrita mediante ataques indirectos:
 Características globales: Galbally et al.
 Secuencias temporales: Muramatsu et al.
N. K. Ratha, J. H.. Connell, R. M. Bolle, “Enhancing Security and Privacy in Biometrics-Based
Authentication Systems”, IBM Systems Journal, Vol. 40, No. 3, 2001
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
48/53

49. Avances Recientes
Ejemplo de ataque tipo ‘Hill-Climbing’
 El proceso de ataque a una firma
objetivo se produce de forma
iterativa
 En cada paso, la puntuación de
similitud obtenida guía el proceso de
adaptación paramétrica
 La adaptación paramétrica empieza
a partir de un modelo general y va
progresando hacia la firma objetivo
 Las puntuaciones se incrementan
iterativamente hasta alcanzar el
umbral de aceptación
J. Galbally, J. Fierrez, J. Ortega-Garcia, "Bayesian Hill-Climbing Attack and its Application to Signature Verification", Proc.
IAPR International Conference on Biometrics, ICB-07, Springer LNCS-4642, pp. 386-395, Seoul, Korea, August 2007
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
49/53

50. Recientes Avances
Passwords Gráficos / Firmas Cortas (Visé)
 Dibujos: con el dedo sobre la pantalla
 Firmas Cortas: repetición simplificada y repetitiva de la firma
Cristina Martín Díaz, “Reconocimiento de Passwords Gráficos en Dispositivos Móviles”, Proyecto Fin
de Carrera, Febrero 2010, EPS-UAM
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
50/53

51. Recientes Avances
Reconocimiento Forense de Escritura: Biógrafo v2.0
J. Galbally, S. Gonzalez-Dominguez, J. Fierrez, J. Ortega-Garcia, “Biografo: An Integrated Tool for Forensic Writer
Identification”, Intl. Workshop on Biometrics and Forensic, IWBF-2012
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
51/53

52. 5. Conclusiones
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
52/53

53. Conclusiones
 Tradicionalmente, la investigación en reconocimiento de firma se ha
centrado en la mejora del rendimiento.
 La investigación en los algoritmos de reconocimiento sigue siendo un
campo de gran actividad.
 Han aparecido nuevos ámbitos de actividad, focalizados sobre:
 Nuevos escenarios de aplicación
 Interoperabilidad entre dispositivos
 Evaluación comparativa de algoritmos
 Generación sintética de muestras
 Medidas sobre el contenido y la complejidad de la firma
 Protección de datos y privacidad
J. Ortega-Garcia
Autenticación Biométrica de Firma Manuscrita©
53/53

54. Autenticación Biométrica de Firma Manuscrita
sobre Dispositivos Móviles de Captura
Dr. Javier Ortega-Garcia
Catedrático de Teoría de la Señal y Comunicaciones
Director del Grupo de Reconocimiento Biométrico - ATVS
II Encuentro Nacional sobre la Firma Electrónica en los Servicios Públicos
EPS/UAM, 15-16 Octubre 2013
Biometric Recognition Group – ATVS
(http://atvs.ii.uam.es)
Escuela Politécnica Superior
Universidad Autónoma de Madrid