Resumen: Antecedentes y marco de desarrollo del modelo de la Fundación Europea para la Calidad, a través de un estudio general del mismo, sus fundamentos, conceptos y aplicación. Para posteriormente hacer un estudio de las fases que conlleva (Autoevaluación, Evaluación Externa y Evaluación Final). A continuación se hace un análisis de la aplicación del modelo a un caso real: El Servicio de Archivos y Bibliotecas de la Universidad de Salamanca

1. EVALUACION DE BIBLIOTECAS
UNIVERSITARIAS CON EL MODELO EFQM.
Julio Alonso Arévalo
Universidad de Salamanca
Facultad de Traducción y
Documentación

2. Por qué evaluar
Demanda social de servicios públicos de
calidad
Rendir cuentas a la sociedad
La evaluación como herramienta básica para la
mejora
Un marco geopolítico: la integración europea
El espacio Europeo de Enseñanza Superior

3. Calidad Total – EFQM – ISO 9000
Calidad Total FILOSOFIA
ISO 9000 NORMA de calidad
EFQM MODELO

4. Marco Geopolítico
Marco Común de Evaluación (Common Assessment
Framework)
Metodología para la evaluación de la calidad: El modelo
EFQM
I Plan Nacional de Evaluación de la calidad en las
Universidades (1996-2001)
II Plan Nacional de Evaluación de la calidad en las
Universidades 2001-2006
Agencia Nacional de la Evaluación de la Calidad y
Acreditación (ANECA)

5. I Plan Nacional de Evaluación de la calidad en
las Universidades
Objetivos
Promover la Evaluación institucional de la Calidad en las
universidades
Elaborar metodologías homogéneas para la evaluación de
la calidad integradas en la práctica vigente en la Comunidad
Europea
Preparar información objetiva que sirva de base a la
adopción de decisiones

6. II Plan Nacional de Evaluación de la calidad en
las Universidades
Objetivos
Continuar con la evaluación Institucional
Desarrollar metodologías homogéneas con las
existentes en la unión Europea
Implantar un sistema de información basado en la
evaluación de los resultados
Establecer un sistema de acreditación que permita
garantizar la calidad

7. Criterios fundamentales del modelo
EFQM
1. Liderazgo Agentes
facilitadores
2. Política y estrategia
3. Personas
4. Alianzas y recursos
5. Procesos Resultados
6. Resultados en sus clientes
7. Resultados en las personas
8. Resultados en la sociedad
9. Resultados claves

8. Agentes
Facilitadores
Política Alianzas
Liderazgo y y recursos
estrategia
Personas
Procesos
Clientes
Personas
Resultados
Sociedad
Resultados clave

9. Para cada resultado se
considerará
Medidas de percepción
Puntos fuertes
Indicadores Identificar
Puntos débiles
Evidencias
Innovación
Aprendizaje Plan de Mejora
Mejora
continua
Establecer prioridades
Responsables de las acciones
Calendario de acciones

10. Liderazgo
•Misión
Equipo •Visión
Desarrolla y facilita
Directivo
•Valores
Acciones:
Fomento de la Cultura Organizacional
Conoce las necesidades de los clientes
Establece mecanismos de comunicación
Motiva e Implica al personal
Gestiona y facilita el cambio

11. Política y Estrategia
•Misión
Organización Materializa •Visión
•Valores
Acciones:
Fundamenta las necesidades de los clientes
Existe información y medición de las mismas
Se desarrollan, revisan y actualizan
Se ponen en práctica a través de procesos
Se comunican al resto de la organización

12. Gestión del personal
Potencia y
Organización RRHH
desarrolla
Acciones:
Se planifican y gestionan los RRHH
Se identifican, desarrollan y mantienen los
conocimientos
Se responsabiliza al personal y se le da autoridad
Si la organización dialoga con su personal

13. Alianzas y recursos
Planifica y •Recursos
Organización
gestiona •Colaboradores
Acciones:
Como elige y gestiona los colaboradores externos
Como gestiona sus finanzas
Como gestiona sus infraestructuras
Como gestiona la tecnología
Como gestiona sus información y conocimientos

14. Procesos
Diseña y
Organización Procesos
gestiona
Acciones:
Gestiona y diseña sistemáticamente sus procesos en
función de las necesidades de los clientes
Mejora sus procesos para obtener un valor añadido
Como gestiona la producción, distribución y servicio
post-venta de productos y servicios.

15. Resultados en sus clientes
Impacto Organización Clientes
Se tendrá en cuenta:
Medidas de percepciones: encuestas de satisfacción
Indicadores

16. Resultados en el personal
Impacto Organización Personal
Se tendrá en cuenta:
Medidas de percepciones: encuestas de
satisfacción laboral
Indicadores
Satisfacción laboral del persona, motivación,
formación, y como ello repercute en la consecución
de los objetivos marcados.

17. Resultados en la sociedad
Impacto Organización Sociedad
Se tendrá en cuenta:
Medidas de percepciones
Indicadores
Lo que consigue la organización en relación con
su entorno social: local, nacional e internacional

18. Resultados clave
Rendimiento Organización
Se tendrá en cuenta:
Medición general del rendimiento y cumplimiento
de las expectativas
Medidas de percepciones
Indicadores

19. Esquema del Modelo EFQM
Procesos facilitadores (500 P) Resultados (500 P)
7. Resultados
3. Personas en las
(90 p.) Personas
(90 p.)
1. Liderazgo 2.Política 5. Procesos 6. Resultados 9. Resultados
y en los Clave
(100 p.) Estrategia (140 p.) Clientes
(80 p.) (200 p.) (150 p.)
4. Alianzas 8. Resultados
y en la
Recursos Sociedad
(90 p.) (60 p.)
Innovación y Aprendizaje

20. Fases Proceso de Evaluación EFQM
1. AUTOEVALUACION
CEI Comité de Evaluación Interna Informe de Autoevaluación
2. EVALUACIÓN EXTERNA
CEE Comité de Evaluación Externa Informe de Eval. Externa
3. EVALUACIÓN FINAL
CEI Comité de Evaluación Interna Informe Final

21. La Autoevaluación
Objetivo: Redactar un informe de Evaluación Interna
Constitución del CEI. Representación de todos los
sectores implicados
Documentación: Guía de Autoevaluación
- Datos objetivos de la actividad de la organización
- Opiniones de los usuarios de los servicios
- Opiniones del personal que presta los servicios
Difusión a la comunidad y recogida de sugerencias

22. La Evaluación Externa
Objetivo: redactar el informe de evaluación externa
Constitución del CEE: representantes ajenos a la
organización expertos en temas de calidad
Documentación
Análisis de la guía de Autoevaluación
Análisis del Autoinforme
Visita a la institución objeto de evaluación
Formulación de juicios de valor

23. Informe final
Elaborado por el Comité de Autoevaluación
Síntesis entre Evaluación Interna y Evaluación
Externa
Contenido
Puntos fuertes y débiles de la organización
Identificación de las propuestas de mejora
Responsables de las acciones
Calendario de implantación de las acciones a emprender
Seguimiento de la implantación de las acciones
Difusión del informe final

24. Recomendaciones para la redacción del
informe final
Síntesis entre el informe de Evaluación Interna y
Evaluación Externa destacando las discrepancias y
complementariedades entre ambos informes
Determinar la importancia dada a la evaluación
Interna y a la evaluación externa
Relacionar las fortalezas y debilidades detectadas con
las propuestas de mejora
Determinar la importancia de las acciones
estratégicas de mejora

25. Las propuestas de mejora
Viables
Fundamentadas
Coherencia con las fortalezas y debilidades
Priorizar las acciones
Dirigidas a los órganos de dirección que se
comprometan en ejecutarlas
Realistas
Creativas
Consensuadas

26. Evaluación del Servicio de Archivos y
Bibliotecas de la Universidad de
Salamanca

27. Evaluación de SABUS
Cronología
Autoevaluación del Servicio de Bibliotecas: Septiembre 1997-
Enero 1998
Evaluación Externa: Febrero 1998
Informe Final: Marzo-Abril 1998
Antecedentes
Cambio del equipo directivo
Constitución y composición del Comité de
Autoevaluación

28. Introducción
Metodología de Trabajo
Recepción de la documentación
⌧Protocolo de autoevaluación (European Fundation for
Quality Management EFQM)
⌧Estadísticas trimestrales del servicio de Bibliotecas
⌧Encuesta sobre satisfacción de usuarios
Composición de subcomisiones
Reuniones internas y conjuntas

29. Informe de Autoevaluación
⌧Contexto del Servicio
⌧Liderazgo
⌧Política y Estrategia
⌧Gestión de Personal
⌧Recursos
⌧Procesos
⌧Satisfacción del Cliente/usuarios
⌧Satisfacción del Personal
⌧Valoración global
⌧Áreas de mejora

30. Contexto del Servicio (1)
Cambio moderado en los últimos años
Crecimiento de las inversiones en todos los parámetros:
Personal: 299 millones en 1991- 599 en 1996
Adquisición de libros: : 100 millones en 1991- 163 en 1996
Adquisición de Revistas : 45 millones en 1991- 131 en 1996
Equipamiento : 45 millones en 1991- 122 en 1996
Infraestructuras : 12.600 millones en 1991- 18700 en 1996
Colecciones
Orientación hacia una mayor accesibilidad
La colección de monografías se ha duplicado
La colección de publicaciones periódicas también.

31. Contexto del Servicio (2)
Personal
Estancamiento en el crecimiento del personal en los
niveles A,B I y II
El incremento del nº de alumnos (7000 en los últimos
años) no ha ido parejo con el incremento del personal.
Inexistencia de cursos de formación especializada
Servicios
Datos de consulta en sala poco significativos al carecer de
instrumentos de medición efectivos
Buen funcionamiento del préstamo con un crecimiento
espectacular Débil préstamo interbibliotecario
Escaso crecimiento de las bases de datos y revistas
electrónicas

32. Liderazgo
Existencia de un Reglamento de Bibliotecas que implica un
compromiso y un marco normativo para valorar objetivos y
metas
Compromiso con el desarrollo del Programa de Calidad
Institucional.
Escasa comunicación de los directivos con las personas
implicadas en las acciones de mejora
Dejación en la constitución de órganos como la Junta
asesora, Comisiones sectoriales etc, importantes para el diseño
de la misión y objetivos del servicio
23/2/99 32

33. Política y estrategia (1)
No existe un documento de planificación
estratégica del Servicio
El marco en el que se mueve éste es el definido
en el Reglamento aprobado en Junta de
Gobierno de 30 de Octubre de 1992.
No existen mecanismos de participación de las
personas con funciones directivas en la definición de los
objetivos del servicio

34. Política y estrategia (2)
Escasa o nula participación del personal en la definición
de la política del servicio.
No existen normas que articulen sistemas de
transmisión de información al personal del servicio
Los datos que se recopilan y que pueden servir de
fundamento para el diseño de una política viable son
eminentemente cuantitativos. Faltan datos sobre rendimiento de
las colecciones, satisfacción de los usuarios, etc.

35. Gestión del personal
Grave carencia en la política de formación continuada
El rendimiento se mide de manera muy parcial: solo las
actividades relativas a catalogación. No se contemplan otros
servicios.
Falta de participación del personal en los procesos de
introducción de mejoras. No existe ningún sistema organizado
para propuesta de las mismas.
Falta una definición claramente establecida de funciones
y una relación entre los distintos niveles de responsabilidad

36. Recursos (1)
Riqueza del fondo bibliográfico
Creciente equipamiento informático
El gasto efectuado en la Biblioteca por la Universidad
sobrepasa el 5% del presupuesto ordinario.
Se observan anomalías en el modelo presupuestario vigente: las
previsiones presupuestarias anuales sólo planifican el gasto
correspondiente a la Dirección del servicio y a las tres bibliotecas
centrales. Las bibliotecas de centro no tienen presupuesto
Imposibilidad de una planificación y previsión de necesidades
Ausencia de un política homogénea de desarrollo de las
colecciones

37. Recursos (2)
Carencia de un programa de gestión y desarrollo de la colección
que cuente con la participación de toda la comunidad universitaria en el
que los bibliotecarios tengan un papel activo
Escasas colecciones de referencia y básicas.
Inexistencia de programas de expurgo, reubicación y
preservación de documentos
Dispersión de puntos de servicio
Las dimensiones de los locales no pueden soportar, en algunos casos,
el crecimiento de la colección a corto plazo
La falta de espacio imposibilita la existencia de salas de estudio en grupo,
salas de consulta o de referencia.
En cuanto al personal: heterogeneidad de categorías, pocas
posibilidades de promoción profesional, inexistencia de planes de
formación.

38. Procesos (1)
Inexistencia de un manual de procedimientos que recoja tanto las
tareas administrativas como técnicas a desarrollar por el personal de
bibliotecas.
Adquisiciones
el bibliotecario no interviene directamente en la selección de
publicaciones periódicas y de libros
Información y Referencia
No existe un responsable que coordine los servicios de
información y referencia para el conjunto de la biblioteca universitaria
La biblioteca carece de colecciones de referencia especializada
Los criterios para selección de fuentes accesibles en red son los sugeridos
por los departamentos
No existen actividades de formación de usuarios.

39. Procesos (2)
Automatización
Es la única unidad que ha planificado su gestión y coordinado
el trabajo con los responsables de los centros
Retraso en la catalogación automatizada
Se ha comenzado la catalogación retrospectiva en varios
centros
Bibliotecas de centro
No se pueden evaluar sus procesos dado que han funcionado
de forma independiente y sin existir coordinación entre todos
los responsables de las mismas.

40. Satisfacción del Cliente/Usuario (1)
No se mide regularmente la satisfacción de los usuarios sobre los
servicios que ofrecen las bibliotecas
El único cuestionario realizado ha sido el elaborado por el Programa
Institucional de Calidad.
A través de la encuesta se comprueba:
Una relación directa entre la satisfacción y el uso de los
servicios bibliotecarios
Una valoración positiva de los horarios y la atención personal
Satisfacción respecto a los materiales básicos de apoyo
La atención más personalizada se refleja en una mejor
valoración

41. Satisfacción del Cliente/Usuario (2)
A través de las sugerencias se solicita:
Mejores condiciones físicas, climatización y silencio
Mejora de las instalaciones en general
Ampliación del horario de apertura de las bibliotecas,
tanto a diario, como fines de semana y en época de
exámenes.
Ampliar los fondos en número de volúmenes y en variedad
de los mismos, y actualizar los más utilizados.

42. Satisfacción del Personal
No existen estudios sobre satisfacción del personal
Concienciación del personal sobre su capacidad técnica
Identificación del personal de bibliotecas con la
profesión

43. Áreas de mejora:
Política y estrategia
• Articulación de mecanismos de comunicación fluida
mediante el establecimiento de reuniones periódicas entre la
dirección del Servicio y los componentes del mismo
⌧Elaboración de un documento de política estratégica
en la que aparezcan claramente definidos los objetivos a
corto, medio y largo plazo del Servicio.
⌧Diseño de un procedimiento de recogida de datos más
completo que el existente, en el que se introduzcan
criterios de satisfacción de los usuarios y rendimiento de las
colecciones.
⌧Estructuración adecuada de los niveles de
responsabilidad y función

44. Áreas de mejora:
Gestión del personal
Plan de formación continuada en función de los objetivos y la
política global del Servicio.
Establecimiento de un sistema equilibrado de reconocimiento de
méritos que vaya paralelo al diseño de una carrera profesional
para el personal de bibliotecas.
Adaptación normativa de la legislación general y estatutaria a las
responsabilidades y funciones de los puestos de trabajo.

45. Áreas de mejora: Recursos
Introducir el concepto de biblioteca como una única unidad de gasto.
Establecimiento de un programa de gestión de la colección dotado
de los elementos necesarios que permitan que el desarrollo de la misma se
ajuste a los objetivos de la Universidad en la que se integra la Biblioteca.
Dotación suficiente de la plantilla en relación al número de usuarios a
atender, puntos de servicio, horas de funcionamiento y áreas de trabajo.
Adecuada planificación que contemple el crecimiento futuro de las
colecciones, el personal, los servicios y los usuarios.
Participación del bibliotecario en todos los procesos y decisiones
que afecten a la biblioteca

46. Áreas de mejora:
Procesos (1)
Establecimiento de un negociado de administración en el que estén
centralizadas las tareas administrativas y de suministro.
Establecimiento de un manual de procedimientos que recoja las
tareas tanto administrativas como técnicas a desarrollar por el
personal bibliotecario, y que permita hacer frente a eventualidades.
Intervención del bibliotecario en la selección de
publicaciones periódicas y de libros
Necesidad de implantación del módulo de adquisiciones

47. Áreas de mejora:
Procesos (2)
Establecimiento de una política de donaciones pautada por el
Servicio.
Dinamización de la catalogación retrospectiva
Creación de un responsable que coordine los servicios de
información y referencia para el conjunto de la Biblioteca
Universitaria.
Creación de colecciones de referencia especializada en
todas las bibliotecas.

48. Áreas de mejora:
Satisfacción de Usuarios
Establecimiento de actividades de formación de usuarios
en el uso de bases de datos en soporte electrónico y de los
servicios y recursos de las bibliotecas en general.
Creación o habilitación de salas de estudio para usuarios con
materiales propios
Mejor señalización horizontal y vertical de todos los centros
Aplicación sistemática de un programa de evaluación por
parte del Servicio que contribuya a determinar, analizar y mejorar
los factores que impliquen la satisfacción de los usuarios.

49. Áreas de mejora:
Satisfacción del Personal (1)
Necesidad de establecer una política bibliotecaria
institucional
Evaluación del rendimiento de los puestos de trabajo desde
dos puntos de vista: tareas rutinarias y labores de gestión.
Establecimiento de perfiles claros en plazas específicas.
Establecimiento de un sistema de reconocimiento al personal
y al Servicio por parte de las autoridades académicas

50. Áreas de mejora:
Satisfacción del Personal (2)
Necesidad de crear una plantilla homogénea y equilibrada.
Necesidad de introducir incentivos a tres niveles :
económicos, de promoción y de formación, y desarrollo de la
carrera profesional.
Necesidad de dotar adecuadamente los recursos materiales
y humanos en cantidad y calidad.
Establecimiento de cauces reglamentarios para la
participación tanto a nivel de centro (comisiones de bibliotecas)
como a nivel general (Junta Asesora prevista en el Reglamento
del Servicio).

51. Informe Final
Valoración del proceso
Valoración del proceso de Evaluación Interna
⌧ Enfoque riguroso y estructurado para la mejora del servicio
⌧ Importante instrumento diagnostico
⌧ Buen método para medir los progresos realizados en el tiempo
⌧ Herramienta de mejora centrada en áreas críticas
Valoración del Proceso de evaluación externa
⌧ Aporta juicios de personas no implicadas en la Univ. De Salamanca
⌧ Garantía de Credibilidad
⌧ Valida el proceso de autoevaluación
Conclusiones
⌧ Puntos fuertes y Puntos débiles
⌧ Acciones estratégicas de mejora
⌧ Plan de seguimiento

52. Informe Final:
Puntos fuertes
Implicación de la Universidad en la Evaluación y reorganización
del Servicio
La colección es muy rica y variada, sobre todo el fondo antiguo, y
la partida presupuestaria asignada al servicio es importante
El personal tiene voluntad de mejora, experiencia en el manejo del
proceso de automatización y conciencia de su capacidad técnica.
Todas las bibliotecas del servicio están en red, se dispone de un
sistema integrado de gestión de bibliotecas. Se está implantando
progresivamente la automatización.
Los usuarios están satisfechos con la atención del personal, con
los materiales básicos y con los horarios.

53. Informe Final:
Puntos débiles (1)
No existe un modelo ni procedimiento regulado de recogida de datos e
indicadores de eficacia.
Los servicios de información al usuario son poco conocidos.
No existe un documento que recoja la política estratégica del servicio.
No están definidos los canales de comunicación entre la dirección y el
personal del servicio, por un lado, y entre los usuarios y los gestores del servicio,
por otro.
El personal del servicio es insuficiente.
Falta una política de formación continuada
Escasa participación en la definición de la política del servicio.
No están definidas las funciones y responsabilidades de los puestos de
trabajo.

54. Informe Final:
Puntos débiles (2)
En el modelo presupuestario no figuran previsiones para las
bibliotecas de centro y unidades centrales.
La colección está infrautilizada. Carece de un desarrollo coherente.
Los edificios e instalaciones carecen de planes de emergencia y
seguridad, no están adaptados para facilitar el acceso a minusválidos.
En cuanto a los procesos no están implantados todos los módulos de
automatización, hay retraso en el proceso de catalogación automatizado
.
Materiales: falta bibliografía recomendada;

55. Informe Final:
Propuestas de mejora (1)
Elaborar un documento público
entre los diferentes agentes del
servicio en el que se planifique a
corto y medio plazo, el gasto, las
colecciones, el personal y los servicios.
Y donde se coordinen los Servicios
centrales y las Bibliotecas de Centro.

56. Informe Final:
Propuestas de mejora (2)
Activar y fortalecer los mecanismos y
órganos de participación y difusión de la
Información a todas las categorías del personal
y sectores de la comunidad universitaria.

57. Informe Final:
Propuestas de mejora (3)
Elaborar y aplicar, de forma regular, un
modelo de recogida de datos del Servicio que
sirva de base para su planificación estratégica.

58. Informe Final:
Propuestas de mejora (4)
Establecer planes de formación continua, definir
funciones, competencias y responsabilidades de cada
puesto de trabajo y medir su rendimiento; potenciar
canales de participación del personal a través de la Comisión
de Bibliotecas (Centro) y Junta Asesora (Universidad).
Establecer una dependencia administrativa única,
aumentar la plantilla y formular un sistema de reconocimiento
de méritos (incentivos económicos, de formación y promoción)

59. Informe Final:
Propuestas de mejora (5)
Dotar a los edificios de medida de seguridad y
planificar a largo plazo las instalaciones del Servicio de
acuerdo con el crecimiento del personal, colecciones,
servicios y usuarios;
Crear o habilitar salas de estudio para que los usuarios
puedan estudiar con materiales propios,
Disponer en todos los centros de una señalización
normalizada y homogénea.

60. Informe Final:
Propuestas de mejora (6)
Elaborar un programa de gestión de la
colección homogéneo para todas las
bibliotecas y facilitar el acceso directo a todo el
fondo bibliográfico.

61. Informe Final:
Propuestas de mejora (7)
Dotar al Servicio de Bibliotecas de un
sistema de financiación propio que garantice
la planificación y previsión de necesidades del
mismo.

62. Informe Final:
Propuestas de mejora (8)
Implantar todos los módulos de
automatización y adquisiciones en todas las
bibliotecas
Planificar y acelerar la catalogación
retrospectiva del fondo; coordinar la
elaboración de manuales de procedimiento.

63. Informe Final:
Propuestas de mejora (9)
Establecer canales de comunicación y participación
permanente entre los usuarios y los gestores del Servicio.
Diseñar un plan general de formación de usuarios.
Elaborar guías informativas.
Definir criterios de calidad en los servicios prestados.

64. Conclusiones
La evaluación no debe comenzar sin haberse realizado una adecuada
campaña informativa.
La selección adecuada de los miembros de los comités es fundamental.
El proceso debe de ser participativo y transparente
Debe basarse en indicadores de calidad que consideren no solo la
producción sino la evolución, el rendimiento y la eficacia.
La calidad debe establecerse por la vía del convencimiento no de la
imposición
El comité no puede erigirse en arbitro inapelable y ha de manejar la
información con prudencia.
La evaluación y sus consecuencias revisten un carácter paulatino

65. EVALUACION DE BIBLIOTECAS
UNIVERSITARIAS CON EL MODELO EFQM.
Julio Alonso Arévalo
Universidad de Salamanca
Facultad de Traducción y
Documentación