1. Javier Brun
Indicadores para la
evaluación de proyectos
expositivos
XVII Jornades de Museus i
Educació - 27/28 Febrer 2014

2. Materiales descargables
❖
denmarkarts_business_plan!
❖
evaluation_Centre d’art contemporain_Genève!
❖
guia evaluación politicas culturales (FEMP)!
❖
Performance Indicator Guidelines (Museums & Galleries) Department for
Culture, Media and Sport_UK!
❖
l'evaluation des musees et des expositions!
❖
Cómo evaluar proyectos de Cultura para el Desarrollo. Una aproximación
metodológica a la construcción de indicadores (AECID)!
❖
Measuring the economic and social impact of the arts. A review. Michelle Reeves!
❖
Victoria & Albert Museum. Strategic Plan

5. 1ª consideración previa
❖
Existe la posibilidad de realizar una evaluación a
diferentes niveles en el marco de un Museo / Centro de
Arte o Galería:!
❖
❖
Evaluar una exposición!
❖
❖
Evaluar el funcionamiento del Centro y su programa expositivo!
Evaluar una actividad en concreto!
Especialmente, a nivel de Centro/Museo existen otros mecanismos de
diagnóstico, frecuentemente ex-ante (análisis FODA, Cartografías…)
para tener una imagen inicial del status quo del mismo.

6. 2 ª Consideración previa
❖
Algunas preguntas que debemos responder en el
contexto en el que trabajamos:!
❖
¿Se realizan de alguna manera estas evaluaciones? ¿A qué
niveles? !
❖
¿ Quién realiza estas evaluaciones, si es que se hacen?!
❖
¿Qué margen de maniobra tenemos como profesionales de la
educación en el seno de un centro expositivo? (seguramente aquí
hay respuestas variables)

7. 3 ª Consideración previa
❖
¿Tenemos claro qué es lo que queremos saber?!
❖
Esto nos lleva a alguna pregunta más concreta y comprometida:!
❖
¿Están los objetivos del Centro/Museo definidos?!
❖
Su MISIÓN!
❖
Sus objetivos generales en el marco de una planificación!
❖
Sus objetivos específicos para una programación anual
(por ejemplo), bien explicitados.!
❖
Los objetivos más operativos para cada actividad/
exposición y sus acciones.

8. “Evaluar es crear valor”
– Eduard Miralles

9. ❖
Pero también:!
❖
“Evaluar es un proceso de gestión del conocimiento”!
❖
“Evaluar es ganar poder en la organización”!
❖
“Evaluar está en el núcleo del proceso que explica si lo que estamos
haciendo sirve para cumplir nuestro mandato o los objetivos que nos
hemos marcado

10. ❖
Hemos de saber cuáles son
nuestros objetivos para
comprobar en qué medida nos
hemos desviado…

11. ❖
… o en qué aspectos hemos
cumplido nuestras expectativas
y en cuales tenemos que
mejorar.

12. metodología más habitual

13. Matriz de evaluación
Obje%vos
generales.
Obje%vos
específicos
Resultados
esperados
Indicador/
unidad
de
medida
Fuente
de
verificación

14. Indicadores+(por+sus+caracteris0cas)+
• Cuan0ta0vos:+Un+indicador+cuan0ta0vo+es+un+
dato+estadís0co+que+ha+sido+procesado+y+
puesto+en+relación+con+otros+datos+
estadís0cos+con+el+fin+de+entregar+una+
información+específica.++
• Cualita0vos:+Pueden+provenir+de+respuestas,+
si/no,+de+consultas+para+seleccionar+un+ítem+
entre+varios,+…+

15. Los$indicadores$,$-pos$
• Contexto$:$recogen$toda$la$información$del$entorno$que$influye$
directamente$en$el$proyecto$y$que$a$su$vez$es$externo$a$él.$
• Producto$/$Resultado:$$nos$aportan$información$numérica$de$can-dad$
y$calidad$de$producto,$bienes$o$servicios$que$se$generan$a$par-r$de$las$ac-vidades$
programadas,$los$procesos$realizados$o$las$acciones$implementadas.$Es$el$
resultado$a$corto$plazo,$el$propósito$directo$de$la$planificación$
• Proceso:$Nos$analizan$cómo$ha$sido$la$realización$de$las$acciones,$procesos,$
ac-vidades$o$actuaciones$programadas$
• Recurso:$par-r$de$los$cuales$conocemos$la$naturaleza$y$cuanIa$de$los$
factores$que$directa$o$indirectamente$se$u-lizan$para$llevar$a$término$la$
intervención$para$alcanzar$el$propósito$especificado$en$el$proyecto.$
• Efecto:$tratan$de$medir$los$efectos$como$resultados$directos$y$a$medio$plazo$
sobre$los$usuarios$a$quien$van$dirigidos$los$proyectos.$
• Impacto:$miden$el$resultado$final$obtenido$a$largo$plazo$como$
consecuenciade$la$intervención$y$que$repercuten$en$el$entorno$de$los$usuarios.$

16. Algunos ejemplos de indicadores
en casos concretos

17. National Museum of Australia
Key performance indicator
2012–13
target
Actuals
1.1.1 Number of paid on-site visits
44,111
42,948
502,179
512,277
1000
295
1.2.3 Number of on-site visits by primary school students
67,000
72,358
1.2.4 Number of on-site visits by secondary school students
16,000
14,194
300
416
No.
1.1.2 Number of unpaid on-site visits
1.2.2 Number of on-site visits by preschool students
1.2.5 Number of on-site visits by post-secondary education students
1.3.1 Number of visits to the website
1,017,000 1,550,750
1.3.2 Number of page views to the website
3,036,000 3,343,891
1.4
Number of off-site visits to the organisation (travelling exhibitions)
175,000
85,186
3.1
Number of formal overseas initiatives
4
4
3.2
Number of other overseas initiatives
400
174
4.1
Operational funding (as a % of total funds from operations and government)
86%
86%
4.2
Capital funding from government (as a % of total funds from operations and government)
4%
4%
4.3
Cash sponsorship income (as a % of total funds from operations and government)
-
-
4.4
Other cash fundraising income (as a % of total funds from operations and government)
-
-
4.5
Other income (as a % of total funds from operations and government)
10%
10%

18. 5.1
Expenditure on collection development (as a % of total expenditure)
13%
12%
5.2
Expenditure on other capital items (as a % of total expenditure)
16%
18%
5.3
Expenditure on other (i.e. non-collection development) labour costs (as a % of total
expenditure)
32%
31%
5.4
Other expenses (as a % of total expenditure)
41%
39%
7.1.1
Number of acquisitions in the reporting period
1700
2419
7.2.1
Total number of objects accessioned in the reporting period
900
821
7.2.2
Total number of objects awaiting accessioning at the end of the reporting period
7.2.3
% of total objects (acquired in the reporting period) accessioned
7.3.1
12,000 12,798
5%
<1%
% of total collection available to the public
47%
46%
7.3.2
% of total collection available to the public online
42% 42.5%
7.3.3
% of total collection available to the public on display
4%
3%
7.3.4
% of total collection available to the public on tour
1%
≤1%
7.4.1
% of total objects assessed/condition checked in the reporting period
1.3% 2.53%
7.4.2
% of total objects conserved in the reporting period for preparation for display or digitisation
0.1% 0.37%
7.4.3
% of total objects treated for preservation purposes only in the reporting period
0.2% 1.54%
7.5
% of the total collection digitised
54%
8.1
Number of people participating in public programs
25,640 27,541
8.2
Number of people participating in school programs
84,300 87,263
85%

19. Victoria & Albert Museum
(Plan estratégico)

28. 1 método general: Definir las variables
❖
Para el proceso de extracción de indicadores, se crea una
matriz que facilita la presentación de las variables X e Y,
y una sencilla visualización de los posibles cruces entre
ellas que dan origen a los indicadores básicos. !
❖
!Del cruce de las variables se extraen los
correspondientes indicadores básicos de resultado,
proceso y recurso que se presentan en listado

30. Objetivo de la programación nº 1!
Variable X: Acciones realizadas para la obtención de ese objetivo!
Variable Y: en función de algunos parámetros que nos interese desglosar
X
X
X
X
X
X
X
X
Acciones
Beneficiarios
Actores / Agentes
Financiación
Recursos
humanos
Recursos
infraestructurales
nº Acciones realizadas
para la obtención de ese
objetivo
n º de beneficiarios que
participan en Acciones
realizadas para la
obtención de ese objetivo
n º de actores que
participan en Acciones
realizadas para la
obtención de ese objetivo
presupuesto destinado s
las acciones realizadas
para la obtención de ese
objetivo
nª de recursos humanos
destinados a llevar a cabo las
acciones realizadas para la
obtención de ese objetivo
nª de recursos
infraestructurales destinados a
llevar a cabo las acciones
realizadas para la obtención de
ese objetivo
Y
En función de …
En función de …
En función de …
En función de …
En función de …
En función de …
Y
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Gestión:Participación en
la decisión/ Propuesta
unidireccional
Perfil laboral: trabajador/
estudiante/en paro/
pensionista
Públicos/privados /
tercer sector
Origen de la
financiación
Grado de dedicación (% medio
de jornada) (<25,
25<x<50,50<x<75, <75)
En relación a los
contenidos del
programa expositivo
Nivel Académico: Estudios
superiores / Secundaria /
Primaria / Sin estudios
Presencial / virtual
Minoría étnica: Si /No
Clase social: a/b/c/d
Género: Mujer/
Hombre
Edad: e < 20 / 20
> e < 30 / 30> e
< 50 / e > 50
procedencia: del barrio/
del resto de la ciudad /
del resto del país/
extranjero
Tipo de recurso:
Espacial, iluminación/
audiovisual/…

31. Otra línea de trabajo
❖
AUTOEVALUACIÓN

32. Nueva línea de trabajo
❖
¿Cuáles son las cosas importantes de este programa
expositivo?!
❖
Hagámonos preguntas sencillas sobre eso antes de
poner en marcha la exposición.!
❖
Preguntémonos sobre valores, procesos, organización,
… (es importante volver a la ética, no solamente al
resultado numérico)!
❖
¿Cómo obtengo datos cualitativos?

33. Matriz de evaluación
Obje%vos
generales.
Obje%vos
específicos
Resultados
esperados
Indicador/
unidad
de
medida
Fuente
de
verificación

34. Objetivos generales.
Objetivos específicos
Resultados esperados
Indicador/unidad de
medida
Fuente de verificación
Proponer una conmemoración de la
celebración de los bicentenarios
reflexionando sobre la importancia de
los derechos económicos, sociales y
culturales en la construcción de los
estados modernos en América latina.
Presentar y visibilizar el papel de las
mujeres en el desarrollo de la vida de las
repúblicas americanas en este periodo
histórico.
La mujer se representa mayoritariamente
en actitudes respetuosas relacionadas
con aspectos cotidianos.
x% de las imágenes de la exposición
presentan la mujer latinoamericana en
actitud socialmente valorada,
% de elementos expositivos en los que
la mujer tiene un papel central en
contextos socialmente valorados.
Observación crítica de las imágenes de
la exposición por parte de visitantes
espontáneos encuestados…
Reconocer y poner en valor la labor
realizada por fotógrafos/as, cronistas,
historiadores/as, centros de información
y documentación, archivos de imágenes,
filmotecas, bases de datos, etc. en la
tarea de documentación de este
periodo.
Dar a conocer el trabajo de destacados
reporteros gráficos locales del siglo XX.
Al menos una media de 3 reporteros
gráficos deben ser recordados a la salida
de la exposición.
nº medio de reporteros gráficos locales
que son citados al preguntar a los
asistentes a la exposición.
Encuesta a la salida de la exposición.
Fomentar entre el público escolar en
primaria el interés por el fotoperiodismo
Al menos 10 profesores de escuelas
primarias, participantes en las
actividades educativas del museo
imparten un taller de fotoperiodismo
entre sus alumnos de educacion
primaria.
nº de profesores de escuelas que
participan en las actividades formativas y
que organizan talleres de iniciación al
fotoperiodismo en sus escuelas.
Cuestionario pasado a los centros de los
que provienen los profesores inscritos en
las actividades educativas del Museo.
Dar pie a debates públicos en los
medios de comunicación sobre la
importancia de la memoria colectiva en
la construcción de identidades
n1 programas radiofónicos / televisivos
que abordan la temática de la memoria
colectiva en el periodo de desarrollo de
la exposición
nº de programas radiofónicos /
televisivos que abordan la temática de la
memoria colectiva en el periodo de
desarrollo de la exposición
cuestionario remitido a los 10 medios de
comunicación de masas (radio/tv) de
mayor audiencia en el país (en la
ciudad…)
Proponer un espacio abierto al diálogo,
la reflexión histórica y la memoria
colectiva.
nº de debates presenciales / virtuales
que abordan,….
— Valorar el papel de la mujer en el
proceso de evolución histórica de los
países de América latina y la
consecución de los derechos
fundamentales

35. Estas son algunas de las variables que habitualmente se miden
❖
Asistentes globales!
❖
Número de visitas!
❖
❖
❖
Espontáneas!
Organizadas!
Número de actividades paralelas!
❖
❖
nº de actividades pedagógicas!
❖
❖
nº de participantes en las actividades paralelas!
nº de participantes en las actividades pedagógicas!
Presencia en los medios de comunicación:!
❖
❖
❖
nº de inserciones en diarios/revistas/tv/radio!
nº visitas a páginas web!
Presencia en redes sociales:!
❖
Amigos en facebook, seguidores de twitter,…

36. constatamos
❖
Fundamentalmente utilizamos indicadores cuantitativos!
❖
Medimos cantidades directamente, sin ponerlas en
contexto!
❖
La excepción a ello tiene que ver con las encuestas que
pasamos:

37. Algunas intuiciones sobre las encuestas
❖
Encuestas de satisfacción.!
❖
Pregunta importante : ¿cómo pasamos las encuestas? !
❖
¿Es cierto que lo que realmente se usa de las encuestas es la pregunta: Me ha
gustado si/no (… o similar)?!
❖
¿Qué informaciones nos deberían interesar de las encuestas? ¿Las usamos
para analizar al público que asiste? (¿id. para el que no asiste?)!
❖
Se recogen muchos datos, pero ¿sabemos qué hacer con todos esos datos?
¿Son útiles?!
❖
¿Quién y cómo debe plantear las encuestas? !
❖
¿Espontáneamente/voluntariamente?!
❖
¿Random?!
❖
¿Público seleccionado?

38. ❖
¿Es cierto que la mayor parte de encuestas que usamos
las hemos copiado o adaptado de otras?!
❖
Hay que preguntar lo que realmente se quiere saber, no
dejarse llevar por la inercia!
❖
¿Qué es lo que queremos saber de nuestro público real/
potencial? (Hay que pensar mucho antes de redactar las
preguntas)

39. Una fuente de información primordial:
❖
Tenemos que MIMAR al personal de sala e involucrarlo en nuestras
evaluaciones, como forma de motivarlo.!
❖
El personal de sala (azafatas/os, vigilantes, seguridad…) son
quiénes realmente conocen a nuestros usuarios. !
❖
Observación del comportamiento de los usuarios: ¿Qué pueden
observar y tomar nota?:!
❖
¿Cuánto dura una visita de una serie de personas elegidas,
bien sea por perfil segmentado o random?!
❖
cada hora miro los diez primeros en entrar en la sala ¿Cuántos
leen los textos introductorios y cuántos se los saltan?!
❖
¿Cuánto tiempo medio se pasan ante un vinilo?

40. Algunas reflexiones para posibilitar la implementación de
evaluaciones útiles y factibles
❖
La peor evaluación es la evaluación perfecta, la que
quiere saberlo todo, !
❖
❖
porque nunca se hace. Nunca hay tiempo ni dinero
para hacerla.(y si se hace realmente, detrae tantos
recursos que no es sostenible). !
Una evaluación es una aproximación a la realidad, no es
la realidad misma. Es una foto pixelada que hay que ver
con perspectiva. Hay que conseguir los menos píxeles
posibles.

41. ❖
Para que se pueda evaluar correctamente tiene que haber una
planificación.!
❖
❖
Sin planificación no hay objetivos. Si no hay objetivos no sabemos
lo que queremos y, por ello lo que nos debemos preguntar.!
Las planificaciones deben ser participativas. Deben intervenir las
distintas áreas del Centro expositivo/museológico.!
❖
Uno de los resultados de la planificación es el programa
expositivo. En la decisión del programa expositivo tienen que
participar lógicamente los servicios educativos. (no puede ser que
se decida al margen el programa y que luego se les pida que se
limiten organizar talleres).!
❖
Los servicios educativos pueden jugar un papel importante en el
proceso evaluativo y las conclusiones de la evaluación deben
influir en la modificación de las siguientes planificaciones y
programaciones.

42. ¿Qué cosas no se nos debería olvidar evaluar?
❖
Los procesos y los recursos son tan importantes como
los resultados.!
❖
Hay, varias maneras imperfectas pero positivas de enfocar
estos temas difíciles de contar:!
❖
Autoevaluación!
❖
Respuestas si/no (vinculado con lo anterior)!
❖
Buscar algunas variables aproximadas (ejemplo)

43. ❖
Hay que incorporar, POR EJEMPLO, objetivos de
PARTICIPACIÓN/GOBERNANZA en los museos/
centros expositivos!
❖
Hay que observar/tener en cuenta, temas como el de
la DIVERSIDAD (en los usuarios/as, en el equipo,…)!
❖
Cultural!
❖
De género!
❖
generacional…!
❖
étnica…!
❖
social…

44. ❖
Si lo que pretendo al poner en marcha una exposición es generar un
debate sobre un tema, llamar la atención sobre un tema… Medir en
qué grado se ha generado ese debate, se ha permeado en la
sociedad.!
❖
Esto posiblemente supondrá plantear las actividades no
solamente en el Museo, sino seguramente fuera de él. Nuestro
objetivo último puede no ser que se vaya a ala exposición, sino
que se transmita una problemática, se conozca un tema…)!
❖
¿Cómo mediríamos eso?!
❖
Contar actividades realizadas con la comunidad, al margen
de que se haga dentro o fuera del centro.!
❖
Medir impacto en redes sociales de determinados temas
que se trate: Las redes sociales no son solamente marketing,
sino que son parte de un medio de debate e información.

45. Ejemplo: PARTICIPACIÓN/GOBERNANZA en los museos/centros expositivos
❖
Autoevaluativo / cualitativo: !
❖
PREGUNTA: ¿Tenemos mecanismos de participación en la
decisión, en la organización y el diseño de la exposición/ del
programa expositivo…?!
1. Por parte del equipo del centro: si/no!
2. Por parte de los colaboradores habituales: si/no!
3. Por parte de los usuarios habituales: si/no!
4. por parte de la sociedad civil referente del centro: si / no!
5. Por parte del segmento de la población vinculado a la
temática de una exposición: si/no

46. Ejemplo: PARTICIPACIÓN/GOBERNANZA en los museos/centros expositivos
❖
Cuantitativo: ¿Número de exposiciones que se han puesto en
marcha en el año 2014 con participación en la decisión, en la
organización y el diseño de las mismas?!
1. Por parte del equipo del centro:!
2. Por parte de los colaboradores habituales:!
3. Por parte de los usuarios habituales:!
4. por parte de la sociedad civil referente del centro:!
5. Por parte del segmento de la población vinculado a la
temática de una exposición:

47. naturalmente, se supone que en este caso deberíamos tener
un objetivo marcado (por ejemplo, % de las exposiciones
contarán con participación de…. en el año 2014)

48. Objetivo de la programación nº 1!
Variable X: Acciones realizadas para la obtención de ese objetivo!
Variable Y: en función de algunos parámetros que nos interese desglosar
X
X
X
X
X
X
X
X
Acciones
Beneficiarios
Actores / Agentes
Financiación
Recursos
humanos
Recursos
infraestructurales
nº Acciones realizadas
para la obtención de ese
objetivo
n º de beneficiarios que
participan en Acciones
realizadas para la
obtención de ese objetivo
n º de actores que
participan en Acciones
realizadas para la
obtención de ese objetivo
presupuesto destinado s
las acciones realizadas
para la obtención de ese
objetivo
nª de recursos humanos
destinados a llevar a cabo las
acciones realizadas para la
obtención de ese objetivo
nª de recursos
infraestructurales destinados a
llevar a cabo las acciones
realizadas para la obtención de
ese objetivo
Y
En función de …
En función de …
En función de …
En función de …
En función de …
En función de …
Y
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Lugar: En el
Museo /fuera de él
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Asistencia
espontánea /
público concertado
Gestión:Participación en
la decisión/ Propuesta
unidireccional
Perfil laboral: trabajador/
estudiante/en paro/
pensionista
Públicos/privados /
tercer sector
Origen de la
financiación
Grado de dedicación (% medio
de jornada) (<25,
25<x<50,50<x<75, <75)
En relación a los
contenidos del
programa expositivo
Nivel Académico: Estudios
superiores / Secundaria /
Primaria / Sin estudios
Presencial / virtual
Minoría étnica: Si /No
Clase social: a/b/c/d
Género: Mujer/
Hombre
Edad: e < 20 / 20
> e < 30 / 30> e
< 50 / e > 50
procedencia: del barrio/
del resto de la ciudad /
del resto del país/
extranjero
Tipo de recurso:
Espacial, iluminación/
audiovisual/…

49. Una última consideración
❖
En algunos casos (alumnos aventajados) se hacen
evaluaciones, que pueden estar bien hechas, … pero…!
❖
❖
❖
No se tienen en cuenta. (Error: Hemos dicho que son
un mecanismo de gestión del conocimiento)!
No se comunican. !
Es muy importante comunicar los resultados de las
evaluaciones, socializar las conclusiones (hacia dentro y
hacia fuera).