Documento. los indicadores en el plan de comunicaciones
Indicadores mml
1. La Matriz de Marco
Lógico: Indicadores
Juan Cristóbal Bonnefoy
JuanCristobal.Bonnefoy@cepal.org
Secretaría de Desarrollo Social,
Ciudad de México,
Febrero de 2006
2. ¿Por qué necesitamos indicadores
en la planificación y ejecución de
iniciativas públicas?
Análisis
Misión y Interno y
Objetivos de
Contexto
Quiénes somos o
Qué hacemos
Cómo sabemos que Dónde queremos ir
hemos llegado
Medidas de
Desempeño Cómo podemos
llegar Estrategias
3. Indicadores en la MML
Proporcionan la base para
supervisar y evaluar la iniciativa
Definen metas que nos permiten Indicadores
conocer en que medida se
cumplen los objetivos Fin
Establecen una relación entre dos Propósito
o más variables Compo-
nentes
Activi-
Pueden cubrir aspectos dades
cualitativos o cuantitativos
Entregan información cuantitativa
Deben ser acordados con los
involucrados
4. Características de un buen
indicador
Objetivo
Medible objetivamente
Relevante
Específico
Práctico y económico
Asociado a un plazo
5. ¿Cuáles son las Dimensiones del
Desempeño?
Eficiencia Eficacia
Relación entre dos magnitudes El grado de cumplimiento de los
físicas: producción de un bien o objetivos planteados.
servicio y los insumos que se ¿En qué medida la iniciativa está
utilizaron para alcanzar ese nivel de cumpliendo con sus objetivos
producto. Ejs: Costo unitario de fundamentales?
producción o costo promedio.
Economía Calidad del Servicio
Capacidad de la iniciativa para Capacidad de la iniciativa para
generar y movilizar adecuadamente responder en forma rápida y directa
los recursos financieros en pos de a las necesidades de sus usuarios.
su misión/propósito. Ejs: Capacidad Son atributos de la calidad:
de autofinanciamiento, ejecución del oportunidad, accesibilidad, precisión
presupuesto y recuperación de y continuidad, comodidad y cortesía
préstamos. en la atención.
6. Tipo de indicadores
Según el tipo de información que entregan se distinguen
indicadores de:
Eficacia:
Miden el nivel de cumplimiento de los objetivos
Ej. Variación porcentual en el número de usuarios que
consultan datos hidrológicos por año y por tipo de
información solicitada.
Ej. Porcentaje de la red vial que preserva su nivel de
servicio de diseño (o cercano)
Eficiencia:
Relacionan productos con costos o recursos
Ej. Costo medio anual por dato hidrometeorológico
Ej. Costo total por Km. de camino conservado
Ej. Número de pacientes atendidos por médico
7. Tipo de indicadores
Según el tipo de información que entregan se distinguen
indicadores de:
Calidad:
Evalúan atributos respecto a normas, referencias externas o
satisfacción de los beneficiarios (usuarios)
Ej. Confiabilidad de los pronósticos hidrometereológicos
Ej. Porcentaje de pacientes atendidos que se declaran
saisfechos con la atención recibida
Economía:
Reflejan capacidad para generar y movilizar recursos
financieros
Ej. Porcentaje de ejecución del presupuesto asignado
Ej. Porcentaje de recuperación de créditos
8. Indicadores para actividades
Indicadores de costo
Relacionan costos (presupuestado / real)
Ej. Sobrecosto porcentual del equipamiento
Indicadores de cronograma
Miden el nivel de cumplimiento de los plazos programados
Ej. Porcentaje de actividades cuyo plazo de ejecución superó el
programado
Ej. Número medio de días de atraso por actividad.
Indicadores de cantidad
Miden el nivel de cumplimiento respecto a la cantidad
programada de productos o servicios a generar.
Ej. Porcentaje de personas capacitadas respecto a las
programadas.
9. Indicadores
Miden contribución al logro del fin Disminución porcentual de la tasa de
morbilidad de los 450 habitantes de
a mediano o largo plazo (impactos). Pueblo Esperanza al cabo de tres
años.
Miden
resultados al Porcentaje de la población que aprueba
terminar la Fin test de conocimientos sobre higiene al
término del proyecto.
ejecución del Número de consultas atendidas por mes.
proyecto. Consultas por especialista por mes.
Propósito Porcentaje de consultas no derivadas.
Miden Porcentaje de la población objetivo capacitada
eficacia, al término del proyecto
Compo-
eficiencia y Número de capacitados por capacitador por
calidad en el nentes año.
logro de los Nivel de satisfacción de los capacitados.
componentes.
Activi-
dades Costo por curso.
Costo por metro cuadrado construido
Miden el costo de las actividades. Costo del equipamiento.
10. Indicadores CONAPRAN
Satisfacer las Eficacia: % de AM atendidos / AM de
necesidades escasos recursos (federal o estadual)
Fin Eficiencia: % annual de gastos
básicas a los administrativos del programa
AM de escasos Economía: % annual de ejecución
recursos presupuestaria
Propósito
C1 AM de Eficacia: % de AM atendidos / los que postulan
escasos Calidad: % que califican la atención como
Compo-
recursos buena o muy buena
atendidos a nentes Eficiencia: Costo promedio anual de AM
través de atendido (desv est, mínimo y máximo)
Hogares
Activi- Economía: % de recursos de pensiones de AM
dades
11.
12.
13.
14. Información sobre los
Indicadores
Nombre: Porcentaje de la población que aprueba test
de conocimientos sobre higiene
Fórmula de cálculo: {número de test con 7 o más
puntos (escala 1 a 10) / número de test realizados}*100
Medio de verificación: Test de diez preguntas
aplicado a una muestra aleatoria de 45 personas
capacitadas.
Valor actual (línea de base): 10 %
Tendencia observada y proyectada: La situación se
ha mantenido igual en los últimos tres años y no se
preveen cambios sin el proyecto.
Meta propuesta: Igualar la media regional (60% de
aprobación)
Metas parciales (avance): No se consideran
15. La proyección de metas es una
tarea compleja …
Dale!! No nos podemos
equivocar todas las veces.
16. Ciclo básico del proceso de
construcción de indicadores
1.Identificación y/o Revisión
de:
Misión: 2. Establecer las medidas de
Productos Clientes desempeño claves
Objetivos Estratégicos Eficacia Resultados Finales
Eficiencia Intermedios
Economía Procesos
Calidad Productos
10. Comunicar e Informar 3. Asignar las responsabilidades
9. Analizar e Interpretar 4. Establecer los indicadores en cada
los Resultados nivel de la organización
5. Establecer los referentes comparativos
8. Validar los indicadores
6. Construir las fórmulas
7. Recolectar los datos y generar sistemas
de información
17. PASOS BASICOS PARA LA
CONSTRUCCION DE INDICADORES
IDENTIFICAR y/o REVISAR PRODUCTOS Y OBJETIVOS
¿Qué será medido?
IDENTIFICAR LAS DIMENSIONES Y AMBITOS DE DESEMPEÑO
¿Qué ámbitos y dimensiones del desempeño es conveniente
medir?
ESTABLECER RESPONSABILIDADES ORGANIZACIONALES
¿Cuáles serán los Centros de Responsabilidad, o Áreas
responsables por el desempeño logrado
¿A qué niveles realizaremos la evaluación?
18. Ciclo básico del proceso de construcción
de indicadores de gestión
1.Identificación y/o Revisión
de:
Misión: 2. Establecer las medidas de
Productos Clientes desempeño claves
Objetivos Estratégicos Eficacia Resultados Finales
Eficiencia Intermedios
Economía Procesos
Calidad Productos
10. Comunicar e Informar 3. Asignar las responsabilidades
9. Analizar e Interpretar 4. Establecer los indicadores en cada
los Resultados nivel de la organización
5. Establecer los referentes comparativos
8. Validar los indicadores
6. Construir las fórmulas
7. Recolectar los datos y generar sistemas
de información
19. PASOS BASICOS PARA LA
CONSTRUCCION DE INDICADORES
CONSTRUIR LAS FORMULAS O ALGORITMOS
¿Cómo relacionamos las variables de medición?
ESTABLECER LAS METAS O REFERENTES PARA LA COMPARACION
¿Sobre que comparamos los indicadores para saber si el
desempeño es adecuado?
RECOPILAR LA INFORMACION NECESARIA
¿Qué datos y antecedentes me permitirán construir los
indicadores?
20. Ciclo básico del proceso de construcción
de indicadores de gestión
1.Identificación y/o Revisión
de:
Misión: 2. Establecer las medidas de
Productos Clientes desempeño claves
Objetivos Estratégicos Eficacia Resultados Finales
Eficiencia Intermedios
Economía Procesos
Calidad Productos
10. Comunicar e Informar 3. Asignar las responsabilidades
9. Analizar e Interpretar 4. Establecer los indicadores en cada
los Resultados nivel de la organización
5. Establecer los referentes comparativos
8. Validar los indicadores
6. Construir las fórmulas
7. Recolectar los datos y generar sistemas
de información
21. PASOS BASICOS PARA LA
CONSTRUCCION DE INDICADORES
VALIDAR: APLICAR CRITERIOS DE TECNICOS Y REQUISITOS
¿Cómo sabemos que los indicadores construidos miden
efectivamente la gestión y los resultados?
ANALIZAR LOS RESULTADOS OBTENIDOS
¿Por qué se produjeron los resultados?
COMUNICAR E INFORMAR
¿Quiénes tienen que conocer nuestros resultados?
Organización, Usuarios, SHCP, Congreso, etc
22. EJEMPLOS DE INDICADORES DE DESEMPEÑO
Dimensión Nombre del Fórmula de Cálculo Ámbito de
Indicador Control
Eficacia Porcentaje de familias (N° de familias que Resultado
atendidas por el superan la pobreza en Final
Programa que superan añot / N° total de familias
línea de pobreza en el Programa en
añot)*100
Eficiencia Promedio de N° de acciones de Resultado
fiscalizaciones por fiscalización / N° de Intermedio
fiscalizador fiscalizadores
Economía Porcentaje de ingresos (Ingresos generados por Proceso
propios de la el servicio / Total de
institución ingresos del servicio) *
100
Calidad Tiempo promedio de Sumatoria (Tiempo de Producto
tramitación de procesamiento de
solicitudes solicitudes individuales)/
N° de solicitudes
tramitadas
23. Recomendaciones sobre
Indicadores
Pueden requerirse varios indicadores por objetivo
para medir distintos aspectos de éste (ej.:
disminución de enfermedades bronco-pulmonares,
disminución de enfermedades infecto-
contagiosas).
El equipo de la iniciativa puede requerir otros
indicadores que no son de interés para los demás
involucrados. Estos se tratarán según lo descrito,
pero no se incorporarán en los informes externos.
Si los impactos se producirán a muy largo plazo o
si el costo de estimar el indicador es muy alto, es
mejor buscar indicadores “Proxy” (ej.: porcentaje
de disminución de la inasistencia escolar por mes).
24. Indicadores
Resumen Medios de
Supuestos
Narrativo Verificación
Nombre Fórmula
Fin:
Propósito:
Compo-
nentes:
Activi-
dades:
25. Cuestionario de validación de los indicadores
Requisito a validar SI/ NO
1. El indicador tiene claramente un producto relevante o estratégico con el √
cual se vincula y un objetivo asociado
2. El indicador tiene claramente una meta o referente para ser medido su √
resultado
3. El resultado del indicador explica de forma precisa y clara el grado de √
cumplimiento de la meta o el resultado es ambiguo
4. Muestra o expresa el indicador de forma clara el resultado para poder ser √
analizado por el responsable
5. Se ha definido la frecuencia de medición del indicador √
6. La unidad de medición es adecuada para la meta que se espera medir √
7. En la construcción del indicador han participado el Jefe del área o Centro √
de Responsabilidad
8. Los indicadores han sido validados por la Unidad de Control de Gestión y √
por la Dirección para informarse del desempeño del Área o Centro de
Responsabilidad
26. Medios de Verificación
¿Cómo obtenemos la evidencia?
Son las fuentes de información que se pueden utilizar
para verificar el logro de los objetivos (cálculo de los
indicadores).
Pueden incluir:
Estadísticas
Medios de
Material publicado verificación
Inspección visual
Encuestas Fin
Informes de auditoría Propósito
Compo-
Registros contables nentes
Activi-
dades
27. Detalle para medios de
verificación
Fuentes de información: Test de 10 preguntas sobre las
materias tratadas en la capacitación.
Método de recopilación: Selección de muestra aleatoria de 45
personas capacitadas, encuesta en persona.
Responsable de la recopilación: Juanita Pérez
Frecuencia de recopilación: Por una vez, a los tres meses de
concluido el último evento de capacitación.
Método de análisis: Cada respuesta correcta da un punto,
aprobación con siete puntos. Se calculará porcentaje de
aprobación, media y desviación estandar.
Modo de distribución: Correo electrónico
Usuarios: Unidad de planificación y evaluación, gerente del
proyecto, entidades cooperantes, junta de vecinos.
28. Recomendaciones sobre Medios
de Verificación
Si falta información será necesario incluir
actividades para obtenerla.
Si no se puede conseguir la información, habrá que
cambiar el indicador (usar “proxy”).
Si hay más de una fuente de información, verificar
la consistencia de los datos.
Medios de verificación deben ser acordados con los
involucrados.
29.
30.
31. No todo lo que pueda ser
contado cuenta ...
y no todo lo que cuenta
puede ser contado ...
Notas do Editor
Los indicadores son fundamentales para una buena administración de la ejecución del proyecto y para la evaluación de sus resultados e impactos.Definen metas específicas que nos permiten conocer en que medida se cumplen los objetivos, en cuatro dimensiones: calidad, cantidad cronograma y costos. Además nos permiten analizar la eficacia de los resultados del proyecto y la eficiencia con que éste se ejecutó o se opera. Para ello los indicadores establecen una relación entre dos o más variables. Por ejemplo, entre un incremento porcentual de los ingresos medios de una comunidad (primera variable), en un determinado periodo de tiempo (segunda variable), comparado con el incremento porcentual de los ingresos medios en el país (tercera variable). Las variables pueden ser de tipo cuantitativo (medibles numéricamente) o cualitativo (expresadas en calificativos). Pero, para el cálculo de los indicadores, las variables de tipo cualitativo deben ser convertidas a una escala cuantitativa. Por ejemplo, la opinión de los alumnos acerca de los cursos de un programa de capacitación podría obtenerse al término de cada curso mediante una evaluación en que indiquen si el curso fue excelente, bueno, regular, malo o muy malo. Pero para el cálculo de un indicador basado en esta información será necesrio convertir esta información a una escala cuantitativa. Por ejemplo, podrá asignarse el valor “1” a muy malo, “2” a malo y así sucesivamente, para calcular luego el promedio de todas las opiniones. Así, los indicadores siempre nos entregaran información de tipo cuantitativo, lo cual tiene ventajas respecto a la objetividad del indicador. Es recomendable que los indicadores se discutan y consensuen con los principales involucrados en el proyecto. Ello permite que los resultados de la supervisión y evaluación del proyecto, y las recomendaciones y acciones que surgan de dichos procesos, sean aceptadas con mayor facilidad por los involucrados. Aunque con frecuencia pueden definirse muchos indicadores para cada uno de los niveles de objetivo de un proyecto, es recomendable utilizar el menor número a fin de concentrar los esfuerzos y la atención en unos pocos indicadores relevantes. Un excesivo número de indicadores requiere de mucho esfuerzo para recopilar la información necesaria y calcularlos, distrayendo así la atención del equipo de los objetivos del proyecto. En algunos proyectos, puede ser difícil definir indicadores apropiados. En tales casos es recomendable recurrir a indicadores indirectos (“proxy”). Ante la imposibilidad de medir lo que efectivamente nos interesa, medimos otra variable que tenga una relación lo más directa posible con el fenómeno de interés. Por ejemplo, puede ser muy difícil determinar el nivel real de ingresos de una comunidad por la tendencia usual a subdeclararlos, pero podemos observar sus condiciones de vida (vivienda, electrodomésticos, etc.) de allí inferir si los ingresos han mejorado.
Un buen indicador debe poseer las siguientes características; Ser objetivo, lo cual quiere decir que debe ser independiente de nuestro modo de pensar y sentir. Nuestro punto de vista y nuestras emociones no deben influir en el indicar en forma alguna. Por ejemplo utilizar como indicador del logro de un objetivo el valor promedio de un puntaje asignado por los miembros del equipo del proyecto no sería para nada objetivo. Si lo sería un indicador tal como “Incremento mensual en el número de capacitados”. Ser medible objetivamente, es decir, tampoco debe influir en la medición del indicador nuestro modo de pensar y nuestros sentimientos. Por ejemplo, basar un indicador en los resultados de una encuesta aplicada a un grupo seleccionado “a dedo” por un integrante del equipo del proyecto sería incorrecto. Para que la medición fuese objetiva la encuesta deberái aplicarse a un grupo seleccionado en forma aleatoria. Ser relevante, lo que exige que el indicador mida un aspecto importante del logro del objetivo. De nada sirve un buen indicador (que cumpla con las demás condiciones aquí discutidas), si lo que mide no es importante respecto al objetivo. Por ejemplo, si se quisiera medir la eficiencia con que se realiza el armado de una “mediagua”, el indicador “Número de clavos clavados versus número de clavos que se doblaron” no sería para nada relevante. Ser específico, característica que requiere que el indicador mida efectivamente lo que se quiere medir. Por ejemplo, un indicador definido como “Incremento porcentual anual en el nivel medio de ingreso de la comunidad beneficiada por el proyecto” no sería específico, ya que el incremento de los ingresos podría deberse también a factores externos al proyecto. Un indicador específico podría ser “Diferencia en el incremento porcentual anual de los ingresos medios de los beneficiados por el proyecto respecto de los no beneficiados”. Ser práctico y económico, lo cual requiere que la obtención y el procesamiento de la información para el cálculo del indicador requieran poco trabajo y sean de bajo costo. Por ejemplo, indicador cuyo cálculo requiera hacer extensivas encuestas y la contratación de un econometrista para analizar los resultados no sería práctico ni económico. Debe estar siempre asociado a un plazo, es decir, debe especificarse el período de tiempo para el cual se calculará el indicador (mensual, anual, bi-anual, a los cuatro años de iniciado el proyecto, etc.).
Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”
Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”
Indicadores de cronograma, que miden el nivel de cumplimiento de los plazos programados para la ejecución de actividades o para la generación de los componentes. Por ejemplo, un indicador de este tipo sería: “Porcentaje de actividades cuyo plazo de ejecución superó el programado”. Otro podría ser: “Número promedio de días de atraso por actividad”. Indicadores de cantidad, los cuales miden el nivel de cumplimientoen respecto a la cantidad programada de productos o servicios a generar. Por ejemplo: “Porcentaje de personas capacitadas respecto a las programadas por mes”. No siempre los indicadores se limitarán a medir uno sólo de los aspectos señalados. En muchos casos es posible definir indicadores que combinan dos o más dimensiones, los cuales tienen la virtud de resumir en un solo número una mayor cantidad de información respecto a la marcha del proyecto y sus resultados. Por ejemplo, es frecuente el uso a nivel de Fin y de Propósito de indicadores que combinan calidad, cantidad y tiempo, tal como: “Número de capacitados (cantidad) por mes (tiempo) que aprueban el examen de conductor profesional (calidad)”.
No se utiliza el mismo tipo de indicadores en los distintos niveles de objetivos, ya que lo que se pretende medir es diferente. A nivel de Fin se trata de medir la contribución del proyecto al logro del Fin, situación que sólo será posible observar a mediano o a largo plazo. Por lo general, los indicadores utilizados combinarán en su definición aspectos de cantida, calidad y plazo. Por ejemplo, un indicador a nivel de Fin podría ser: “ Disminuir en un 50% la tasa de morbilidad de los 450 habitantes de Pueblo Esperanza al cabo de tres años. ” A nivel de Propósito se intenta medir el impacto generado al término de la ejecución del proyecto. También en este caso los indicadores tienden a incorporar las dimensiones de calidad, cantidad y plazo. Por ejemplo un indicador a nivel de Propósito podría ser: “ Porcentaje de la población que aprueba test de conocimientos sobre higiene al término del proyecto ” A nivel de los Componentes, los indicadores suelen medir eficacia, eficiencia y calidad en la provisión de los bienes o servicios por el proyecto. Por ejemplo, indicadores a este nivel podrían ser: “ Porcentaje de la población objetivo capacitada al término del proyecto” (eficacia), “Número de capacitados por capacitador por año” (eficiencia) y “Nivel de satisfacción de los capacitados ” (calidad). Por último, a nivel de las actividades los únicos indicadores empleados suelen ser el costo presupuestado de cada actividad. Ello a fin de no extender demasiado la MML. Pero si se considera importante hacerlo y no hay muchas actividades, también pueden agregarse otros indicadores para cada una. Por ejemplo, podría indicarse también el plazo programado para la ejecución de cada actividad.
Una buena definición de indicadores y su cabal comprensión por parte de los principales involucrados en el desarrollo del proyecto es de suma importancia. Por ello, además de la información que se registra en la MML en las columnas de Indicadores y de Medios de Verificación, es recomendable preparar como parte de la documentación del proyecto una descripción más detallada de cada uno. Dicha descripción debería contener para cada indicador incluido en la MML la siguiente información: El nombre del indicador, el cual corresponderá por lo general a una breve descripción de éste. Por ejemplo: “Porcentaje de la población que aprueba test de conocimientos sobre higiene” Una explicación de cómo se calculará el valor del indicador (fórmula que se aplicará para calcularlo). Por ejemplo: “Número de test con 7 o más puntos (escala 1 a 10) dividido por el número de test realizados, multiplicao por 100” El o los medios de verificación (ver sección siguiente) que se utilizarán para obtener la información necesaria para el cálculo del indicador. Por ejemplo: “Se aplicará un test de diez preguntas tipo “V o F” a una muestra aleatoria de 45 personas de la localidad que hayan participado en el programa de capacitación”. El valor actual del indicador, el cual nos servira de referencia (línea de base) cuando queramos evaluar los resultados del proyecto. Por ejemplo: “Actualmente el indicador tiene un valor de 10 %, ya que sólo cuatro personas aprobaron el test de diagnóstico realizado a una muestra aleatoria de 40 personas”. La tendencia observada y proyectada, ya que el valor del indicador no necesariamente se mantendrá a futuro si no se realiza el proyecto. La situación podría empeorar o mejorar y deberemos comparar los logros alcanzados con la situación esperada sin proyecto. Por ejemplo: “La situación se ha mantenido igual en los últimos tres años y no se preveen cambios si no se realiza el proyecto”. La meta propuesta, es decir el valor que esperamos tenga el indicador cuando corresponda calcularlo. Por ejemplo: “Igualar la media regional (60% de aprobación) al término del proyecto”. En ciertos casos es conveniente definir también metas parciales, las cuales nos permitiran controlar el avance del proyecto. Por ejemplo, en un programa de nutrición infantil podrían fijarse metas parciales para indicadores tales como “porcentaje de niños desnutridos” o “peso promedio de los niños tratados respecto al peso normal para su edad”.
Por último es conveniente señalar que: Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste. Por ejemplo, al analizar la disminución de la morbilidad en la población puede ser útil contar con indicadores que nos permitan conocer por separado la disminución de enfermedades bronco-pulmonares y la disminución de enfermedades infecto-contagiosas. En todo caso no debe olvidarse que la MML debe ser un buen resumen de los aspectos más importantes del proyecto, por lo que no debe abusarse en cuanto al número de indicadores para cada objetivo (tres o cuatro suelen ser suficientes). El equipo responsable de ejecutar el proyecto puede requerir de un mayor número de indicadores para su gestión. Estos se tratarán tal como se ha descrito antes, pero no se incorporarán en la MML si no son relevantes para otros involucrados. Por ejemplo, al jefe del equipo podría interesarle conocer el número promedio de horas extras requeridas por los miembros del equipo para completar las tareas encomendadas. Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es recomendable buscar indicadores indirectos (“proxy”). Estos son indicadores que miden alguna característica distinta de la deseada, pero que se sabe está altamente correlacionada con la que queremos medir. Por ejemplo, si no existiesen estadísticas sobre morbilidad de la población y fuese muy costoso generarlas, un indicador indirecto de la disminución de la tasa de morbilidad podría ser: “Porcentaje de disminución de la inasistencia escolar por mes”.
MEDIOS DE VERIFICACION Los medios de verificación c orresponden a las fuentes de información, primarias o secundarias, que se utilizará para obtener la información que permitira calcular los indicadores. La existencia de esta columna en la MML tiene la ventaja de obligar a quién formula el proyecto y define los indicadores a identificar fuentes existentes de información. O bien, si estas no están disponibles, a incluir en el diseño del proyecto actividades orientadas a recoger la información requerida. Los medios de verificación pueden incluir: Estadísticas existentes o preparadas específicamente para el cálculo de los indicadores del proyecto. Fuentes posibles de estadisticas son el INE (www.ine.cl) los distintos ministerios (en particular los de Salud, Educación, Vivienda, Trabajo, Interior, Agricultura, Economía y Planificación), distintos servicios (por ejemplo SAG, Registro Civil, Impuestos Internos, Sernapesca) y ciertos organismos internacionales (CEPAL, FAO, OIT, FMI, etc.) y ONG. Por cierto que también en la propia institución que adelanta el proyecto pueden existir estad´siticas útiles para el cálculo de los indicadores. Material publicado que contenga información útil para verificar el logro de los objetivos del proyecto. Puede tratarse por ejemplo de estudios cuyo tema se relacione con el proyecto, publicaciones en periódicos o revistas, tésis universitarias y normas nacionales o internacionales (especialmente para definir las metas). Una buena forma de acceder a material de este tipo con rapidez y a bajo costo es buscarlo en internet. Inspección visual por parte de algún especialista. En particular para verificar el logro de los componentes, tanto en calidad como en cantidad, puede recurrirse muchas veces a la visita de un experto en el tipo de bienes o servicios que el proyecto genera. El resultado de encuestas es un medio de verificación de uso frecuente. Estas pueden haberse realizado con otro fin, o ser ejecutadas específicamente como una actividad del proyecto. Son especialmente útiles en el caso de indicadores cuyo objetivo sea medir calidad. Los informes de auditoría y registros contables del proyecto son medios de verificación que ayudan al calculo de indicadores de costos y de eficiencia.
En la MML se registrará en la columna de medios de verificación la fuente a la que se recurrirá para obtener la información necesaria para el cálculo del indicador y la frecuencia con que se recopilará. Sin embargo, para el trabajo del equipo del proyecto es conveniente que se detalle en un documento anexo la siguiente información para cada medio de verificación: La identificación de la fuente de información. Si se trata de información estadística generada por una institución habrá que señalar su nombre, el nombre de la estadística a emplear y a que oficina o persona recurrir. En el caso de publicaciones deberá indicarse su nombre y donde se la consigue. Para inspección de expertos será conveniente identificar a el o los expertos, o al menos definir el perfil profesional que deberán tener. Si se aplicará una encuesta deberá indicarse el tipo de encuesta a realizar y los tópicos a consultar, por ejemplo, “Test de 10 preguntas sobre las materias tratadas en la capacitación”. El método que se aplicará para la recopilación de la información. Algunos métodos posibles son: visita personal, solicitud por teléfono, carta, fax o email, búsqueda en internet y registro de solicitudes recibidas. En el caso de una encuesta deberá especificarse como se realizará esta, por ejemplo: “Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona”. Quién será el responsable de la recopilación. La frecuencia con se realizará la recopilación, por ejemplo: “Se encuestará por una sola vez, a los tres meses de concluido el último evento de capacitación”. Una explicación detallada del método que se utilizará para la verificación y el análisis de la información recopilada. Por ejemplo, para la encuesta podría indicarse que: “Cada respuesta correcta da un punto. El puntaje de aprobación será igual o superio a siete. Se calculará el porcentaje de aprobación, la media de los puntajes y su desviación estandar.” El uso que se dará a la información recopilada, es decir, el o los indicadores en cuyo cálculo se empleará. Por ejemplo: “Cálculo del indicador Porcentaje de la población que aprueba test de conocimientos sobre higiene”. El modo de distribución que se empleará para hacer llegar la información a quienes la utilizarán para el cálculo del indicador ( no solo el equipo del proyecto puede calcular los indicadors, también debe poder hacerlo cualquier involucrado que lo desee). Por ejemplo, podría indicarse que la información s distribuirá por correo electrónico. Quienes serán los usuarios de la información A quién se le enviará). Por ejemplo podría especificarse que la información será enviada a la Unidad de planificación y evaluación, al gerente del proyecto, a las entidades cooperantes, y al presidente de la junta de vecinos.
Algunas consideraciones finales acerca de los medios de verificación: Si no es posible identificar un medio de verificación existente para el calculo de un indicador, será necesario estudiar la posibilidad de incorporar al proyecto actividades que permitan obtener los datos necesarios. Si no se puede conseguir la información pues no existe un medio de verificación ni se pueden incorporar actividades para conseguirla, será necesario cambiar el indicador (usar “proxy”). Si hay más de una fuente de información para obtener los datos necesarios, pueden indicarse todas, pero deberrá indicarse cual se utilizará de preferencia, empleando las demás para verificar la consistencia de los datos. Los medios de verificación deben ser acordados con los involucrados. Si ello no se hace, pueden presentarse más tarde problemas acerca de cual fuente de información más apropiada para calcular los indicadores. Por ejemplo puede haberse especificado como uno de los medios de verificación para indicadores de costos el uso del IPC para lleva los valores a una misma fecha (de modo de hacerlos comparables). Sin embargo, si no existió un acuerdo previo, la entidad que financia el proyecto podría no estar de acuerdo y señalar que debe usarse para dicho efecto el valor del dólar.