Ponencia presentada en la Mesa redonda “El papel de la Inspección en la evaluación de las estrategias del SSPA”, dentro de las IX Jornadas Técnicas de la Inspección de Servicios Sanitarios (Antequera, 19 de noviembre de 2015). Se describe el marco teórico y legal de la evaluación de la actividad sanitaria, mostrando un ejemplo realizado por nuestro equipo. La aplicación sistemática del método científico hace que sea una actividad de carácter técnico, de orientación práctica, y objetiva. Su realización requiere competencia (en función del nivel de análisis propuesto) en todas las fases del proceso, pudiendo valorar su calidad mediante requisitos (AEVAL). Se analizan las fortalezas de la Inspección en su desempeño.

1. Pedro García Fortea, Equipo provincial de Inspección de Málaga 111
Evaluación de las estrategias del
SSPA: Papel de la Inspección
Pedro García Fortea
IX Jornadas Técnicas de la Inspección de Servicios Sanitarios
Mesa redonda “El papel de la Inspección en la evaluación de
las estrategias del SSPA”
Antequera, 19 de noviembre de 2015

2. Pedro García Fortea, Equipo provincial de Inspección de Málaga 22
Índice:
• Evaluación de actividades sanitarias:
Qué: Concepto y características.
Quién: Competencia y Niveles de análisis.
Cómo: proceso en programas y estrategias.
• Calidad de la evaluación: AEVAL-MEANS
• Por qué la Inspección:
Marco legal: Andalucía y UE.
Fortalezas.
• Ejemplo: Auditoría de calidad PAI C.Mama:
Evaluación de seguimiento: Indicadores
Fuentes oficiales (CMBD, reg.tumores)

3. Pedro García Fortea, Equipo provincial de Inspección de Málaga 33
Aplicación sistemática de métodos de investigación científica en relación:
•Programas (conceptualización, diseño, implementación, impacto) con el
propósito de mejorar eficacia en su entorno de aplicación.
•Estrategias: facilitar la toma de decisiones sobre la modificación o
generalización de los programas de servicios de salud, en relación al
establecimiento de prioridades o la asignación de recursos escasos.
Características:
o Carácter técnico: metodología científica funda su validez y legitimidad.
Competencia del evaluador.
o Orientación práctica: para comprender problemas que afectan a la
organización o la sociedad, e identificar posibles soluciones.
o Objetividad, en equilibrio con una buena relación con los gestores.
Evaluación de la actividad sanitaria:
Qué: Concepto y características (L.Shi, JHSPH)

4. Pedro García Fortea, Equipo provincial de Inspección de Málaga 44
Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los
Servicios (Ley 28/2006, de 18 de julio): Evaluación como instrumento integrado
en el análisis de las políticas públicas, de carácter multidisciplinar, con el objeto
de apreciar la eficacia de la intervención pública y mejorar su calidad.
Evaluación en gestión pública:
Quién: Competencia para Nivel de análisis
Bouckaert, 1995

5. Pedro García Fortea, Equipo provincial de Inspección de Málaga 55
Con las siguientes fases:
• Determinar el alcance de la evaluación: revisión y acuerdo.
• Familiarizarse con el programa: metas y objetivos, actividades,
organización, dotación de personal, roles y responsabilidades,
relaciones entre las operaciones del programa y los resultados,
perfiles de clientes y servicios ofrecidos, rendimiento financiero, y
problema principal.
• Finalizar el diseño de la evaluación, y su programación.
• Recogida de datos: importancia de variedad y participantes.
• Análisis de datos: obtener el resultado neto del programa.
• Informe: preliminar, escrito (fácil comprensión).
Evaluación de la actividad sanitaria:
Cómo: Proceso en programas

6. Pedro García Fortea, Equipo provincial de Inspección de Málaga 66
Propósito: informar al tomador de decisiones, proporcionando el mejor
análisis posible, dadas las limitaciones de tiempo, la información, y
recursos.
Con los siguientes pasos:
• Establecer el contexto: problema subyacente, metas para enfrentarlo.
• Identificación de alternativas: conocimiento previo, y creatividad.
• Predicción de las consecuencias: técnicas de análisis de ciencias de la
administración, en particular, la economía y la investigación operativa
(simulación, análisis de coste-beneficio, análisis de decisiones,
programación lineal, método de ruta crítica, los modelos de Markov).
• Valoración de los resultados: elección de criterios objetivos.
• Hacer una elección.
Evaluación de la actividad sanitaria:
Cómo: en análisis de estrategias y políticas

7. Pedro García Fortea, Equipo provincial de Inspección de Málaga 77
1. Precisión en el objeto, alcance y propósito de la evaluación.
2. Coherencia en los objetivos, preguntas, procedimientos, resultados y
conclusiones.
3. Relevancia y claridad de los contenidos.
4. Explicitación clara de la metodología empleada y de las herramientas
de recopilación de información.
5. Consistencia en la selección y recogida de datos con la anterior.
6. Análisis riguroso, mediante un razonamiento lógico consistente.
7. Adecuación de las conclusiones a las preguntas y/o criterios
contemplados y a los resultados alcanzados.
8. Recomendaciones comprensibles, útiles, factibles y suficientemente
claras como para considerar su inclusión en un plan de acción.
Calidad de la evaluación:
Cómo: Criterios AEVAL

8. Pedro García Fortea, Equipo provincial de Inspección de Málaga 88
1. Orientación a las necesidades: ¿Enfoca la evaluación adecuadamente
el encargo realizado, de acuerdo a las especificaciones planteadas?
2. Alcance adecuado: ¿Se ha estudiado en profundidad la racionalidad
del programa, su contexto, productos, resultados, impactos,
interacciones con otras políticas, y sus efectos no previstos?
3. Metodología apropiada: ¿Es el diseño de la evaluación adecuado para
la obtención de los resultados previstos (en el tiempo previsto) con el
fin de responder a las principales preguntas de la evaluación?
4. Selección y recogida de datos fiables: ¿Son suficientemente fiables los
datos recogidos, teniendo en cuenta su uso esperado?
5. Análisis fiable: ¿Cumple el análisis de los datos recogidos las reglas
establecidas, es completo y adecuado para responder correctamente a
las preguntas de la evaluación?
Calidad de la evaluación:
Cómo: Criterios AEVAL (programa MEANS CE)

9. Pedro García Fortea, Equipo provincial de Inspección de Málaga 99
6. Resultados creíbles: ¿Son los resultados lógicos y están justificados
por el análisis de los datos y por las interpretaciones basadas en las
hipótesis aplicadas y explicadas en detalle?
7. Conclusiones apropiadas: ¿Son las conclusiones ajustadas a los
hallazgos de la evaluación y no están influidas por consideraciones
ajenas al proceso?
8. Recomendaciones útiles: ¿Son las recomendaciones comprensibles,
útiles, viables y los suficientemente claras como para ser puestas en
práctica?
9. Claridad: ¿Describe el informe el contexto y objetivo de la intervención
evaluada así como el proceso y resultados de la evaluación, de tal
forma que la información sea fácilmente comprensible?
Calidad de la evaluación:
Cómo: Criterios AEVAL (programa MEANS CE)

10. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1010
Andalucía
•Ley 2/1998, de 15 de junio, de Salud de Andalucía.
•Decreto 224/2005, de 18 de octubre. Art.6.2.a)
•Plan anual de Inspección (Orden 12-2-2015): Líneas de acción
UE
•Tratado de Funcionamiento de la Unión Europea: Art.168.
•Directiva 2011/24/UE: Asistencia sanitaria transfronteriza. Art.4.
Responsabilidades del Estado prestador: Asegurarán la información a los
pacientes por el Punto de contacto: disposiciones sobre supervisión y
evaluación de los proveedores.
RD 81/2014: Art.7.5.c) PNC informará a los pacientes, en particular,
acerca de las normas y directrices de calidad y seguridad establecidas.
Evaluación de la actividad sanitaria:
Por qué la Inspección: Marco legal: Autoridad

11. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1111
Competencia: “aptitud demostrada para aplicar los conocimientos y
habilidades”
•Evaluación de la calidad de las prestaciones y servicios sanitarios.
Adaptación al cambio de paradigma (burocrático a industrial).
•Empleo de metodología científica: Epidemiología clínica.
•Visión de sistema (frente visión de proceso o servicio en gestión clínica):
Interrelaciones entre unidades con distinta capacidad de decisión.
Independencia:
•Ausencia de conflicto de intereses.
•Estabilidad frente a cambios en el entorno.
Apoyo estratégico:
•Resistencias a la evaluación cuando es selectiva, no institucionalizada.
Evaluación de la actividad sanitaria:
Por qué la Inspección: Fortalezas

12. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1212
Ejemplo:
Auditoría de calidad del PAI Cáncer de mama
Evaluación del seguimiento realizado por los centros mediante sus indicadores
Porcentaje de consulta en acto único, valoración prequirúrgica por la comisión
de tumores específica, valoración por la comisión a los 30 días del diagnóstico,
cirugía a los 30 días de valoración por la comisión, cirugía a los 30 días de su
ingreso en AGD, tratamiento adyuvante a las 6 semanas de la cirugía, cirugía
conservadora, cirugía reconstructiva inmediata, BSGC, muerte tóxica, plan de
cuidados al alta, check-list de verificación quirúrgica:
Indicadores que precisan de registro específico, no previsto en SS.II hospitalario
Propuesta: implementación de registro
Responsable: Comisión de tumores
Herramienta: Diraya Atención Hospitalaria (valoración por grupo funcional
previsto por servicio de coordinación de sistemas de información del SAS)

13. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1313
Ejemplo:
Auditoría de calidad del PAI Cáncer de mama
Valorar el empleo de bases de datos clínico-administrativas:
Diferencias en casuística asistida en SNS entre 2008 y 2013 (CMBD, n=263.883):
Distribución de la proporción de altas por cáncer de mama (rango: 11´5 a 27´6 /
10.000 hab.) y cirugía por cáncer de mama (rango: 5´3 a 20´9 / 10.000 hab.).

14. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1414
Ejemplo:
Auditoría de calidad del PAI Cáncer de mama
Valorar el empleo de bases de datos clínico-administrativas:
Evaluación de efectividad de planes de actuación implementados en los centros.
0
50
100
150
200
250
300
350
400
450
2008 2009 2010 2011 2012 2013
02028 - A.G.S NORTE DE MÁLAGA (ANTEQUERA) 02029 - A.G.S SERRANÍA DE MÁLAGA (RONDA)
02032 - A.G.S. ESTE DE MÁLAGA - AXARQUÍA 02033 - A.H. VIRGEN DE LA VICTORIA (MÁLAGA)
02031 - A.H. MÁLAGA

15. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1515
Leiyu Shi “Health Care, Assessment and Evaluation of”. Encyclopedia of
Public Administration and Public Policy. Rabin J (ed). 2005.
Decreto 224/2005, de 18 de octubre, Reglamento de Ordenación de la
Inspección de Servicios Sanitarios de la Junta de Andalucía.
Orden de 12 de febrero de 2015, por la que se aprueba el Plan Anual de
Inspección de Servicios Sanitarios.
Directive 2011/24/EU of European Parliament and Council of 9 March
2011 on the application of patients’ rights in cross-border healthcare.
La función evaluadora. Principios orientadores y directrices de actuación
en la evaluación de políticas y programas. AEVAL, 2009.
Guía práctica para el diseño y la realización de evaluaciones de políticas
públicas. AEVAL, 2015.
Bibliografía:
Principales referencias

16. Pedro García Fortea, Equipo provincial de Inspección de Málaga 1616
Gracias por su atención