Evaluando la calidad de la evidencia y el uso de las tablas de evidencia (evidence profiles) y sumarios de hallazgos con el sistema GRADE

1. Carlos A. Cuello Garcia
MD, PhD(c)
Health Research Methodology Program
Department of Clinical Epidemiology and
Biostatistics
Guías de
práctica clínica
2a. PARTE
evaluando la calidad de la evidencia

2. Conflictos de interés
• Trabajo en:
‣ MacGRADE centre & Cochrane GRADEing
group
‣ Cochrane
• He recibido apoyo económico de la
WAO, y OPS para desarrollo de GPC y
proyectos relacionados
GRADEing
Methods

3. Requisito: conocer / repasar lo siguiente
• ensayo clínico aleatorio y sus riesgos de sesgo
‣ aleatorización
‣ ocultación de la secuencia aleatoria
‣ cegamiento adecuado
‣ seguimiento y desgaste
• los diseños de estudios observacionales (cohorte, casos y
controles)

4. • Conocer los conceptos:
‣ riesgo relativo (RR), diferencia de riesgos (DR), reducción del riesgo relativo (RRR)
‣ intervalos de confianza 95% (IC95%)
• las partes de un meta-análisis
‣ interpretar un gráfico de bosque
‣ heterogeneidad (I
2
)
‣ sesgo de publicación
Requisito: conocer / repasar lo siguiente

5. Veremos hoy
• Perfiles de evidencia y tablas de resumen de hallazgos
del sistema GRADE
‣ Qué es y cómo graduar la calidad de la evidencia en base a una
pregunta clínica
‣ La relevancia de los desenlaces clínicos de importancia

6. RECOMENDACIÓN
CLÍNICA
EVIDENCIA
VALORES
DEL
PACIENTE
ACEPTABI-
LIDAD
BENEFICIOS
VS DAÑOS
COSTOS
OBJETIVO FINAL EN
GUÍAS CLÍNICAS (para
pacientes)

7. DECISIÓN
EVIDENCIA
VALORES
DEL
PACIENTE
ACEPTABI-
LIDAD
BENEFICIOS
VS DAÑOS
VIABILIDAD
EQUIDAD
USO DE
RECURSOS
EN GUÍAS PARA SALUD
PÚBLICA

8. GUÍAS DE PRÁCTICA CLÍNICA
๏ Necesitamos una guía de práctica clínica
๏ Necesitamos dar una recomendación final
IOM · AHRQ 2011

9. GENERACIÓN DE
EVIDENCIA
PUBLICACIÓN
REVISIONES
SISTEMÁTICAS
GUÍAS DE PRÁCTICA
CLÍNICA

10. ¿es necesaria? Configurar equipo de
trabajo
¿existe una GPC previa que
pueda adaptarse?
Desarrollar GPC Adaptar GPC
no sí
¡sí!

11. Desarrollar GPC
búsqueda de REVISIONES
SISTEMÁTICAS para la pregunta PICO
¿existen
RS?
¯_( )_/¯
sorry, parece que
tendrás que hacer
una RS (si la
pregunta vale la
pena)
NO
¿la RS y su
evidencia es de calidad,
actual, relevante,
suficiente?
SÍ
evaluar la CALIDAD global de la
EVIDENCIA
SÍ
formular las RECOMENDACIONES
NO
ok!

12. recomendaciones de experto
transversal
serie de casos, reporte de un
caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE
1979

13. recomendaciones de experto
transversal
serie de casos, reporte de un
caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE
1979
I
good
II
fair
III
poor
EVIDENCIA

14. recomendaciones de experto
transversal
serie de casos, reporte de un
caso
caso-control
cohorte
ensayo clínico aleatorio
REVISIONES SISTEMÁTICAS
CTFPHE
1979
I
good
II
fair
III
poor
EVIDENCIA
A
B
C
RECOMENDACIÓN
D

15. si voy a saltar de un avión…

16. ¿recomiendas paracaídas para
evitar muerte y/o daños severos?

17. Parachute use to prevent death and major
trauma related to gravitational challenge:
systematic review of randomised controlled
trials
BMJ 2003;327:1459

18. DECISIÓN
EVIDENCIA
VALORES
DEL
PACIENTE
ACEPTABI-
LIDAD
BENEFICIOS
VS DAÑOS
VIABILIDAD
EQUIDAD
USO DE
RECURSOS
no solo de evidencia se
trata

19. RECOMENDACIÓN
o
DECISIÓN EN SALUD
EVIDENCIA

20. Grading of Recommendations Assessment, Development and Evaluation

21. ๏ Usa criterios explícitos para subir y bajar la calidad de la
evidencia encontrada
๏ Consideración de la importancia de los desenlaces clínicos
(outcomes)
๏ Toma en consideración preferencias y valores del paciente y
del clínico
Ventajas del sistema GRADE

22. Ventajas del sistema GRADE
๏ Transparencia del movimiento evidencia -> recomendación
๏ Consejos explícitos sobre el curso de acción a tomar aún cuando la
evidencia es escasa
๏ Interpretación clara y pragmática de las recomendaciones débiles y
fuertes
๏ Simplicidad para el lector, sistematización para el creador de GPC

23. CALIDAD de evidencia
Fuerza de
RECOMENDACIÓN
Indica hasta que punto nuestra
confianza en la estimación de un
efecto es adecuada para apoyar
una recomendación
Indica hasta que punto podemos
confiar si en poner en práctica
esta recomendación conllevará
más beneficios que riesgos

24. Empezando por la importancia de los desenlaces
para nuestros pacientes
Chalmers I, Glasziou P. Lancet 2009;374:86-9
Cooper NJ, et al Clin Trials 2005;2:260–4.

25. outcomes Pacientes con
asma
óxido nítrico
inhalado
placebo
O2 sat
FEV1
días de hospital
muerte
DESENLACES
¿QUÉ TAN IMPORTANTE ES
CADA UNO?
P
I C
O

26. outcomes Pacientes con
asma
óxido nítrico
inhalado
placebo
O2 sat
FEV1
días de hospital
muerte
DESENLACES
¿QUÉ TAN IMPORTANTE ES
CADA UNO?
P
I C
O

27. ponderación de desenlaces
Mortalidad 9
Días de hospital 8
Uso de medicamentos 7
6
Saturación de oxígeno 5
FEV1 4
3
2
Flatulencia por medicamento 1
Crítico para la
toma de
decisiones
Importante mas
no crítico para la
toma de
decisiones
No importante
para la toma de
decisiones o para
los pacientes
DESENLACES

28. ¿ qué es CALIDAD de la evidencia?
También se le puede llamar “certeza” ó “confianza” de la evidencia
Balshem H, et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011;64(4):401-6
EN REVISIONES
SISTEMÁTICAS
EN GUÍAS CLÍNICAS
El grado de confianza que
tenemos de que el estimado
del efecto visto es el correcto
El grado de confianza que
tenemos en que el estimado
del efecto es adecuado y
apoya una decisión /
recomendación particular

29. recomendación de
experto
transversal
series de casos
caso-control
cohorte
ECA

30. transversal
series de casos
caso-control
cohorte
ECA ECA
Observacional
EXPERIENCIA ES
UNA
HERRAMIENTA

31. por default...
transversal
serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD

32. CALIDAD DE LA EVIDENCIA
ALTA Estamos muy seguros que el verdadero efecto está cerca del que
estimamos
Estamos moderadamente seguros del efecto que estimamos: El verdadero efecto
puede estar cerca, pero existe la posibilidad de que sea substancialmente diferente
Nuestra confianza en el efecto que estimamos es limitada: El efecto
verdadero puede ser substancialmente diferente del que estimamos
Tenemos muy poca confianza en el efecto estimado: El efecto
verdadero es probable que sea muy diferente
MODERADA
BAJA
MUY BAJA

33. ¿Cómo se determina
la calidad de la
evidencia?

34. ¿Debemos
administrar oxígeno
a pacientes con
infarto al miocardio
para disminuir el
riesgo de muerte?
Ejemplo

35. P
I
C
O
Pacientes con infarto al miocardio
Oxígeno
No oxígeno
Muerte en hospital debido al infarto

36. ๏El riesgo de MUERTE no disminuyó e incluso puede incrementarse con el uso
de oxígeno en pacientes con infarto al miocardio
๏RR=2.12 (IC 95% 0.74 a 6.10)
๏430 participantes, 3 estudios
Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.
Oxygen therapy for acute myocardial infarction.
Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.

37. ¿Qué haría disminuir
tu certidumbre?
¿te lo crees?

38. discutan…

39. Si los estudios están mal hechos…
es decir, tienen riesgo de sesgo…
¿tu certidumbre en la evidencia
disminuye?

40. riesgo de sesgo
P
I C
yes yes
no no
A
O

41. riesgo de sesgo
P
I C
yes yes
no no
A
O
Sesgo de selección
•Generación de la secuencia aleatoria
•Ocultación de la secuencia aleatoria
Sesgo de desempeño
•cegamiento de participantes y personal
Sesgo de detección
•cegamiento de evaluadores
Sesgo de desgaste
•datos incompletos del desenlace
Sesgo de reporte/notificación
•reporte selectivo

42. riesgo de sesgo
P
I C
yes yes
no no
A
O
Sesgo de selección
•Generación de la secuencia aleatoria
•Ocultación de la secuencia aleatoria
Sesgo de desempeño
•cegamiento de participantes y personal
Sesgo de detección
•cegamiento de evaluadores
Sesgo de desgaste
•datos incompletos del desenlace
Sesgo de reporte/notificación
•reporte selectivo
estudio 1
estudio 2
estudio 3
Secuenciaaleatoria
Ocultacióndelasecuencia
Cegamientodeparticipantes
Cegamientodepersonal
Cegamientodeevaluadores
Datosincompletos
Reporteselectivo

43. Si los estudios son diferentes entre sí…
¿tu certidumbre en la evidencia
disminuye?

44. inconsistencia
‣Inconsistencias clínicas, metodológicas,
estadísticas
• los puntos de estimado varían mucho entre
los estudios
• IC muestran no traslape
• La prueba para heterogeneidad tiene un valor
p bajo
• I2 es grande

45. Si los estudios no proveen de evidencia
directa para contestar la pregunta PICO…
¿tu certidumbre en la evidencia
disminuye?

46. evidencia indirecta
๏ Considera que tan incierto estás
acerca de la aplicabilidad de la
evidencia a tu pregunta
๏ Considera la pregunta PICO
‣ Population
‣ Intervention and comparison
‣ Outcome
P
I
C
O
?

47. evidencia indirecta
๏ ejemplo
‣ P- pacientes con influenza H1N1
‣ I- oseltamivir
‣ C- placebo
‣ O- Mejoría clínica, complicaciones,
etc.
P
I
C
O

48. evidencia indirecta
๏ ejemplo
‣ P- pacientes con influenza H1N1
‣ I- oseltamivir
‣ C- placebo
‣ O- Mejoría clínica, complicaciones,
etc.
P
I
C
O
¡NO
EXISTEN!
Estudios que
incluyan
pacientes con
H1N1

49. evidencia indirecta
๏ ejemplo
‣ P- pacientes con influenza H1N1
‣ I- oseltamivir
‣ C- placebo
‣ O- Mejoría clínica, complicaciones,
etc.
P
I
C
O
¡NO
EXISTEN!
Estudios que
incluyan
pacientes con
H1N1
sólo hay con
influenza H5N1

50. Si los estudios proveen de evidencia
imprecisa…
¿tu certidumbre en la evidencia
disminuye?

51. imprecisión
• Considera
1. tamaño de muestra y número de eventos
– evalúa tamaño del efecto, frecuencia de eventos en el
grupo control y tamaño óptimo de información (optimal
information size -OIS)
2. anchura de los intervalos de confianza (IC)
– ICs anchos indican incertidumbre del efecto
– IC anchos incluyen el efecto nulo (el “1”) y el daño o
beneficio apreciable (rule of thumb: RR<0.75 or >1.25)
1 102 50.50.20.1

52. la imprecisión se aborda diferente
REVISIONES
SISTEMÁTICAS
GUÍAS CLÍNICASvs

53. la imprecisión se aborda diferente
REVISIONES
SISTEMÁTICAS

54. antes, dos definiciones:
๏ tamaño óptimo de información
๏ umbrales de probable daño/beneficio

55. ¿tamaño óptimo de información?
๏ Si el número total de pacientes incluidos en una revisión
sistemática es menor que el número ideal de pacientes que se
requerirían en un ensayo clínico aleatorio (basado en un cálculo del
tamaño de muestra para el mismo)…
๏ entonces, considera bajar la calidad de la evidencia por
imprecisión
Guyatt G, et al. J Clin Epidemiol. 2011;64(12):1283-93

56. Control group event rate
Totalsamplesizerequired
0.2 0.4 0.6 0.8 1.0
0100020003000400050006000
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de
muestra requerido para
una frecuencia de
eventos en el grupo
control del 20%
(control group event
rate 0.2) con una
intervención con
reducción del riesgo
relativo (RRR) del 30%

57. Control group event rate
Totalsamplesizerequired
0.2 0.4 0.6 0.8 1.0
0100020003000400050006000
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de
muestra requerido para
una frecuencia de
eventos en el grupo
control del 20%
(control group event
rate 0.2) con una
intervención con
reducción del riesgo
relativo (RRR) del 30%

58. Control group event rate
Totalsamplesizerequired
0.2 0.4 0.6 0.8 1.0
0100020003000400050006000
RRR=30%
RRR=25%
RRR=20%
ej. el tamaño de
muestra requerido para
una frecuencia de
eventos en el grupo
control del 20%
(control group event
rate 0.2) con una
intervención con
reducción del riesgo
relativo (RRR) del 30%
corresponde a un
tamaño de muestra de
aproximadamente
1200 participantes

59. Más exacto…
x 2 = 1,230
URL: www.stat.ubc.ca/~rollin/stats/ssize/b2.html

60. considera también el
número de eventos

62. ¿umbral de probable daño / beneficio?
๏ no es tan fácil de obtener
๏ varía en cada condición y depende de aplicar los valores y
preferencias de pacientes

63. ejemplo con
diarrea
0 12–12
¿Cuántas horas menos
con diarrea crees que sea
lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿3 horas?
imagina medicamento que
provee disminución de 12
horas (IC95% de –18 a –6)
–18 –6

64. ejemplo con
diarrea
0 12–12
¿Cuántas horas menos
con diarrea crees que sea
lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿6 horas?

65. ejemplo con
diarrea
0 12–12
¿Cuántas horas menos
con diarrea crees que sea
lo adecuado y empezarías
a usar el medicamento??
horas de diarrea
–24 24
¿12 horas?

66. ejemplo con
diarrea
0 12–12
con 6 horas, piensa en
cada ejemplo de abajo y
discute…
horas de diarrea
–24 24
¿6 horas?

67. los dos
umbrales
0 12–12
umbral de probable
beneficio
umbral de probable
daño
horas de diarrea
–24 24

68. entonces…

69. tamaño óptimo de
información
Tamaño de muestra grande
(n ≥ 2,000)?
no
Bajar calidad
alcanzado
No bajar calidad
evalúa umbral de probable
beneficio o daño
no alcanzado
sí
¿Cómo está el
IC95%?
IC95% excluye efecto nulo
(ie, RR=1)
1 1.250.75
RR
1
IC95% incluye efecto nulo
(ie, RR=1)
1 1.250.75
RR
1
IC95% excluye umbral de
probable daño o beneficio
1 1.250.75
RR
1
IC95% incluye umbral de
probable daño o beneficio
1 1.250.75
RR
1

70. Imprecisión
en resumen…
1 1.250.75
umbral de probable
beneficio
umbral de probable
daño
RR
preciso
impreciso

71. la imprecisión se aborda diferente
GUÍAS CLÍNICAS

72. Bajar calidad
No bajar calidad
evalúa umbral de probable
beneficio o daño
IC95% excluye umbral de
probable daño o beneficio
1 1.250.75
RR
1
IC95% incluye umbral de
probable daño o beneficio
1 1.250.75
RR
1
tamaño óptimo de
informaciónalcanzado no alcanzado
bajo número de eventos y tamaño
de muestra grande (n≥2,000) no
sí

73. si crees que faltaron estudios a incluir en
la revisión…
¿tu certidumbre en la evidencia
disminuye?

74. sesgo de publicación
0.1 0.33 1 3
3
2
1
0
100.6
Precisión(errorestándar)
Efecto (p ej, RR)

75. repasando…

76. calidad de la evidencia
inconsistencia
evidencia
indirecta
P
I
C
O
?
imprecisión
sesgo depublicación
riesgo
de sesgo
estudio 1
estudio 2
estudio 3

77. por default...
transversal
serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD

78. por default...
transversal
serie de casos
caso-control
cohorte
ECA ECA
observacional
ALTA CALIDAD
BAJA CALIDAD
puede bajar
puede subir

79. ECA
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

80. riesgo
de sesgo
ECA
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

81. ECA
riesgo
de sesgo
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

82. ECA
riesgo
de sesgo
inconsistencia
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

83. ECA
riesgo
de sesgo
inconsistencia
imprecision
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

84. ECA
riesgo
de sesgo
inconsistencia
imprecision
evidencia
indirecta
sesgo depublicación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

85. ECA
riesgo
de sesgo
inconsistencia
imprecision
evidencia
indirecta
sesgo depublicación
MUY BAJA
un ensayo ALEATORIO puede acabar con
MUY BAJA CALIDAD

86. OBSERVACIONAL
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

87. OBSERVACIONAL
fuerte
asociación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

88. OBSERVACIONAL
fuerte
asociación
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA
dosis -
respuesta

89. OBSERVACIONAL
fuerte
asociación
dosis -
respuesta
confusores
residuales
ALTA
MODERADA
BAJA
MUY BAJA
CALIDAD DE LA EVIDENCIA

90. ALTA
OBSERVACIONAL
fuerte
asociación
dosis -
respuesta
confusores
residuales
un estudio OBSERVACIONAL puede acabar
en ALTA CALIDAD

91. ejemplo

92. ¿Debemos administrar
oxígeno a pacientes
con infarto al
miocardio para
disminuir el riesgo de
muerte?

93. P
I
C
O
Pacientes con infarto al miocardio
Oxígeno
No oxígeno
Muerte en hospital debido al infarto

94. encontramos una revisión
Cabello JB, Burls A, Emparanza JI, Bayliss S, Quinn T.
Oxygen therapy for acute myocardial infarction.
Cochrane Database of Systematic Reviews 2013, Issue 8. Art. No.: CD007160.
Desenlace: Muerte intrahospitalaria

95. Evaluar el
riesgo de
sesgo de cada
estudio
Rawles 1976
Ukholkina 2005
Ranchord 2012
Secuenciaaleatoria
Ocultacióndelasecuencia
Cegamientodeparticipantes
Cegamientodepersonal
Cegamientodeevaluadores
Datosincompletos
ReporteselectivoOtros

96. PERFIL DE EVIDENCIA
GRADE

97. DESENLACES

98. ¿Cuál es la importancia del desenlace?

99. ¿Cuántos estudios y qué diseño?

100. ¿Qué calidad tiene el cuerpo de evidencia?

101. Si algo está mal, siempre anotar el “por qué” en los
pié de página

102. ¿Cuáles son los resultados?

103. ¿Cuál es la calidad global del cuerpo de evidencia?

104. TABLA DE
RESUMEN DE
HALLAZGOS

106. vimos…
• la calidad de la evidencia (también llamada certidumbre o confianza) para
responder a una pregunta se obtiene de uno o más estudios
• la calidad obtenida de ensayos aleatorios puede disminuir por riesgo de
sesgo, imprecisión, inconsistencia, evidencia indirecta y sesgo de
publicación
• la calidad obtenida de estudios observacionales puede incrementarse por
un efecto importante, dosis-respuesta o factores confusores residuales

107. vimos…
• GRADE presenta dos tablas importantes para exponer de forma
transparente la forma y juicios de cómo se obtuvo la calidad global
de un cuerpo de evidencia:
‣ tabla de perfil de evidencia
‣ tabla de resumen de hallazgos

108. herramientas y sitios útiles
• guidelinedevelopment.org
• cebgrade.mcmaster.ca
• gradeing.cochrane.org
• agreetrust.org
GRADEing
Methods

109. ¡Gracias!
cuelloca@mcmaster.ca
@CharlieNeck
Monterrey, N.L. México
2014