Este documento presenta los resultados de un análisis de la suficiencia y pertinencia de los juicios evaluativos en los dictámenes de acreditación de 12 carreras de medicina en Argentina en 2001. Se encontró gran heterogeneidad en la formulación de estándares y dispersión en la cantidad de juicios evaluativos y variables consideradas, lo que podría generar disparidad en la evaluación. La mayoría de los juicios fueron insuficientes e impertinentes, lo que pone en duda la legitimidad de los dictámenes para decidir el cumplimiento
1. Larrea, Claudio; Simonassi, María Laura y Larrauri María Isabel.
Dirección: Avenida Ignacio de la Roza 1516. Rivadavia. Código Postal: 5400
Lugar: Facultad de Ciencias de la Alimentación, Bioquímicas y Farmacéuticas.
Facultad de Ciencias Médicas, Universidad Católica de Cuyo - San Juan- Argentina.
La nueva
concepción de
la evaluación
para la
acreditación de
carreras tiene
objetivos
explícitos de
mejoramiento
Las evaluaciones deben
servir para determinar las
debilidades y fortalezas de
las carreras evaluadas
comprometiendo a las
instituciones a la
confección y aplicación de
planes de mejoramiento
Los procedimientos
de acreditación
deben ser globales y
uniformes, a fin de
evitar desigualdades
en la evaluación
Este trabajo de investigación supone
una metaevaluación de los resultados
de las acreditaciones
Análisis de la Suficiencia y Pertinencia de los juicios evaluativos
en los dictámenes de acreditación de las Carreras de Medicina.
Argentina, convocatoria obligatoria año 2001
2.
3. Cantidad de estándares por cantidad de variables que evalúa cada uno.
31
27
18
14
7
1
5
16
2
1
3
1
0
5
10
15
20
25
30
35
Cantidad de
estándares
1 v 2 v 3 v 4 v 5 v 6 v 7 v 8 v 9 v 11 v 12 v 16 v
Cantidad de variables
Variables por estándar
Porcentaje de estándares evaluados y no evaluados en todos los
dictámenes de acreditación.
Porcentaje de evaluación de
estándares
30%
70%
Estándares
evaluados
Estándares no
evaluados
La cantidad total de variables a
evaluar que consta en los 126
estándares suman 478, con un
promedio de 4 variables por
estándar
La cantidad de estándares evaluados
y no evaluados en cada uno de los
dictámenes de cada carrera. Hubo
una dispersión que fue desde 22
estándares evaluados hasta 45; y de
74 estándares no evaluados hasta
104.
4. Cantidad de juicios evaluativos por cada uno de los dictámenes de
acreditación
0
10
20
30
40
50
60
70
Cantidad de
juicios
A B C D F G H I J K L M
Dictámenes
Juicios evaluativos totales en los
dictamentes
Del análisis de la cantidad de juicios evaluativos emitidos en los dictámenes
de acreditación, se obtuvo un promedio de 48 juicios evaluativos en los 12
dictámenes de acreditación, y una dispersión de la cantidad de juicios
evaluativos en los dictámenes que fue desde 26 juicios evaluativos hasta 69
juicios evaluativos
5. Cantidad de variables evaluadas por los juicios evaluativos de cada uno
de los dictámenes de acreditación
0
50
100
150
200
250
Cantidad de
variables
evaluadas
A B C D F G H I J K L M
Dictámenes de acreditación
Variables evaluadas por los juicios
Se determinó además, la cantidad de variables evaluadas por cada juicio
evaluativo de cada dictamen de acreditación, la que resultó un total de
1804 variables, con un promedio de 150 variables evaluadas por todos los
juicios evaluativos, con una dispersión que fue desde 65 variables
evaluadas hasta 241 variables evaluadas
6. Del análisis de la relación cuantitativa entre las variables que refieren los
juicios evaluativos de los dictámenes y las que pretenden evaluar los
estándares de calidad establecidos para la acreditación, resultó que de las 478
variables que pretenden evaluar los estándares de acreditación, los
dictámenes hicieron referencia a un promedio de 44 variables relacionadas. La
dispersión de las variables relacionadas de los dictámenes fue desde las 20
variables hasta las 66
Relación cuantitativa entre las variables que refieren los juicios evaluativos
de los dictámenes y las que pretenden evaluar los estándares de calidad
establecidos para la acreditación.
0
10
20
30
40
50
60
70
Cantidad de
variables que
hacen
referencia los
juicios
evaluativos
A B C D F G H I J K L M
Dictámenes
Relación entre la cantidad de variables que hacen
referencia los estándares y los juicios evaluativos
Variables que pretenden evaluar los estándares de calidad: 478
7. Cantidad de juicios evaluativos no suficientes, suficientes y parcialmente
suficientes; y cantidad de juicios evaluativos no pertinentes, pertinentes y
parcialmente pertinentes
No 429
Si 84
Parcial 65
No 428
Si 85
Parcial 65
Suficiencia en los juicios
Pertinencia en los juicios
En base a lo analizado hasta aquí, finalmente se evaluó la suficiencia y la
pertinencia de un total de 578 juicios evaluativos de los dictámenes de
acreditación, resultando que 429 juicios evaluativos no fueron suficientes,
84 suficientes y 65 parcialmente suficientes. Con respecto a la pertinencia,
de un total de 578 juicios evaluativos, 428 no fueron pertinentes, 85
pertinentes y 65 parcialmente pertinentes
8. •Esto nos demuestra la heterogeneidad en la formulación de los estándares, lo
que podría generar disparidad en el proceso de acreditación por la dificultad de
tener que evaluar gran cantidad de variables donde algunas pueden quedar sin
ser evaluadas.
•Dada la importancia de asegurar una uniformidad en la evaluación de todas las
carreras, se considera un número bajo de estándares evaluados, plausible de
cometer errores al momento de decidir sobre la acreditación por omisión en la
evaluación de variables.
•Se observó una gran dispersión en la cantidad de juicios evaluativos y variablesgran dispersión en la cantidad de juicios evaluativos y variables
a que hacían referencia en los diferentes dictámenes, lo que genera desigualdad
al momento de interpretar si la carrera cumple con las normas de calidad
establecidas.
•Por un lado, los juicios evaluativos no hicieron referencia a variables establecidas
por los estándares, o algunas no fueron tenidas en cuenta, y por otro lado, en los
juicios evaluativos se hizo referencia a variables no establecidas en los
estándares de calidad.
•Se observó que la mayoría de los juicios evaluativos fueron insuficientes e
impertinentes.
•Evidencias que ponen en duda la legitimidad de los dictámenes de acreditación
en cuanto a su solvencia como documento para decidir si las carreras cumplieron
o no con criterios para acreditar normas de calidad.
10. Análisis de la Suficiencia y Pertinencia de los juicios evaluativosAnálisis de la Suficiencia y Pertinencia de los juicios evaluativos
en los dictámenes de acreditación de las Carreras de Medicina.en los dictámenes de acreditación de las Carreras de Medicina.
Argentina, convocatoria obligatoria año 2001Argentina, convocatoria obligatoria año 2001
1. Determinar los estándares de calidad evaluados y no evaluados en los
dictámenes de acreditación.
2. Identificar las variables que pretende evaluar cada uno de los estándares de
calidad establecidos.
3. Identificar los juicios evaluativos utilizados en los dictámenes de acreditación.
4. Analizar las variables a que hacen referencia los juicios evaluativos de los
dictámenes de acreditación.
5. Establecer la relación cuali-cuantitativa entre las variables que refieren los
juicios evaluativos de los dictámenes y las que pretenden evaluar los
estándares de calidad establecidos.
6. Evaluar la suficiencia de los juicios evaluativos de los dictámenes de
acreditación.
7. Evaluar la pertinencia de los juicios evaluativos de los dictámenes de
acreditación.