Conferencia pronunciada por Isidro Aguillo en la Universidad de Salamanca el 27 de abril de 2012 para presentar la situación del Ranking web que coordina.
1. 27 de abril de 2012
Rankings de Universidades
Situación actual
Isidro F. Aguillo
2. ¿Por qué son necesarios los Rankings?
La globalización de la enseñanza superior y una oferta cada día más
competitiva están cambiando el panorama
Excelencia
– Los indicadores de calidad se concentran cada vez más en los cuartiles
superiores
Internacionalización
– Se prima la atracción de élites extranjeras, ya sean docentes de primer nivel o
estudiantes brillantes que ayuden al equilibrio presupuestario
Comunidad
– La tercera misión ya no es sólo trasferencia de tecnología, sino involucración
directa en el desarrollo socio-económico local y regional
Simplicidad
– Lectura rápida, interpretación inmediata, series temporales
Benchmarking
– Comparativas a nivel mundial
Utilidad
2
3. Tipos de Rankings
Los métodos y los públicos objetivos son sustancialmente diferentes y
también su utilidad/utilización práctica
Rankings nacionales
• Priman la exhaustividad de variables
• Variables no académicas (costos, seguridad, oferta de alojamiento)
• Abundan los ratios (alumnos/profesor, graduados/admitidos,
doctores/graduados, presupuesto per cápita, ordenadores ó libros/
estudiante, publicaciones/investigador, …)
Rankings mundiales
• Priman la excelencia (fundamentalmente investigadora)
• Indicadores compuestos, con pesos asignados por variable
– Rankings de prestigio
• Basados en resultados de encuestas
– Rankings bibliométricos
– Rankings web
– Falsos rankings
3
4. Reacciones sorprendentes
Exageradas descalificaciones junto con aceptaciones acríticas y uso
indiscriminado y poco informado
Hostiles a las prácticas evaluativas
• Excesiva simplicidad de los rankings
• Metodologías cuestionables (fiabilidad y calidad de las fuentes, opacidad)
• Comparar diferentes sistemas, tipologías, disciplinas (“peras y manzanas”)
• Utilidad escasa (no son multifacéticos, análisis de escasa profundidad)
• Resultados obvios (por esperables y ya conocidos)
Ignorancia de malas prácticas
• Falsos expertos (periodistas, consultores, ex-gestores)
• Sesgos intencionados (empresas comerciales)
• Errores críticos (variables fuertemente correlacionadas, umbrales muy bajos
en los ratios, pesos injustificables, identificaciones incorrectas, datos no
fiables, criterios de inclusión/exclusión aberrantes)
• Obsolescencia (se prima la estabilidad inter-anual)
• Prestigio asumido, no demostrable
4
5. Situación actual
Aunque cuestionados los rankings son ya extremadamente populares y
guían decisiones personales, institucionales y de política nacional
Los rankings están guiando la re-ordenación y reforma del sistema
universitario de los países europeos
– Y de otros países del mundo
• Favoreciendo las fusiones de universidades
• Incrementando el esfuerzo en investigación
• Flexibilizando la gobernanza y autonomía de las universidades
• Desarrollando procesos más rigurosos de evaluación
Aunque se generan obsesiones peligrosas
– Todo el mundo quiere pertenecer a la élite de las “World-class” universities
• Incluso con prácticas poco éticas
– Los rankings se utilizan como listados-base para homologar titulaciones
• Aunque la mayoría solo evalúan menos del 3% de las instituciones
• Y se ignoran sesgos y ausencias “técnicas”
– Se ha multiplicado el número de “expertos” en la materia
5
6. ¿Como construir un Ranking? Un par de modelos
OTROS RANKINGS ACTIVIDAD IMPACTO
Estudiantes/Profesor Prestigio
Internacionalización (Encuestas a pares)
Artículos científicos Egresados/total
Recursos Citas por artículo
(económicos, biblioteca,
computo, becas) Premios
Páginas Web Enlaces
WEBOMETRICS
(tres misiones)
Menciones
Documentos (Visibilidad)
(ficheros ricos)
Popularidad
e-Artículos (Visitas, visitantes)
6
7. Pesos ¿arbitrarios?
En la mayoría de los Rankings Globales no se proporciona un modelo
que justifique los pesos arbitrarios de las variables
RANKING ACTIVIDAD IMPACTO
ARWU (Shanghái) 40% 60%
TIMES HE (2010) 35% 65%
QS 30% 70%
HEEACT (Taiwán) 20% 80%
WR (Web) 50% 50%
7
8. Calidad
La calidad puede ser derivada cuantitativamente de un consenso o
mayoría de opiniones de expertos sobre un tema
Encuesta
o Opinión: Percepción subjetiva de la reputación académica
o Expertos: Difícilmente alguien con conocimientos globales
o Tamaño del grupo: Unos pocos miles, con opiniones muy sesgadas
Análisis de citas
o Reconocimiento: Impacto de la comunicación formal de la ciencia
o Expertos: Pares científicos
o Tamaño del grupo: Muy pequeño, unas docenas de citas
Análisis de enlaces
o Motivaciones variadas (y diversas), académicas y no académicas
o Expertos: Editores de páginas web (pares y no-pares)
o Tamaño del grupo: Enorme, puede que millones
8
9. Una mirada crítica
Una revisión de los rankings más prestigiosos y populares, con una
brevísima valoración crítica de sus características
Ranking Misiones Indicadores Modelo Resultados Comentarios
ARWU Investigación Excelencia (científica) Ninguno Correlación “World class” (estable=errores
buena no corregidos)
(Top 200)
WEB Todas Actividad e Impacto Similar al Correlación Malas prácticas (web) penalizan
(web) factor de buena en exceso
impacto (discrepancias)
QS Todas Prestigio (encuestas) Ninguno Sesgos Inadecuado más allá de las
e Impacto (citas) geográficos primeras posiciones
sospechosos
HEEACT Investigación Actividad e Impacto Ninguno Correlación “research universities”
(artículos, citas) buena (método cuestionado)
LEIDEN Investigación Impacto “Crown Varios Exclusión de las publicaciones
(citas/artículos) indicator” “rankings” en idiomas locales
SCIMAGO Investigación Actividad o Impacto Posición Varios Universidades + Centros de
(artículos, citas) según tamaño “rankings” investigación
por defecto (sin indicador compuesto)
THE Todas Actividades, Prestigio Ninguno Errores no Comportamiento poco ético
(encuestas) e corregidos (no informa sobre qué
Impacto (citas) universidades no responden)
9
13. Ranking Web
El Ranking Web es uno de los primeros rankings internacionales con
vocación global y en la actualidad es el que tiene la mayor cobertura
• Se edita desde 2004, con dos ediciones al año
(enero y julio)
• El más completo y actualizado, con más de
20.000 instituciones de educación superior de
todo el mundo
• Incorpora las mejores fuentes de información:
Google (Google Scholar), MajesticSEO,
Scimago/Scopus
• En pleno siglo XXI la Web refleja la
organización, actividades, resultados de la
investigación, la transferencia de conocimientos,
prestigio y visibilidad internacional de las
universidades
• Si el rendimiento de la web está debajo de lo
esperado podría deberse a la falta de
compromiso con la publicación electrónica, o las
malas prácticas web
13
15. Modelo del ranking web
Se mantiene un ratio 1:1 entre actividad (presencia web) e impacto
(visibilidad hipertextual)
Páginas
web Documentos
(rich files)
Enlaces
externos
Dominios Artículos
que enlazan científicos
PRESENCIA
IMPACTO
50% 50%
15
16. Fuentes de los datos
Se utilizan tanto fuentes Web (Google, Google Scholar, MajesticSEO)
como bases de datos bibliográficas de citas (Scimago/Scopus)
16
17. Estrategias web para la Universidad de Salamanca
La Web es el principal escaparate de la Universidad, el lugar donde
publicar información básica, actividades, resultados, etc …
Contenidos
o Gran cantidad de contenidos
o Atendiendo a todas las misiones, no solo la investigadora
o Especial atención a la tercera misión, incluyendo el hospedaje de sedes
de terceras partes (hostales, museos, ONGs, …)
Contenidos de calidad
o Repositorio de trabajos científicos
o Otros portales: Revistas, super-sedes, recursos multimedia (videos, audios,
webinars), datos, software
Contenidos internacionales
o Versiones multilingües (incluyendo, además, textos en inglés)
o Guías para estudiantes/profesores extranjeros
17
18. Gran estrategia
El secreto para obtener una buena presencia web y una gran posición en
el ranking estriba en conseguir la colaboración efectiva de todo el mundo
18
29. Utilidad de nuestro ranking
¿Por qué la Web?
o La presencia web es un indicador. Se puede asegurar que refleja de forma
global el desempeño de la universidad y no solo sus actividades en línea
o La Web es ya la mas importante herramienta de comunicación científica
o La Web incrementa significativamente la audiencia, la visibilidad y el impacto
de las actividades y logros de profesores, investigadores y estudiantes
o La Web es el canal futuro y presente para la enseñanza no presencial, el
escaparate mas económico y el mas atractivo para reclutar los mejores
estudiantes y profesores internacionales y es el punto de encuentro entre la
universidad, la sociedad, sus actores económicos y los líderes políticos
¿Por qué el Ranking Web?
o El ranking web es el de mas amplia cobertura, ya que clasifica tanto las
universidades de nivel mundial como aquellas que aparecen más allá de la
posición 500 como, por ejemplo, muchas de los países emergentes
o Las discrepancias observadas nos informan de serios problemas de
gobernanza, ausencia de estrategias a largo plazo, políticas inadecuadas u
obsoletas y malas prácticas web
o Promueve las iniciativas de acceso abierto, posibilitando la diseminación de
resultados, no solo a otros académicos, sino también a terceros tanto de
sectores económicos, industriales como sociales o culturales
29
30. Consejos finales
Rankings, el ranking Web y algunos consejos
Rankings globales
o Los Rankings no deben ser ignorados, cumplen una importante misión y son
una excelente herramienta en el diseño de estrategias y políticas universitarias
o La crítica global es absurda, pero hay que identificar los Rankings con
metodologías poco académicas, sesgos injustificados e intereses comerciales
Ranking Web
o La Web es clave en todas las misiones universitarias
o El Ranking Web es un indicador del éxito de las universidades
o La mayoría de las “discrepancias” se explican por inadecuadas políticas o
malas prácticas web
Los contenidos son la clave
o Alta producción
o Excelencia
o Acceso abierto
o Internacionalidad
30
31. Debate
Isidro F. Aguillo, HcPhD
The Cybermetrics Lab. IPP-CCHS-CSIC
isidro.aguillo@cchs.csic.es
¿Preguntas? …
¡Gracias!
31