Jueves 10 de mayo del 2018

Rankings: ¿útiles para evaluar la investigación?

Los rankings como guías en un mundo en que la innovación se convierte en prioridad.

La utilidad y pertinencia de los rankings universitarios es una cuestión que está en permanentemente discusión. En publicaciones anteriores, se han abordado diferentes argumentos que se utilizan para criticarlos que van desde el uso de metodologías que responden a intereses políticos-económicos particulares y/o tan heterogéneas que resulta imposible establecer comparaciones entre ellos, hasta la selección de indicadores no prioritarios para los estudiantes; su público objetivo principal.

Una de las observaciones más frecuentes respecto de los rankings más mediáticos es que se enfocan demasiado en los índices de investigación. Sin embargo, según un reciente artículo, “Are university rankings useful to improve performance: A systematic review“, en los rankings predomina un aura marketera, y más allá de ofrecer una clasificación, plantea que no se ha comprobado su utilidad en el ámbito de las mejoras en el rendimiento y calidad de la investigación.

Los autores destacan una preocupación latente entre académicos y especialistas por el rumbo de la innovación en la educación superior como fuente de propuestas y soluciones para los problemas más complejos de la humanidad. Afirman que su importancia es innegable; sin embargo, su gestión parece estar caracterizada por i) predicciones contradictorias, ii) diferencias en los planteamientos e iii) inconsistencias teóricas. Tres factores que impactan negativamente en la conversión de investigación académica en beneficio social práctico y aplicable. En ese escenario, las universidades recurren a los rankings como guía.

El estudio plantea una revisión sistemática de los rankings, y parte de unos requisitos mínimos aplicados a la selección que fue evaluada, como por ejemplo, incluir en la clasificación al menos a 100 instituciones que ofrezcan doctorados, tengan una frecuencia constante, publiquen su metodología y sean globales. Fueron identificados un total de 24 rankings, pero solamente 13 pasaron el filtro. Seis de los trece se enfocan 100 % en investigación, y de los rankings que publican los pesos que le dan a sus indicadores, un 76 % está asociado a la investigación y un 24 % a la calidad de la enseñanza. Además, siete de los rankings elegidos basan su información recogida en encuestas de reputación o logros de sus profesores y egresados. También, se resaltó que tres de ellos son elaborados por las mismas universidades y cinco por grupos de consultoría independientes.

Con los 13 rankings seleccionados, se procedió a evaluar criterios como la amplitud del contenido, la consistencia y transparencia en la información que considera cada ranking y en el cálculo de los indicadores, que permite tener un panorama de la evolución de las clasificaciones a través del tiempo, y la resistencia al sesgo -en la gestión y verificación- de la información recopilada y enviada por las mismas universidades. El estudio también observa y clasifica en tablas los objetivos a los que apunta cada ranking, así como cada uno de sus indicadores, tanto de investigación como de calidad académica, para tener un panorama amplio y detallado de los propósitos y metodologías.

En el análisis, se sugiere que las instituciones deben preferir rankings que muestren consistencia en el tiempo, que cubran múltiples áreas de medición y que sean menos dependientes del prestigio en general. Se señala también que propuestas que incluyen información “self-reported” no verificada, encuestas de reputación y análisis no replicables finalmente resultan poco útiles en una asesoría.

Por otro lado, se indica que usados en combinación puede traer resultados beneficiosos. Por ejemplo, la evaluación y comparación de los resultados ofrecidos por el Leiden, Clarivate (ex Thomson Reuters / WoS) y SCImago (basado en Elsevier / Scopus) pueden resultar prometedoras para los analistas. Y si bien el U-Multirank ofrece el contenido más amplio de información, la carencia de ediciones a través de los años perjudica al intentar observar las tendencias.

De manera general, se concluye que los enfoques actuales se basan mayoritariamente en fuentes de datos de fácil acceso y la confianza en estos indicadores tiende a cerrar la puerta a instituciones que podrían responder mejor a criterios menos “populares”. “Los actuales indicadores son inadecuados para evaluar con precisión el rendimiento de la investigación, y deben suplementarse y ampliarse para apuntar a criterios estandarizados. Se sugiere además que estudios posteriores evalúen tres dimensiones del rendimiento de la investigación: impacto científico, resultados económicos e impacto en la salud pública”, finaliza el documento.

 

Fuente:

 

Antecedentes:

 

Deja un comentario