Jueves 02 de mayo del 2019

La venganza del Open Access

Analizando la edición 2019 del ranking Scimago a través de sus indicadores.

Dice la leyenda que los rankings son tan validos como los indicadores que utilizan. En el caso del ranking de Scimago, los indicadores medidos caracterizan tanto la investigación, innovación e impacto social de las instituciones analizadas. Con la finalidad de caracterizar la investigación institucional, se toman en cuenta cifras tales como las de citaciones, publicaciones en SCOPUS, número de investigadores, la colaboración de investigadores internacionales, etc. En el 2019, se insertaron además los indicadores de las publicaciones en revistas propias (3%) y en revistas externas (3%); así como el de Open Access (2%), el cual mide el porcentaje de documentos publicados en revistas Open Access o indexadas en bases de datos de acceso gratuito (click en la tabla).

Para medir la innovación, se señalan las citaciones presentes en patentes, porcentaje del output total de investigación científica citada en patentes, y el número de aplicaciones para patentes. Finalmente, se mide el impacto social a través del número de vínculos web hacia la página de la institución y el número de páginas web asociadas a la institución. En el 2019, se agregó un indicador de Altmetrics a esta dimensión: las menciones y visitas de sus publicaciones en la red (a través de PlumXMetrics y Mendeley). Su peso es del 10%, por lo que ahora constituye la mitad de la determinación del impacto social. Esta movida pone la interacción online del público con la investigación al frente del análisis.

Ahora bien, el ranking Scimago ha provisto panoramas muy distintos para la posición de la PUCP en el último año. Así, mientras que, en que el periodo 2013-2018, ocupamos el primer lugar nacional; en el 2019, ocupamos el cuarto, tras la UPCH, la UPC y San Marcos, así como el quinto en la dimensión de investigación tras la Universidad San Martín de Porres. ¿Cómo explicar este salto?

En primer lugar, es importante puntualizar que los puntajes de la PUCP del periodo 2012-2016 (el que fue evaluado para la edición Scimago 2018) y los del 2013-2017, evaluados en la actual edición del 2019, no han cambiado en gran medida. Si analizamos la evolución de los puestos, encontramos que la PUCP ha mantenido un liderazgo compartido con la UPCH en las dimensiones de investigación e innovación durante los últimos años; así como también el liderazgo del factor de impacto social hasta la actualidad. Vemos que en el 2018 la UPCH lideró tanto el factor investigación e innovación, pero esta ligera diferencia fue zanjada por la gran ventaja de la PUCP en impacto social, mientras que en el 2017 su enorme similaridad en puntajes causó que compartan el primer puesto general (click en la tabla).

En el 2019, la PUCP volvió a resurgir tanto en innovación (en azul) como en impacto social (en verde), posiblemente auxiliada por el nuevo indicador de AltMetrics (click en el gráfico 1).

Sin embargo, también vemos una caída enorme en el factor de investigación (click en el gráfico 2) en donde se posicionó quinta (en verde) tras la UPCH (en azul), la UPC (en naranja), la UNMSM (en morado) y la USMP (en rojo).

Como vemos, la PUCP se mantiene en un puesto estable mientras que las demás universidades mejoran considerablemente su puntaje de investigación a través de uno de los pequeños indicadores introducidos este año: Open Access. Así, a pesar de que solo tuviera un 2% de peso, la forma en que se ha normalizado les ha otorgado una importancia enorme a los niveles de publicaciones de acceso abierto, un indicador en el que la PUCP flaquea gravemente. Así, mientras las demás instituciones en el top 5 cuentan con niveles entre 60-70% de publicaciones de Open Access, la PUCP cuenta con el 28.47% de sus publicaciones en dominios públicos gratuitos. Según la última presentación de Felix de Moya, representante de Scimago, esta sería la razón principal de su descenso (click en la tabla siguiente).

Vemos que el puntaje no solo del factor investigación, sino del total es gravemente impactado por el desempeño del indicador open Access (en verde). Así pues, mientras indicadores de gran importancia, tales como impacto normalizado (13%), excelencia en liderazgo (8%) y output (8%) tienen puntajes combinados máximos (en nuestro país) de alrededor de 0.5, su importancia real palidece ante los puntajes de Open Access los cuales fluctúan entre el 0.7 y el 1.73, representando así entre el 39% y 85% del puntaje total de las instituciones rankeadas, con la PUCP en el bando perdedor (click en el gráfico que sigue). Esta enorme magnitud se podría deber a que se trata de un indicador de porcentaje y, por ende, uno de los pocos indicadores nacionales competitivos mundialmente [ver pie de página]; se debe recordar que la normalización de los factores se basa en un estándar global y no nacional.

Incluir el Open Access como indicador, y con el enorme peso que se le ha terminado otorgando, es una decisión controversial, pero acorde con el debate actual. Se ha argumentado que el Open Access es la única alternativa al monopolio de la información protegido por los paywalls de importantes editores, tales como Elsevier. Además, como anteriormente hemos reportado, se encuentran ya atisbos de un colapso del sistema de edición académica, para el cual el Open Access podría plantear una respuesta. Sin embargo, también se debe tomar en cuenta que los investigadores terminan afrontando enormes gastos para publicar sus resultados en estas plataformas, muchas veces de sus propios bolsillos. Esto además puede llevar a dinámicas predatorias y a consecuentes debates éticos sobre el mérito de los investigadores, dado que muchas plataformas Open Access funcionan con fines de lucro. Por otro lado, se ha encontrado que revistas Open Access de ciertos campos, tales como medicina y ciencias naturales, tienen un nivel más alto de desarrollo por sobre las de otras áreas de conocimiento, lo cual terminaría beneficiando a las universidades que ofrecen estas disciplinas.

A través de su ranking y la forma en que manejan el tema del acceso abierto, Scimago podría estar poniendo en una posición comprometedora a instituciones e investigadores al exigir tanto una publicación fluida y de gran impacto, como un porcentaje alto de publicación en Open Access, una dinámica que en muchos casos transfiere el costo a los propios académicos entre otras problemáticas. Excelencia y apertura son valores inherentemente valiosos, pero su mezcla genera el reto moderno de crear estándares de evaluación que tengan sentido y contemplen su complejidad.

* Se encuentra, por ejemplo, que solo el 50% de los artículos académicos de las universidades holandesas se encuentran en Open Access durante el 2017.

 

Fuentes:

 

Documentos:

 

Enlaces:

 

Antecedente:

 


Aviso: Los contenidos de este boletín sintetizan la información y los debates tomados de los medios de comunicación y las investigaciones que se citan al pie. Su contenido no refleja necesariamente la opinión del Vicerrectorado Académico de la PUCP.


 

Deja un comentario

1 comentarios

Julio Santillán-Aldana| 12 junio, 2019,a las 10:50 pm

¿La venganza del open access o la necesidad de una política institucional de publicación científica compatible?