Jueves 30 de mayo del 2019

Replicabilidad y datos abiertos

¿Sin datos abiertos ni estudios de replicación, hay ciencia?

Como hemos recogido en notas anteriores, uno de los problemas del sistema de producción e investigación científica actual es la nula o casi nula replicabilidad presente. Sobre las razones, los críticos apuntan a que los autores no ven motivación alguna por llevar a cabo este tipo de estudios, las revistas no los suelen publicar (o no los aceptan), los centros de investigación y las universidades no se suelen financiar este tipo de estudios, entre otras. Asimismo, el debate apunta a que, en principio, la carencia de replicabilidad actual estaría yendo en contra de los principios mismos del método científico. Recordando el método, se estipula que la replicabilidad es el principio por el cual toda prueba científica debe tener la capacidad de ser reproducida por otros; es decir, cualquier otro equipo científico podría llegar a las mismas conclusiones considerando los mismos datos y condiciones del experimento. A continuación, comentamos dos estudios sobre la “crisis de replicabilidad”.

 

¿Qué fomenta la replicabilidad en Economía?

Para el caso de Economía, los debates sobre replicabilidad y la importancia de esta cada vez ganan más terreno. Ejemplo de esto es el siguiente estudio, Replication studies in economics – How many and which papers are chosen for replication, and why? de Mueller-Langer y otros. Los autores identificaron que del top 50 de revistas entre 1974 y 2014 solo el 0.1% de las investigaciones fue replicada, por lo que la palabra “crisis” parece ser adecuada. Entre otros resultados, identificaron que la posibilidad de replicación de un estudio está ligada al impacto del mismo: los artículos de alto impacto y los artículos de autores de instituciones líderes tienen muchas más probabilidades que el resto. En un sistema basado en el prestigio, no es extraño de esperar dicho resultado; el problema recae en que solo cierto tipo de artículos, los de autores “prestigiosos”, son verificados. Por otro lado, la probabilidad de que se realice un estudio de replicación es menor para los artículos publicados en las cinco revistas de economía más importantes; y que las políticas de divulgación de datos obligatorias pueden tener un efecto positivo en la incidencia de la replicación.

Entre otros problemas de replicabilidad, el siguiente artículo encuentra que solo las replicaciones que contradicen parcial o totalmente el artículo base son “recompensadas”. De once revistas de primer nivel cotejadas, los autores solo identificaron once replicaciones, todas estas refutando totalmente lo propuesto anteriormente. Asimismo, encuestaron a 88 editores y co-editores de estas once revistas: de los que respondieron (35 en total y con todas las revistas representadas), todos declararon que en principio publicarían un estudio de replicación que refute los resultados originales, mientras que solo nueve publicarían uno que confirme los resultados. Ante esto, ¿qué perdemos ante esta situación? ¿Cómo afecta la carencia de replicación a la investigación? ¿Cómo solucionar, en caso sea un problema?

 

Replicabilidad: más que una propuesta ¿problemas?

Cambiando ligeramente de tema, en ediciones anteriores hemos recogido el debate sobre Open Data, el cual, a grandes líneas, apunta hacia la apertura parcial o total de los datos utilizados en la producción de un artículo académico, siguiendo el paradigma actual de Acceso Abierto. Como indican Mueller-Langer y otros, la apertura de los datos fomenta la replicabilidad. Sin embargo, sobre este punto cabría preguntarse ¿son los datos de un artículo científico propiedad del investigador, de la universidad, del Estado? ¿son si quiera una propiedad? Por ejemplo, en tanto hay dinero público de por medio para la recolección de data, deberían las revistas de Open Access exigir la apertura de datos, siguiendo, por ejemplo, los argumentos actuales de Plan S y Open Access en general.

Finalmente, otros críticos apuntan a que los datos abiertos y la replicabilidad podrían ir de la mano para mejorar el sistema de revisión por pares. Cada artículo académico, bajo esta modalidad, no solo debería ser cotejado teórica y “estilísticamente”, sino también los revisores se encargarían, además, de replicar tales estudios bajo o una data “pura”, sin análisis, una data “parcialmente” analizada, o data “controlada” y específica para la revisión. ¿Ante un sistema de publicación internacional saturado, es viable la replicabilidad? ¿En caso no lo sea, es científico el sistema actual? Al parecer no sabemos ni cuánto sabemos ni cuánto de lo que creemos saber está equivocado ¿la inteligencia artificial nos dará una mano?

 

Fuentes:

 

Antecedentes:

 


Aviso: Los contenidos de este boletín sintetizan la información y los debates tomados de los medios de comunicación y las investigaciones que se citan al pie. Su contenido no refleja necesariamente la opinión del Vicerrectorado Académico de la PUCP.


 

Deja un comentario