Este artículo se publica en colaboración con Binaire, el blog para comprender las cuestiones digitales.
La imagen del investigador que trabaja solo ignorando a la comunidad científica es sólo un mito. La investigación se basa en un intercambio permanente, primero para comprender el trabajo de los demás y segundo, para dar a conocer los propios resultados. Por tanto, la lectura y la redacción de artículos publicados en revistas o congresos científicos constituyen el centro de la actividad de los investigadores. A la hora de escribir un artículo, es fundamental citar el trabajo de tus pares, ya sea para describir un contexto, detallar tus propias fuentes de inspiración o incluso explicar las diferencias en enfoques y resultados. Ser citado por otros investigadores, cuando es por “buenas razones”, es, por tanto, una de las medidas de la importancia de los propios resultados. Pero, ¿qué sucede cuando se manipula este sistema de citas? Nuestro estudio reciente revela un método insidioso para inflar artificialmente el recuento de citas: las “referencias sigilosas”.
La cara oculta de la manipulación
El mundo de la publicación científica y su funcionamiento así como sus potenciales carencias y sus causas son temas recurrentes de divulgación científica. Sin embargo, centrémonos particularmente en un nuevo tipo de deriva que afecta las citas entre artículos científicos, que se supone refleja las contribuciones intelectuales y las influencias de un artículo citado sobre el artículo citante.
Las citas de trabajos científicos se basan en un sistema de referenciación estandarizado: los autores mencionan explícitamente en el texto de su artículo, al menos el título del artículo citado, el nombre de sus autores, el año de publicación, el nombre de la revista o congreso. , números de páginas, etc. Esta información aparece en la bibliografía del artículo (una lista de referencias) y se registra en forma de datos adicionales (no visibles en el texto del artículo) calificados como metadatos, particularmente al asignar el DOI ( Identificador de Objeto Digital), un identificador único para cada publicación científica.
Las referencias de una publicación científica permiten, de forma simplificada, a los autores justificar elecciones metodológicas o recordar los resultados de estudios anteriores. Las referencias enumeradas en cada artículo científico son, de hecho, la manifestación obvia del aspecto iterativo y colaborativo de la ciencia. Sin embargo, es evidente que algunos actores sin escrúpulos han añadido referencias adicionales, invisibles en el texto, pero presentes en los metadatos del artículo durante su registro por parte de las editoriales. Resultado ? El recuento de citas de algunos investigadores o revistas se dispara sin una buena razón porque estas referencias no están presentes en los artículos que se supone que las citan.
Un nuevo tipo de fraude y un descubrimiento oportunista
Todo empezó gracias a Guillaume Cabanac, que publicó un informe de evaluación posterior a la publicación en PubPeer, un sitio donde los científicos discuten y analizan publicaciones. Observa una inconsistencia: un artículo, probablemente fraudulento porque presenta “expresiones torturadas”, de una revista científica publicada por la editorial Hindawi obtuvo muchas más citas que descargas, lo cual es muy inusual. Este post llamó la atención de varios “detectives científicos”; Se forma un equipo reactivo con Lonni Besançon, Guillaume Cabanac, Cyril Labbé y Alexander Magazinov.
Estamos intentando encontrar, a través de un buscador científico, los artículos que citan el artículo inicial, pero el buscador Google Scholar no da ningún resultado mientras que otros (Crossref, Dimensions) sí los encuentran. Resulta, en realidad, que Google Scholar y Crossref o Dimensions no utilizan el mismo proceso para recuperar citas: Google Scholar utiliza el texto real del artículo científico mientras que Crossref o Dimensions utilizan los metadatos del artículo que proporcionan las editoriales.
Para comprender el alcance de la manipulación, examinamos tres revistas científicas que parecían citar en gran medida el artículo de Hindawi. Aquí está nuestro enfoque de tres pasos.
-
Primero enumeramos las referencias explícitamente presentes en las versiones HTML o PDF de los artículos;
-
Luego comparamos estas listas con los metadatos registrados por Crossref, una agencia que asigna DOI y sus metadatos. Descubrimos que aquí se agregaron algunas referencias adicionales, pero no aparecieron en los artículos;
-
Finalmente, verificamos una tercera fuente, Dimensions, una plataforma bibliométrica que utiliza metadatos Crossref para calcular citas. Aquí nuevamente vemos inconsistencias.
El resultado ? En estas tres revistas, al menos el 9% de las referencias registradas fueron “referencias furtivas”. Estas referencias adicionales no aparecen en los artículos, sino sólo en los metadatos, lo que distorsiona el recuento de citas y otorga una ventaja injusta a algunos autores. Ciertas referencias realmente presentes en los artículos también se “pierden” en los metadatos.
Implicaciones y posibles soluciones.
¿Por qué es importante este descubrimiento? El recuento de citas influye significativamente en la financiación de la investigación, las promociones académicas y las clasificaciones institucionales. Se utilizan de forma diferente según las instituciones y los países, pero siempre juegan un papel en este tipo de decisiones.
Por tanto, la manipulación de las citas puede dar lugar a injusticias y decisiones basadas en datos falsos. Aún más preocupante es que este descubrimiento plantea interrogantes sobre la integridad de los sistemas de medición del impacto científico que se vienen planteando desde hace varios años. De hecho, muchos investigadores ya han subrayado en el pasado que estas medidas podrían ser manipuladas, pero sobre todo que generaban una competencia malsana entre investigadores que, en consecuencia, se verían tentados a tomar atajos para publicar más rápidamente o obtener mejores resultados, lo que, por tanto, ser más citado. Una consecuencia potencialmente más dramática de estas medidas de productividad de los investigadores reside sobre todo en el desperdicio de esfuerzos y recursos científicos debido a la competencia creada por estas medidas.
Para combatir esta práctica, el “Colegio Invisible”, un colectivo informal de detectives científicos al que contribuye nuestro equipo, recomienda varias medidas:
-
Rigurosa verificación de metadatos por parte de editores y agencias como Crossref.
-
Auditorías independientes para garantizar la confiabilidad de los datos.
-
Mayor transparencia en la gestión de referencias y citas.
Este estudio destaca la importancia de la precisión e integridad de los metadatos, ya que también están sujetos a manipulación. También es importante señalar que Crossref y Dimensions han confirmado los resultados del estudio y que parece que algunas correcciones fueron realizadas por la editorial que manipuló los metadatos confiados a Crossref y, por efecto secundario, a plataformas bibliométricas como Dimensions. A la espera de medidas correctoras, a veces muy largas o incluso inexistentes, este descubrimiento nos recuerda la necesidad de una vigilancia constante en el mundo académico.
