Bendito factor de impacto

Un debate está en el caldero: ¿Cómo se juzgan y diseminan los datos científicos?

Un estudio coherente que presente resultados espectaculares y por lo tanto muy “llamativos” puede terminar en Science o Nature; al mismo tiempo, otro estudio parecido que obtenga resultados negativos o menos contundentes, aunque esté mucho mejor realizado (por el tamaño de la muestra o la complejidad del modelo que siguió, por ejemplo) y por tanto se aproxime más a la realidad, termina publicado en revistas de menor impacto  ¿Qué está pasando?

La carrera profesional de un investigador y sobre todo la capacidad para acceder a fondos de investigación que nutran a su equipo, se valora en gran medida por el factor de impacto de las revistas científicas en que logra publicar sus trabajos, un índice que marca el prestigio de cada publicación y la repercusión de los artículos que en ella aparecen.

El factor de impacto de una revista es un parámetro publicado anualmente por el “Institute for Scientific Information” (ISI), basado en el número de veces que se cita por término medio un artículo publicado en una revista determinada. Actualmente, uno de los criterios que se consideran para juzgar la calidad de una publicación es el índice de impacto de la revista en la que aparece. La definición exacta de factor de impacto es la siguiente:
A= Número de veces que las revistas fuente del ISI han citado durante el año 2007 artículos publicados por la revista X durante el periodo 2005-2006
B= Número de artículos publicados en la revista X durante el periodo 2005-2006
C= Factor de impacto de la revista X en 2007:
C = A/B

En un interesante artículo titulado “Why Current Publication Practices May Distort Science” publicado el 8 de octubre en PLOS Medicine, los autores haciendo uso del concepto económico de “Winner’s curse” (la maldición del ganador) según el cual el ganador en una subasta siempre suele pagar un precio superior al real, muestran cómo en la “subasta por publicar sobre un mismo tema en una revista de alto impacto” de todos los estudios metodológicamente bien hechos que existen, llegan a las grandes revistas científicas los que presentan unos resultados más escorados.  Esto en la práctica ha conducido a que, por ejemplo, en un estudio realizado en 2005 que analizó 49 de los estudios clínicos más citados entre 1990 y 2003, y que habían aparecido en las tres revistas médicas de mayor impacto (New England Journal of Medicine, JAMA y Lancet), un tercio de éstos habían sido rebatidos al poco tiempo por investigaciones posteriores.

Los autores proponen una serie de medidas que citaré a continuación:

1. Aceptar el sistema actual.

2. Promover la rápida publicación digital de todos los artículos que no tengan ningún defecto con independencia de la “importancia percibida” en los resultados.

3. Adoptar criterios de publicación que prefieran los resultados negativos antes que los positivos y ser muy exigentes con el criterio de la reproducibilidad para que los positivos puedan ser publicados.

4. La selección de los artículos para la publicación en los revistas de alta visibilidad debe estar basada en  la calidad de los métodos del estudio, su puesta rigurosa en práctica  e interpretación astuta, con independencia de resultados.

5. Adoptar procedimientos de publicación de reclamos o incoherencias en artículos publicados en prestigiosas publicaciones.

6. Modificar la práctica actual de elevar y de incorporar datos más extensivos  para acompañar los artículos en el formato impreso o para ser accesible en los formatos atractivos asociados a los diarios de alta calidad: que combinan magazine con archivo en las publicaciones.

7. Promover las revisiones críticas, los resúmenes, y los resúmenes de las cantidades grandes de datos biomédicos que se generan actualmente.

8. Ofrecer incentivos para los trabajos independientes, novedosos y verdaderamente heurísticos, en detrimento de los trabajos más gregarios y rutinarios.

9. Reconocer explícitamente el papel que juega la publicación en las decisiones de financiamiento y en la carrera del científico.

10. Modular las prácticas de la publicación basadas en la investigación empírica, que pudo tratar correlativos de resultados acertados a largo plazo (tales como reproductibilidad, aplicabilidad, nuevas vías de investigación que se abren) de artículos publicados.

Está claro que hay un imperativo moral que demanda el mejoramiento del sistema para que el juzgamiento y la verácidad de los datos científicos cada vez sea mejor. No sería bueno esperar a que aparezcan crisis de credibilidad para adoptar medidas que conduzcan a estas mejoras.

Como dice Pere Estupinyà en sus Apuntes Científcos a manera de dato colateral no significativo: “El martes pasado regresaba a casa con un postdoc del NIH que escanea cerebros con imágenes de resonancia magnética funcional (fMRI). Él estudia el cerebro enfermo, que es mucho más fácil de abordar que el cerebro normal. Comentamos la fiabilidad en entredicho del fMRI como herramienta para investigar nuestro comportamiento. Le pregunté: Rebecca Saxe del MIT me dijo que la gran mayoría de estudios están mal hechos, analizan zonas del cerebro poco específicas, y dan resultados exagerados. ¿Es cierto? “Sí, hay un boom en esto, se publican muchos artículos poco rigurosos”. “¿pero incluso en Science y Nature?”, insistí. Os prometo que echó una carcajada y contestó “hombre desde luego! Esos los que más!””

2 Respuestas a “Bendito factor de impacto

  1. Parece que para publicar en Science y/o Nature tienes que escirbir algo que pueda ser noticia de prensa (no basta su relevancia científica, tiene que poder ser noticia). Es el marketing. Es la pescadilla que se muerde la cola. El marketing que ha llevado a que estas revistas sean lo que son. Una lectura obligada para nosotros.

    Un amigo me dijo una vez. Cuida el título de tus artículos cual periodista (bloguero) cuida el titular de sus noticias (entradas). Si lo haces bien, te citarán. No importa lo que hayas descubierto. Lo importante es que parezca “nuevo”, que parezca que has creado un nuevo campo del conocimiento. Marketing en la sociedad de la información.

  2. MUY BUENO JUANCHO..SEGUIMOS CON EL TEMA DEL MERCADEO QUE INSERTA SUS TENTACULOS DONDE QUIERA QUE MIREMOS…

Deja un comentario

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s