La literatura "peer-review" clásica: un arma inútil.

Richard Smith, que fue editor de la revista British Medical Journal, y ejecutivo principal del BMJ Publishing Group, hace un estudio profundo del sistema de publicación científica conocido por “peer-review”. La “revisón por pares” (colegas), que a menudo tomamos por marchamo de calidad científica.

Aunque el estudio está hecho sobre la literatura médica, el análisis es de sistema, y no hay motivo para pensar que las conclusiones fueran diferentes en la ciencia del clima y la calentología. Al contrario, el grupo del clima es mucho más cerrado y unidireccional, y más pequeño. Y, al contrario que con el cambio climático, en medicina los errores se pagan con vidas de una manera inmediatamente visible.

Smith analiza lo que se supone que proporciona el sistema “peer-review”, y llega a conclusiones.

Selección de lo que debe ser publicado.
Mejora de lo que se publica.
Detección de errores
Detección de fraudes.

¿Es efectivo el sistema consiguiendo sus objetivos? Smith cita a Doug Altman:

What should we think about researchers who use the wrong techniques (either wilfully or in ignorance), use the right techniques wrongly, misinterpret their results, report their results selectively, cite the literature selectively, and draw unjustified conclusions? We should be appalled. Yet numerous studies of the medical literature have shown that all of the above phenomena are common. This is surely a scandal

Y resume: Tenemos muy poca o ninguna evidencia de que el sistema "peer-review" funcione, pero tenemos un montón de evidencias de sus pegas.

Pegas:

Es muy caro (calcula 2.000 millones de libras.
Es muy lento, y retrasa sin justificación publicaciones muy importantes.
Es una lotería.
No detecta los errores. Hizo una prueba, metiendo 8 errores a propósito en un estudio enviado a 300 revisores (lo normal son 2 ó 3), y la media de los encontrados fueron 2, mientras que el 20% de los revisores no encontró ninguno.
Sesgo según prestigio de las instituciones / autores remitentes. También con prueba experimental.
El "establishment" decide lo que es importante, lo que impide la originalidad y la innovación. ¿Nos suena en el rollo del clima?

También lo describe como un gran negocio del que se benefician los "instalados", que a su vez insisten en que se mantenga el sistema. Un frase resumen podría ser: si el "peer-review" fuera una medicina, nunca se le dejaría salir al mercado.

Esto, respecto a las publicaciones revisadas en medicina. Si le añadimos el sesgo que introduce en la ciencia del cambio climático el hecho de que cuanta más alarma, más pasta va a parar a esa ciencia, nos podemos hacer una idea de la insistencia en el “peer-review” por parte de la calentología.

Ah, y propone alternativas, muy en la línea de la blogosfera escéptica. Aprovechar la internet para que la revisión y selección sea post- publicación, en vez de pre-publicación.

Fuente:

Classical peer review: an empty gun

Vía:

Bishop Hill: Richard Smith on peer review

viejecita 2010-12-30 16:22:03
Sí, el otro día, en un artículo estupendo que creo que estaba en Atlantic Review y que recomendaba Curry, sobre un médico investigador dedicado a desfacer ideas preconcebidas, lo contaban. ( Puse aquí el enlace pero encontrar un hilo antiguo del mes en curso es demasiado complicado para mí. - Eso sí, cuando es muy anterior, es mucho más fácil de encontrar, yendo al mes, y recorriéndoselo todo . Así que en enero encontraré de nuevo el enlace ) El caso es que en el artículo decían que las revistas médicas tenían tendencia a publicar lo paradójico y novedoso, que era lo que vendía, aunque luego se demostrase que era más falso que Judas. Y que cuando se demostraba que esas ideas, experimentos y teorías tan originales eran falsas, no lo publicaban. Y Curry lo extrapolaba a su terreno.
onio 2010-12-30 18:21:01
Yo también creo que la revisión pre- publicación es un obstáculo totalmente innecesario y, en muchas ocasiones, contraproducente, sobre todo por la dilación enorme y la posibilidad de sesgo que conlleva, sobre todo en temas polémicos. A mí han tardado más de dos años en publicarme algunos artículos, y eso que no eran asuntos ni mucho menos "sensibles" políticamente hablando como el asunto del clima(soy especialista en lombrices de tierra)
- Cathlyn Schizo 2010-12-31 14:36:35
  Esto es interesante. Imagino que una vez publicado un artículo no podría citarse hasta que se hubiera revisado. ¿Estaríamos en las mismas? Ahora es posible retirar artículos, pero todas las citas que haya tenido... ¡¡Feliz Año!!
  
  plazaeme 2010-12-31 14:42:56
  Imagina algo así. Un artículo se publica, y desde ese momento es revisable por cualquiera. La revisión (con nombre) va incluida o enlazada en el artículo. A la hora de citar, si lo haces a un artículo que no ha sido revisado ni despertado interés, corres el riesgo de que luego salga rana. También lo puedes revisar tú misma. Hay muchas opciones, pero la idea sería que los trabajos van ganando o perdiendo "estatus" con el tiempo, hasta que finalmente o desaparecen o se convierten en trabajos seminales, o cualquier intermedio. Y los revisores (con nombre) también van ganando o perdiendo estatus según lo hagan bien o la caguen.
  
  Cathlyn Schizo 2010-12-31 15:11:33
  Hmmm... más interesante todavía. Se parece a un "blog review" y a la hora de incluir el estatus también recuerda mucho a Wikipedia. De hecho el estatus también se da de manera intuitiva en los blogs (a veces cuantificable cuando los comentarios se pueden votar), puesto que los comentaristas se van haciendo conocidos y van ganando/perdiendo prestigio según lo que vayan escribiendo. Yo creo que al final quedará un sistema de evaluación que se actualice automáticamente. Parecido al impacto de las revistas pero particularizado para cada artículo. ¡Menudo cacao!
  
  plazaeme 2010-12-31 15:41:57
  No creas que es muy distinto que el sistema que funciona (a las mil maravillas) en algunos grandes proyectos de software libre. Capaces de competir con ventaja con el mismísimo Microsoft, como el servidor web Apache. O versiones de Linux, tipo Debian.
Manuel 2011-01-05 00:29:50
Muy interesante la entrada que publicas. El sistema peer review es francamente mejorable. Algunas propuestas se han orientado a eliminar el anonimato de los correctores, para que éstos asuman la plena responsabilidad de sus errores y aciertos. También se ha propuesto un sistema de revisión en abierto, sobre todo on-line. Hay páginas de internet especializadas que publican artículos científicos en abierto y que están sometidos a crítica pública. Supongo que conocerás la página PLoS ONE, pero te dejo en enlace por si acaso: http://www.plosone.org/home.action Además hay un estudio en castellano bastante interesante sobre las limitaciones del sistema de revisión por pares, escrito por Juan Miguel Campanario, profesor del departamento de Física de la Universidad de Alcalá. Tal vez lo conozcas. Esta es su página web: http://www.plosone.org/home.action Y aquí la referencia del documento concreto: Juan Miguel Campanario (2002) El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones Revista Española de Documentación Científica, 25 (3), 166-184. Este profesor tiene unos cuantos artículos descargables -además del que he citado antes-dedicados al peer review, en castellano e inglés. Saludos.
- Manuel 2011-01-09 03:02:59
  A ver. La página web de Juan Miguel Campanario no es la que he puesto por error en el post de arriba. Es esta: http://www2.uah.es/jmc/

<< Posterior	Procusto 2011, un poco agorrinado.
Anterior >>	Dedicado a Rosa Díez: La vida de Brian