lunes, 20 de octubre de 2014

ECA's: la mejor fuente de evidencia disponible? Una breve reflexión sobre uno de los principales dogmas de la MBE

Mis benditos ejemplos y yo... Pero que caray, siempre es una buena forma de plantear un ejercicio de análisis sobre un tema, pararse en otro -bien distinto- y mirar que se puede extrapolar, al menos en términos de lo teleológico.
Digamos que unos allegados lo invitan a un almuerzo campestre. Usted, médico, dama o caballero muy prestante, referente social, académico e intelectual, no puede aparecerse en bermudas, tenis blancos con media oscura y franela (lo que los rolos llamamos "esqueleto"). Pero, por no perder su distinción y elegancia habitual tampoco se va a ir de smoking (tuxedo, para mis seguidores anglopreferentes, bueno, si tengo alguno XD). Seguramente un pantalón de dril o un jean con unos zapatos cómodos y una camisa "de sport", como dicen las mamás, con una chaqueta de gamuza, lana ligera o pana a juego, será más que adecuado, cómodo y suficiente.

Por qué irse "de gala" entonces a un estudio para definir una asociación, o plantear hipótesis que puedan fundamentar nuevas investigaciones sobre preguntas clínicas del día a día?

La doctrina de la Medicina Basada en la Evidencia (MBE) se fundamenta en las duras críticas que hizo el Dr. Archibald Cochrane, durante las últimas dos décadas del siglo anterior, al escenario de tener que tomar sinnúmero de decisiones médicas sin apuntalarlas con un conocimiento científico suficientemente válido que las soportara. Sus anotaciones son el pilar filosófico para el desarrollo de las revisiones sistemáticas como la herramienta por excelencia de la Medicina basada en la Evidencia. Y bueno, quizá no fue la idea original del muy recordado y nombrado Archie, pero lo cierto es que alguien decidió que los elementos clave de este tipo de análisis habrían de ser los Ensayos Clínicos Aleatorizados (ECA).

Lo que sucedió es que, en algún momento durante la última década de los noventa, tanto por la consolidación del dogma de la MBE, como por la validación que encontró la industria farmacéutica en los ECA para posicionar en los mercados sus productos más novedosos como "los más efectivos comparados con", se generó un sesgo cultural en relación con calificar este tipo de estudios como los de mayor calidad. Y lo repetimos hasta creérnoslo. De hecho, revisando muchos artículos sobre MBE, guías, manuales de elaboración de protocolos, etc., se evidencia que en los cuadros o resúmenes en los que se asigna peso a los diferentes tipos de estudio frente al nivel de evidencia o recomendación, los que mejor puntúan -después de las revisiones sistemáticas o los metaanálisis- son los ensayos clínicos aleatorizados, como en los sistemas SIGN (Systems to Rate the Strength of Scientific Evidence. Summary, Evidence Report/Technology Assessment: Number 47. AHRQ Publication No. 02-E015, March 2002. Agency for Healthcare Research and Quality, Rockville, MD. Disponible en:http://www.ahrq.gov/clinic/epcsums/strengthsum.html) o GRADE (Balshem H, Helfand M, Schunemann HJ, Oxman AD, Kunz R, Brozek J, Vist GE, Falck-Ytter Y, Meerpohl J, Norris S, Guyatt GH. GRADE guidelines 3: rating the quality of evidence-introduction. J Clin Epidemiol. 2011), así, sin más, sin asteriscos, notas de pie o advertencias del tipo "dependiendo de lo que usted busque demostrar...". 

Dejando de lado, de manera poco prudente por cierto, las limitaciones técnicas en el diseño o la ejecución de un ECA, la inconsistencia de resultados a través de los diferentes estudios sobre el mismo tema (dependiendo el grupo investigador y, por supuesto, la fuente de financiación), los sesgos de publicación, y el aspecto ÉTICO que conlleva de dejar de beneficiar de manera consciente -enmascarada, pero consciente- a un grupo en favor de suministrar lo que puede ser fuente de cura o mejoría frente a un placebo, lo cierto es que los ECA no funcionan para todo. La vida es el laboratorio de pruebas de la naturaleza, el campo del trabajo de campo de Dios (perdón por la redundancia), de modo que para muchas preguntas de investigación -la mayoría, quizá?- algún otro tipo de estudio, bien formulado desde la pregunta hasta el análisis multivariado de los hallazgos y una correcta interpretación de los resultados, seguramente puede resultar más útil y requerir de menos tiempo y recursos financieros. Un ECA que concluye "harán falta más estudios", o "habría que validar nuevos resultados", después de haber gastado un montón de tiempo y de dinero, a mí me parece simplemente frustrante (al menos como lector, para los investigadores debería ser fuente de reflexión y ulterior deserción laboral :D): para plantear hipótesis y definir preliminarmente asociaciones, habría podido echarse mano, mejor, de diseños como casos y controles o cohortes. 

Considero que la elección del tipo de estudio es un factor fundamental en la calidad de las conclusiones. Una cosa son resultados, otra análisis y una muy diferente conclusiones. Aunque menospreciadas en los instructivos tipo "como hacer un estudio epidemiológico para dummies", de los que tanto se encuentran en páginas como Fisterra o las de los ministerios de salud de los países latinoamericanos, quizá por parecer "subjetivas", que por supuesto no lo son, las conclusiones resultan ser el epítome del nuevo conocimiento que pretenden generar los estudios. Por ejemplo, hacer un ECA para comparar la intervención quirúrgica de una patología (no letal) contra el manejo conservador y darse cuenta, cuatro o cinco años después, de que los índices QOL no presentan cambios y hubiera sido mejor no "gastar esa platica", o peor, que los instrumentos puntúen mucho más bajo por complicaciones de los posoperatorios tempranos, medianos y tardíos y que la conclusión sea del tipo "ooops, mejor no los hubiéramos operado", frente a hacer un estudio bien hecho de casos y controles o de cohortes, no parece tener sentido, a pesar de que, de todas formas, se trate de comparar intervenciones. Que si la p, que si el sesgo, que si la selección... un ECA tiene muchas ventajas metodológicas en este sentido, por ser -al menos en principio- más riguroso en términos del método científico. Sin embargo, si se plantea el tipo de diseño en términos de la pregunta de investigación, y se escoge de manera consciente, y se respalda esa elección con respeto al método, al rigor, al cuidado en el detalle, al control del sesgo, seguramente se pueden obtener mucho mejores conclusiones, más rápido y a un menor costo, enfocado todo ello por supuesto a poder EMPEZAR A APLICAR LO APRENDIDO LO ANTES POSIBLE!.

Hoy en día existe muchísima documentación pormenorizada sobre las ventajas y desventajas de cada tipo de estudio, así como de su utilidad principal, generalmente resumida en tablas y gráficas muy útiles. Orientar la elección tras la elaboración concienzuda de la pregunta de investigación, ayudándose -por qué no- de estas tablitas, y no las de calidad graduada según se acerque o no más el estudio a un ECA, puede hacer una diferencia en la calidad de la respuesta a esta pregunta, más aplicable, más aterrizada en el contexto. Creo firmemente en que resulta preferible un estudio de casos y controles bien hecho, que un ECA realizado de forma torpe, descuidada o -algo que temo cada día más frecuente- sesgada según el patrocinio de la industria o los intereses de los grupo de investigación.

Para finalizar, y terminar de dar forma a esta reflexión, quisiera preguntar: Será que escribimos para que nos publiquen? Será posible que la intención del investigador se haya deformado, y no sea tan importante la respuesta a la pregunta, sino lo llamativo y lo "epidemiológicamente acertado" que puedan resultar sus estudios, en términos de ser referencia por el elevado nivel de evidencia que representa un ECA frente al "discreto" lugar dado en SIGN, GRADE y otras iniciativas similares a los estudios observacionales? Temo que la respuesta sea sí. En este sentido, debería prestarse mucha atención -dentro de los aspectos metodológicos de un estudio "de calidad superior"- a un nuevo tipo de problema: el sesgo de querer ser publicado, de querer ser llamado por la industria para "demostrar cosas", de querer convertirse en referencia, en recurso infaltable de la recomendación...en pocas palabras, en elevarse al curubito de la MBE!!!. A eso, podríamos llamarle, sin falta de respeto, pero tampoco de pudor, el sesgo "Cochrane".

lunes, 6 de octubre de 2014

Sobre las Revisiones Sistemáticas y los metaanálisis: Una historia de peras y manzanas...

Las revisiones sistemáticas corresponden a una estrategia que se considera fundamental para la Medicina Basada en la Evidencia, pues –al menos en la teoría- permiten tener acceso de manera organizada y metódica a una cantidad de información importante, obtenida a partir de estudios individuales “bien” elaborados (lo que permitiría inferir su calidad) y relevantes sobre un determinado tema para dar respuesta a las preguntas de investigación sobre este, con base en la síntesis de un efecto estimado -estadísticamente plausible-.

Sin embargo, cuanto más tiende una respuesta hacia lo absoluto, más puede alejarse de la realidad. Las revisiones sistemáticas, y en especial los metaanálisis –con el valor agregado del número y la estadística sobre las primeras- constituyen, en no pocas ocasiones, un elemento dogmático dentro de la construcción de un nuevo paradigma de infalibilidad, de respuestas “definitivas”. Cabe anotar que no es éste justamente el espíritu de esta metodología -aunque muy fiable, una más-, pero su enseñanza masiva y la defensa a ultranza de sus principios por parte de muchos que la han acogido de manera doctrinal, podrían alejarnos de la duda sana y del cuestionamiento que permite la falsabilidad (contrastar una teoría intentando refutarla mediante un contraejemplo, http://es.wikipedia.org/wiki/Falsacionismo) de esta herramienta dentro de la epistemología del método científico.

Durante las últimas dos décadas, de forma paralela a la masificación de la MBE y de las revisiones sistemáticas, incluyendo los metaanálisis, como su baluarte, se han hecho aproximaciones críticas que deben ser cuando menos conocidas, si no objeto de reflexión, de los educandos dentro del campo de la epidemiología. En este sentido, me permito recomendar los dos escritos que referencio a continuación, pues ilustran las dos posiciones encontradas de quienes han optado por los extremos respecto de este paradigma.

De acuerdo con Feinstein, profesor de estadística y epidemiología de Yale, en su muy aplaudido, tanto como cuestionado ensayo “Meta-analysis: Statistical Alchemy for The 21st Century”, las revisiones sistemáticas, especialmente los metaanálisis, tienen el “encanto” particular, de dar “significancia”, y por ende validez externa, a estudios que previamente no habían resultado concluyentes o válidos, en relación con el tamaño insuficiente de las muestras. De igual manera, un valor agregado resulta la posibilidad de resolver hipótesis inconclusas, o incluso formular algunas que no hubiesen sido evaluadas previamente. Sin embargo, tales ventajas podrían terminar siendo en realidad aspectos negativos, en los mismos términos, al permitir evadir los requisitos de precisión y reproducibilidad que la metodología rigurosa –o no- de los grupos más pequeños en los estudios originales. Por esta razón, Feinstein consideró que los metaanálisis pueden plantearse como un ejercicio de “alquimia”, al permitir sacar, de nada, algo.

Uno de los cuestionamientos principales tiene que ver con la metodología, que por su enfoque riguroso respecto de los criterios para evitar los sesgos de las publicaciones originales, puede terminar dando a la revisión una orientación a la disponibilidad más que a la calidad de la información per se. Igualmente, se ha planteado la posibilidad de que el procedimiento de selección valore los estudios según su calidad, pero la disparidad de las poblaciones estudiadas y la minucia estadística que las hace diferentes, no sea tenida en cuenta a la hora de establecer comparaciones. De ese análisis se adoptó del lenguaje popular una expresión que ha dado mucho de qué hablar en el contexto de la MBE: “revolver peras con manzanas”…

Este aspecto del problema, ha llevado a plantear que el rol de las revisiones sistemáticas y los metaanálisis, como herramientas básicas de la MBE debe ser repensado en favor del ejercicio clínico particular frente a la diversidad de poblaciones. El promedio de promedios –como plantean los detractores de esta metodología que es el resumen de su formulación en términos estadísticos- puede ser útil a gran escala, como fuente de información para las farmacéuticas o para la formulación de políticas de salud pública, pero puede quedarse corto a la hora de responder preguntas clínicas en escenarios reales, tal cual se supone el ejercicio de la MBE en la práctica médica individual. Igualmente, salvo que se trate de revisiones sistemáticas o metaanálisis orientados puntualmente a aspectos como los síntomas o la calidad de vida, generalmente este tipo de aspectos suelen ser descartados de los resultados de los estudios pequeños a la hora de ser integrados, frente a aquellos más llamativos, como la sobrevida.

Sin desconocer las virtudes de las revisiones sistemáticas y los metaanálisis para la MBE, considero que resulta, no solo necesario sino valioso, reflexionar sobre algunos aspectos que han planteado sus detractores, bien para admitir una crítica sana,  como para profundizar en los aspectos metodológicos que permitan sortear tales obstáculos:
1. Es posible que las clasificaciones en las que se han categorizado los pacientes para el metaanálisis, por ejemplo por la localización anatómica de un tumor, puedan resultar demasiado gruesas para mis pacientes?
2. El análisis de los aspectos relevantes del estudio es multivariado, de forma que se alimente a partir de este una validación multifactorial de los resultados?
3. La variedad de validaciones estadísticas y de exposiciones de los resultados, permite que la información  resulte útil y aplicable a la hora de aterrizar estos en mis pacientes? Quién quiere 1,5 años más de sobrevida con un melanoma  maligno metastásico y sintomático (como ofrecen los metaanálisis con nilotinib)? Quién quiere ser “uno” de los 100 pacientes a tratar para un NNT?
4. Subestimar las diferencias estadísticas entre las poblaciones de los estudios utilizados para un metaanálisis puede producir una falsa ilusión para una mayoría, podría la generalización no resultar satisfactoria cuando las muestras son heterogéneas?
5. Tendrá una implicación negativa en el “apetito” de los investigadores, tener respuestas “definitivas” a expensas de metananálisis sobre temas controversiales?
6. Estaremos revolviendo estudios “buenos” con estudios “malos” solo porque los números lo hacen posible? Cómo podemos evitarlo si la orientación de “calidad” se define en términos de lo metodológico?
7. Es posible que esta avalancha de “evidencia” genere un sesgo a la hora de socializar precozmente la información que paulatinamente va poniéndose al servicio de la ciencia?
8. Somos conscientes de que la combinación de estudios no es mejor que un ensayo clínico igual de grande?
Considero que aprender sobre MBE a la luz de estos, y muchos otros interrogantes que pudieran plantearse, genera un valor agregado para los futuros investigadores y epidemiólogos.


REFERENCIAS

Feinstein A. META-ANALYSIS: STATISTICAL ALCHEMY FOR THE 21ST CENTURY. J Clin Epidemiol. UK, 1995 Jan; 48(1):71-9.

Moayyedi P. Meta-analysis: Can we mix apples and oranges? Am J Gastroenterol. Boston, 2004 Dec; 99(12):2297-301.