adecuación de la evaluación de las tecnologías sanitarias

Gest y Eval Cost Sanit2012:13(3):425-40 425

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

Adecuación de la evaluación de las tecnologíassanitarias a los ciclos tecnológicos

Amate Blanco JM, Bouza Álvarez C, López Cuadrado T, Saz Parkinson Z, Palma Ruiz MAgencia de Evaluación de Tecnologías Sanitarias. Instituto de Salud Carlos III. Madrid.

Dirección para correspondiencia: [email protected]

Resumen

Antecedentes: Debido a la creciente complejidad de las tecnologías sanitarias ysus implicaciones sanitarias, organizativas, sociales, éticas y económicas, lasdecisiones de política asistencial imponen un “manejo de la incertidumbre”para el que se promueven minuciosos procedimientos de evaluación post-com-petitiva que ofrezcan a Autoridades y gestores, información ágil y suficiente parano obstaculizar la innovación y mejora asistencial ni a la financiación de lasempresas proveedoras.

Métodos: Se comparan dos regímenes distintos de evaluación: exhaustiva yabreviada, no para valorar modelos de decisión, sino los modelos de informa-ción que sustentan la decisión. Se ha desarrollado una metodología originalbasada en el diseño de un instrumento de medida específico (30 ítems en 7dominios), que permita la valoración relativa de la información obtenidamediante ambos regímenes de evaluación y ulterior análisis secuencial por dife-rencias de pares.

De izquierda a derecha: Teresa López Cuadrado, José María Amate Blanco, Zuleika Saz Parkinsony Matilde Palma Ruiz.

Gest y Eval Cost Sanit2012:13(3):425-40

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

426

Resultados: Los Informes Exhaustivos muestran sensibilidad es ligeramentesuperior a los Abreviados, en aspectos cualitativos de la información (descripcio-nes generales de la tecnología y condiciones clínicas), pero ambos se equilibranal valorar aspectos organizativos, económicos, éticos, jurídicos; o explorar incer-tidumbres críticas.

Conclusiones: La metodología empleada resulta válida para comparar informesde evaluación en ausencia de gold standard; identificar restricciones a la evalua-ción de una tecnología sanitaria y, determinar mecanismos de evaluación alter-nativos que permitan superarlas y acelerar el proceso evaluador. Ambos tipos deInformes de Evaluación, abreviados y exhaustivos, pueden ofrecer similar infor-mación sobre la que sustentar las decisiones sobre Ordenación de las Prestacio-nes Sanitarias, con suficiente soporte científico.

Palabras clave: Evaluación de tecnologías sanitarias, Teoría de organizaciones,Toma de decisiones, Prestaciones sanitarias, Políticas sanitarias.

Adjustment of Health Technology Assessment to the technological cycles

Abstract

Background: The increasing complexity of health technologies and their implica-tion in not only the health field, but also organisational, social, ethical and eco-nomic areas, determines that decisions on healthcare policies must be an exer-cise of “uncertainty management”. To do this, thorough post-competitiveevaluation procedures are promoted, which must offer health Authorities andmanagers speedy and sufficient information, without raising obstacles to innova-tion and healthcare improvement, nor to the funding of the supplier companies.

Methods: Two different evaluation processes are compared: exhaustive and rap-id. The objective is not to evaluate the decision models, but the informationmodels which support the decision itself. An original methodology wasdesigned based on the creation of a specific measurement instrument (30 itemsdistributed in 7 domains), which will allow a relative assessment of the informa-tion obtained using both evaluation methods followed by a sequential paireddifference analysis.

Results: The sensitivity of Exhaustive Reports is slightly greater to Rapid reports, inqualitative aspects of the information (general description of the technology understudy and clinical conditions), but both are balanced when assessing organization-al, economic, ethical and legal aspects; or when exploring critical uncertainties.

Conclusions: The methodology used is valid to compare assessment reports inthe absence of a gold standard, identifying restrictions to health technologyassessment and determining alternative assessment mechanisms to overcomethese and accelerate the evaluation process. Both types of Assessment Reports,rapid and exhaustive, can offer similar information on which to base decisionsregarding the Benefits Package, with sufficient scientific support.

Key words: Health technology assessment, Organisational theory, Decision mak-ing, Health benefits, Health policies.


Introducción

El desarrollo de la ciencia moderna yla investigación sistemática al amparode la revolución industrial, ha permiti-do a la medicina beneficiarse de titá-nicos esfuerzos individuales e indus-triales, orientados a dar solución a losproblemas más acuciantes de cadamomento. Las grandes conquistasque, por poner un ejemplo, han per-mitido que la mortalidad causada porlas enfermedades infecciosas en lospaíses desarrollados se redujera del37% al 1,5% a lo largo del siglo XX, sehan producido bajo el signo de lainvestigación.

Sin embargo, desde finales del pasa-do siglo las iniciativas en pro del des-arrollo sostenible, es decir, produc-ción y creación de empleo, hanperfilado la cultura de la innovación,que representa un cambio cualitativoen la gestión social del conocimiento,en la medida en que comprende tan-to la generación de conocimiento tec-nológico como cualquiera de sus apli-caciones que, en definitiva, son lasque propician el desarrollo industrial,

económico y social. Este tránsito de lacultura de la investigación a la de lainnovación es mucho más profundoque la simple modificación terminoló-gica1, pues tal diferencia semánticarefleja una redefinición absoluta defines y medios.

En este contexto los ciclos tecnológi-cos han experimentado una progresi-va aceleración que acelera igualmen-te los procesos de decisión. Porcuanto respecta al desarrollo de lastecnologías sanitarias, resulta prover-bial la evolución que se representa enla Figura 1, inspirada en la clásica grá-fica de Rogers2 que, aunque concebi-da en el ámbito agronómico, se haasumido en la mayor parte de los sec-tores tecnológicos.

En la primera fase, representadacomo experimental, la evaluación tec-nológica se aplica sobre los resulta-dos de la investigación básica, preclí-nica o clínica en sus fases I a III; esdecir cuando la tecnología aún no haaccedido al mercado, por lo que seencuentra en un estadio precompeti-tivo y, consecuentemente es objeto Am

ate

Blan

co J

M, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

CSaturación expectativas

Evaluación postcompetitiva

Evaluación precompetitiva

EXPERIMENTALSobre investigación:

– Básica– Preclínica– Clínica fases I a III

USO CLÍNICO COMÚNSobre investigación:

– Clínica fase IV– Económica– Organizativa– Social...

DECADENCIASobre investigación:

– Por obsolescencia– Por desplazamiento– Por nuevas alternativas

AutorizaciónComercialización

(o aceptación)

Figura 1. Ciclo de desarrollo de las tecnologías sanitarias


de una evaluación pre-competitivaque se aplica principalmente sobre lasque preferimos denominar “tecnolo-gías utensilio”, como son los medica-mentos o los productos sanitarios, afin de valorar si el producto en cues-tión satisface los requisitos mínimosde calidad, seguridad y eficacia clíni-cas que se le exigen para acceder almercado, pero no entra en los aspec-tos cuantitativos que permitieran asig-narle un cierto orden de prioridad encomparación con otras intervencionesalternativas en uso.

Por el contrario, en las fases segunday tercera, uso clínico común y deca-dencia, la tecnología ya ha accedidoal mercado tras acreditar calidad,seguridad y eficacia; se ha incorpora-do a la práctica clínica e integrado enla lex artis; y en términos de efectivi-dad es éticamente tan elegible comocualquier otra alternativa con la quecompita en la misma situación. Enconsecuencia se encuentra en unestadio competitivo y por lo tanto suselección será objeto de una evalua-ción competitiva o postcompetitiva,orientada a definir las ventajas dedicha tecnología sobre sus alternati-vas en términos de eficacia relativa, lacual puede venir determinada por:

– Resultados clínicos, tales comotasas de reingreso, complicacioneso efectos adversos.

– Económicos, como impacto presu-puestario, coste-efectividad o, sies caso, coste-utilidad.

– Organizativos, como curva deaprendizaje de la tecnología encuestión o requisitos de los servi-cios que la apliquen.

– Sociales, como dirimir entre legíti-mos intereses o preferencias deorganizaciones de pacientes, pro-fesionales científicas o industriales.

Todo ello se encuadra en los nuevosparadigmas de la evaluación que tras-cienden los clásicos objetivos de cali-dad, seguridad y eficacia, para fijarseen los de reembolso, entendido en susentido más amplio, que adquiereespecial complejidad en los sistemassanitarios que, como el español, sonpúblicos, universales y financiados porpresupuestos generales del Estado3.

Finalmente, la fase de decadencia dela tecnología, es una simple continua-ción de la de uso clínico común, en laque frecuentemente los costes se hanreducido por razones de economía deescala y la evaluación debe orientarsea comprobar su vigencia u obsolescen-cia, así como si procede su reemplaza-miento por las nuevas alternativas tec-nológicas que acceden al mercado.

Este proceso de difusión de las inno-vaciones tecnológicas que, convariantes propias de cada sector, escomún en todos los ámbitos de la téc-nica, adquiere singular complejidaden un sector tan estrictamente inter-venido y multifactorial como es elsanitario y así adquiere singular vigen-cia la afirmación del primer directorde la Agency for Healthcare Researchand Quality (AHRQ) de EE. UU. en elsentido de que la evaluación debíainnovar su propia metodología al parque se innovaba la de las propias tec-nologías a evaluar4.

La incertidumbre que hasta hacepocas décadas se inscribía esencial-mente en el contexto de las decisio-nes clínicas, se ha extendido a laspolíticas al plantear interrogantes dela naturaleza más variada, tales como:la cuantificación del beneficio efectivode buena parte de las intervencionessanitarias; la prioridad asistencial quese atribuya a diversos colectivos; losreajustes organizativos que, a talesefectos, requiera el sistema asisten-cial; la repercusión sobre la investiga-

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

428


ción y el desarrollo industrial; las dis-cusiones éticas y jurídicas suscitadaspor las crecientes posibilidades deintervención sanitaria; y las previsio-nes económicas que permitan el sos-tenimiento del sistema sanitario(Amate JM, González Enríquez J,Sarría A, Martín-Moreno JM. Evalua-ción de las tecnologías sanitarias yordenación de las prestaciones en lossistemas sociales avanzados. ANALESSis San Navarra. 2002;25(2)). Dada laalarmante actualidad de este últimoaspecto, no podemos sustraernosaquí a recordar un concepto originalsobre el que hemos venido advirtien-do en cuantos foros se nos convocabadurante los últimos años; tal es el dela “inequidad longitudinal”; cual seríala experimentada en el tiempo al res-tringir a un paciente de hoy la cober-tura prestacional que hasta ahora sevenía prestando con desmesuradaprodigalidad a otro paciente en lasmismas condiciones clínicas, introdu-ciendo graves distorsiones en el Siste-ma Nacional de Salud (SNS).

En la medida en que la administraciónsanitaria ha ido ganando compleji-dad, se ha ido estudiando la aplicabi-lidad al sector de diferentes modelosde decisión y, en general de gestión,generadas en otros sectores como elmilitar o el industrial, con fructíferaexperiencia en la realización de pro-yectos con recursos y plazos limita-dos, mediante la coordinación deactividades desarrolladas por múlti-ples contratistas, atendiendo a unadoble limitación:

– La inexistencia de un patrón dereferencia, gold standard, que per-mita evaluar la validez de unmodelo.

– La sincronía de modelo y decisión,pues la validez de los modelos dedecisión se cifra en su utilidad enel momento de decidir, más que

en su capacidad predictiva desituaciones futuras, lo cual nostrasladaría a otra esfera de deci-sión estratégica Así, la decisiónque ha de dar respuesta a los pro-blemas planteados en un momen-to “t” debe responder a losmedios y la información disponi-bles en tal momento “t”, puestoque diferirla a un momento ulterior“t+n” correspondería al estudiode prospectiva para un plan estra-tégico de futuro, pero no para sus-tentar las decisiones del presente5.

En suma, como recientemente hanseñalado los Institutes of Medicine deEE. UU. hemos de aprender a “actuarcon la mejor evidencia disponible másque sobre la mejor evidencia posi-ble”6.

En síntesis, esta multifactorialidadplantea una nueva dimensión evalua-dora que trasciende la clásica esferade la efectividad clínica, para pasar aafectar todos los planos de la convi-vencia colectiva y, en consecuencia,ofrecer elementos objetivos para laconfiguración de las políticas sanita-rias 7. Se suscita entonces la que veni-mos en denominar “Evaluación post-competitiva de las TecnologíasSanitarias”, en la que cobra importan-cia un enfoque interactivo que, másque a la exhaustividad académica, seorienta a identificar rápidamente lasincertidumbres que suscita la tecnolo-gía en estudio y definir la informaciónnecesaria para despejarlas, propician-do una introducción ordenada de latecnología en el sistema asistencial,sobre la que se pueda superponer suevaluación con objeto de combinar elconocimiento de los resultados de laintervención en estudio con el de losprogramas y mecanismos realesmediante los que se lleva a la prácti-ca. Se emiten en tales casos, losdenominados “informes breves” osucintos8,9, de creciente interés entre

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C


los gestores sanitarios que se ven enla necesidad de responder rápida-mente a la oferta tecnológica.

A su vez, en la medida en que las polí-ticas públicas se materializan en nor-mas jurídicas, programas y, en gene-ral, en resoluciones administrativas,han de formularse a través de proce-sos de decisión animados por la rela-ción entre los objetivos de gobierno ylos medios para alcanzarlos. En talescenario no cabe la comparacióncontrolada de varios modelos dedecisión para seleccionar el más con-veniente; y no siendo así, la eleccióndel tipo de análisis que correspondie-ra en cada caso habría de tomar enconsideración tanto las limitacionesde la información disponible, como lapropia naturaleza política del proce-so, que puede exigir conciliar prefe-rencias enfrentadas y defendidas des-de muy diversos sectores. Enconsecuencia ninguno de los mode-los disponibles podría sustituir laperspicacia y el criterio del responsa-ble de la decisión.

Así, ante las limitaciones existentes,relativas tanto a la información comoa la metodología pertinente en cadaámbito, la decisión ha de sustentarseen una combinación de:

– La información más completa queexista en cada momento sobre eltema en conflicto.

– La naturaleza de la incertidumbreque se requiere despejar.

– La prioridad de intereses y valoresque se pretenden satisfacer.

– La disponibilidad de medios paraejecutar las decisiones pertinentes.

Que, en todo caso, debe asociarexactitud y agilidad para responderen plazos acordes con los impactos

sanitario, económico e industrial de latecnología en cuestión.

Atendiendo a esto, nuestra experien-cia nos indica que gran parte de lasincertidumbres críticas que abrumanal decisor se pueden despejarmediante los citados informes abre-viados o sucintos. En consecuencia, elobjetivo del presente trabajo ha sidocomparar la información proporciona-da por informes de evaluación abre-viados frente a la de los exhaustivos yverificar si puede ser suficiente parasustentar decisiones administrativasen materia de Ordenación de las Pres-taciones Sanitarias.

Métodos

Hemos seguido una metodologíadiseñada específicamente para el pre-sente proyecto basada en que, por suoriginalidad, ha sido presentada elpasado año en el VII Congreso Anualde Health Technology Aassessmentinternational, basada en las técnicasde análisis secuencial para diferenciasde pares propuestas por Wald10 yArmitage11,12. Así, se ha diseñado unInstrumento de Medida (IM) que per-mita valorar la información de cadainforme, para pasar después a la com-paración intrapares, con su recíprocoexhaustivo o abreviado, y posterior-mente a la interpares sobre cuyasdiferencias se aplica el análisissecuencial. En consecuencia, la meto-dología aplicada ha sido la siguiente:

1. Diseño del Instrumento de medida(IM) constituido por un cuestiona-rio de 30 ítems distribuidos en seisdominios relativos a las distintasesferas de impacto sobre las queha de formularse la decisión: clíni-ca, sanitaria, ética, social, organiza-tiva y económica. Dicho instrumen-to se consigna en la primeracolumna de la Tabla 1.

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

430


Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

Dominios y Preguntas Calificación/preferencia

0-1-2-3 A-E-= *

Sobre la identificación de la tecnología objeto de estudio

¿Se comenta su grado de novedad?

¿Se comenta su grado de implantación en los sistemas sanitariosavanzados?

¿Se comenta su grado de implantación en el SNS?

¿Se describe con detalle suficiente para que el facultativo noespecialista interprete correctamente el Informe?¿Se comentan con suficiente claridad las diferencias que presentafrente a las alternativas con que compite?¿Se comenta si existen variantes técnicas que puedan diferir sensi-blemente en sus resultados?¿Se comenta si existen variantes en su aplicación clínica que pue-dan diferir sensiblemente en sus resultados?

Sobre la aplicación de la tecnología objeto de estudio

¿Se comenta si requiere un adiestramiento específico de los profe-sionales que la aplican?¿Se comenta si se presumen diferencias en los resultados segúnlos especialistas que la apliquen?¿Se comenta si plantea requisitos organizativos específicos, talescomo coordinación de diferentes servicios o diferentes nivelesasistenciales¿Se comenta si plantea requisitos materiales complementarios conlos que no suela contar la institución?¿Se comenta si la técnica en cuestión es alternativa excluyente delas otras en uso o se podría superponer a éstas sobre los mismospacientes?

Sobre la condición a tratar

¿Se define claramente la indicación de la técnica en estudio?

¿Se aporta información epidemiológica general basada en datosde otros países o en estimaciones someras?¿Se aporta información epidemiológica nacional basada en datosdel SNS o en estimaciones sobre datos locales?

¿Se formula alguna estimación sobre la “carga de la enfermedad” **

¿Se comenta cuales son los tratamientos actualmente en uso parala misma indicación con los que compite la técnica en estudio?¿Se comentan las posibilidades de estratificación de la poblaciónbeneficiaria de la técnica en cuestión, según diferentes resultados?¿Se discuten claramente los criterios de inclusión y exclusión depacientes susceptibles de tratamiento?

Sobre el impacto económico

¿Se formula alguna consideración sobre el coste económico deinstaurar la técnica en cuestión?

¿Se efectúa alguna aproximación al análisis de minimización de costes?

¿Se efectúa alguna aproximación al análisis de coste-efectividad?

¿Se efectúa alguna aproximación al análisis de coste-utilidad?

¿Se formula alguna consideración de coste-oportunidad?

Tabla 1. Síntesis de Instrumento de Medida y fichas de calificación

Continúa


2. Estudio de fiabilidad del IMmediante consenso inter-jueces. ElIM diseñado en el apartado ante-rior, se somete a un panel com-puesto por tres jueces selecciona-dos evaluadores expertos yfamiliarizadas con la EvaluaciónCompetitiva que se viene practi-cando en la Agencia de Evaluaciónde Tecnologías Sanitarias (AETS).A cada uno de los jueces se le hanpresentado tres pares de informesque ha comparado con el citadoIM. Con los resultados de esa valo-ración “piloto” el panel ha revisa-do mediante consenso los ítemsdel IM con objeto de asegurar lareplicabilidad de los datos.

3. Elaboración de pares de Informes.Los Informes de Evaluación sobre

los que se ha aplicado el análisisobjeto del presente Proyecto for-man parte de los que ha venidodesarrollando la AETS, sea de ofi-cio o a de demanda; si bien se hanrealizado por duplicado bajo cadauna de las dos modalidades enestudio: exhaustiva o abreviada.

La solicitud para cada uno de losinformes de cada par se ha formu-lado en términos idénticos, coniguales título y objetivos, y solo havariado en:

– Los plazos fijados para la entre-ga del informe en cuestión, dedonde resultará que uno seráabreviado (plazo máximo detres meses) y el otro exhaustivo(plazo máximo de un año);

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

432

Dominios y Preguntas Calificación/preferencia

0-1-2-3 A-E-= *

Sobre el impacto jurídico y ético

La aplicación de la técnica en cuestión ¿Plantea alguna necesidadde adecuación del ordenamiento jurídico?***

¿Se informa si la técnica en cuestión ha suscitado debate ético?

¿Se informa si la técnica en cuestión ha sido objeto de reivindica-ción por algún tipo de grupo social, tal como: sociedades profe-sionales; asociaciones de afectados; agentes empresariales;medios de comunicaciónSobre las incertidumbres subsistentes y la metodología delinforme¿Se identifican incertidumbres críticas en cualquiera de los ámbi-tos anteriores, que limiten sensiblemente las decisiones funda-mentales sobre la aplicación de la técnica?¿Se señalan directrices concretas y viables, para despejar talesincertidumbres?La metodología aplicada a la elaboración del informe ¿es suficien-temente explicita para permitir replicarlo?

Tabla 1. Síntesis de Instrumento de Medida y fichas de calificación (cont.)

*Las indicaciones A y E corresponden a la preferencia por el informe Abreviado, el Exhaustivo o falta de preferen-cia nítida (=).**Concepto relativo a la aproximación cuantitativa al deterioro de la salud o la funcionalidad que determina lacondición en cuestión, así: datos de mortalidad, discapacidad, años de vida perdidos, jornadas laborales perdi-das, calidad de vida…***Con independencia del estrictamente relativo a las autorizaciones de comercialización, en su caso, o a la orde-nación (catálogo) de las prestaciones del SNS.


– La metodología utilizada parala elaboración de cada informe:predefinida en los informesexhaustivos y discrecional delos autores, en los abreviados.

Uno de los informes de cada par(abreviado o exhaustivo) ha sidorealizado por miembros del equi-po investigador u otros miembrosde la Agencia de Evaluación deTecnologías Sanitarias (AETS); elinforme complementario (exhaus-tivo o abreviado, mayoritariamenteestos últimos) se elabora por eva-luadores externos familiarizadoscon la actividad evaluadora de laAETS.

Una vez que el equipo investiga-dor disponía de los informesexhaustivos, se encargaban losabreviados correspondientes fijan-do los mismos objetivos y límitesde fecha a las búsquedas docu-mentales que habían consignadoaquellos, con objeto de queambos hubieran de responder a lamisma “pregunta de evaluación”disponiendo de las mismas posibi-lidades de información. Con obje-to de evitar influencias, los autoresde cada tipo de informes han tra-bajado independientemente,según sus propios métodos eignorando los trabajos del otroequipo.

4. Comparación de los informesintrapares, mediante el IM. En unasiguiente fase, se procede a lavaloración de la información relati-va a cada ítem que ofrece cadainforme, en una escala de 0 a 3. Apartir de tales calificaciones seanalizan las diferencias en las pun-tuaciones obtenidas en cadadominio por los diferentes infor-mes de evaluación. Posteriormen-te, en una segunda revisión, losjueces proceden a comparar los

dos elementos de cada par, para loque analizan las calificaciones decada informe y dirimen sobre losítems dudosos. Posteriormente seregistra la variante de informe que,en virtud de su calificación, ofrecemejor calificación en cada ítem.

5. Comparación Interpares medianteanálisis secuencial. Se ha aplicadoel Análisis Secuencial de Diferen-cias de Pares por resultar adecua-do en estudios con un reducidonúmero de observaciones que deotro modo, alcanzarían costesinasequibles. A tal efecto, se hautilizado un plan cerrado, RST,basado en una regla de cese defi-nida por los test de significaciónrepetida, con un nivel total de sig-nificación 2α > 0,05 y una potenciade 1-� > 0,95 frente a la hipótesisnula (Armitage P. Sequential Medi-cal Trials. Blackwell Scientific Publi-cations. Oxford; 1975). Las diferen-cias inter-pares se han registradoutilizando la plantilla propuestapor Wald y Armitage para planescerrados (RST) y n = 16, que sepresenta en las Figuras 2 y 3 (retí-cula sobre la que se trazan los grá-ficos); para ello se ha realizado unaselección de los pares siguiendoun orden aleatorio para el procesode comparación y representación.

En este diagrama el eje de abscisasrepresenta el número de informesregistrado en cualquier estadio mien-tras que el de ordenadas representala diferencia entre los números depreferencia por cada una de lasopciones: A (abreviados) y E (exhausti-vos). Los límites se obtienen a partirde la distribución binomial. El cursode cualquier ensayo se refleja en ungráfico en zigzag que se desplaza unaunidad a la derecha y hacia arriba,dirección noreste (NE), por cada pre-ferencia “Abreviado” y una unidad ala derecha y hacia abajo, dirección

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C


Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

434

16141210 8642

10

8

6

4

2

–2

–4

–6

–8

–10

Sin preferenciadefinida

Preferencia abreviados

Preferencia exhaustivos


Figura 2. Plantilla de Armitage para planes cerrados (RST) n = 16

(La plantilla virgen no incluye los gráficos en líneas discontinuas correspondientes

a las diferencias de pares descritas al pie)

Figura 3. Ejemplo del efecto de la agregación de respuestas indiferenciadas

Ítems representados:1.2 ¿Se comenta su grado de implantación en los sistemas sanitarios avanzados?1.4 ¿Se describe con detalle suficiente para que el facultativo no especialista interprete correctamente el Infor-

me?

16141210 8642

10

8

6

4

2

–2

–4

–6

–8

–10


Preferencia abreviados

Preferencia exhaustivos


1.7 ¿Se comenta si existen variantes en su aplicación clínica que puedan diferir sensiblemente en sus resultados?Gráfico de comparación directa de diferencias netas, omitiendo equivalencias:Comparación agregada, considerando las respuestas equivalentes favorables a los formatos abreviados:


sureste (SE) por cada preferencia“Exhaustivo”.

La respuesta en cada ítem se va arepresentar en una gráfica diferente, yen ellas se irán marcando las compa-raciones favorables a la opción abre-viada o la exhaustiva. Para ello se vantomando lo datos de comparación detoda la serie de pares para cada ítem;se parte de la casilla de origen ysegún la diferencia sea favorable auno u otro tipo de informe se marcarála casilla inmediata en dirección NE oSE; y en caso de no apreciarse dife-rencias no se marcará ninguna. Seoperará del mismo modo con la com-paración del siguiente par y así sucesi-vamente se desplazará el gráfico enzigzag por la cuadrícula hasta alcanzaralguno de los límites: superior, inferioro intermedios, lo que indicará respec-tivamente preferencia por la categoríade abreviados, la de exhaustivos oindiferencia entre ambas. En conse-cuencia, se generan 30 gráficos, unopor cada ítem del IM, comparando lainformación que ofrece al respectocada informe de cada par.

6. Agregación de las respuestas sinpreferencia definida. En caso de noregistrarse preferencia neta por cual-quiera de las dos opciones primarias,se entiende que la información quesobre ese ítem facilitan ambos tiposde informes es equivalente, por loque hemos procedido a repetir elanálisis agregando sucesivamente lasrespuestas de identidad a cada unade las dos preferencia posibles, paraoperar según lo expresado en el apar-tado anterior. Tras este ajuste seobtienen dos nuevas series de resulta-dos, correspondiente cada una deellas a la agregación de las respuestasde equivalencia a cada una de las dosmodalidades de informes: abreviadosy exhaustivos.

Resultados

Conforme con la metodología descri-ta, se ha procedido a la elaboraciónde 19 pares de informes de evalua-ción de otras tantas tecnologías sani-tarias, lo que ha supuesto la redacciónde un total de 38 informes: 19mediante procedimiento exhaustivo yotros 19 mediante procedimientoabreviado.

Tres de estos pares se utilizaron parael estudio de fiabilidad del IM, hastaadoptar los modelos de cuestionariorequeridos para la calificación de losinformes y consecuentes comparacio-nes intra e interpares, mientras que los16 restantes se destinaron al estudioestadístico mediante análisis secuen-cial RST para una muestra de 16.

Tras aleatorizar los 16 estudios restan-tes, quedan en el siguiente orden decomparación:

1.Rehabilitación cardiaca y respirato-ria.

2.Protocolo del carcinoma hepato-celular.

3.Demanda y costes de las ecografí-as en la atención primaria.

4.Cáncer hepatocelular.

5.Stents metálicos espandibles.

6.Cáncer de próstata: cribado ydiagnóstico.

7.Terapia génica.

8.Desfibriladores automáticos.

9.Revisión sistemática sobre la efica-cia en parámetros globales: segu-ridad y coste-efectividad de losfármacos antipsicóticos atípicos enlos tratamientos con esquizofrenia.

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C


10.Barniz de flúor.

11.Laringuectomía total y parcial.

12.Dolor óseo.

13.Cáncer de cuello.

14.Ablación con radiofrecuencia delcarcinoma hepatocelular.

15.Leucemia mieloidea.

16.Tomografía por emisión de posi-trones (PET) en el diagnóstico decarcinoma colorrectal.

Efectuadas las comparaciones inter-pares para los 30 ítems del IM, surepresentación gráfica sobre la planti-lla adoptada muestra si existe prefe-rencia definida en alguna modalidado no. A título de ejemplo, dado que laextensión del presente artículo nopermite la representación de todosellos, se presentan fundidos excep-cionalmente en un mismo gráfico lostrazados correspondientes a dos delos ítems (1.2 y 1.4) en la Figura 2, enla que puede apreciarse cómo secumple la regla de cese, en esteejemplo, con resultados: bien favora-bles al formato exhaustivo (1.2) o biensin preferencia definida (1.4) en ningu-no de ellos. Una síntesis estadísticadescriptiva de los resultados se pre-senta en la Tabla 2.

Según lo expuesto en el punto 5 delapartado de Métodos, las respuestasque no indican preferencia definidapodrían considerarse indistintamentecomo preferencias netas por cual-quiera de los dos formatos: abreviadoo exhaustivo, puesto que la informa-ción que ofrecen es indistinta paracada uno de ellos. En la Figura 3 semuestra la modificación experimenta-da, a título de ejemplo en el ítem 1.7,tras este proceso de agregación.

Este segundo análisis nos muestraque la opción preferente siempre esaquella (abreviados o exhaustivos) a laque se han agregado las respuestasde identidad. Se infiere así que, anteinformación equivalente, cabrá aplicarotros criterios de prioridad que puedaestablecer subsidiariamente el deci-sor, tales como: “blindaje científico” oirrefutabilidad académica; rapidez enla respuesta; o economía de la evalua-ción.

Discusión y conclusiones

El creciente interés que vienen des-pertando los procedimientos abrevia-dos de evaluación ha suscitado sucomparación con los procedimientosexhaustivos, si bien hasta la fecha solose había estudiado el grado de acep-tación y utilización por los decisoresde ambos tipos de informes, no suscontenidos. Por lo que sabemos, estees el primer estudio que propone unametodología viable y adecuada pararealizar este tipo de comparaciones.En este sentido hemos de significarque el estudio que aquí se presenta,compara entre sí los informes elabo-rados con dos metodologías distintas;no cada uno de ellos contra un goldstandard que asumimos inexistente,pues en caso de que existiera estesería el referente de comparación yno sería precisa la evaluación compa-rativa de ambos procedimientos quese plantea como un ejercicio demanejo de incertidumbres, no de“cuantificación” de las mismas.

A causa de la originalidad del estudiopresentado, la literatura biomédica noofrecía antecedentes metodológicosque nos resultaran de aplicación, porlo que hemos desarrollado un méto-do propio diseñado para aplicar lastécnicas de análisis secuencial paradiferencias de pares propuestas porWald10 y Armitage11,12 a partir de 1945

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

436


y que durante décadas han sidoampliamente utilizadas en la investi-gación farmacéutica, en el cribadoexperimental de nuevas moléculas,para seleccionarlas por su viabilidadde desarrollo como especialidadesfarmacéuticas.

Ante todo hemos de insistir una vezmás, que el procedimiento abreviadoque aquí se estudia se refiere exclusi-vamente a la evaluación competitiva,es decir a la practicada una vez que latecnología está disponible en el mer-cado y, por lo tanto, es tan elegiblecomo cualquiera de sus alternativaspresentes en la lex artis. En ningúncaso se postula como procedimientode evaluación precompetitiva parafundamentar el acceso al mercado dela tecnología, lo cual requeriría satisfa-cer otros condicionantes éticos queexigirían plantear otro tipo de estudio.

Por cuanto respecta a la composiciónde los pares de informes objeto decomparación, se optó por que uno delos informes de cada par (abreviado oexhaustivo) fuera realizado por miem-bros del equipo investigador u otrosmiembros de la Agencia de Evalua-ción de Tecnologías Sanitarias (AETS)y el informe complementario (exhaus-tivo o abreviado, mayoritariamenteestos últimos) se elaborara por eva-luadores externos. De esta manera, alexternalizarse la realización de almenos uno de los informes de cadapar, se evitaban las interferencias queinevitablemente se hubieran produci-do si ambos se hubieran realizado porlos investigadores de la AETS.

En su mayoría, los informes exhausti-vos se han tomado de las convocato-rias públicas de ETES, realizadas porel ISCIII en el marco del Plan Nacionalde Investigación Biomédica, lo queacredita la selección del proyecto porel rigor de su metodología y la cualifi-cación del equipo investigador.

Deliberadamente se han selecciona-do informes sobre tecnologías muydiversas con objeto de que la compa-ración de procedimientos, objetivodel proyecto, no quedara sesgada porlas características o incertidumbrespropias de una tecnología concretaen un determinado momento, sinoque respondiera al amplio espectrotemático de solicitudes de evaluaciónque pueden llegar a la Agencia y, porlo tanto, contribuyeran a definir elperfil de toda una actividad evaluado-ra.

Las comparaciones intra- e interparesdescritas en los puntos 3 y 4 del apar-tado de Métodos se registran enfichas específicas que, por la inevita-ble limitación de espacio no podemosinsertar aquí. Sustancialmente vendrí-an a reproducir el modelo de la fichade resultados presentado en la tabla1, aunque al ser individuales paracada par de informes, no figurarían las16 columnas de resultado de la com-paración, sino las correspondientes ala puntuación a la calificación diferen-cial.

pero sustituyendo las 16 columnasrelativas al resultado de cada par,tabla en el presente artículo lashemos condensado en las columnas 2y 3 de la tabla 1 como único modeloilustrativo.

Se ha recurrido a la agregación de lasrespuestas sin preferencia definidaporque este método de análisis estádiseñado para identificar diferencias,por lo que solo registra las respuestasque detectan desigualdad entre loselementos comparados, pero noaquellas otras en que se aprecia equi-valencia que, por lo tanto no se repre-sentarían en el gráfico. Sin embargo ydado que estas no son pérdidas (mis-sing) sino respuestas netas, se daría lasituación paradójica de que al aumen-tar su número y consecuentemente la

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C


consistencia de la respuesta, se impe-diría aplicar la regla de cese a cual-quiera de las otras dos posibilidades.Es decir, en el supuesto de que enningún ítem se hubiese consignadopreferencia alguna y en todos ellos seregistraran respuestas de igualdad,no cabría trazar gráfico alguno y, sinembargo se estaría obteniendo unresultado nítido de equivalencia.

De este modo, ante respuestas de“efectividad equivalente” de ambosinformes, la elección de uno u otroformato de estudio vendría dictadapor los objetivos y necesidades deldestinatario o “usuario” del informe,según cual de los criterios prevalezcaen la decisión: irrefutabilidad acadé-mica o rapidez en la respuesta.

Según esto, si es prioritaria la agilidaden la decisión, cabría considerar quelas respuestas sin preferencia definidafueran favorables a los informes deformato abreviado (A), con lo que surepresentación gráfica evolucionaríaen la mayoría de los ítems hacia elresultado indiferente, “sin preferenciadefinida”, como se ilustra en el ejem-plo de la Figura 3, relativa al ítem 1.7,que refleja cómo el resultado inicialde preferencia por el formato exhaus-tivo pasa a convertirse en “sin prefe-rencia definida” cuando se practica laagregación de respuestas indicada enel punto 5 del apartado Métodos.

Análogamente, las respuestas deigualdad, o sin preferencia definida,se podrían considerar equivalentes alas de preferencia por el formatoexhaustivo (E). En este caso la tablade respuestas mostraría un predomi-nio absoluto de este procedimientode elaboración; sin embargo estaopción nos revela que se habría aco-metido una forma de estudio muchomás lenta y costosa para obtener lamisma información que nos propor-ciona el procedimiento abreviado.

Según cuanto antecede y atendiendoal valor de la información proporcio-nada, se aprecia que ninguno de losdos tipos de Informes en estudioalcanza precedencia absoluta en nin-guno de los seis dominios que inte-gran el IM, pese a la superioridad quemuestran los Informes Exhaustivos en7 ítems de los 19 que integran losdominios de descripción genérica,relativos a: 1) identificación de la tec-nología objeto de estudio; 2) aplica-ción de la tecnología objeto de estu-dio y 3) condición a tratar.

Sin embargo las restantes respuestasde “identidad” o “equivalencia” sonsingularmente relevantes en nuestroestudio, puesto que el objetivo delmismo es saber si una evaluaciónabreviada, realizada con rigor meto-dológico por evaluadores experimen-tados, puede ofrecer información tanválida como otra exhaustiva para sus-tentar las decisiones de los gestores.

Los resultados del estudio que se pre-senta sumariamente en el presenteartículo, nos permiten concluir que:

1. La relación de ítems que constitu-yen el IM constituyen un cuestio-nario adecuado para seleccionarentre ellos los que se deban for-mular en la pregunta de evalua-ción.

2. La elección de uno u otro formatode evaluación podrá supeditarse alas necesidades que haya de satis-facer el decisor o las prioridades alas que debe atender en cadacaso:

– Síntesis de información abun-dante y heterogénea (exhausti-vo).

– Irrefutabilidad del informe aefectos arbitrales (exhaustivo).

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

438


– Rapidez en la respuesta y eco-nomía de medios (abreviado)

– Detección rápida de carencias deinformación crítica (abreviado).

3. Visto que las insuficiencias deinformación que resulten críticaspara el decisor pueden detectarsepor igual con ambos formatos deinforme, su identificación rápidamediante informes abreviados,constituirá una herramienta eficazpara arbitrar otros tipos de accio-nes que permitan subsanar talesincertidumbres sin dilación ni que-branto a pacientes ni agentes delSNS, entre las que caben iniciati-vas como:

– Cooperación con los promoto-res de la tecnología

– Comunicación con los clínicosque puedan ofrecer experien-cias preliminares en el SNS.

– Adopción de mecanismos ági-les para promover investigacio-nes evaluativas finalistas, conobjetivos bien definidos y enrégimen de comunicación flui-da entre investigadores y desti-natarios de los resultados.

– Registros nacionales de casos.

– Usos tutelados en sus diversasvariantes.

Agradecimientos

Los autores expresan su agradeci-miento a D. Raimundo Alcázar Alcázary D. Andrés Fernández Ramos por sucontinua ayuda en la gestión docu-mental. El presente estudio ha sidoparcialmente financiado por el PlanNacional de I+D+I, mediante el Pro-yecto PI08/90612.

Bibliografía

1.Comisión de las ComunidadesEuropeas. Comunicación de laComisión al Consejo y al Parla-mento Europeo. La innovación enuna economía del conocimiento.Bruselas, 20.9.2000. Com(2000) 567final.

2.Rogers EM. Diffusion of Innova-tions. 4th ed. New York, NY: FreePress; 1995.

3.Eichler HG, Bloechl-Daum B, Aba-die E, Barnett D, König F, PearsonS. Relative efficacy of drugs: anemerging issue between regula-tory agencies and third-partypayers. Nat Rev Drug Discov. 2010Apr;9(4):277-91. Epub 2010 Feb 26.

4.Eisemberg JM. Ten Lessons for Evi-dence-Based Technology Asses-sment. JAMA 1999;282(19): 1865-9.

5.Mark Sculpher M, Fenwick E, Clax-ton K. Assessing Quality in Deci-sion Analytic Cost-EffectivenessModels. A Suggested Frameworkand Example of Application. Phar-macoeconomics 2000;17(5):461-77.

6.34. Inst. Med. (IOM). 2010. Brid-ging the Evidence Gap in ObesityPrevention: A Framework to InformDecision Making. Washington, DC:Natl. Acad. Press.

7.Aday LA et al. Evaluating the medi-cal care system: effectiveness, effi-ciency and equity. 2.ª ed. AnnArbor: Health AdministrationPress, 1998.

8.Brownson RC, Fielding JE, MaylahnCF. Evidence-Based Public Health:A Fundamental Concept for PublicHealth Practice. Annu. Rev. PublicHealth. 2009. 30:175-201.

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C


9.Brennan L, Castro S, Brownson RC,Claus J, Orleans CT. AcceleratingEvidence Reviews and BroadeningEvidence Standards to IdentifyEffective, Promising, and EmergingPolicy and Environmental Strate-gies for Prevention of ChildhoodObesity. Annu. Rev. Public Health.2011;32:199-223.

10.Wald A. Sequential Tests of Statis-tical Hypotheses”. The Annals of

Mathematical Statistics. 1945;16(2):117-86.

11.Armitage P (1954). Sequential testsin prophilactic an therapeutic trials.Q J Med; 23:255-74.

12.Armitage P. Sequential MedicalTrials, 2nd ed. Blackwell, Oxford;1975.

Amat

e Bl

anco

JM

, y cols.

Adec

uaci

ón d

e la

eva

luac

ión

de la

s tec

nolo

gías

sani

taria

s a lo

s cic

los t

ecno

lógi

cos

Ges

tió

n d

e la

s te

cno

log

ías

y la

s TI

C

440

adecuación de la evaluación de las tecnologías sanitarias

Documents