Z-O~I-FIL,O -

,-,-

artículo especial 3

Arch. Esp. de Urol. 51, 4 (313-316),1998

JESÚS SALINAS CASADO.

Servicio de Urolog(a. Hospital Universitario San Carlos. Universidad Complutense de .\;'Iadrid. Madrid. España.

La educación investigadora que se realiza durante el

periodo de postgraduación/MIR es mínima. Las barreraspara introducir la investigación en los programas MIRson varias:/carencia de dirección, carencia de soporte eco-

nómico, falta de interés por parte del residente, y sobretodo carencia de tiempo. El residente se ve d~sbordado

por el abrumador trabajo asistencial que existe durantesus cinco años de formación hospitalaria, pero este defec-

to no nace en este periodo de postgraduación. En el perio-

do de pregraduación la dedicación a la formación investi-gadora del estudiante es mínima. Las consecuencias deestos defectos se van a ver reflejadas en una carencia deformación básica y análisis crítico en nuestros médicos yen una disminución del número de médicos que partici-

pen en los programas de investigación en Ciencias Bio-médica. .I .

PROCESO DE INVESTIGACIÓN

El proceso fundamental d~l método experimental esconvertir una concepción a priori, basada en la intuición,en una interpretación a posteriori basada en el estudio ex-perimental de los fenómenos.

El proceso de creatividad individual se desarrolla encuatro etapas:

1) Preparación: El proceso de investigación comienzacon la lectura de todo lo publicado hasta la fecha, referen-te al tema a estudiar. Corresponde al periodo formativo.En esta fase, la recogida de referencias bibliogfáficas através de múltiples líneas de búsqueda son imprescindi-bles. El apoyo de los modernos sistemas informáticos conbases de datos on-line, en CD-ROM e Internet facilitanextraordinariamente esta labor.

2) Incuba~ión: Referente al proceso consciente e in-consciente de correlación y asociación de ideas, tanto delmaterial informativo como de la propia experiencia.

3) Hipótesis: Corresponde a la aparición de la idea crea-tiva. La preparación e incubación conducen a ella. A ve-ces esta etapa se presenta espectacularmente como unflash o iluminación. Aunque esta etapa representa la cul-minación de las etapas previas, éstas son esenciales. Sinpreparación e incubación es difícil que se llegue a la crea-ción de una auténtica hipótesis.

4) Comprobación: Consiste en someter la idea creati-va o hipótesis al método experimental planeado. Es de re-saltar que durante esta etapa, inesperadamente se abrennuevas perspectivas que conducen a la aparición de nue-vas ideas creativas.

Otros elementos:

-Carácter: Se refiere a las cualidades de energía, ma-durez, paciencia y voluntad. La persona que quiera desa-rrollar un programa de investigación debe ser capaz de vi-vir con decepción. ¡)ebe superar los estados que siguen alfracaso de sus inve.stigaciones. Una persona con estas ca-racterístias podrá sacar fuerzas de su interior en orden acontinuar sus investigaciones.

CorrespondenciaJesús Salinas Casadoc/ Solano. 6 -4.o-D28223 Prado de Somosaguas.Madrid. España.

Trabajo recibido el 2 de diciembre de 1997

LA FORMACiÓN INVESTIGADORA EN LA ÉPOCA DE POSTGRADUACIÓN I MIR314

INVESTIGACIÓN CLÍNICA VERSUS INVESTI-GACIÓN BAsICA

Los proyectos de investigación del residente pueden serbien clínicos, o de investigación básica en el laboratoriode experimentación. Mejor que hablar de distinción entreinvestigación básica e investigación clínica sería hablarde buena y mala investigación. Debido a que las investi-gaciones en clínica humana se ven limitadas por conside-raciones éticas y no pueden ser controladas rígidamente,la investigación clínica precisa de técnicas estadísticas es-peciales (análisis multivariante, análisis de supervivencia,regresión logística). El postgraduado debe poseer una só-lida fonnación bioestadística, para desarrollar un procesode investigación científica.

Cuando la investigación\lellaboratorio se dirige a pro-blemas de directa aplicación clínica, se le atribuye un ca-rácter menos científico que a la auténtica investigaciónbásica. No obstante, la investigación proveniente de unproblema clínico, puede contestar a preguntas tan impor-tantes como aquellas derivadas de la investigación básica.

OBJETIVOS DE LA INVESTIGACIÓN

1) Desarrollo de la capacidad crítica y analítica delinvestigador: La Medicina avanza a pasos agigantados, ylos conocimientos adquiridos hoy, pierden utilidad maña-na. Estudiando la participación de los diversos elementosque concurren en la aparición de un fenómeno y su signi-ficación estadística, el postgraduado va ganando una se-guridad en el discernimiento analítico y crítico, y podráser capaz de resolver los problemas clínicos con que seenfrente más adelante.

-Motivación: Es esencial para la creatividad. Sin ella,

incluso los cerebros más aventajados desarrollan poco.

No es fácil contestar a la pregunta de cuáles son las moti-

vaciones. Hay que aceptar que existe una gran variedaden la caJacidad individual de responder a los diferentes

estímulos. La capacidad para ser motivado tiene unas raí-ces genética y es influenciable por el ambiente en queuno se desarrolla.

-Criterio: En primer lugar tiene que saber decidir cuálva a ser la materia a investigar. Hoy día, con la saturacióninformativa que existe, no es fácil a veces contestar a esta

pregunta. Hay que tomar una decisión ante la multitud de

posibilidades que existen y enfocar en ese sentido toda laactividad. Una vez conocida la hipótesis, se precisa de un

criterio ~ara decidir el modelo y el abordaje a seguir. Fi-nalmente, durante el proceso de comprobación es necesa-ria la existencia de un criterio para abrirse paso a travésde las múltiples posibilidades que se ofrecen y que inevi-tablemente hay que contestar con una decisión.

-Estimulación mutua: Uno de los factores más impor-tantes durante el desarrollo de una investigación es.la mu-

tua estimulación proveniente del intercambio entre dos p

más individuos o entre grupos. La sola exposición delprograma de investigación, a otra persona sirve de refuer-

zo espiritual al investigador, del que tantas veces se ve

desasistido. Los comentarios sobre los problemas de la..investigación con otros, pueden abrir nuevas perspectivas

y vías de solución.-Fijación de fecha a las diferentes fases del trabajo:

La mayoría de los científicos están de acuerdo en fijar de-terminados' días para la reunión del grupo de investiga-ción, con la exposición del trabajo desarrollado hasta lafecha, los.. resultados provisionales, problemas que han

surgido y caminos .a seguir. Estas fechas, exceptuandoimprevisibles, deben ser inamovibles. 2) Aportación de una visión flSiopatológica en la ob-

servación de los fenómenos: Al dedicar un especial inte-rés a la comprensión de un determinado fenómeno, elpostgraduado se verá obligado a caminar hasta las mis-mas fuentes de producción del fenómeno, con lo que ad-

quirirá una sólida base fisiopatológica. A partir de enton-ces, aplicará ese enfoque en la comprensión de nuevos fe-nómenos. Es aconsejable que el residente, en el inicio, es-coja una pequeña área de especialización y que vaya de-sarrollando progresivamente durante los restante años de

la residencia, de tal forma que al finalizar su periodo

MIR, se haya constituido en un experto en dicho campo.Esto no debe interferir con la adquisición de los otros co-

nocimientos necesarios para la formación completa e ín-

tegra del residente, en la especialidad correspondiente.

El residente en el proceso de investigación:

Frecuentemente el residente comienza su investigaciónen la última etapa de la comprobación ex~rimental, debi-do a que no ha tenido oportunidad de desarrollar las etapasprevias de preparación e incubación, y por lo tanto no hapodido tener el estímulo necesario para la aparición de laidea creativa. No obstante si el residente se inicia en la últi-ma etapa, puede incluso llegar durante ésta a desarrollar

cierta capacidad creativa si cubre a posterior las etapas depreparación e incubación; ~ro en realidad el resultado no

puede ser completo. El residente debe pues desarrollar su-

cesivamente las cuatro etapas del proceso de investigacióq.

.

J. SALINAS CASADO 315

3) Desarrollo de la habilidad manual y conocimien-to de la moderna tecnología: Muchas de las técnicas

quirúrgicas son más fácilmente aprendidas en el ambientetranquilo del laboratorio. La familarización con los sofis-ticados aparatos de medida del laboratorio estimulará alresidente a usarlos en la clínica. Se incluye asimismo el

desarrollo del manejo del ordenador en sus múltiples pro-gramas de base de datos, análisis estadístico, procesa-miento de texto, representaciones gráficas, etc.

4) Satisfacción de realización personal: Uno puedeencontrar satisfacción en leer durante una hora en una bi-blioteca muchos hechos hasta encontes desconocidos para

él, pero encontrará más satisfacción en descubrir él perso-nalmente una nueva relación en la producción de un fenó-meno. Desde aquel momento adquirirá un interés de pro-pietario de dicho fenómeno.

Tesis Doctorales Universitarias. Él es quien sugiere lasideas y caminos a seguir a los posgraduados menos inicia-dos en el proceso de investigación, y pone los distintosmedios a su disposición. Está a cargo del laboratorio e ins-

talaciones clínicas, así como del instrumental necesariopara la realización del proyecto. Se constituye en el "mar-

capasos", y lo que es más importante, tiene que dedicar elsuficiente tiempo para que el proyecto se lleve a término.

Es asimismo fundamental, el intercambio mutuo deideas entre preceptor y postgraduado, ya que estimulará la

motivación y creatividad, y servirá de soporte espiritual al, investigador, en fases de dificultad que inevitablemente

.,surguan.

Desgraciadamente la existencia de esos preceptores, ysu tiempo de dedicación son escasos, así como no es fre-

cuente una buena formación de éstos.

2) Director de programa: Debe estar convencido delvalor de la investigación. Es el encargado de buscar so-portes económicos necesarios para el desarrollCJ del pro-grama, y el que estimula a su equipo a participar en la in-vestigación. Será el responsable de que el proyecto reúnatodos los requisitos éticos para su realización.

5) Desarrollo de la habilidad de exponer comunica-ciones y realizar publicaciones: Este desarrollo se ad-quiere con la práctica de los mismos. Esta práctica se ini-cia con la comunicación de los resultados al resto de losmiembros del equipo investigador, y posteriormente alHospital, Universidad, País y Foros Internacionales.

Esto exige que el postgraduado desarrolle, a parte de suidioma, otros, que le permiten comunicar y publicar enlos ambientes de mayor difusión científica. Dicho proce-so lógicamente habrá sido ya iniciado en el periodo depreparación correspondiente a la obtención de la informa-ción necesaria para realizar su proyecto de investigación.

Existe un mayor porcentaje de comunicaciones realiza-da en investigación básica y clínica, así como de publica-ciones, entre los residentes de los Hospitales Universita- .

ríos, donde se dedicó una especial atención a la forma-ción investigadora de los mismos.

3) Administrador: La existencia de una persona dedi-cada a encontrar financiación del proyecto en Instituciones

públicas y privadas, nacionales e internacionales, es funda-mental en la actualidad y justifica la creación de este tipode figura individual con estas características. Esta personadebe estar informada de todas las posibilidades de finan-ciación y manera de optar a ellas para su obtención. Poste-riormente será la responsable de la distribución correcta delos fondos a lo largo de todo el proceso de investigación.

4) Idea nueva: Esta idea debe de provenir del postgra-duado. En caso de que sea exterior (preceptor) debe sermodificable por el postgraduado. El preceptor debe estaratento a este punto, en orden a evitar la puesta en prácti-ca de una débil idea. Una vez que el postgraduado ha asu-mido la responsabilidad de su idea, se sentirá fuertementemotivado.

6) Preparación para carreras académicas: Muchasde las carreras académicas provienen de los residente delos Hospitales Universitarios. Es lógico esperar que, conuna mayor atención a la formación investigadora del resi-dente, el número de éstos que se dedique a la enseñanzaserá mayor.

5) Proyectos sencillos: Esto implica que el proyectosea realizable al mismo tiempo que interesante. El pro-yecto debe ser lo más original posible, y realizable dentrode las instalaciones disponibles del Departamento u Hos-pital. Asimismo, los métodos a emplear deben ser conoci-dos o fácilmente aprendidos por el residente. El residentepuede perderse dentro de los proyectos completos sin lle-

CONDICIONES

1) Preceptor: Constituye la condición más importantepara la realización de un programa investigador. Sin estetutor o preceptor, ningún proyecto de investigación puedeser iniciado. Esta figura ya existe en la realización de las

316 LA FORMACiÓN INVESTIGADORA EN LA ÉPOCA DE POSTGRADUACIÓN I MIR

9) Asistencia técnica auxiliar: Se refiere a la existen-cia de una mínima infraestructura de material y personal,que faciliten la rutinaria labor que existe en todo progra-made investigaci6n. Esto no significa que el auxiliar delaboratorio realice todo el trabajo manual y el residente selimite a ser un mero observador. El residente deberáaprender, y familiarizarse con esas técnicas, pero no obs-tante, dado el poco tiempo que tiene para investigar, de-berá disponer de una cobertura técnica auxiliar, sobre to-do en los procesos de investigaci6n que se necesite deanimales de experimentaci6n.

10) Oportunidad para comunicar los resultados delestudio: Aparte de la satisfacción íntima que supone larealización del estudio, es importante que el residentepueda exponer los resultados ante sus compañeros. el De-partamento, el Hospital y la Universidad, así como poste-riormente publicarlo en las revistas nacionales e interna-cionales correspondientes.

CONCLUSIONES

.gar a obtener su realización personal y la publicación de

los resultados de su estudio. En caso de proyectos com-

plicados es aconsejable descomponerlos en sus diferentesfases, de tal forma que puedan ser distribuidos en peque-ños y sencillos proyectos a los diferentes residentes.

6) Departamentos con infraestructura investigado-ra: Generalmente los Hospitales Universitarios reúnen

dichas características. En caso contrario o si la línea deinvestigación elegida por el postgraduado no estuvieracontemplada en el Centro correspondiente a su formaciónMIR, debería ser posibl.e la realización de la fase investi-gadora en otro Departamento que cumpliera este criterio.

En este sentido sería aconsejable una publicación actuali-zada con relación de los diferentes Departamentos con in-

fraestructura investigadora; así como la líneas de trabajoen desarrollo.

7) Periodos de tiempo de la formación investigado-ra: En referencia al periodo de postgraduado más aconse-jable para dedicar a esta formación investigadora, sería el3.0 y 4.0 año de la residencia, dado que: el primer añoco-rresponde al periodo rotatorio por otros Departamentos

relacionados con la especialidad. El segundo año corres-ponde al primer contacto del residente con su especiali-

dad, y debe dedicar toda su atención a la generalidad de lamisma. Durante el quinto año el residente se dedica fun-

daméntalmente a una mayor responsabilidad clínica y

quirúrgica, disponiendo de poco tiempo para la formacióninvestigadora. Sería pues el tercer y cuarto año de progra-ma MIR,cuando el residente, con un general conocimien'-to de la especialidad, podrá desarrollar esa base fisiopato-lógica, que luego reflejará en su actividad clínico-quirúr-gica durante su quinto y último año de residencia.

En cuanto al periodo de tiempo dedicado a esta forma-

ción investigadora, sería variable, proponiéndose entre 6-12 meses, aunque 6 meses resulte en ocasiones insufi-

ciente, y 12 meses parezca excesivo para dedicarle a laformación investigadora en el programa MIR.

8) Soporte económico para el desarrollo del proyecto deinvestigación: Provendrán fundaJnentalmente de los fondosdel Departamento del Hospital, de la Universidad, de las Ins-tituciones del País e incluso Comunidades Internacionales.

-La formación investigadora durante el periodoMIR sería mayor si se dedicara un periodo de la resi-dencia a desarrollar u& proyecto de investigación pro-veniente de una idea del residente.

-Con el, desarrollo de un proyecto de investigaciónel postgraduado adquirirá: a) desarrollo de la capaci-dad clínica y analítica. b ) visión fisiopatológica en laobservación de los fenómenos. c) desarrollo de la habi-lidad manual y conocimiento de la moderna tecnolo-gía. d) satisfacción de la realización personal. e) desa-rrollo de la habilidad de exponer comunicaciones y re-alizar publicaciones. f) preparación para carreras aca-démicas.

-La dedicación a la formación investigadora podríarealizarse durante 6-12 meses del tercer o cuarto añodel periodo de residencia.

-Esta formación investigadora recompensará alpostgraduado, bien se dedique posteriormente a la asis-tencia o bien a la docencia-investigación.

DO- 00<1

y--,

~JVolume 119 Number 3

MARCH 1996

EDITORS' NOTE

The frontiers of surgel)' have been ad\'anced over the years by a combination of observa-tol;al reports and the application of science to clinical problems. Research in surgery to-da}" mirrors the full spectrum of investigation in medical science-from moleculargenet-ics andmolecular biolog}.to the applicationof randomized trials in search for thesolu-tions to clinical questions, With this remarkable growth and \igor in surgicafscience, theinterprelation óf data has algo become somewhat more complex. This increase incomplexit}, ha.~ motivated us to publish a series of brief articles on theinterpretation ofsurgical clinical ¡¡esearch. These articles have been authored by members of the ClinicalEpidemiology Group, the Department ofSurgery, at the University ofToronto. This issueincludes" the first article in this series, entitled "M«asuremeqt in Surgical ClinicalResearch." Subsequent issues wiII carry additional articles in the seri,es. It is ~ur hope thatthese arlicles ,\viII enhance both the presentation and interpretation of the surgicalliter-ature for our readers.

Walter }~ Ballingel~ MDGe()rge D. Zuidema, !vID

J~eS" G. Wright, MD,a Robin S, McLeod, MD, Al Lossing, MD, Beverly C. Walters, MD,an4 Xiaohan Hu, PhD, Toronto, Ontario, Ganada

Frojn thi? Clinifal EPidemiology Group, Department of Surge/)', University of Toro1tto, Taronto,

On~ario, Canada

i\1~¡;RE~lfl\'T 15 THI.: B.-\SIS of scientific jnvestigation.Measurem~nts in surgical clinical research are used toevaluate ~~tient5 ando ~he procedures ~nd treatmentsthey recelye. In addltlon to standardlzed laboratorymeasuremFnt5. sllch as blood sllgar or urine electro-

¡lytes, surgeons are ofteninterested in measuring com-plex phenomena, such as seyerity of disease, functionaldisability. or quality of life, Accurate measllrement ofthese complex clinical phenomena is;oneof the chal-lenges of sllrgical clinical research.

The purpose ofthis article is to introduce surgeons tothe import."\nt issues in measuring surgical clinical phe-nomena. The article will discuss a taxonomy for mepurposes of clinical measurements, the potential focífor clinical measurements, ¡he different t)pes of clinícalmeasurements, and a brief disCllssion of methods usedto de\'elop and evalllate clinical measurements. This ar-ticle p.¡:o\ides only an introduction, and interestedreaders can refer to the references or texts for a more

~complete discussion.I-3 ..

~Accepltcj for publicalioll Aug. 14, 1995.

Reprim requ sto¡:]ames G. \\iighl, MD, MPH, FRCSC. The Hospil.'\l

for Sick Chil ren, Dilisioll of Orlhopaedic Surgely.555 Universil).Ave., T(Jrom~. antaño ~I:)G IX8, Canada.

'Recipi<:nt o~a Medical Rt:s<:arch Council Schularship.

Sl.RGEkY 1991;119:2-11-4. -Cop}Tight @ 1996 b~ Moshy-Y<:ar nook, Inc.

0039-6f)r/J/9G/S5.fJ() + O 11/55/70911

SURGERY 241

\-\!righl el al.242 s u rgeryJWarch 1996

PURfOSE OF INDEX

ThF purpose of the measurement affects the strateg,\'for c~nstruction and tile standardsof evaluation; there-fore ik must be cle.arly articulated. A measurement de-signe~ for one purpose mar not necessarily be useful forothe~ purposes.\ Feinstein \ classified measurements as

ftllfill~ng four different objectives: (1) to e\'aluate pa-tient~ at a single point in time (statllS indexes); .(2) tomeas}lre clinical change (change indexes); (3) to pre-dict ~ future olltcome (prognostic indexes); and (4) todescrybe clinical care (clinical guidelines). Status in-dexei can be llsed for diagnosis O! for rating the sever-ity o clinical conditions. This disClls~ion \vil! ~OClIS onmeas Irements llsed to rate the seve.rlty oí clmlcal con-ditiOIr,s and measurements llsed to measure clinicalchan e. The strategies llsed to construct scales for diag-nosis and progl1osi.~ al"e described elsewherel.3-5 and\\1111~ot be discussed nlrther.

FOC~S OF INDEX,

FofuS is defined here as the clinical domains or afeaSofin~erest the index is intended to measure. Forexam-pIe, t~e outcome of patients \\1th torn knee ligamcl1tsafter !reconstructive surgery can be e\'aluated b}' usingnonc/inical and clinical measurements. Nonclinic(:tlmec\S~lreS incllide. cost or length of hospital sta}.. Clini-cal 1l1easures, whlch are usually more relevant to thesurg~on and patient, include death, complications ofu.cc\tl(l1ellt, and objective and subjcctive outcomes.

°liiective outcomes can be obsen.ed, such a.s the de-gree pf kn~e I~xit}' measured \\1ththe KT -1000 arthrom-eter. ~ Subjecuve outcomes cannot b~ qbserved,. such aspatieht's pain orpaticnt's perceived disabilit)'. The ma-jor djsad\'antage of objective measurements is that lile}'ma}' ~ot relateto patient's reasons forundergoingsur-gel)'. T' 8 For exalrtple, reconstructivesurgery mar reduce

knee Iligamen t laxity as measured by thc KT -1000 but IlOtimpr~ve paticnt's subjective complain~ofknee or pcr-ccive~ difficulty with sports. The ihtent of many surgi-cal procedures, such as joint r~pl~cement for arthritis,\'ascl1lar procedures for claudlcauon, and prostate re-secti~n for prostatic hypertrophy. is to reduce patient'ss)mPltoms and disability and thereby improve quality oflife.¡ hUS the most cogent measure used to evaluate~an surgi~al procedures is based 011 patient's subjec-uve omplamt".

Supjective indexes used to e"aluate surgical treat- ,.-men~ can either be directed to\\'ard the diseased afea(dise~e-specific measures) or intended to measure allaspe~t" of health (generic health status measures).9Mostl scales used il\ surgery have been disease-specificscale} that concenU-ate on the s}wptoms and dysfunc-

, tionsl o.riginating. from the involved afea. For exampl.e,the rf\ung scales mlended to measure thesuccess of hlprepl~cement concentrate primaril>' 011 pain and func-

tional disabilit), originating from the hip, such as diffi-culty ,,;th ""alking and stair climbing. Disease-specificscales are intuiti\.ely attractive because they focus on pa-tient's presenting complaints.9 A disad\'antage of dis-ease~specific scales, ho\,.ever. is that they do not measureglobal aspects of patient's health.IO

Generic health status measures or quality-of-lifemeasurements have a broader fOCtlS of interest.9 Therationale for stlch scales is that many surgical diseasesaffect not only patient's acúvities of daily li\ing btlt maralso interfere \,;th other facets of patient's existence.stlch as social, mental, and emótional function. Manygeneric health stattls meastlres have been developed.inclllding theSickness Impact Profilel 1 and the SF-36.12

Generic health stattls meaSllres have three potential ad-\"ant.'1ges: the scalespotentiallr meaSllre all aspects ofpatient's health, many standard scaleshave been devel-oped ,,;th extensive documentation of their reliabilityand \"alidit)'.~nd the scales mayallo\,' compalison acrosstreatments. For example. the impróvementin quality oflife for patients recei\;ng a kidney trnnsplant cotud becompared \,;th patient's improvement after a hip ar-throplasty. The major disadvantage of generic healthstatlls meaStlres is their potentiallack of respol1sivenessto important clinical change.IO Generic health statusmeastlres include many items that mar not be rele\"anttoa particluar patient ,vith an isolated disease. Thus apatient mar change on many important disabilitiesafter treatment bttt llave thatclinicallyimportant changeobSCtlred by many less specific items that do not

change.IO

TYPES OF MEASUREMENT

Mtutiitem indexes require considel"ations of ,\"hichitems to inchtde in the scale and how to combine themin a meaningftu fashion. Mtutiitem indexes allow thespecification and rating for theindividtlal componentsof tl1e phenomena.2 Several t)pes of mtlltiitem scaleshave been described \\"itl1 epon)ms. sdch as Gtlttman.Thllrstone. and Likert scales.2. 13 Each t)pe of scale has

different tlnderlying assumptions and is constructed\vith different strategies that are discllssed extensivelyelse\\"here.2.8 TheLikért (or summative) index is tlsedálmost exchlsively in surgery. With stlmmative indexesthe stlmof gradings for many single items represents tl1erating for the attribtlte. For example, before hip re-placementlJatients are graded forpain and \"ariOtIS as-pects of disability. ,\"hich when added together repre-sent a single Stlmmary score representing hip s)'Il1ptom-

atolog}'.

SCALE D EVELO PMENT

Stlrgeons ma}" be confrol1ted b~' a confllsing arrayofindexes \\"hen tl¡ing to choose an appropriate measure-mento \\11en atten1pting to choose among these scales,

H'righl el al. 243Surgery ¡

\'o[¡¡me 119, Nuln¡Jrr3

they must consider both the methods of scale develop-JrIent and evaluation.

Scales have frtquently developed in an ad hoc man-ner on the basisof their clinicalexperience \\ithout anyformal strategie~. Each. surgeon often had differentidc!as ofwhat to include in the index and how toweightthe items. ThllS the same patient.may receive \"astly dif-ferent scores \\i~l each scale, suggesting each is mea-suring a different phenomenon.14 Surgeons maydecidethat no existing cale adequately meets their needs, and"a ne\\' measure ent mar be required.

Development of a ne\v index requires (\\,o steps ofitem generation and item reduction. Ite1/1 generation isdefined as the rocess used to assemble all potentialitems for a ne\\ scale to ensure an appropliate andcomprehensi\"e ontent.2 Item genel-ation should in-clude re\ie\v of he items in similar scales, discussions\\ith clinicians a d allied"health professionaIs. and con-sultation \'lith fa niliesandpatients.8

Item reduction i defined as the process used to reducea large number fitems to a more manageable numberby eliminating il appropriate or redundant items.Strat-egies for.. item leduction include clínical judgment,8consensus of cl"nicians,15 patient inteelviews.16.J7 andstatistical metho s,such as logistic regression5 or factoranal}'Sis.2 The te hniques used toreduce the number ofitems are díscus ed else\vhere.I-3

may be due to biologic \-ariability, suchas resting heartrate, or due to the conditions of examinatio1.1, such asblood pressure examined in tl1e lying or standing posi-tion. The measurement procedure refers to a technicalexamination of the patient, suchas aradiog1.aph. Mea-surement \-ariability caused by the procedure may bedueto the equipment, such as the qualityofa magneticresonance SCa1.1l.1er, or the technique, such as techni-cian's positioning of the patient. Clinician \'ariability1.nay be due toclinician's equipment, such as a protrac-tor9 used to measure'a1.1gles on él radiograph or a bloodpressure cúff used to measure blood pressure, the1.nethod of measurement, such as the choice of land-markson a patient ora raqiograpb,20 or due to the con-version ofthe ra\vclinical information intocategoriesordiagnoses.21 Measurement Ca1.1 freque1.1tly be improvedby considering all three SOU1."ces of measurement \-ari-

abilit},.21-24Validity isthe ability of the measure to tl"l1.ly represent

the attribute of interest.2 Validity tan be described bycriterion (;Ir construct \-alidity.2.~ Criterion \'alidity ises-tablished by co1.nparing a clinical measure to a goldstandard, such 'as compa1.ing serum blood sugar to alabóratory standard, For most clinical measures, such asfunctional disability 01." quality of life, ho\\'ever, there is .

no gold standard measure. In the absence ora criterion,CO1.1StruCt \'alidit). is established by hypothesizing an aprioli relationship bet\\'een the measure and relatedmeasures andsho\\;ng that relationship.~ For example,construct validit}, for the Glasgow Coma Scale could beestablished by sho\\ing a relationship \\ith in-hospitalmortality, extent of damage 01.1 a computed tomographyscan, or functional outcome.

ResponsillC1less, also called sensitivity, is the ability ofthe measure to detect clinical change.25 Responsivenessis established by evaluating the change in a measure af-ter a treatment of pro\ren eflicacy.26 Responsive mea-sures improve the feasibility of clinical tlials by reducingthe number of patients required to sho\\' a clinically sig-nificant effect.

Surgeons in many subspecialities are ;!ttempting todefine a common data set where all patients receivesimilar clinical e\-aluation.27 Ho\\'ever, clinical measure-ment, like clinical treatments, are consmntly undergo-ing improvement; thus a more appropriate aim foreachsurgical subspecialt}" may be a minimal data set that isconstantly updated as new or improved measurementsare described, or the reliability, \-alidit}", and responsive-ness of existing scales are established.

M~UREMErflT EVALUATIONOnce a scale1a.~ bcen developed, the scale must be

e\'aluated. The riteria used to e\,uuate t:he qualit}. ofclinical measure include sensibilit}" reliabilit}., \'alidity,and responsivenrss.

Sensibilily is d fined "as a mixturc of ordinary com-mon sense plus reasonable knowledge of pathoph}'S-iology and clini al reality."1 Sensibilit}' is an indicationof the usefulnes of a clinical measure; a measure thatis not sensible requires no further evaluation. Forexample, ifa mtltiitem indcx intended to measure in-flammatof}' bo\,. 1 disease has inappropriate inclusions,such as headach s, or ob\ious exclusions, such as bo\,.elfrequency, tl1en the index lacks sensibility. Feinsteinlhas articulated 2 principIes that can be used to appraisethe sensibilit}' o a measurement.

Reliabilily is efined as when the same result isobtained when t e same phenomenon is measured ondifferentoccasi ns by the same (intraobserver reliabil-ity) or different (interobserver reliability) clinicians.18Reliability is a asic requirement of a valid scientificmeasurement.2 If adifferent result is obtained when thesame phenome on is repeatedly measured, then fuemeasure,cannot be \alid. Unreliabilit}' or variabilit}. in

clinical measuret ent arises frol1! tl1ree sources: the pa-tient, the measu ement proccdure or tool, and the cli-nician.18 Measu ment variabilitybecause ofthe patient

REFERENCES1. Feinstein AR, Clinimetrics, ~e',' Ha"en. Connecticut: 1987. Yale

L"ni,'ersity Press, 1987,2, ~unnally jC, Psychometric theol)', 2nd ed,~e-,' York: McGraw-

Hill, 1978, ."3. Streiner DL, ~omlan GR, Health measuremenL scales: a practi-

Surgery1\'Iarch 1996

\-~'righr el al.244

16. Gu~1t GH, Bombardier C, Tug...ell PX. Measuring disease-spe-cificqualityoflifein clínica! trials. Can MedAssocJ 1986;134:88~

95.17. WrightJ, Rudicel S, Feinstein A. Asking patients what they \\'ant:

a new method for judging the success of total hip replacements.J BoneJoint Surg Br 1994;76:229-34.

18. WrightJG. Feinstein.-\R. Impro\ing tlle reliability of orthopaedicmeasurement.J BoneJoint Surg Br 1992;74:287-91.

19. Cannan DL. Bro\me RH, BirchJG. Measurementofscoliosisandk}phosis radiographs. intra-obsef\'er and inter-obsef\.er \'aria-

tion. J Bone Joint Surg Aro 1990;72:328-33.20. \'.rightJG. Treble A. Feinstein AR. The reliability of measure-

ment of lo\"er limb alignment in thre~-foot radiograrns. J Bone

Joint Surg Br 1991;73:721-3.21. WrightJ, McCauleyT, McCarthy S. The reliability ofradiologist's

qualit}. a.~essment of MR pel\ic scans. J Comput Assist Tomogr

1992;16:592-6.22. Sackelt DL. Clínica! disagreement: l. Ho\" often it occurs and

\"hy. Can Med AssocJ 1980;123:49~504.23.Sackeu DL, et al. Clinical disagreement: 11. Ho\" 10 avoid it

and ho\" to lea m from one's mistakes. Can Med Assoc J

1980;123:613-7.24. Wright JG, Moran E, Bogoch E. Impro\ing tlle reliabilit}. of

tlle gradingofheterotopic ossification.J Arthroplast)}994;9:54~53.

25. GU}'a1t GH. "'alter S, Norman G. Measuring change over time:assessing the usefulness of e\-aluative instruments. J Chron Dis

1987;40:1129-33. .26. GU}~1t GH, De','o R, Charlson M, Levine M, Mitchell A. Respon-

siveness and \~Iidity in health status measurement: a clarification.

J Clin EpidemioI1989;42:403-8.27. Liang MH, KatzJN, Phillips C, Sledge C, Cats-Baril W, American

Academy of Orthopaedic Surgeons Task Force on Outcome

Studies.J BoneJoint Surg Aro 1991;73:639-46.

cal guide to their de,'elopment and use. Oxford. United King-doro: Ox oro ~Iedical Publications. 1989.

4. Feinstein AR. Clinical epidemiology, thc architecture of clinicalresearch. Philadelphia: \\"B Saunders Company. 1985.

5. Harrell .Lee KL. Regression modelling strategies for impro,'ed

prognost c prediction. St.'\t ~Ied 1984:3:142-52.6. Fol'Ster V. \\arren-Smith CD, Te\\' \\'. Is the KT-I000 knee lig-

ament a thrometer reliable? J Bone JOUlt Surg Br 1989;il-

B:843-i'~7. Gore DR Murray MP. Sepic SB,Gardner G~[. Correlations be-

u,'een o 'ec~i"e measures of function and a clinical k~ee rntingscale rol o"mg total knee replacement. Orthopedlcs 1986;

-1 /

9:1363-1'18. \\'rightJ. Feinstein A. A comparnti,'e contra.~tof clinimetric andpsychometric methods for constl'\lcting indexcs and rating

scales.J Clin EpidemioI1992;11:1201-18.9. Patrick DL, Deyo RA.Generic and disease-specific measures UI

asseSsing health status and quali!}' oflife. Med Care 1989;2i:S217-39 ,

_.110. MaCKel j ie CR, Charlson ME, DiGioia D, KClley K. C'\nthe Sick-

ness 1m ct Profile J~lcasure chang~? an example of scalc assess-

ment,] hron Dis 1986;39:429-38:11. Bergner 1, Bobbiu RA, Cartcr \\"B, Gilson ES. The Sickness Im-

pact Prorle: de,'clopment and final re,ision o~ a health statu~

measure. Med Care,1981;19:787-805.12. Ste"'3rt .~.. Hays RD. \\'areJE. The MOS short fonn and gene"31

health su",'cy: reliability and \'3lidi!}' in a patiellt population. Med

Care 1988;26:i24-35.13. Rust], Golombok S. Modent-psychometrics: 1he scienceofpsy-

chological assessment. London: Routledgc. 1989.

14. CallaghanjJ, D}~art SH, Sa,.ory CF, 110pkinson \\J. Asscssingthe restljrs of hip replacement. J Bone ]oint Surg Er 1990;72:

1008-9. 1

15. Fink A, Kosecoff], Chassin M, Brook RH. Consensus methods:characteristics and guidelines for use. Am J Pltblic Health

1984;i4:979-83.