apunts psicometria modul 1

Bárbara Pérez GouetMòdul 1: Aproximació històrica i conceptes bàsics de la psicometria

APUNTS DE PSICOMETRIAMarz 2014

APROXIMACIÓ HISTÒRICA

El desenvolupament i l’administració de tests psicològics és una pràctica desenvolupadafonamentalment a partir del segle XX.

Els tests formen part de la pràctica habitual dels professionals, docents i investigadorsinteressats per la mesura indirecta dels fenòmens psicològics. Al servei de l’avaluaciópsicològica, i en conjunció amb d’altres instruments com l’observació o l’entrevista, els teststenen com a propòsit principal proporcionar les evidències necessàries que permetin alspsicòlegs i a d’altres professionals vinculats amb les ciències socials i del comportamentprendre decisions o orientar les seves intervencions en els diferents contextos en què duen aterme la seva activitat. Els tests compleixen, doncs, una funció important amb relació al’avaluació i la intervenció psicològiques, i és per això que requereixen una atenció específicaen els programes de formació dels futurs psicòlegs.

Sir Francis Galton (1822-1911), James McKeen Cattell (1860-1944) i Alfred Binet(1857-1911) com els veritables pioners de la psicometria moderna. Dins l’estudi sistemàticde les diferències humanes, Galton i Cattell van contribuir necessàriament a l’establiment dela psicologia experimental a Europa i els Estats Units, respectivament, mitjançant la creaciódels primers laboratoris antropomètrics per a l’estudi de les característiques humanes i eldesenvolupament dels primers tests per a l’avaluació de les diferències sensorials,perceptives i de comportament.

Responent a la necessitat d’identificar els estudiants amb problemes per a assolir elsobjectius de la instrucció ordinària a les escoles de París del principi del segle XX, Binet iel seu col·lega Théodore Simon van recollir els incipients moviments en l’avaluació de ladiscapacitat cognitiva mitjançant bateries de tests (Nicolas i Ferrand, 2002).

Adoptant el mateix enfocament orientat a la pràctica, la incipient psicometria es va veureimpulsada en els circuits acadèmics entorn del debat sobre la mesura de la intel·ligènciamitjançant el desenvolupament de tests. VEURE LLIBRE DIFERENCIES HUMANES

En el desenvolupament dels tests Army Alpha i Beta van abordar una controvèrsia importantentorn dels biaixos culturals dels tests que es va anar construint durant aquestes primeresdècades del segle XX.

Una qüestió interessant, per les conseqüències que va tenir més endavant en eldesenvolupament de la psicometria, va ser la concepció que es va anar construint entorn delmateix concepte d’intel·ligència. Arrelada a les nocions biologicistes i hereditàries delspioners, i sustentada en els desenvolupaments estadístics de Charles Spearman (1863-1945),un corrent important va concebre la intel·ligència com un únic factor –el factor g, segonsSpearman– que explicaria les puntuacions en els diferents tests d’intel·ligència desenvolupatsfins aleshores. En canvi, des de la posició “alternativa” que va encapçalar Louis Leon

1


Thurstone (1887-1955), la intel·ligència estaria composta en realitat per diversos factorsespecífics. Els seus avenços en el desenvolupament estadístic de les tècniques d’anàlisifactorial que va introduir Spearman van permetre comprendre millor aquesta aparentcontradicció. De fet, es podia entendre el factor general d’intel·ligència com una mena defactor subjacent que recolliria la variabilitat de les aptituds específiques de Thurstone, tant sieren relatives a la comprensió verbal com a la competència numèrica o a l’habilitat espacial,entre d’altres. De la mateixa manera, una vegada controlat l’efecte del factor general, elplantejament d’uns factors grupals per part de Spearman permetria recollir la variabilitatcomuna observada en tests que comparteixen demandes verbals, numèriques o espacialssimilars.

Aquesta visió de la intel·ligència com un conjunt determinat d’aptituds cognitives específiquesva contribuir necessàriament al desenvolupament dels primers estudis sistemàtics devalidesa. Tal com va passar durant la Primera Guerra Mundial, el Govern nord-americà vatornar a incorporar aquestes pràctiques als seus programes de reclutament uns quants anysabans de participar en la Segona Guerra Mundial. Sota la direcció de John C. Flanagan(1906-1996), les forces d’aviació van administrar un conjunt de bateries de tests per aseleccionar i classificar els pilots, enginyers, entre d’altres. Es va permetre la millora delsprocediments de selecció i classificació, i es va conformar un dels primers estudis empíricsde la validesa de les mesures psicològiques.

El treball que paral·lelament es va a portat a terme amb relació a l’avaluació de lapersonalitat. Més enllà de la selecció i classificació dels reclutes, un important esforç es vaadreçar a la identificació de candidats susceptibles de patir trastorns psicològics. Robert S.Woodworth (1869-1962) va ser l’encarregat de desenvolupar un nou tipus de prova quepermetés avaluar l’estabilitat emocional dels soldats per a minimitzar-ne la presència a lesseves files. Aquest test anomenat Personal Data Sheet va assentar les bases per aldesenvolupament dels tests d’avaluació de la personalitat posteriors.

Partint dels experiments desenvolupats pels pioners, especialment en la branca de lapsicofísica, el 1927 Thurstone va proposar la llei del judici comparatiu com el mètodeper a la mesura de les actituds, les preferències i els valors. Aquesta innovació vaconsistir a traslladar el judici perceptiu sobre parelles d’estímuls físics –per exemple, la triaentre dos sons segons la intensitat– a la valoració de característiques psicològiques noestrictament relacionades amb les propietats físiques –per exemple, la tria entre doscomportaments segons l’acceptabilitat. Després de proposar una segona llei, la llei del judicicategòric, l’aproximació de Thurstone a la mesura de les actituds estava preparada per a seraplicada al judici general, és a dir, sense requerir la comparació entre parelles de fenòmens.D’aquesta manera, tal com pretenien Thurstone i els seus continuadors la psicometriadisposaria d’un mètode d’escalament per a mesurar i tractar numèricamentvaloracions individuals subjectives en la cerca d’una representació objectiva delsfenòmens psicològics. Aquest mètode va donar un suport metodològic important a lesdècades següents de recerca en psicologia social.

L’inici de la psicometria com a disciplina científica -tal i com es concep actualment-se situa al segle XX, sobre el 1930. El paper decisiu de Thurstone, el qual, amb l’objectiud’establir i promoure la psicologia com una ciència quantitativa (Samejima, 2000), el 1935 vafundar la Psychometric Society i en va ser el primer president. A més a més, va ser l’impulsor

2


de la primera revista especialitzada que encara és de referència obligada, larevistaPsychometrika, que va anar publicant alguns dels treballs més importants sobre elsquals es va formalitzar la psicometria. Pocs anys després, el 1946, va ser també el primerpresident de la Divisió d’Avaluació i Mesura de l’American Psychological Association.

El període entre les dècades dels anys trenta i els seixanta com l’època daurada de lapsicometria.

Finalment, els anys seixanta són una dècada de revisió crítica i obertura de nouscamins per a la psicometria. A partir de la TCT, el debat entorn de l’estimació dels errorsva cristal·litzar en dos nous corrents en el desenvolupament de tests: la teoria de lageneralitzabilitat i la teoria de resposta a l’ítem.

LA DEFINICIÓ DE LA PSICOMETRIA

La psicometria és una branca de la psicologia que, mitjançant teories, mètodes i tècniquesvinculats al desenvolupament i l’administració de tests, s’ocupa de la mesura indirecta delsfenòmens psicològics amb l’objectiu de fer descripcions, classificacions o diagnòstics, donarexplicacions o fer prediccions que permetin orientar una acció o prendre decisions sobre elcomportament de les persones en l’exercici professional de la psicologia.

Diferència entre Psicometria i Psicologia matemàtica: la psicologia matemàtica és labranca de la psicologia interessada pel desenvolupament de models dels processosperceptius, cognitius i motors amb l’objectiu d’establir lleis que relacionin estímuls físics ambels comportaments a partir d’estudis quasi exclusivament experimentals. Són molts els autorscomuns a les dues orientacions des dels orígens de l’estudi sistemàtic de les diferèncieshumanes al segle XIX però, a diferència de la psicometria, la psicologia matemàtica no estàtan interessada per les diferències individuals com per la definició de lleis generals quemodelitzin el comportament mitjà de les persones.

FONAMENTS DE LA PSICOMETRIA:

1) Definició i classificació dels tests

La definició del manual clàssic d’Anastasi (1988), un test psicològic és un procediment demesura objectiva i estandarditzada d’una mostra de comportaments.

Altres definicions són possibles però aquesta conté tres elements fonamentals que enspermeten abordar sistemàticament les característiques més importants que compleixen demanera genèrica els tests:

Objectiva

l’objectivitat fa referència ala substitució del judicipersonal basat en criterissubjectius per un conjunt de

Estandaritzada

les puntuacions obtingudesdepenen d’un procedimentestablert d’administració,correcció i interpretació que

Mostra de comportaments

els tests adrecen elsfenòmens psicològics noobservables mitjançant unamostra de comportaments.

3


normes determinades iconegudes que permetenobtenir i interpretar lespuntuacions dels individus enigualtat de condicions.

les fan, o les haurien de fer,invariants del professionalque administra els tests, lescondicions específiques enquè ho fa, i la manera enquè obté i interpreta lespuntuacions resultants de lamesura.

En la mesura que aquestamostra sigui representativadel conjunt, les puntuacionsobtingudes permetran alsprofessionals establiradequadament les sevesinferències sobre elcomportament general de lespersones més enllà delselements específics avaluatsmitjançant tests.

Classificació dels tests:

Segons el propòsit.

1) La diagnosi, orientada a l’avaluació de les condicions actuals dels individus,2) La predicció, que es proposa relacionar la mesura actual amb el comportament de lespersones en situacions futures.

Segons el contingut.

Avaluen:

1) Habilitats cognitives2) Personalitat3) Actituds

Segons el format.

1) Tests de llapis i paper2) Test computaritzats (iguals que els anteriors pero registrant les preguntes i respostesmitjançant ordinadors o algún altre dispositiu electrònic).3) Tests de manipulació: presenten una sèrie d’objectes, imatges o trencaclosques que elsindividus han de resoldre.4) Tests de mesures fisiològiques: utilitzen sensors de diversa mena per a registrar lesreaccions dels individus davant dels estímuls físics presentats.

Segons el tipus d’administració.

1) Individuals2) Grupals3) Verbals4) No verbals

Segons el tractament de les respostes.

1) Tests d’habilitat o de potència o Proves d’execució màxima:: hi ha respostes correctes iincorrectes. tenen com a objectiu avaluar la competència, l’aptitud o els coneixements delsindividus a partir de l’encert o la qualitat de les seves respostes. Són proves quediscriminen respostes correctes i incorrectes i és aquesta la base per a puntuar les

4


execucions individuals.2) Tests de personalitat o Proves d’execució típica: no hi ha respostes correctes oincorrectes. tenen un objectiu diferent i cerquen conèixer de manera general lesmotivacions, preferències, opinions o actituds dels individus envers a un determinatestímul. Aquest segon tipus de tests no tenen respostes correctes i per tant no serveixenper a avaluar l’encert o l’error dels individus.

Segons la interpretació de les puntuacions.

1) Tests normatius: permeten comparar la puntuació de l’individu amb l’execució observadaen un grup de referència que prèviament a respost el mateix test. Aquest grup es potcompondre mitjançant el mostreig probabilístic o no probabilístic.2) Tests referits a criteri: prenen com a referència la definició d’un domini de coneixementso habilitats específiques i permeten mesurar l’execució de l’individu, no ja en comparacióamb un grup de referència, sinó en funció del seu grau d’adecuació o consecució d’aquestcriteri.

Segons l’estatus comercial.

1) Test comercials o tancats: s’ha de pagar per obtenir-los2) Tests no comercials o oberts: es poden aconseguir contactant a l’autor, o aconseguintel manual de l’autor o artícles científics publicats.

Altres conceptes importants dels tests:

-La naturalesa no observable dels fenòmens psicològics i la dificultat intrínseca querepresenta per a la mesura indirecta mitjançant tests que es proposa la psicometria.

-Son reactius / reactivitat: en el cas de la mesura indirecta dels fenòmens psicològicsmitjançant tests, no té cap altra finalitat que produir una reacció en el comportament delsindividus per a registrar-lo i obtenir una puntuació com a resultat del procés de mesura.

-el valor d’un test es troba en la capacitat per a suscitar i mesurar comportaments queresultin un bon indicador –és a dir, una bona representació– del conjunt global decomportaments implicats en els fenòmens d’interès.

-Bateria: pot fer referència tant a un test compost per diverses parts com a una selecció dediferents tests administrats conjuntament per un professional en una avaluació psicològicadeterminada.

-Els tests de personalitat són moltes vegades anomenats qüestionaris, inventaris oescales.

-Model de mesura: serveixen al propòsit de relacionar les puntuacions obtingudes i elsfenòmens objecte de mesura, a partir del qual s’articula el Procés d’inferènciapsicomètrica.

-Teoria dels tests (permet establir les inferències sobre els fenòmens psicològics noobservables a partir de les puntuacions obtingudes en el procés de mesura.

5


-Teoria substantiva (que explica el comportament de les persones gràcies a l’obtenció deresultats bons en els tests).

2) Diferents models de mesura psicomètrica desenvolupats en les diferents teoriesdels tests.

Model representacional Model operacional (teoriaclàssica dels tests TCT)

Model clàssic

Stevens 1946Suppes 1951

-defineix la mesura com elprocés d’assignació denúmeros a objectes a partird’unes regles de manera quereflecteixin relacionsempíriques entre elsobjectes. Aquestesrelacions, de maneracomparable al model deCampbell, quedarienrepresentades per lespropietats dels números peròno se centrarienexclusivament enl’additivitat. De fet, Stevensva obrir la porta a altrestipus de relacions per aportar a terme la mesura,acceptant per exemplel’equivalència o l’ordre.

Mesurar no seria únicamentquantificar sinó larepresentació numèrica delsfets empírics en sentitample, i donaria com aresultat quatre escalesclàssiques per a la psicologiasegons el tipus de relaciórepresentada: escalanominal, ordinal, d’interval ide raó.

El model representacionalassumeix la correspondènciaentre les propietats delsnúmeros –les puntuacionsobtingudes mitjançant tests,

Bridgman 1927Dingle 1950

-La mesura és el conjuntd’operacions necessàries pera definir un concepte que,en darrer terme, acabenproduint números.

-Similituds amb el modelrepresentacional: Aquestadefinició de la mesura tépunts en comú amb la delmodel representacional, jaque assignar números –lespuntuacions obtingudesmitjançant tests– d’acordamb unes regles és un tipusparticular de les operacionspossibles, i els númerosresultants no són altra cosaque el producte de lesoperacions portades aterme.

-Diferències amb el modelrepresentacional: es trobaen el requeriment segons elqual els númerosrepresenten o no un sistemade relacions empíriques.

Per al modelrepresentacional, aquestesrelacions empíriques sónprèvies a la mesura i tenenuna existència independentde les operacions portades aterme per a produir elsnúmeros.

Rozeboom 1966Jones 1971

-Planteja la naturalesaquantitativa dels fenòmenspsicològics com a condicióper a la mesura.

-La mesura és ladeterminació de la quantitaten què un atribut és presenten l’objecte mesurat.

-Aquest model no exigeixque hi hagi una relacióempírica entre els objectes,perquè mesura atributs, noobjectes. Per tant no preveula demostració del’additivitat mitjançant laobservació i manipulacióempíriques.

-Diferència amb els altresmodels: la mesura no esconsidera l’assignació denúmeros a objectes d’acordamb unes regles ni elresultat d’un tipus particulard’operacions que produeixnúmeros, respectivament,sinó que es defineix com elprocés de descobriment derelacions numèriques entreels valors observats en unatribut quantitatiu.

-Seguint l’exemple del pesde dos o més objectes físics,les seves mesures en unaunitat determinada (per

6


en aquest cas– i lesrelacions dels objectes querepresenten. En canvi,trasllada el focus des de lademostració empíricad’aquestes relacions al’establiment d’un conjunt derestriccions sobre el tipusd’operacions estadístiquespermeses a cada escala quegaranteixi la invariància deles relacions empíriquesrepresentades. És el debatsobre l’estadística permesa,que ha portat a una grancontrovèrsia entre elspartidaris del modelrepresentacional il’operacional.

El model operacional, encanvi, limita el domini de lesoperacions a les que d’unamanera consistentprodueixen números i, encap cas, està interessat perl’existència d’una realitatempírica que doni suport aaquests números. Elspartidaris del modeloperacional no veuen lanecessitat d’establir caprestricció sobre lesoperacions estadístiques. Enno ser l’objectiu la cerca derelacions empíriquescomparables a les relacionsentre els números, sinó elsnúmeros en sí mateixos, caprestricció no pot seraplicable a unes puntuacionsque, en paraules de Lord(1953), no tenenconsciència d’on provenen.

exemple, en quilos)proporcionen un sistema pera relacionar-losmatemàticament en termesde les seves magnitudsrelatives, i permeten afirmarque un d’ells pesa n vegadesmés o menys que un altre.Aquestes relacionsnumèriques són, per al modelclàssic, tan vàlides com hosón les relacions observablesentre els objectes i per tantcomparteixen el mateixestatus com a evidènciesempíriques necessàries per aldesenvolupament científic.

-La teoria substantiva és labase sobre la qual esfonamenten tant la hipòtesisobre la naturalesaquantitativa dels fenòmenspsicològics objecte demesura com el procés dedeterminació de les relacionsnumèriques amb les mesuresobtingudes.

-el model clàssic no preveules diferents escales demesura acceptades pelsmodels representacional ioperacional. D’aquestamanera les escales nominalsi ordinals queden fora deldomini de la mesura –que,recordem, és quantitativaper definició– i per tant noés necessària capprescripció entorn del debatsobre l’estadística permesa.

TRI: Teoría de resposta a l’ítem (resol limitacions del TCT)

3) La teoria clàssica dels tests.

La TCT és la teoria dels tests més estesa actualment en la pràctica de la psicometria i esbasa en el model lineal clàssic proposat per Spearman, sistematitzat per Gulliksen (1950)i reformulat posteriorment per Lord i Novick (1968), que articula el procés de mesura

7


definint tres conceptes fonamentals: la puntuació vertadera, la puntuació empírica, il’error de mesura.

Així, partint del model operacional de mesura psicomètrica, aquesta teoria dels tests noestà interessada pel sistema de relacions empíriques sinó que centra la seva atenció enl’anàlisi de les puntuacions obtingudes per tal d’estimar els errors comesos en el procés demesura indirecta dels fenòmens psicològics.

(e) Error de mesura: seria responsable de la discrepància entre la puntuació vertadera quees vol aconseguir i la puntuació empírica obtinguda com a resultat de l’administració del test.

Puntuació empírica (X) Puntuació vertadera (V)

respondria a una relació lineal de doscomponents fonamentals:X = V + e

seria el resultat ideal o desitjat en què elprocés de mesura mitjançant tests hauriaestat portat a terme lliure de qualsevol tipusd’error.

ELS SUPÒSITS

La mesura indirecta dels fenòmens psicològics es troba subjecte a aquestes variacions odesviacions no desitjades, i el model lineal clàssic proposa un conjunt de supòsits, quepermeten fer una estimació de les puntuacions vertaderes a partir de les puntuacionsempíriques obtingudes, i una definició de tests paral·lels. D’aquesta manera:

Primer supòsit: V =E(X).

Segon supòsit:ρ(υ, e) = 0.

Tercer supòsit:ρ(ej, ek) = 0.

Definició de testsparal·lels: Vj = Vk iσ2(ej) = σ2(ek).

La puntuacióvertadera (V) esdefineixmatemàticamentcom l’esperançamatemàtica de lapuntuació empírica(X). És a dir, elprimer supòsit delmodel lineal clàssicassumeix que, encas que fos possiblel’administració d’untest un nombreinfinit de vegades, lamitjana de lespuntuacionsempíriques

No hi ha correlacióentre lespuntuacionsvertaderes delssubjectes (υ) en untest i els errorsrespectius de mesura(e). És a dir, d’acordamb el segonsupòsit, no s’esperaque la grandària delserrors comesosestiguisistemàticamentassociada a lagrandària de lespuntuacionsvertaderes.

Si disposem de dostests diferents (j ik),no hi ha correlacióentre els errors demesura comesos ambcadascun d’ells (ej iek, respectivament).És a dir, d’acord ambel tercer supòsit, elserrors de mesuradels diferents testssón aleatoris cadavegada i, per tant,no s’espera que hihagi cap relacióentre ells.

Finalment, dos tests(j i k) són paral·lelssempre que lesseves puntuacionsvertaderes (Vj i Vk) iles seves variànciesdels errors demesura (σ2(ej) iσ2(ek),respectivament),siguin idèntiques.

8


obtingudes ensdonaria com aresultat la puntuacióvertadera delsubjecte en el test.La puntuacióempírica, per tant,no és un substitutde la puntuacióvertadera sinó lamillor aproximaciódisponible en unprocés de mesuraque, de maneraexplícita, ésreconegut com a nolliure d’error.

DEDUCCIONS IMMEDIATES DERIVADES:

e = X – V. D’acord amb la formulació inicial del modellineal clàssic, l’error de mesura seria ladiferència entre la puntuació empírica i lapuntuació vertadera.

E(e) = 0. L’esperança matemàtica dels errors demesura és 0, de manera que, si fos possibleadministrar un test un nombre infinit devegades, aquests errors aleatoris o noesbiaixats es compensarien o anul·larienentre ells.

μx = μυ. La mitjana de les puntuacions empíriques(μx) és igual a la mitjana de les puntuacionsvertaderes (μυ).

cov (V, e) = 0. D’acord amb el segon supòsit del model, lespuntuacions vertaderes no covarien amb elserrors de mesura.

cov (X, V) = var (V). La covariància entre les puntuacionsempíriques i vertaderes és igual a lavariància de les puntuacions vertaderes.

cov (Xj, Xk) = cov (Vj, Vk). La covariància entre les puntuacionsempíriques de dos tests (Xj i Xk) és igual a lacovariància de les seves puntuacionsvertaderes (Vj i Vk).

var (X) = var (V) + var (e). La variància de les puntuacions empíriquesés el producte de la suma de la variància deles puntuacions vertaderes i la dels errors

9


de mesura.

ρ(X, e) = σe / σx. La correlació entre les puntuacionsempíriques i els errors de mesura és elresultat de la divisió de la desviació típicadels errors entre la de les puntuacionsempíriques.

μ1 = μ2 = ... = μk. Per a k tests paral·lels, les mitjanes sónidèntiques.

σ2(X1) = σ2(X2) = ... = σ2(Xk). De la mateixa manera, les variàncies de ktests paral·lels són idèntiques.

ρ(X1, X2) = ρ(X1, X3) = ... = ρ(Xj, Xk). Finalment, les correlacions entre k testsparal·lels són també idèntiques.

Tenint en compte que ni les puntuacions vertaderes ni els errors de mesura són observablesdirectament a partir de les puntuacions empíriques, cap dels supòsits ni les vuit primeresdeduccions immediates són demostrables.

LIMITACIONS DE LA TCT

Aquesta teoria té dues dependències importants amb relació als instruments i les mostresutilitzades. D’una banda, una dependència de les puntuacions empíriques obtingudes respectedels instruments, de manera que, per exemple, dos tests d’intel·ligència independentsutilitzen escales diferents i, per tant, les puntuacions que se n’obtenen no resultencomparables directament. De l’altra, una dependència de les propietats psicomètriques delstests respecte de les mostres utilitzades per a desenvolupar-los, de manera que, perexemple, la dificultat dels ítems que conformen un test depèn de les característiques delsindividus a qui s’administra el test.

LA TRI VOL RESOLDRE AQUESTES LIMITACIONS

es proposa canviar el focus des del tractament del test sencer al tractament individual delsítems. Per fer-ho, aquesta teoria dels tests planteja l’existència d’una relació entre lespuntuacions en la variable latent –recordem, d’acord amb el model clàssic de mesurapsicomètrica– i la probabilitat d’encertar cada ítem introduint diferents funcions matemàtiquesper a modelitzar adequadament aquesta relació. Així, una vegada seleccionada la funció mésadequada es construeixen el que s’anomenen les corbes característiques dels ítems, unamodelització de les respostes que pot tenir en compte diferents paràmetres com la capacitatde discriminació dels ítems, la seva dificultat o la probabilitat que siguin encertats a l’atzar.

La TCT, defineix les puntuacions empíriques com la suma de les puntuacions vertaderes il’error de mesura

La TRI, estableix diferents funcions matemàtiques segons el model de relació entre lavariable latent i la capacitat de discriminació dels ítems.

10


EL PROCÉS D’INFERÈNCIA PSICOMÈTRICA

1) Formular una pregunta d’investigació o una hipòtesi rellevants.

2) Especificar i definir adequadament totes les variables involucrades.

3) Desenvolupar o escollir els instruments i procediments necessaris per a portar aterme les mesures.

4) Avaluar el funcionament dels instruments i procediments per a obtenir lesgaranties suficients sobre la qualitat del procés de mesura.

5) Recollir les evidències necessàries que permetin respondre als objectius de lainvestigació.

6) Resumir i, sempre que sigui possible, tractar estadísticament les dadesobtingudes per a determinar fins a quin punt els resultats són significatius i, pertant, no són producte de l’atzar.

Principis bàsics de la mesura indirecta dels fenòmens psicològics,els quals garanteixen la confiança en les inferències establertes a partir de lespuntuacions obtingudes mitjançant tests:

● Fiabilitat: la precisió amb què els tests porten a terme la mesura.● Validesa: la confiança en el fet que les mesures es corresponen realment

amb el que es proposen mesurar.

Reptes i problemes específics amb els que ens hem d’enfrontar:

1) La mesura indirecta dels fenòmens psicològics no és unívoca.2) La teoria té un paper fonamental en la mesura psicomètrica.3) La selecció i el mostreig dels comportaments imposa limitacions importants.4) Les puntuacions obtingudes requereixen una interpretació adequada.5) La mesura dels fenòmens psicològics no està lliure d’error.6) La mesura psicològica no es pot entendre si no és amb relació a altres mesures oesdeveniments observables

CONSTRUCCIÓ I ADMINISTRACIÓ DE TESTS

Les 10 fases fonamentals en la construcció d’un test:

1) Delimitació de la finalitat del test. El desenvolupament d’un nou testcomença amb una determinació clara del propòsit per al qual es vol recollirinformació rellevant en el context de l’avaluació psicològica. Tal com hemassenyalat, els tests poden servir multitud de finalitats però entre elles en podemdestacar algunes d’importants com són descriure, classificar, diagnosticar iexplicar el comportament de les persones o fer prediccions sobre aquest. Unpropòsit ben delimitat és la primera condició a complir per a l’èxit en laconstrucció del nou test i en permetrà l’encaix en el procés general d’avaluació

11


psicològica.

2) Definició dels fenòmens psicològics objecte de mesura. D’acord amb elprocés d’inferència psicomètrica, el segon pas per a la construcció d’un testconsisteix en la delimitació precisa dels fenòmens que es volen mesurar. Per afer-ho, recordem-ho, és necessària una teoria substantiva sòlida i bencontrastada entorn dels fenòmens psicològics i els comportaments de lespersones que servirà de referència en el procés de la mesura mitjançant el noutest. Aquest marc teòric és fonamental en el moment de planificar unarepresentació adequada dels fenòmens psicològics, i permet conèixer en detallaltres instruments desenvolupats prèviament en la investigació psicològica.Avaluar-ne les limitacions i els punts forts és una bona guia per a enfocar eltreball necessari per a donar suport teòric al nou test.

3) Selecció i mostreig dels comportaments observables. Establert elfenomen objecte de mesura, la teoria substantiva proporciona també el contextnecessari per a escollir els comportaments implicats que seran emprats com aevidències observables. La seva representació adequada és fonamental per a noometre cap comportament rellevant i també per a evitar incloure’n d’altres nodirectament relacionats amb l’objecte de mesura. A vegades també ésrecomanable portar a terme observacions, entrevistes a informadors clau o grupsde discussió que proporcionin informació complementària sobre els comportamentsd’interès a partir de les experiències dels participants. Com ja hem discutit,aquesta no és una fase menys importat, en tant que és la base per aldesenvolupament correcte dels ítems que conformaran el nou test.

4) Especificació de les característiques del test. Delimitat l’objectiu, definitl’objecte de mesura i seleccionades les evidències observables necessàries, el passegüent consisteix a triar les característiques del nou test per a suscitar imesurar adequadament els comportaments d’interès. En primer lloc, decidirem sies tracta d’un test d’habilitat o de potència, en què s’avaluaran l’encert i l’erroren les respostes per tal de determinar la competència, l’aptitud o elsconeixements dels individus, o d’una prova per a avaluar motivacions,preferències, opinions o actituds. És a dir, si es tracta d’una prova d’execuciómàxima o d’execució típica, com també són conegudes. D’acord amb laclassificació dels tests que hem fet en aquesta introducció a la psicometria,també és el moment per a decidir el format del nou test optant per una prova dellapis i paper, de manipulació o de mesures fisiològiques. Així mateix s’han depreparar els materials necessaris i es determinarà el tipus d’administració mésadequada, triant bàsicament entre una prova individual o d’administració en grup.Finalment, també es decidirà el mètode més adequat per a interpretar lespuntuacions obtingudes, a partir de la norma o amb referència a un criteri.

5) Desenvolupament dels ítems que conformaran el test. Especificades lescaracterístiques generals del nou test, en aquesta fase es portarà a terme eldesenvolupament dels elements que contindrà. Aquesta no és una tasca senzilla igeneralment comporta la col·laboració d’un grup d’experts en el camp per a trobarla millor representació de les mostres de comportament seleccionades. De fet, noés poc habitual desenvolupar molts més ítems dels estrictament necessaris per aavaluar-ne el comportament en el marc del test i seleccionar els més adequatsamb relació al propòsit del nou test. L’objectiu final és disposar de tants comsiguin necessaris per a representar adequadament les diferents dimensions dels

12


fenòmens psicològics objecte d’interès. Aquest també és el moment de decidir elformat que adoptaran les respostes, que serviran per a codificar elscomportaments de manera estructurada i d’acord amb unes regles clares.

6) Elecció d’una teoria dels tests. Tancant el cercle establert en el procésd’inferència psicomètrica, la fase següent en el procés de construcció implica latria d’una teoria dels tests que, mitjançant un model de mesura psicomètricadeterminat, servirà per a relacionar els fenòmens psicològics objecte d’interès iles puntuacions obtingudes mitjançant els ítems que conformen el nou test.Aquesta elecció és cabdal tenint en compte les seves conseqüències en elsmètodes i tècniques emprats posteriorment per a avaluar les propietats dels ítemsi del test en conjunt amb l’objectiu de garantir la confiança en les inferènciesestablertes sobre el comportament de les persones a partir de les puntuacionsobtingudes.

7) Realització d’una prova pilot. Una vegada construït el test, incloent-hi elsítems potencials i el format de les respostes, és necessari redactar lesinstruccions que l’acompanyaran i definir les condicions en què serà administrat.Una prova pilot servirà per a avaluar el grau de comprensió d’aquestesinstruccions i la viabilitat de les condicions per a administrar el test, detectarpossibles dificultats en el moment de registrar les respostes i fer una primeraanàlisi de les propietats, tant dels ítems com del test en el seu conjunt, d’acordamb els mètodes i tècniques indicats per la teoria dels tests utilitzada. És elmoment de valorar-ne el comportament en el procés de mesura i, a partird’aquesta informació, refinar el test modificant, descartant o afegint nous ítems.Es poden requerir proves addicionals per a avaluar correctament les modificacionsintroduïdes abans de tancar aquesta fase i procedir amb el desenvolupament del’estudi de camp final.

8) Desenvolupament de l’estudi de camp. Una vegada establert el testdefinitiu, el pas següent consisteix a administrar-lo a la població a què es dirigeix.Per a fer-ho, se selecciona la mostra de participants necessaris que, com ja hemassenyalat, pot ser probabilística o no probabilística en funció de si volemrepresentar la població de referència o avaluar un grup de persones que compleixunes determinades característiques. Amb aquesta informació es desenvolupen lesnormes o barems per a permetre la interpretació de les puntuacions amb relació al’execució del grup de referència. En cas que es tracti d’un test referit a criteri,en lloc de normes o barems es determinen els punts de tall que permetrandistingir els diferents graus d’adequació o consecució del criteri. Així mateix,s’aprofundirà en el treball sobre les propietats psicomètriques dels ítems i del testen el seu conjunt, atenent especialment a la fiabilitat i validesa de les mesuresobtingudes. Aquesta és una part fonamental del procés de construcció de tests iés la que en darrer terme garanteix que la mesura psicomètrica compleix ambtotes les exigències científiques.

9) Elaboració del manual del test. Amb tota aquesta informació esdesenvolupa la documentació que acompanyarà al nou test, en què s’had’incloure informació rellevant relativa a les diferents fases involucrades en laseva construcció: fonamentació teòrica, finalitat i població a la qual s’adreça,instruccions per a l’administració, informació per a la interpretació de lespuntuacions obtingudes i anàlisi de les propietats psicomètriques. Les primerespublicacions a revistes científiques serveixen per a començar a difondre tota

13


aquesta informació, que com ja hem comentat no sempre acaba constituint unmanual pròpiament dit.

10) Revisió i millora del test. Amb la publicació del test, ja sigui difonent-losota llicència o lliurement, el test es posa a disposició de la comunitat científicaper a obtenir noves evidències que, mitjançant el treball independent de diferentsinvestigadors, serviran per a millorar el coneixement sobre el seu funcionament iles seves propietats psicomètriques, així com per a adaptar-lo a altres entornssocioculturals o a d’altres poblacions diferents per a les quals ha estatdesenvolupat el nou test. Canvis en els fenòmens psicològics objecte de mesura,nous avenços en l’aproximació teòrica a aquests fenòmens o l’adaptació del testa noves condicions d’administració o poblacions d’interès són algunes de les raonsque justifiquen un treball de revisió i actualització pràcticament indefinida per talde refinar-ne el funcionament i valorar-ne adequadament la utilitat al servei delsobjectius de l’avaluació psicològica.

Criteris per a la valoració de tests:

Una vegada trobat un o més tests potencialment interessants, és necessari avaluar-ne lescaracterístiques per a valorar la conveniència del seu ús amb relació als objectius del’avaluació psicològica. Oferim alguns criteris a partir de les preguntes més importants que elsprofessionals interessats en el seu ús han de formular-se amb relació als objectius del test,les seves propietats psicomètriques, el procés d’administració, el seu estatus i, finalment,l’adequació específica al procés d’avaluació:

● Amb relació als objectius del test. Entre d’altres, està clarament definit l’objectiudel test? Disposa del suport teòric necessari? Disposem de les evidènciescientífiques necessàries per a utilitzar-lo com a instrument de mesura? S’actualitzaregularment o, al menys, és objecte d’investigació per a valorar-ne les propietatspsicomètriques i la utilitat d’acord amb els objectius que es proposa?

● Amb relació a les seves propietats psicomètriques. D’acord amb el procés deconstrucció, es proporciona la informació necessària sobre l’anàlisi dels ítems quecomponen el test? Quines evidències es proporcionen sobre la fiabilitat i la validesade les mesures obtingudes mitjançant el test? Quins tipus de mostres, i amb quinesgrandàries, s’han utilitzat per a recollir aquestes evidències?

● Amb relació al procés d’administració. Disposa el test d’un manual adequat ambla informació i els materials necessaris per al seu ús? Té instruccions clares oplantilles per a la correcció? Si fos necessari, aquest manual disposa de normes obarems per a la interpretació de les puntuacions obtingudes?

● Amb relació a l’estatus. Es tracta d’un test comercial i, en cas de ser-ho, quincost tenen el manual, les còpies del test, els fulls de resposta i la plantilla decorrecció? És necessari algun tipus de qualificació o acreditació per aadministrar-lo? Ha estat avaluat per alguna entitat o organisme independent?

● Amb relació a l’adequació al procés d’avaluació. Finalment, és pertinent d’acordamb els objectius d’avaluació? És el seu marc teòric congruent amb aquests

14


objectius? Es dirigeix específicament a la població a la qual es vol administrar? Estàadaptat o disposa d’una versió adaptada al context cultural en què vol ser utilitzat?S’ajusta a les condicions d’administració previstes en el procés d’avaluació, perexemple, tenint en compte el mitjà d’administració, els materials necessaris, elformat de resposta als ítems o el temps requerit?

Així, en el context internacional, hem de destacar la iniciativa de l’American EducationalResearch Association, l’American Psychological Association i el National Council onMeasurement in Education (1999), que des de 1985 publiquen conjuntament els seus TheStandards for Educational and Psychological Testing. D’altra banda, l’European Federationof Psychologists’ Associations (2012) treballa en el desenvolupament de l’EFPA Reviewmodel for the description and evaluation of psychological and educational tests amb laintenció d’harmonitzar els criteris i processos d’avaluació de la qualitat dels tests a escalaeuropea. Finalment, en el context estatal, hem de fer menció de la contribució del ConsejoGeneral de Colegios Oficiales de Psicólogos per a adaptar el model de l’EFPA a “Un modelopara evaluar la calidad de los tests utilizados en España” (Prieto i Muñiz, 2000). Aquestmodel ja ha estat utilitzat amb èxit per a avaluar la qualitat de deu dels tests més utilitzatspels psicòlegs espanyols (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez iPeña-Suárez, 2011).

Aspectes ètics i deontològics en l’ús de tests:

Els tests són uns instruments indispensables per a la mesura objectiva i estandarditzada delsfenòmens psicològics. I com a tals, es troben subjectes a una reflexió sobre lesconseqüències ètiques i morals que comporta el seu ús. És a dir, en tant queinstruments, poden ser utilitzats o no de manera adequada i d’acord amb unes finalitats ounes altres.

Principis generals que han de regir l’activitat dels psicòlegs:

1) L’atenció primordial al benestar, la salut, la qualitat de vida i laplenitud del desenvolupament de les persones.

2) La protecció dels drets humans i la responsabilitat en la fonamentacióobjectiva i científica de les intervencions professionals.

3) El no-desenvolupament de pràctiques que atemptin contra la llibertat ila integritat física i psíquica de les persones o la contribució a aquestespràctiques.

4) L’obligatorietat d’informar almenys els organismes col·legials si esconeix qualsevol violació dels drets humans o tractament degradant.

5) El respecte pels criteris morals i religiosos de les persones.

6) La no-discriminació per qualsevol diferència o motiu.

7) La denegació de qualsevol benefici o profit que es pugui treure com aconseqüència de les relacions de poder o superioritat establertes.

15


8) L’ús d’un llenguatge prudent i crític davant d’etiquetesmenyspreadores o discriminatòries en els seus informes.

9) El respecte per l’activitat dels altres professionals i la lliurecompetència.

10) La denúncia de pràctiques il·legítimes o intrusives.

11) La imparcialitat davant dels possibles conflictes d’interès entre elspsicòlegs o les institucions en què desenvolupen la seva activitat i elsinteressos de les persones.

Els psicòlegs que utilitzen els test han d’assolir les competènciesnecessàries per a portar a terme l’administració, interpretació de test i lacomunicació adequada dels resultats.

1) Responsabilitzar-se de l’ús ètic dels tests:

● Actuant de manera professional i ètica.● Assegurant-se que tenen els coneixements i les habilitats

necessàries.● Fent-se responsables del seu ús dels tests.● Mantenint de manera segura els materials dels tests.● Garantint la confidencialitat dels resultats.

2) Comprometre’s amb les bones pràctiques en l’ús dels tests:

● Estudiant la utilitat dels tests en els processos d’avaluació.● Triant tests ben fonamentats i apropiats per a la situació.● Atenent a les qüestions relacionades amb l’equitat.● Preparant adequadament les condicions d’administració.● Utilitzant correctament els tests.● Obtenint les puntuacions i analitzant-les amb exactitud.● Interpretant els resultats correctament.● Comunicant els resultats de manera clara i exacta.● Avaluant adequadament el funcionament i les propietats dels

tests.

16

apunts psicometria modul 1

Documents