1

TEMA 4. GARANTÍAS CIENTÍFICAS Y ÉTICAS DE LA EVALUACIÓN

“Las pruebas son herramientas. En las manos de un tonto

o de una persona sin escrúpulos se volverán una

perversión seudocientífica” (Sundberg y Tyler, 1962)

1. Introducción

2. Instrumentos de evaluación psicológica

2.1. Clasificación de los instrumentos

2.2. Elección del mejor instrumento

2.3. Los manuales de aplicación de los instrumentos

3. Garantías o criterios de calidad de los instrumentos de evaluación

psicológica

3.1. Fiabilidad

3.2. Validez

4. Puntuaciones de las pruebas de evaluación psicológica

4.1. Escalas de medida

4.2. Puntuaciones directas

4.3. Puntuaciones referidas al criterio

4.4. Puntuaciones referidas a la norma

2

5. Garantía del proceso de evaluación

5.1. Las Guías del Proceso de Evaluación (GAP)

5.2. Garantía de los datos recogidos

6. Directrices y guías que afectan a la evaluación psicológica

6.1. Criterios sobre la revisión de los tests

6.2. Directrices para la traducción y adaptación de tests

6.3. Directrices internacionales para el uso de los tests

6.4. Directrices internacionales para la evaluación informatizada y

tests aplicados por internet

7. Garantías éticas: el código deontológico

8. Conclusiones

3

OBJETIVOS

1. Saber qué es un instrumento de evaluación psicológica.

2. Familiarizarse con las clasificaciones de las técnicas de evaluación

psicológica.

3. Aprender a seleccionar la mejor prueba de evaluación psicológica.

4. Identificar las partes de un manual de aplicación de un test.

5. Conocer los criterios de calidad exigibles a los instrumentos de

evaluación psicológica.

6. Conocer las principales puntuaciones de medida de los tests.

7. Conocer las condiciones de deontología profesional que rigen en

evaluación psicológica.

4

1. Introducción

Como ya se ha dicho, la evaluación psicológica tiene por objeto el

análisis científico del comportamiento de una persona. Durante este

proceso se formulan hipótesis que ha de ser operacionalizadas mediante

un conjunto de procedimientos científicos de recogida de información:

tests, técnicas, instrumentos, etc., que han de presentar una serie de

garantías científicas, tanto en su construcción como en su uso. Por otro

lado, el proceso de evaluación supone un procedimiento científico sujeto

a normas. Por último, cualquier actividad humana está sometida a una

regulación dictada por los agentes sociales y por la propia profesión. En

consecuencia, en este tema vamos a tratar las garantías científicas y

éticas de la evaluación psicológica.

5

2. Instrumentos de evaluación psicológica

Como dice García-Montalvo (1997); un instrumento de evaluación

psicológica es todo aquello que el evaluador puede utilizar como legítima

fuente de datos acerca de una persona. Los instrumentos de evaluación

psicológica se clasifican en función de distinto tipo de técnicas

(observación, entrevista, autoinformes, subjetivas, objetivas, proyectivas)

entendidas como conjunto de procedimientos y recursos de que se sirve

una ciencia.

En muchas ocasiones, utilizamos indistintamente instrumento,

técnica y test, pero existe una diferencia clara entre estos términos.

Test “es un procedimiento sistemático para observar la conducta y

describirla con la ayuda de escalas numéricas o categorías establecidas.

El evaluador recoge información preguntando y observando a todas las

personas de la misma manera, en la misma o en comparables situaciones.

Esta definición engloba los cuestionarios, a través de los cuales se obtiene

informes sobre la personalidad, procedimientos para observar la conducta

social, aparatos de medida de la coordinación o, incluso, registros sobre

productos “(Cronbach, 1990, p.32).

6

Tres son las características principales de los tests:

1. presentar escalas numéricas o categorías establecidas,

2. a todas las personas se les debe preguntar u observar de la misma

manera, y

3. permiten comparaciones interindividuales.

Pero, no todos los procedimientos de evaluación psicológica son

tests. Las técnicas o instrumentos pueden ser estándar o pueden ser

flexibles. Y, por último, tenemos las técnicas cualitativas que permiten

formas subjetivas de valoración (las del evaluador).

Finalmente, en evaluación psicológica existen también las medidas

simples o moleculares que son registradas mediante instrumentos o

técnicas.

Por lo tanto, los procedimientos de recogida de información no se

reducen a los tests o técnicas estándar de medida. E n d e f i n i t i v a , e l

evaluador debe seleccionar aquellos tests estándar que sean idóneos;

debe elegir también aquellas técnicas, instrumentos o medidas que den

cuenta de las características específicas del caso. Además, de aprender

a elegir los mejores instrumentos o pruebas de evaluación psicológica, el

buen profesional debe saber aplicarlos correctamente.

7

2.1. Clasificación de los instrumentos

Una de las clasificaciones más antiguas de los instrumentos de

evaluación es la de Pervin (1979):

4. Tests proyectivos

5. Tests subjetivos

6. Tests psicométricos

7. Tests objetivos

Por otro lado, Fernández-Ballesteros (1999) presenta una

clasificación en seis categorías compartida por Forns, Abad, Amador,

Kirchner y Roig (2002):

8. Técnicas de observación

9. Técnicas objetivas

10. Técnicas de autoinforme

11. La entrevista

12. Técnicas subjetivas

13. Técnicas proyectivas

8

Las técnicas de evaluación psicológica también pueden clasificarse

en función de su aplicación a lo largo del proceso de evaluación

psicológica.

Es necesario, por otro lado, aclarar las diferencias existentes entre

cuestionario, inventario y escala.

El cuestionario incluye una lista de cuestiones o preguntas, por lo

tanto la formulación de los ítems siempre va con interrogación.

Los inventarios, por el contrario, se construyen a partir de un listado

de ítems en forma de conjunto de frases que representan

situaciones, conductas o respuestas a las que la persona tiene que

contestar con qué frecuencia le ocurren.

La escala comporta la observación externa.

9

Características básicas de la clasificación de las técnicas de

evaluación psicológica (Aiken, 1996, Cohen y Swerdlik, 2001, Gregory,

2001, entre otros):

1. Procedimientos estandarizados y no estandarizados: se considera

que una prueba está estandarizada cuando tiene instrucciones fijas

para su aplicación y clasificación y se aplica a un grupo

representativo de la población, para quienes está específicamente

dirigido. Por el contrario, un procedimiento no estandarizado es

aquel que no posee normas y por tanto no necesita comparar al

individuo en particular con un grupo de referencia.

2. Pruebas individuales o grupales: un instrumento individual sólo se

aplica a una persona, mientras que las pruebas grupales pueden

aplicarse de forma simultánea a varias personas.

3. Pruebas referidas a la norma: en una prueba referida a la norma, la

puntuación de cada persona se interpreta con referencia a una

muestra de estandarización, mientras que en las pruebas referidas

a criterio no se necesita la comparación de una persona con un

grupo de referencia.

10

4. El grado de estructuración de los estímulos y la respuesta: una

prueba estructurada en el estímulo tiene una única interpretación,

mientras que una prueba con menor grado de estructuración ofrece

más variedad de interpretaciones.

5. El grado de enmascaramiento del objetivo de la prueba: una prueba

no enmascarada deja claro desde el primer momento los objetivos

que pretende alcanzar, mientras que los instrumentos enmascarados

poseen un objetivo diferente del que pretenden aparentar en un

principio.

6. El grado de inferencia interpretativa: los niveles de inferencia se

refieren a las respuestas que una persona emite frente a cualquier

dispositivo de evaluación. Son cuatro los niveles de inferencia

propuestos por Sundberg, Tyler y Taplin (1973).

7. El grado de modificabilidad de la respuesta: se refiere al grado en el

que la persona puede modificar o alterar su respuesta en la prueba.

Por otro lado, los instrumentos de evaluación pueden clasificarse

según Aiken (1996) a partir de sus contenidos verbal/no verbal, tests de

ejecución, o según se trate de una prueba cognoscitiva, o afectiva.

11

2.2. Elección del mejor instrumento

En 1950 un Comité sobre Normas Éticas para la Psicología de la

American Psychology Association (APA) publicó unas orientaciones en las

que se definían tres niveles de pruebas en función del grado de

conocimientos que su uso requería. Por otro lado, existe un proyecto de

la Asociación Europea de Evaluación Psicológica (EAPA) para restringir el

acceso de pruebas no sólo a los no psicólogos, sino también a los

psicólogos no formados en evaluación.

Las tareas del proceso de evaluación son propias de un profesional

de la psicología.

Muñiz (1997) describe tanto los aspectos éticos como los

deontológicos de la evaluación psicológica. Este autor resalta la

clasificación de los instrumentos de evaluación entre tres niveles (a, b, c)

que utilizan los editores para la venta de las pruebas (siguiendo las normas

de la APA).

a) Formación y experiencia en el ámbito concreto de aplicación.

b) Conocimiento sobre la teoría de los tests y métodos estadísticos.

c) Titulación superior en psicología, psiquiatría o psicopedagogía y

experiencia profesional en diagnóstico clínico.

12

En cuanto a la elección de la herramienta psicológica más

adecuada, depende de qué se quiere evaluar, para qué, y quién o

quiénes va/n a ser evaluados. ¿Cómo elegir la mejor prueba?

1. Saber cuáles son las pruebas de inteligencia estandarizadas.

2. Elegir aquellas que posean unos adecuados criterios de calidad.

3. Seleccionar aquellos instrumentos que puedan aplicarse a la edad

de la persona o personas que queremos evaluar.

4. Seleccionar un instrumento de administración individual o grupal.

Pasos en la aplicación de un instrumento de evaluación psicológica:

5. Se familiarice con la prueba.

6. Prepare adecuadamente el lugar donde se aplicará la prueba.

7. Cree un ambiente y rapport adecuados .

8. Prepare los materiales necesarios.

9. Explique el propósito de la evaluación antes de aplicar la prueba y

cómo se va a utilizar la información obtenida.

10. Siga estrictamente las normas de aplicación de la prueba.

11. Corrija las pruebas siguiendo los pasos que se indican en el

manual con el fin de no cometer errores.

12. Cumpla con las obligaciones éticas y deontológicas antes de iniciar

la evaluación.

13

2.3. Los manuales de aplicación de los instrumentos

Las partes de un manual (que pueden variar en orden de

presentación) por lo general suelen tener los mismos contenidos:

1. Introducción. Origen de la prueba.

2. Objetivos que pretende el instrumento.

3. Descripción general. Incluye una ficha técnica con la descripción

general de la prueba.

4. Fundamentación estadística. Fiabilidad y validez.

5. Instrucciones para la aplicación, corrección e interpretación.

6. Ventajas y limitaciones de la prueba.

7. Investigaciones recientes realizadas con este test. Este último

apartado no se incluye en todos los manuales.

El buen evaluador debe leer a fondo el manual antes de aplicar el

test y prestar una atención especial a los siguientes aspectos:

1. La construcción de la prueba.

2. Cómo debe realizarse la administración del test.

3. Pasos a seguir para corregir y obtener los resultados.

14

3. Garantías o criterios de calidad de los instrumentos de evaluación

psicológica

Como decía Yela (1990), el proceso de evaluación psicológica debe

realizarse cubriendo ciertas garantías de calidad. Desde los inicios de la

teoría clásica de los tests se desarrollaron y establecieron los requisitos

psicométricos de calidad y bondad asumidos como normas en la

construcción, interpretación y utilización de instrumentos psicológicos de

medición: fiabilidad y validez. Estos dos criterios se integran en las

normas de la APA desde 1954.

Por otro lado, los tests y cualquier otro instrumento de medida, no

nos proporciona una medida perfecta por lo que existe un elemento de

error e imperfección que resulta imprescindible conocer.

3.1. Fiabilidad

La APA describió fiabilidad como la exactitud (consistencia y

estabilidad) de la medición de un test; es decir, la precisión con la que

mide la prueba. En términos más técnicos, la confiabilidad de una prueba

permite estimar qué proporción de la varianza total de las puntuaciones se

debe a la varianza de error (Anastasi y Urbina, 1998).

15

Se puede decir que existen tres tipos de evidencias de fiabilidad:

1. Relacionadas con la estabilidad de la medida

2. Con la objetividad del registro

3. Con la homogeneidad de la prueba en aquellos tests que se

componen de un agregado de elementos

Las posibles fuentes de error de medición o fuentes de varianza de

error que pueden reducir la fiabilidad de una prueba son descritas por

Aiken (1996), Cohen y Swerdlik (2001), Gregory (2001) y otros muchos

autores:

1. Construcción de pruebas

2. Administración de las pruebas

3. Calificación e interpretación de las pruebas

En cuanto a los tipos de fiabilidad o formas de estimar el coeficiente

de fiabilidad de una prueba, hacemos una breve exposición:

1. Coeficiente test-retest o estabilidad del test

Se halla al correlacionar las puntuaciones que obtiene un grupo de

personas en la aplicación de una prueba con las obtenidas en una

segunda aplicación.

16

2. Coeficiente de formas paralelas/alternas o de equivalencia

Consiste en aplicar la segunda vez una forma paralela o alterna del

tests; sin embargo, algunos autores como Gregory (2001) señalan que

introduce diferencias en la muestra de reactivos. Para solucionar esto,

Aiken (1996) describe el procedimiento correcto: elaborar dos formas de

la misma prueba. La correlación resultante es el coeficiente de

equivalencia.

3. Coeficiente de consistencia interna

Este coeficiente es más sencillo y tiene en cuenta los errores de

diferentes muestras de reactivos de una prueba, pero no refleja los errores

de medición debidos a las diferentes condiciones o momentos de la

aplicación.

4. Coeficiente interjueces o entre evaluadores

La fiabilidad entre evaluadores es el grado de acuerdo o consistencia

que existe entre dos o más evaluadores, jueces o calificadores (Cohen y

Swerdlik, 2001).

17

3.2. Validez

La definición de los Estándares para los tests educativos y

psicológicos (AERA, APA, NCME, 1985, 1999) indica que una prueba es

válida al grado en que las inferencias que se realicen a partir de ella sean

apropiadas, significativas y útiles. Al igual que la fiabilidad, la validez de

una prueba puede verse afectada por los errores de medida no

sistemáticos, pero también por los sistemáticos.

Las principales clases de validez o evidencia son las que aparecen

a continuación:

1. Validez de contenido

Representa la comprobación de que el contenido de la técnica en

cuestión comprenda una muestra representativa del universo posible de

conductas que se pretende evaluar con ella (Fernández-Ballesteros y

Maciá, 1992).

2. Validez criterial

También llamada predictiva, expresa el grado en que las

puntuaciones en una variable -normalmente un predictor-, pueden

utilizarse para inferir el rendimiento en una variable diferente y

operacionalmente independiente llamada criterio. Dos tipos: a) La validez

concurrente y b) La validez predictiva.

18

3. Validez de constructo

Establece el grado en el cual un instrumento mide o guarda relación

con un determinado rasgo o constructo hipotético. Integra las

consideraciones criteriales y de contenido. Es el tipo de validez más

general.

4. Puntuaciones de las pruebas de evaluación psicológica

4.1. Escalas de medida

Existen en psicología cuatro tipos de escalas de medida: nominal,

ordinal, de intervalo y de razón.

4.2. Puntuaciones directas

Son el resultado directo e inmediato que se obtiene a la hora de

corregir un test.

4.3. Puntuaciones referidas al criterio

Una puntuación referida al criterio o al universo de conductas, se

interpreta en función de unos logros u objetivos a cumplir, arbitrariamente

definidos, y que sirven para tomar decisiones.

19

4.4. Puntuaciones referidas a la norma

Se interpreta a partir de un grupo de referencia; es decir, se basa en

la comparación de la ejecución de una persona con su grupo normativo.

Existen tres tipos de puntuaciones normativas:

a) Puntuación percentil.

b) Puntuación cronológica.

c) Puntuación típica.

4.5. Puntuaciones independientes de la norma

Se fundamentan en la Teoría de Respuesta al ítem, representan

unos valores determinados en la dimensión de la aptitud analizada

reflejando el nivel de habilidad del individuo, y poseen la ventaja de realizar

un perfil individual y preciso de cada persona.

20

5. Garantía del proceso de evaluación

Para garantizar el proceso de evaluación hemos de utilizar las Guías

del proceso de evaluación, ya que suponen normas que la comunidad

científica ha elaborado, y garantizar los propios datos (no sólo las técnicas

utilizadas).

5.1. Las Guías del Proceso de Evaluación (GAP)

Los objetivos de las GAP son: 1) asistir a los evaluadores en su

esfuerzo por optimizar la calidad de su trabajo; 2) asistir al cliente de una

evaluación para que pueda enjuiciar el trabajo evaluativo; y 3) facilitar el

entrenamiento en evaluación.

Existe, por otro lado, una herramienta de las GAP llamada “Hoja de

autovaloración del proceso de evaluación” (HAPE), que comprende cada

una de las 95 normas con el fin de permitir la valoración sobre el

cumplimiento de las mismas mediante un autoexamen.

21

5.2. Garantía de los datos recogidos

La conceptualización sobre las garantías científicas que ofrecen

nuestros datos procede de la Teoría de la generalizabilidad (TG) formulada

por Cronbach y colaboradores (1972). Se pretende la utilización de su

racional como un heurístico para indagar la bondad de los datos recogidos.

La TG propone que existen distintos universos a través de los cuales los

datos obtenidos podrían ser generalizables.

Algunos de los problemas en torno a la fiabilidad, validez y exactitud

de los datos de una evaluación en relación a estos universos de

generalizabilidad:

1. Generalizabilidad de las puntuaciones

Este universo de generalizabilidad implica la siguiente pregunta: ¿en

qué medida los datos procedentes de un evaluador son generalizables a

los obtenidos por otros evaluadores?

2. Generalizabilidad de los elementos

Este universo de generalizabilidad implica la siguiente pregunta:

¿hasta qué punto los elementos de un test son representativos del amplio

universo de elementos implicados en el mismo ámbito de contenido y/o de

unos elementos del test se puede generalizar a otros?

22

3. Generalizabilidad temporal

Este universo de generalizabilidad implica la siguiente pregunta:

¿hasta qué punto los datos obtenidos en un determinado momento son

extensibles a otros momentos de la vida de la persona?

4. Generalizabilidad de las situaciones

Este universo de generalizabilidad implica la siguiente pregunta:

¿hasta qué punto los datos de un test recogidos en una situación son

generalizables a otras situaciones?

5. Generalizabilidad de los métodos

Este universo de generalizabilidad implica la siguiente pregunta: ¿en

qué medida los datos procedentes de un método de evaluación son

generalizables a otros que evalúen el mismo contenido?

6. Generalizabilidad de las dimensiones

Este universo de generalizabilidad implica la siguiente pregunta: ¿en

qué medida las propiedades o estimaciones de una variable son

generalizables a otras?

23

6. Directrices y guías que afectan a la evaluación psicológica

A partir del año 1991 distintas organizaciones nacionales, europeas

e internacionales han producido un conjunto de guías, directrices, normas

o estándares, siendo las más relevantes las siguientes:

‚ Los criterios sobre la revisión de los tests (2000).

‚ Las directrices para la traducción y adaptación de tests (1996).

‚ Las directrices internacionales para el uso de los tests (2000)

‚ Las directrices internacionales para la evaluación informatizada y

tests aplicados por internet (2003) (en proceso de revisión).

6.1. Criterios sobre la revisión de los tests

Un test debe ser revisado cuando existen datos de investigación que

representen cambios significativos en el dominio, en las condiciones de

uso, o en la interpretación que pueden hacer inapropiado el uso del test;

cuando la investigación ha mostrado nuevos conceptos subyacentes que

han de ser incorporados.

24

6.2. Directrices para la traducción y adaptación de tests

La International Test Comission (ITC) ha desarrollado normas para

la adaptación de los tests formados por 22 principios agrupados en cuatro

áreas:

‚ Contexto

‚ Desarrollo y adaptación de instrumentos

‚ Administración

‚ Interpretación

‚

6.3. Directrices internacionales para el uso de los tests

También han sido elaboradas por la ITC y se dirigen no sólo a los

constructores, investigadores o usuarios, sino a todas las personas que

participen en un proceso en el que esté implicada la evaluación

psicológica. Poseen dos apartados, el primero consta de 33 artículos y

revisa la responsabilidad en el uso ético de los test, y el segundo con 102

artículos se dirige a la utilización adecuada de los tests.

A estos principios añaden tres apéndices en los que se revisan las

pautas para establecer políticas sociales sobre el uso de los tests, pautas

para confeccionar contratos entre las partes implicadas en la evaluación

y aplicación de tests a personas con discapacidades.

25

6.4. Directrices internacionales para la evaluación informatizada y tests

aplicados por internet

En marzo de 2003, la ITC enviaba un borrador sobre estándares de

aplicación internacional. Aparecen cuatro objetivos fundamentales:

1. Cuidar las cuestiones tecnológicas

2. Garantías de calidad

3. Asegurar los niveles de control apropiados

4. Asegurar la privacidad y seguridad de los datos recogidos.

7. Garantías éticas: el código deontológico

Ver el Código Deontológico del Psicólogo en la página oficial del

Colegio Oficial de Psicólogos.

8. Conclusiones

A lo largo de este tema se ha tratado de estudiar cuáles son las

garantías científicas y éticas en la evaluación psicológica. Hemos tenido

en cuenta las diferencias entre los tests y otros instrumentos de medida,

así como las diferentes puntuaciones que se obtienen.

Por otro lado, se han presentado los conceptos de fiabilidad y

validez, así como los diferentes tipos de evidencia.

26

Por último, se habla de garantías científicas y éticas en el proceso

de evaluación psicológica. Por una parte, se trata de garantizar el proceso

de evaluación psicológica mediante unos estándares suministrados por

asociaciones científicas o profesionales de psicólogos; y, por otro parte,

abarca comportamiento éticos que se han de seguir teniendo en cuenta el

código deontológico del psicólogo.

PREGUNTAS:

V1) El test difiere del instrumento de evaluación psicológica en que el test

siempre está tipificado y el instrumento puede no estarlo

F2) Un procedimiento estandarizado sólo puede aplicarse individualmente

F3) El nivel A de clasificación de las pruebas se refiere a que el evaluador

debe tener titulación superior en psicología, psiquiatría o psicopedagogía.

4) Una puntuación referida a criterio nos informa del dominio que tiene la

persona en una habilidad particular.