la medición en el ámbito educativo - · pdf filecampbell. sin embargo, los...

Psicología EducativaVol. 18, n.° 1, 2012 - Págs. 15-28

Copyright 2012 by the Colegio Oficial de Psicólogos de MadridISSN: 1135-755X - http://dx.doi.org/10.5093/ed2012a2Artículo publicado Online First: 30/03/2012

La Medición en el Ámbito Educativo

Educational Measurement

María José NavasUniversidad Nacional de Educación a Distancia, España

Resumen. Se examina el papel que juega la medición en el trabajo del psicólogo educativo en el centroescolar y también dentro del campo general de la educación, pasando revista a los instrumentos que se uti-lizan en tres importantes ámbitos que ilustran las necesidades de información que tienen los distintos agen-tes educativos: los exámenes que ponen los profesores a sus alumnos, la prueba de acceso a la Universidady las pruebas utilizadas en las evaluaciones del sistema educativo. Seguidamente se indican las claves paraobtener buenas medidas educativas para finalizar realizando algunas llamadas de atención sobre puntos deinterés relativos al trabajo del psicólogo educativo dentro del centro escolar y también a la medición en elcampo general de la educación. Palabras clave: medición, evaluación, psicólogo educativo, exámenes, prueba de acceso a la Universidad,evaluación del sistema educativo, calidad psicométrica.

Abstract. The role played by measurement in education as well as in the job carried out by an education-al psychologist within school is reviewed. Three important measuring devices are examined, so as to showthe kind of information that is needed in different areas: the exams teachers give regularly to students inthe classroom, the college entrance test, and the tests administered in programs for national or internation-al student assessments. Therewith, a discussion about how to achieve sound educational measures is pre-sented. Finally, some points of interest are highlighted as far as the job of the educational psychologistwithin school is concerned and also in the more general field of education.Keywords: measurement, educational psychologist, exams, college entrance test, assessment of educa-tional progress, psychometric quality.

“La historia de la ciencia es la historia de la medi-da” (Cattell, 1890, p. 376). Esta escueta afirmaciónrevela con claridad el decisivo papel que juega lamedición en la ciencia, donde resulta clave para descri-bir y explicar (y por ende en la predicción y control de)los fenómenos. La medición aporta precisión y rigor alas descripciones de los hechos, de las conductas de lossujetos y de las situaciones o contextos en las que éstastienen lugar; por otro lado, la explicación, predicción ycontrol de la realidad supone formular modelos o teo-rías, que no son más que una red de proposiciones refe-ridas a un conjunto de constructos o variables que esnecesario medir apropiadamente.

Una medición rigurosa de las variables constituye elpaso previo e ineludible para cualquier uso posteriorque se vaya a hacer de ellas. Los investigadores nece-sitan obtener medidas de las variables implicadas ensus hipótesis; los psicólogos educativos necesitan eva-luar e intervenir y tanto la evaluación como la inter-vención se apoyan en la medición. Ésta proporcionainformación objetiva en la que basarse para tomardecisiones acerca de los sujetos, aumentando la efi-ciencia en la toma de decisiones por parte de psicólo-gos y educadores. De hecho, una de las razones que

explica el gran éxito que tuvieron en EE.UU. los testsal despuntar el siglo XX es que representan la posibili-dad de juzgar a las personas por sus competencias,habilidades o conocimientos, esto es, por méritos pro-pios y no por su nivel socioeconómico, red social, apa-riencia o por el juicio subjetivo de profesores o super-visores.

Tras el éxito cosechado por los tests creados parareclutar personal para la contienda militar de laPrimera Guerra Mundial, Cattell funda en 1922 la pri-mera entidad dedicada a la producción masiva de tests(Psychological Corporation). En 1940 se habíancomercializado ya 2600 baterías estandarizadas de ren-dimiento, evaluando desde la inteligencia y el retrasomental hasta la distancia social entre grupos, pasandopor la personalidad, los intereses y actitudes de gruposy sujetos. La generalización de los tests en la sociedades un hecho.

Ahora bien, en 1940 tiene también lugar la famosareunión donde la Comisión para el Avance de laCiencia de la Sociedad Británica invita amablemente alos psicólogos a renunciar a su empeño de medir varia-bles subjetivas, ya que la medición fundamental odirecta es inviable en psicología, al ser propiedadesintensivas la mayoría de las variables psicológicas.Como certeramente señala Muñiz (1998a), “no resultasencillo medir con rigor en sentido clásico, acorde conlos axiomas de Hölder y las propuestas ortodoxas de

La correspondencia sobre este artículo debe enviarse al Departa-mento de Metodología de las Ciencias del Comportamiento. Facultad dePsicología UNED, Juan del Rosal, 10. 28040 Madrid E-mail: [email protected]

Campbell. Sin embargo, los psicólogos miden susvariables y desarrollan sofisticados instrumentos a talefecto, los más conocidos de los cuales para el públicoson los tests, si bien los especialistas utilizan una gamamucho más amplia en sus investigaciones e interven-ciones” (p. 3).

Si bien la implantación y generalización de los testsen la sociedad desmentía rotundamente la conclusiónde dicha comisión, la psicología estaba pagando el pre-cio de su origen, en un marco claramente positivista ycon la pretensión de emular el canon de ciencia enton-ces al uso, por lo que los primeros brotes de mediciónse desarrollaron dentro de la concepción conservadorade la medición (Savage y Ehrlich, 1990) en el mismomarco de la medición de las magnitudes físicas. Puedeconsultarse en Navas (2001) las distintas formas en lasque la psicología consiguió sortear este aparente calle-jón sin salida.

Yela (1984) decía muy gráficamente que “medir nosignifica necesariamente aplicar una unidad extensa aobjetos extensos, como el metro a un retal” (p. 7). Lamedición sirve para cuantificar y expresar –normal-mente en forma numérica– las características de losestímulos y de las personas, de forma que se pueda uti-lizar los números –mucho más fáciles de manejar y,por tanto, más convenientes– como si se tratase de lorepresentado. Meliá (1990) define la medición en psi-cología como “la asignación de números según reglasa constructos teóricos mediante el uso de indicadoresempíricos apropiados de los mismos” (p. 34). La teoríade la medición se ocupa del estudio de los modelosmediante los cuales se conocen las reglas para unacorrecta asignación de los números y la psicometríapermite justificar y obtener medidas de las variablespsicológicas y educativas.

La medición psicológica y educativa no solo esposible sino que es necesaria, imprescindible. En elsiguiente apartado se va a examinar el papel que juegaen el trabajo del psicólogo educativo en el centro esco-lar y también dentro del campo general de la educa-ción, pasando revista a los instrumentos que se utilizanen tres importantes ámbitos que ilustran las necesida-des de información que tienen los distintos agenteseducativos: los exámenes que ponen los profesores asus alumnos, la prueba de acceso a la Universidad y laspruebas utilizadas en las evaluaciones del sistema edu-cativo.

Según Hopkins (1998), existe una estrecha corres-pondencia entre la madurez científica de una discipli-na y el grado en que se pueden medir de forma objeti-va y precisa las variables relevantes para la misma. Enel siguiente apartado se indican las claves para obtenerbuenas medidas: instrumentos con una adecuada cali-dad métrica y profesionales con las competenciasnecesarias para seleccionar (o construir) el mejor ins-trumento en cada caso y utilizarlo de forma apropiada.Solo así se puede lograr medidas que proporcionen lainformación requerida y puedan ser utilizadas, si pro-

cede, para tomar las decisiones correspondientes.Asimismo, se reflexiona sobre las consecuencias deuna mala práctica y el posible impacto adverso de lamedición.

En el último apartado se realizan algunas llamadasde atención acerca de puntos de interés en los dos pla-nos analizados en el primer apartado: el trabajo del psi-cólogo educativo en el centro escolar y la medición enel campo general de la educación.

El papel de la medición

En el trabajo del psicólogo educativo en el centroescolar

La medida también está en el origen de la PsicologíaEducativa que, en buena parte, es deudora de los traba-jos de Binet realizados a principios del pasado siglopara responder al encargo del ministro de Educaciónde elaborar un método objetivo para ayudar en el diag-nóstico de los niños con discapacidad intelectual queasistían a las escuelas públicas de París. El origen deesta profesión está muy vinculado a la aplicación depruebas psicométricas estandarizadas que exigen elconcurso de profesionales con la capacitación necesa-ria para ello. Como indica Méndez (2011), “la necesi-dad de evaluar y de hacerlo a través de pruebas estan-darizadas ayudó a identificar una profesión emergente”(p. 40) con evaluaciones dirigidas en sus inicios sobretodo al ámbito de la educación especial.

La aplicación de pruebas estandarizadas sigue sien-do una tarea muy relevante en el trabajo del psicólogoeducativo y posiblemente constituya sus señas de iden-tidad más visibles. Ahora bien, ni las pruebas estanda-rizadas son el único modo de obtener las medidas oinformación de interés ni el papel de la medición seagota ahí sino que está presente no solo en el principiosino también al final del trabajo del psicólogo educati-vo.

Aunque la definición del rol y funciones del psicó-logo educativo en el centro escolar ha sido y siguesiendo objeto de no poca polémica y controversia(véase, por ejemplo, el número monográfico dedicadopor esta misma revista a comienzos de 2011), se acep-ta generalmente como marco de su trabajo el procesosiguiente. A partir de un análisis de necesidades o deuna situación problema, se obtiene una evaluación ini-cial o diagnóstico, que servirá para poner en marchauna determinada vía de acción o intervención, en basea programas (preventivos, de desarrollo, terapéuticos yde orientación académica y profesional) o terapéuticade enfoque clínico (Garaigordobil, 2009), en el propiocentro o bien derivando la intervención a institucioneso centros especializados. El proceso siempre ha de ter-minar con una valoración de la intervención realizadaque supone, a su vez, medir los efectos de los progra-mas de intervención y tomar las decisiones correspon-

16 LA MEDICIÓN EN EL ÁMBITO EDUCATIVO


Copyright 2012 by the Colegio Oficial de Psicólogos de MadridISSN: 1135-755X - http://dx.doi.org/10.5093/ed2012a2

Artículo publicado Online First: 30/03/2012

dientes derivadas de dicha valoración. La mediciónproporciona la información necesaria para diseñar lamejor estrategia posible de intervención y la mediciónindica también hasta qué punto dicha estrategia ha con-ducido a los resultados apetecidos.

Donde existe poca controversia es en lo ingente dela tarea a acometer, ya que el trabajo del psicólogoeducativo en el centro no está limitado a evaluar a estu-diantes individuales (con necesidades tanto educativascomo psicológicas) o grupos (de estudiantes, familias)sino también la propia organización escolar, examinan-do aspectos tan importantes como, por ejemplo, lasatisfacción y el clima escolar, que tienen un profundoimpacto en el rendimiento educativo.

Las técnicas más utilizadas para la evaluación ini-cial o diagnóstico son los tests psicológicos, la entre-vista psicológica y la observación en sus diferentesmodalidades, debiendo seleccionar en cada caso la(s)más adecuada(s) al objeto (individuos, grupos, institu-ciones) y al objetivo planteado en la evaluación. Elresto de fases del proceso dependen críticamente de lainformación obtenida al inicio, por lo que resulta fun-damental conocer y tener acceso a los mejores instru-mentos de medida y aplicarlos con el rigor y en lascondiciones establecidas por sus autores, para así dis-poner de medidas adecuadas que conduzcan a estable-cer un buen diagnóstico de la situación, base incuestio-nable de cualquier intervención posterior.

En el campo de la educación

Son muchas y poderosas las razones para evaluar,tanto para educandos como para los distintos agenteseducativos. Los alumnos quieren saber sus notas; lospadres quieren saber cómo lo están haciendo de biensus hijos en el colegio; los profesores quieren sabercuáles son los conocimientos previos de sus alumnosantes de abordar un nuevo bloque de contenidos, cómo

van asimilando éstos conforme los imparten y hastaqué punto lo han hecho una vez completada esa unidadtemática; los directores quieren saber dónde se sitúansus alumnos en relación a los de otros centros y a lamedia de su comunidad y de España, y las autoridadeseducativas quieren saber hasta qué punto la educaciónque reciben los estudiantes es una educación de cali-dad. En pocas palabras, se necesita la medición paratomar decisiones sobre los estudiantes, el proceso deenseñanza-aprendizaje, el currículo, los profesores ylos centros escolares.

Simplificando enormemente se puede distinguir dostipos de evaluaciones muy diferentes, que responden aobjetivos distintos y utilizan procedimientos tambiéndistintos para medir u obtener la información necesa-ria: la evaluación que realizan los profesores dentro delaula con el objetivo de conocer pero, sobre todo, demejorar el aprendizaje de sus alumnos y las evaluacio-nes a gran escala que tienen lugar periódicamentesobre el conjunto de la población (por ejemplo, laspruebas de acceso a la Universidad) o sobre una mues-tra de la misma (por ejemplo, el estudio PISA o lasevaluaciones diagnósticas del sistema educativo), conel objetivo básico de acreditar o rendir cuentas acercade los resultados educativos de los estudiantes. Las dosson esenciales en la actualidad. En la Tabla 1 se ofreceuna sucinta caracterización de ambas y se detalla acontinuación algunos aspectos de interés en cada unade ellas.

Exámenes en el aula

La evaluación es consustancial al trabajo docente.Gracias a ella, el profesor dispone de información acer-ca de lo que sabe realmente el alumno y puede organi-zar de manera acorde el trabajo para facilitar y despuésdocumentar o dar fe de su aprendizaje, informando aestudiantes, padres y a las instancias que corresponda



MARÍA JOSÉ NAVAS 17

EN EL AULA

a) Determinar si los estudiantes dominan un determinado concepto ohabilidad.

b) Motivar a los estudiantes para que se involucren activamente en elproceso de enseñanza-aprendizaje.

c) Conseguir que los estudiantes sean capaces de razonar y de aplicarlos contenidos aprendidos.

d) Ayudar a desarrollar una actitud positiva hacia las asignaturas.e) Informar a los padres de lo que saben y son capaces de hacer sus

hijos.f) Informar a los estudiantes de lo que saben y son capaces de hacer.g) Informar a los estudiantes de lo que esperan de ellos.h) Indicar a los estudiantes dónde han de centrarse para mejorar.i) Elaborar el boletín de notas.j) Evaluar la eficacia de los métodos pedagógicos.

A GRAN ESCALA

a) Identificar puntos fuertes y débiles de los estudiantes.

b) Determinar si los estudiantes cumplen los objetivos educativosestablecidos.

c) Determinar cómo agrupar a los estudiantes.

d) Identificar estudiantes con necesidades especiales.e) Comparar el rendimiento de determinados grupos de estudiantes

con el promedio nacional.f) Evaluar la eficacia de un nuevo curriculum.g) Evaluar a profesores y directores de los centros.h) Proporcionar información para la acreditación de los centros.i) Comparar distintos centros escolares.j) Distribuir recursos.

Tabla 1. Objetivos de la evaluación en el aula y de la evaluación a gran escala*

*Elaborada a partir de McMillan (2008, pp. 6-7).

sobre el progreso académico de éstos. McMillan (2008)concibe la enseñanza como un proceso de toma de deci-siones que tienen lugar antes, durante y después delproceso de enseñanza-aprendizaje. La Tabla 2 indicacon claridad hasta qué punto la evaluación (preguntasen cursiva) está ligada y al servicio de la instrucción,proporcionando una fuente de información básica queayuda a tomar las decisiones correspondientes al profe-sor, junto a su experiencia, lógica e intuición.

La batería de procedimientos de medida a disposi-ción del profesor es muy variada. Desde sencillos testspara obtener un rápido plano de situación antes deabordar una nueva unidad temática hasta un detalladoexamen que evalúe el nivel de conocimiento, compren-sión y capacidad de aplicación de los contenidos estu-diados a situaciones cotidianas, pudiendo utilizar paraello preguntas de elección (binaria, múltiple, de empa-rejamiento) o de respuesta abierta, en las que el alum-no debe proporcionar y no seleccionar la respuesta auna tarea. Aquí el catálogo ofrece también múltiplesposibilidades: desde preguntas que requieren una res-puesta corta o completar una frase o tabla hasta la pre-sentación oral sobre un tema, la redacción del informeacerca de alguna tarea realizada en el laboratorio (loque se conoce con los términos de pruebas de desem-peño o de evaluación de la actuación, performanceassessment en inglés), escribir una carta al editor de unperiódico local o reconocer y formular en términosmatemáticos un problema planteado fuera del contextoescolar habitual (lo que se conoce con el término depruebas de evaluación auténtica, authentic assessmenten inglés). Este último tipo de tareas (véase Martínez-Arias, 2010 para una presentación en castellano) sirveademás para resaltar la relevancia del aprendizaje, conel importante componente motivacional y de refuerzoque ello supone para el proceso de enseñanza-aprendi-zaje.

Como en cualquier otra tarea evaluativa o de inves-tigación, es el objetivo que se plantea en cada momen-to el profesor la variable clave a la hora de decidir quétipo de procedimiento escoger del catálogo para obte-

ner las medidas de interés. En cualquier caso, a lo largodel curso el profesor puede ir recogiendo los trabajosde cada alumno en una carpeta (portfolio assessmenten inglés), que ilustra su progreso y los resultados edu-cativos logrados. Esta carpeta junto con la informaciónprocedente de la observación diaria del desarrollo deltrabajo en el aula (o cualesquiera otros procedimientosmenos formales o estructurados utilizados por el profe-sor) sirven para disponer de una estimación bastanteaquilatada del grado de éxito de cada alumno en laconsecución de los objetivos educativos.

La importancia de la evaluación en el proceso deenseñanza-aprendizaje queda patente en la LeyOrgánica de Educación 2/2006, al ser enunciada comola segunda función del profesorado (artículo 91) y alincluir los criterios de evaluación dentro de la defini-ción misma del currículo junto con los objetivos, com-petencias básicas, contenidos y métodos pedagógicos(artículo 6), si bien la ley no da ningún tipo de indica-ción acerca de cómo ha de ser ésta, más allá de sucarácter continuo en todas las etapas del sistema edu-cativo (artículos 20, 28, 38 y 43).

Un examen a los planes de estudios de los nuevosgrados en Maestro así como del máster de Formacióndel Profesorado pone de manifiesto que apenas hayninguna asignatura cuyo objetivo sea proporcionar lapreparación y competencia técnica necesaria para aco-meter tan importante tarea.

Sin regulación alguna acerca de cómo abordar lastareas de evaluación y con una escasísima formacióntécnica para ello, no resulta fácil conseguir las 7 com-petencias que establecieron para los profesores en1990 tres importantes asociaciones profesionales esta-dounidenses (American Federation of Teachers, Na-tional Council on Measurement in Education y Natio-nal Education Association). Según estas directrices,los profesores deben ser competentes a la hora de (1)elegir métodos de evaluación apropiados para tomardecisiones relativas a la instrucción, en función de sucalidad técnica, utilidad, conveniencia e imparcialidad,(2) llevar a cabo cualquier tipo de evaluación, (3) apli-





ANTES

¿Tienen los estudiantes los conocimientos yhabilidades previas necesarias?¿Qué puede interesar a los estudiantes?¿Qué puede motivar a los estudiantes?¿Cuánto tiempo debería dedicar a cada uni-dad temática?¿Con qué método debería abordarla?¿Cómo debería evaluar a los estudiantes?¿Qué tipo de aprendizaje en grupo conven-dría utilizar?¿Cuáles son mis objetivos para el aprendi-zaje?

DURANTE

¿Me prestan atención los estudiantes?¿Están entendiendo el material?¿A quiénes debería preguntar?¿Qué debería preguntar?¿Cómo debería responder a las preguntasde los estudiantes?¿Cuándo debería dejar de presentar mate-rial?¿Qué estudiantes necesitan ayuda extra?¿A qué estudiantes podría dejar a su aire?

DESPUÉS

¿Cuánto han aprendido los estudiantes?¿Qué debería hacer a continuación?¿Es necesario revisar algo que no se enten-dió?¿Qué calificaciones debería dar?¿Qué debería decir a los estudiantes?¿Qué debería cambiar la próxima vez paraenseñar el tema?¿Las puntuaciones del examen reflejanrealmente lo que saben y son capaces dehacer los estudiantes?¿Hay algo que los estudiantes no compren-dan bien?

Tabla 2. El proceso de toma de decisión del profesor antes, durante y después de la instrucción*

*Elaborada a partir de la Figura 1.2 de McMillan (2008, p. 5)

car, puntuar e interpretar tanto exámenes en el aulacomo pruebas estandarizadas, (4) utilizar los resulta-dos de la evaluación para tomar decisiones sobre losestudiantes, la docencia, los programas de estudio y lamejora del centro escolar, (5) diseñar procedimientosválidos y justos para calificar a sus alumnos y (6)informar de los resultados de la evaluación a los estu-diantes, padres, otros educadores y cualquier otraaudiencia lega. La séptima directriz tiene que ver conla necesidad de adherirse a una práctica ética y legal.Ainsworth y Viegut (2006) incluyen un capítulo conce-bido para ayudar a los educadores a desarrollar estascompetencias en evaluación, en un texto que constitu-ye una guía muy útil y práctica para utilizar la evalua-ción en el proceso de enseñanza-aprendizaje.

Prueba de Acceso a la Universidad

La nota de la Selectividad constituye al menos el40% de la calificación que finalmente abre o cierra lapuerta a la enseñanza superior y este examen es proba-blemente la prueba de evaluación más masiva realizadaen España (alrededor de 200.000 estudiantes cada año).

El sistema de acceso a la Universidad procede asu-miendo el mismo valor a las calificaciones obtenidasen los exámenes de todas las universidades, supuestoperfectamente viable desde el punto de vista técnicopero del todo insostenible habida cuenta del modo deoperar con estas pruebas.

Por un lado, los exámenes realizados en los distin-tos distritos universitarios son diferentes y seguramen-te no tienen el mismo nivel de dificultad. Por otro, losprofesores encargados de la corrección de los ejerci-cios pueden no estar utilizando los mismos criterios ala hora de calificar. Esto significa que un alumnopodría no acceder a la Universidad (o no alcanzar lanota que piden en la titulación de su elección en laUniversidad donde quiere estudiar) con el examen rea-lizado en el distrito universitario que le corresponde,pero sí con el examen –más fácil o más próximo a loscontenidos que mejor conoce– que han puesto en otroslugares, o según lo estrictos o laxos que sean loscorrectores correspondientes. Dicho de otro modo, elque un alumno apruebe o no la Selectividad no solodepende de su capacidad para abordar con éxito losestudios universitarios sino también del examen y deltribunal calificador que le haya tocado.

Para complicar un poco más las cosas, apenas hayestudios acerca de la calidad métrica de estas pruebas.Los escasos estudios sobre el tema revelan que dentrode una misma materia la variedad en los exámenes esenorme: en la extensión abarcada del programa, en laestructura, contenido y nivel de exigencia de la pruebay en las especificaciones para la puntuación y criteriosde corrección de las preguntas (Muñoz-Repiso y cols.,1997). Estos estudios también evidencian que las dife-rencias de criterio en los tribunales calificadores son

responsables en buena parte de las diferencias en lascalificaciones de los estudiantes (Martí Recober, 1998;Sanz, 1992). Sirva como dato ilustrativo que cuandoun alumno presenta una reclamación en la Selectivi-dad, se contempla la posibilidad de hasta 2 puntos dediferencia entre la calificación asignada por los doscorrectores antes de efectuar una tercera corrección(hasta 3 puntos –la distancia entre un notable y un sus-penso– en la legislación anterior); sin embargo, en oca-siones se dirime a nivel de decimales el poder entrar enla titulación de elección en una universidad determina-da.

Con el nuevo Real Decreto 1640/2008 para regularlas condiciones de acceso y admisión a las universida-des públicas españolas, se desperdició una oportunidadhistórica –a punto de entrar en el espacio europeo deeducación superior y con dos ministerios con respon-sabilidad sobre el sistema educativo– al aprobar unareforma de la prueba de acceso a la Universidad quesigue sin garantizar la comparabilidad de las califica-ciones obtenidas por alumnos que se han examinado enzonas geográficas diferentes. La parte positiva es quese propone una prueba algo más corta y flexible, conun ejercicio oral para el idioma extranjero y con laposibilidad de que la nota final se adecue mejor a laspreferencias de elección del estudiante y a las exigen-cias específicas de formación de las distintas titulacio-nes. Asimismo, se prevé hacer público un informeanual de la prueba de acceso a la Universidad; algociertamente positivo, dado que apenas hay estudiosque indiquen si la Selectividad desempeña adecuada-mente la función prevista.

Buena parte de los problemas señalados para laprueba de la Selectividad son compartidos por laspruebas de acceso a la formación sanitaria especializa-da (FIR para farmacéuticos, MIR para médicos, PIRpara psicólogos, etc.) y también con las pruebas deacceso a empleos públicos. En realidad, se trata de unproblema generalizado en la mayoría de los ámbitos enlos que se realiza en España una aplicación de pruebasa gran escala. Las pruebas suelen ser construidas local-mente y para cada ocasión concreta por tribunales ogrupos de expertos en el contenido correspondiente.Los ejercicios de los examinandos suelen ser evalua-dos por tribunales diferentes sin unos criterios decorrección suficientemente detallados, claros e inequí-vocos, dejando un espacio demasiado amplio a la sub-jetividad. Y las pruebas no se someten a ningún controlmétrico de calidad: no se evalúa su fiabilidad ni muchomenos su validez, así como tampoco se analiza si laspreguntas incluidas proporcionan información relevan-te y funcionan del modo esperado.

Evaluaciones del sistema educativo

En los últimos años la cultura de la evaluación hacobrado un fuerte impulso. De hecho, el título VI de la




Ley Orgánica de Educación 2/2006 está dedicado ínte-gramente a la evaluación del sistema educativo, conobjetivos muy ambiciosos y un ámbito que abarcadesde los resultados de los alumnos hasta la evaluaciónde la inspección y de las propias Administracioneseducativas (véase la Tabla 3).

La citada ley contempla la realización de dos eva-luaciones de diagnóstico para conocer las competen-cias básicas de los estudiantes en momentos críticos dela enseñanza primaria (al finalizar 4º) y secundaria (alfinalizar 2º de la ESO), con un carácter formativo yorientador para los centros e informativo para las fami-lias y el conjunto de la comunidad educativa (artículos21 y 29). Se ha llevado a cabo ya la primera evaluaciónen ambas etapas educativas, encuestando a cerca de30.000 estudiantes con una participación de casi 900centros y equipos directivos y con muestras de 1300profesores en primaria y 4500 en secundaria, utilizan-do pruebas de lápiz y papel y archivos de audio para lacomprensión oral como parte de la competencia encomunicación lingüística.

La participación en evaluaciones internacionalestambién se contempla en la ley (artículo 143.2) y Españaparticipa sistemáticamente en evaluaciones auspiciadaspor organizaciones como la IEA y la OCDE (véase laTabla 4). Además, cada vez es mayor la implicación delas Administraciones educativas autonómicas: en la edi-ción 2009 del estudio PISA (en el que se inspiran engran medida las dos evaluaciones de diagnóstico señala-das) han participado con muestra ampliada –para poderdisponer así de datos representativos– 14 comunidadesy también las ciudades autónomas de Ceuta y Melilla(ninguna, 3 y 10 comunidades en las ediciones anterio-res del estudio PISA, respectivamente).

En algunas comunidades autónomas las Adminis-traciones educativas han promovido además la realiza-ción de evaluaciones regionales de competencias bási-cas en otros momentos del periplo educativo de losestudiantes. Así, en Madrid se realiza anualmente laprueba de Conocimientos y Destrezas Indispensablesen Lengua y Matemáticas, en 6º de Primaria desde elaño 2005 y en 3º de la ESO desde 2008. En Cataluñase realiza desde 2009 la prueba de evaluación de com-

petencias básicas (lingüística y matemática) en 6º dePrimaria.

Además de las evaluaciones de diagnóstico, la LeyOrgánica de Educación 2/2006 contempla la elabora-ción del Sistema Nacional de Indicadores de laEducación para conocer el sistema educativo y orien-

tar la toma de decisiones (artículo 143.3). Se trata deun conjunto de 38 indicadores agrupados en 5 bloquesque se publican cada dos años. En 2006 se definieron15 indicadores prioritarios y para éstos los datos seactualizan anualmente. A finales de los años ochenta,la OCDE puso en marcha un proyecto para ofrecerindicadores cuantitativos que permitieran la compara-ción de los sistemas educativos de los países miembros(proyecto INES) y conocer así la eficacia y evoluciónde dichos sistemas. Los primeros indicadores se publi-caron en 1992 con el nombre Education at a Glance y,desde entonces, se publican anualmente. La versión enespañol está a disposición del público desde 2005 conel nombre de Panorama de la educación.

En la página web del Instituto de Evaluación sepuede consultar y descargar los informes de todos losestudios indicados en la Tabla 4.

La calidad de las medidas en el ámbito educativo

Solo es posible obtener medidas que proporcionenla información deseada si se trabaja con instrumentoscon una adecuada calidad métrica y con profesionalescualificados para ello.

Dado que el error es consustancial a la medida, espreciso evaluar la calidad de los instrumentos de medi-da, esto es, determinar si cumplen o no los criteriosmétricos de calidad que todo instrumento debe satisfa-cer para poder ser utilizado con garantías. Esto suponeque habrá que estudiar su fiabilidad y validez –criteriosmétricos de la calidad global de la prueba– y procedera analizar convenientemente la calidad métrica indivi-dual de cada una de sus preguntas, para poder garanti-zar que se dispone de medidas adecuadas –fiables yválidas– del nivel en que poseen los examinandos lacaracterística evaluada. Solo en este caso se pueden





OBJETIVOS

a) Contribuir a mejorar la calidad y equidad de la educación.b) Orientar las políticas educativas.c) Aumentar la transparencia y eficacia del sistema educativo.d) Ofrecer información sobre el grado de cumplimiento de los objeti-

vos de mejora establecidos por las Administraciones educativas.e) Proporcionar información sobre el grado de consecución de los

objetivos educativos españoles y europeos, así como del cumpli-miento de los compromisos educativos.

(Artículo 140.1)

ÁMBITOS

a) Procesos de aprendizaje y resultados de los alumnos.b) La actividad del profesorado.c) Los procesos educativos.d) La función directiva.e) El funcionamiento de los centros docentes.f) La inspección.g) Las Adminstraciones educativas.

(Artículo 141)

Tabla 3. Objetivos y ámbitos de la evaluación en la Ley Orgánica de Educación 2/2006

interpretar las puntuaciones obtenidas en la prueba entérminos de dicha característica y ser utilizadas con elfin previsto.

Son numerosas las instituciones preocupadas pormejorar la práctica de los profesionales que trabajan enla evaluación psicológica y educativa, así como la for-mación/información de sus usuarios: en España elColegio Oficial de Psicólogos (COP) a través de suComisión de Tests y fuera de nuestras fronteras institu-ciones homólogas (American Psychological Associa-tion, International Test Commission) e importantesorganizaciones profesionales como American Educa-tional Research Association y National Council onMeasurement in Education. Esta preocupación se hatraducido en la elaboración de distintas normativas(véase Tabla 5) que, a modo de códigos o guías de con-ducta, recogen los principios generales implicados en

el uso adecuado de los instrumentos de medida y lasdirectrices que han de regir una práctica profesionalresponsable, tanto desde un punto de vista ético comotécnico.

Un aspecto compartido por todas las normativas es laasignación de responsabilidades no solo a los que cons-truyen y comercializan instrumentos de medida sinotambién a sus usuarios, esto es, a las personas o entida-des que seleccionan y aplican (o encargan la administra-ción de) tests o toman decisiones en base a éstos. Dehecho, alguno de estos códigos desdobla sus recomen-daciones para usuarios y constructores de pruebas. LosEstándares para la evaluación psicológica y educativa(AERA, APA y NCME, 1999) son taxativos a este res-pecto y sostienen que “la validación es responsabilidadconjunta del constructor y del usuario del test. El cons-tructor es responsable de proporcionar evidencia rele-




Tabla 4. Estudios de evaluación en el sistema educativo español

NACIONALES

LOE 2/2006 Al finalizar 4º de Primaria Evaluaciones de diagnóstico Al finalizar 2º de ESO

De resultados educativosSistema estatal De procesos educativosde indicadores De escolarizaciónde la educación De recursos

De contextos

De etapas educativas

Infantil Estudio piloto para desarrollar y validar los instrumentos deEvaluación general evaluación (2007)

Primaria Al finalizar la etapa (2007)Conocimiento del medio, Matemáticas, Lengua inglesa y Lengua cas-tellana y Literatura

ESO Al finalizar la etapa (2000)Ciencias de la Naturaleza, Ciencias Sociales, Geografía e Historia,Matemáticas, Lengua Castellana y Literatura

INTERNACIONALES

PISA Estudiantes de 15 añosLectura, Matemáticas y Ciencias

Auspiciados por la OCDE TALIS Profesores y directores ESOCondiciones de la enseñanza y el aprendizaje

INES Sistema internacional de indicadores de la educación

TIMSS Estudiantes de 9 y 13 años y en el último curso de la enseñanzasecundariaMatemáticas y Ciencias

Auspiciados por la IEAPIRLS Estudiantes de 4º de Primaria

Lectura

ICCS Estudiantes de 14 añosEducación cívica y ciudadana

vante así como la base lógica y fundamentos para el usopropuesto del test. El usuario es el responsable último deevaluar la evidencia en el contexto particular en el quese va a utilizar el test” (op. cit. p. 11).

La Comisión de Tests del COP propone unas nor-mas mínimas para el uso de los tests, con 12 recomen-daciones muy claras y concretas que se pueden consul-tar en su página web, si bien el documento de referen-cia por excelencia en el campo lo constituyen losEstándares para la evaluación psicológica y educati-va, que cuentan con una larga tradición y 6 versionesen menos de 50 años (desde 1954 a 1999), con la sép-tima revisión en marcha.

Estos estándares abordan el proceso de construc-ción, evaluación y documentación del test en la parte I,cuestiones relativas a la imparcialidad en la evaluacióncon tests en la parte II y en la última parte, tras un pri-mer capítulo dedicado a las responsabilidades de losusuarios de los tests, se ocupan de aspectos relativos ala utilización de tests en determinados contextos apli-cados (educativo, psicológico, evaluación de progra-mas, acreditación y ámbito laboral).

En el primer estándar formulado en el capítulo dedi-cado al ámbito de la evaluación educativa (estándar13.1) se indica que quien ordena la utilización de testses también responsable de controlar el impacto quetiene su aplicación, así como la responsabilidad deidentificar y minimizar las posibles consecuenciasnegativas a las que pueda dar lugar. La última revisiónde los estándares completada hasta la fecha tuvo comonúcleo central justamente la incorporación dentro delmarco de la validez –el criterio métrico de calidad másimportante de un instrumento de medida– de las con-secuencias de la utilización de los tests, tras un profun-do y prolongado debate no exento de polémica (véaselos números monográficos dedicados por la revistaEducational Measurement: Issues and Practice en elsegundo número de los volúmenes 16 y 17, o el exce-lente trabajo de Moss, 1992).

Sea cual sea la postura defendida y dónde se colo-quen los límites de la validez, lo importante es habertraído a primer término las consecuencias derivadasdel uso de los tests, como información potencialmen-te relevante para la toma de decisiones vinculadas a laaplicación de tests. Como es bien sabido, los tests seutilizan para tomar decisiones acerca de los sujetos endistintos ámbitos; en el campo de la evaluación educa-

tiva, muchas veces se trata de decisiones muy impor-tantes para la vida de los evaluados y la propia evalua-ción se está convirtiendo en un instrumento de políti-ca educativa. El debate sería hasta qué punto es lícitoconsiderar las consecuencias del uso de los tests comoimplicaciones no técnicas del trabajo del psicómetra oevaluador y, por tanto, pueden ser confortablementerelegadas. Por otra parte, la separación entre losaspectos técnicos y los que no lo son resulta cada vezmás artificial o difusa: la creciente multiculturalidadde buena parte de las sociedades occidentales haceimprescindible que la validación de las puntuacionesde los tests tenga en cuenta los distintos antecedenteslingüísticos y culturales de los sujetos evaluados, loque ha contribuido a poner a punto una importantetecnología de análisis del funcionamiento diferencialde los ítems y de los tests (más conocido como DIF)o, utilizando un término que parece estar abriéndosepaso en el campo, el impacto adverso (Outtz, 2010).La atención a la diversidad también aquí plantea unreto importante (Padilla, Gómez, Hidalgo y Muñiz,2006).

En ocasiones, una de las consecuencias de la aplica-ción de tests en evaluaciones diagnósticas prescritaspor ley es acomodar el programa de estudios a losobjetivos educativos evaluados en esas pruebas, enprincipio coincidentes con los formulados por lasAdministraciones educativas pero que, en modo algu-no, pueden ser abarcados en su totalidad en las pruebasni con la profundidad requerida durante el proceso deenseñanza-aprendizaje. Esto suele llevar aparejada unaindeseable restricción en el programa de estudiosimpartido, especialmente en países o estados donde losresultados de las evaluaciones educativas tienen unimpacto en la financiación de los centros escolares. Ala inversa, puede no tener un efecto perverso sino ser-vir de ayuda a algunos centros a poner el foco en losaspectos más sustantivos y reorientar de manera acor-de la instrucción, para lograr esas competencias bási-cas en sus estudiantes sin tratar de incrementar con ata-jos indebidos las puntuaciones en las pruebas.

En definitiva, si la validez se concibe como un pro-ceso de acumulación de evidencias que permitan inter-pretar y utilizar las puntuaciones de un test de un mododeterminado, caben pocas dudas de que las consecuen-cias –previstas pero también imprevistas, actuales ypotenciales– de utilizar los tests tienen que ser introdu-





NORMATIVA

Código de buenas prácticas de evaluación en el ámbito de laEducaciónCódigo de responsabilidades profesionales en la medición educativaDirectrices internacionales para el uso de los tests Estándares para la evaluación psicológica y educativa Normas mínimas para el uso de los testsPrincipios éticos de la evaluación psicológica

INSTITUCIÓN(ES) QUE LA PROMUEVE(N)

APA (2000)NCME (1995)ITC (2000)

AERA, APA y NCME (1999)COP

APA (2002)

Tabla 5. Normativas para una correcta utilización de los instrumentos de medida en el ámbito psicológico y educativo

cidas en la ecuación antes de concluir el proceso detoma de decisión al que suelen nutrir los tests.

No solo es importante estar alerta acerca de las posi-bles consecuencias de la utilización de los tests sinotambién y todavía más importante acerca del posiblemal uso o utilización inadecuada de éstos, aspecto ésteque entra de lleno y por derecho propio dentro de laesfera de la validez. Según Muñiz (1998b), “en estoocurre con los tests lo mismo que con cualquier otratecnología, sea del campo que sea, su potencialidadpara causar daño proviene más de su uso por gentes sinpreparación o principios que de sus propiedades técni-cas. El ejemplo está en el garaje, allí mora el mayorhomicida de nuestros días, el automóvil; no hay guerraque le haga sombra pero muy pocos de los accidentesson atribuibles a fallos mecánicos, es el uso. Salvandolas distancias, con los tests ocurre algo parecido, elproblema es el uso que se hace de ellos.” (p. 311).Según Anastasi (1987), el mal uso de los tests puedeproceder de la negligencia, de unos conocimientos oformación insuficientes o también de un intento deli-berado de distorsionar la realidad. Muñiz (1998b)apunta a la segunda como causa más frecuente de uti-lización inadecuada de los tests. Los estándares 13.10y 13.13 abundan en la necesidad de que los responsa-bles de programas de evaluación educativa se asegurende contar con profesionales con la competencia técni-ca necesaria en el proceso de administración de lostests y en la posterior asignación de sus puntuaciones,así como de que las personas que han de interpretarlaspara tomar decisiones dentro del ámbito escolar esténdebidamente cualificadas o bien reciban el asesora-miento necesario para ello.

Los Estándares para la evaluación psicológica yeducativa constituyen la normativa ética y técnica dereferencia para el trabajo del psicólogo educativo en elcentro escolar y también para el resto de procesos deevaluación examinados, con la única excepción de losexámenes realizados por los profesores en el aula. Estono significa en modo alguno que esos instrumentos demedida no deban satisfacer unos determinados crite-rios sino sencillamente que plantean un menor nivel deexigencia métrica, ya que en un buen número de oca-siones se utilizan para tomar decisiones de bajo impac-to en los estudiantes (e.g., cómo continuar el desarro-llo de un bloque temático) y constituyen una fuentemás de información –no necesariamente la de mayorpeso– en el proceso. Como ya se indicó al finalizar elapartado dedicado a los exámenes en el aula, los pro-fesores tienen también su propia normativa que des-arrolla las competencias que éstos han de mostrar enmateria de evaluación educativa (American Federationof Teachers y cols., 1990), competencias importantesque demandan conocer en buena medida muchosaspectos recogidos por los Estándares para la evalua-ción psicológica y educativa, en particular, los relati-vos a la construcción de las pruebas, a su validez, fia-bilidad e imparcialidad. DiRanna y cols. (2008) procu-

ran justamente definir o adaptar estos conceptos a laevaluación en el aula, en un texto que describe un pro-grama para ayudar a los profesores a integrar paramejorar la docencia y la evaluación.

Algunas reflexiones finales

El centro escolar no es solo el lugar clave para elaprendizaje sino el punto en el que interactúa el siste-ma educativo con todos los sectores implicados (estu-diantes, familias, comunidad). Por ello, se hará en pri-mer término alguna reflexión acerca del trabajo delpsicólogo educativo dentro del centro escolar, parafinalizar con alguna otra relativa a la medición en elcampo general de la educación.

Dado el amplio espectro de áreas que abarca el tra-bajo del psicólogo educativo en los centros escolares(evolutivas, cognitivas, afectivas, comportamentales,psicosociales e institucionales), es importante quedesde las asociaciones profesionales se faciliten meca-nismos de actualización de los conocimientos y de lasnuevas herramientas de evaluación que salen al merca-do. En esta línea, es de destacar la iniciativa de la APAde crear una nueva base de datos sobre tests y medidaspsicológicas (PsycTESTS), centrada básicamente entests desarrollados por investigadores y no disponiblescomercialmente (con información descriptiva y técnicapara cada test y con el test incluido en la mayoría delos casos) pero donde se incorporan también testspublicados con enlaces a las empresas que los comer-cializan. Asimismo, es de gran interés la evaluacióniniciada recientemente por la Comisión de Tests delCOP (Muñiz, Fernández-Hermida, Fonseca-Pedrero,Campillo-Álvarez y Peña-Suárez, 2011), con 10 testsya examinados con un modelo de evaluación desarro-llado por la Comisión Europea de Tests y adaptado alcontexto español por Prieto y Muñiz (2000).

Dentro de las funciones reconocidas como genuinasen el Perfil Profesional del Psicólogo de la Educación,hay dos que pueden tener en la actualidad una relevan-cia mayor: la orientación y el trabajo con los profesores.

La atención a las demandas individuales relaciona-das con la orientación académica y profesional es bási-ca para mejorar la competitividad de la economía delpaís y para su progreso económico y social. Cada vezresulta más importante trabajar por la inserción eficazy madura del alumno en la vida activa. De algún modo,éste es el espíritu que anima el conocido estudio PISA,cuyo objetivo es averiguar hasta qué punto los estu-diantes de 15 años pueden usar las habilidades y cono-cimientos adquiridos para vivir en sociedad y enfren-tarse a los retos de la vida adulta.

El estudio revela que el éxito de los sistemas educa-tivos parece tener que ver con su capacidad de inclu-sión y con la capacidad de centros y profesores paradar respuesta a una población escolar diversa median-te una oferta educativa personalizada (Navas y García-




Forero, 2011; OECD, 2010). El apoyo al profesoradoen la atención a la diversidad resulta, por tanto, unatarea clave para conseguir adaptar el proceso de ense-ñanza-aprendizaje a las características de cada educan-do, como vía prioritaria en el necesario camino hacia laexcelencia. Las nuevas tecnologías pueden jugar aquíun servicio impagable.

El ordenador es una herramienta muy útil y asequi-ble que permite instrumentalizar nuevos modos deaprendizaje, monitorizar y evaluar el progreso e infor-mar sobre el mismo (véase Bennett, 2006 y Ponsoda,2012, para una revisión de la relación entre las nuevastecnologías y la medición). Las nuevas tecnologíaspueden desempeñar un papel muy importante, no solopor las enormes posibilidades que abren en el procesode enseñanza-aprendizaje sino por el estímulo y efectomotivador que pueden tener en dicho proceso, habidacuenta de la actitud tan positiva que tienen los alumnoshacia ellas y de lo versados que están en su utilización.Sin embargo, tal y como se ha puesto de manifiesto enla edición 2009 del estudio PISA (Navas y García-Forero, 2011; OECD 2011), aunque los centros escola-res parecen estar en general bastante bien dotados enlos países de la OCDE, la frecuencia de utilización delas nuevas tecnologías en los centros todavía es másbien baja, tanto dentro de clase como fuera de ella.

El psicólogo educativo puede ser también clave paratrasladar al profesor los resultados más importantesrevelados por los estudios de evaluación realizados anivel regional, nacional e internacional y que puedentener una traslación más o menos directa en su trabajocotidiano en el aula: la labor de formación –en muchasocasiones soslayada por los imperativos de necesida-des perentorias– resulta decisiva para mejorar el proce-so y resultados educativos, así como para facilitar eltrabajo de todos los colectivos implicados.

Una de las limitaciones más importantes del estudioPISA es su escasa utilidad para reorientar el trabajo delprofesor en el aula, al ser un estudio básicamente diri-gido a la comparación entre países. Ahora bien, dadoque cada día es mayor el esfuerzo que se pide a los cen-tros escolares para que participen en evaluaciones edu-cativas, podría resultar motivador y, sobre todo, muyútil proporcionarles información específica acerca depuntos fuertes y débiles de los alumnos, esto es, infor-mación relevante para mantener o corregir el rumbodentro del centro, más allá de la imagen que ofrece elestudio en cuestión sobre la situación de una región opaís en relación a otras regiones y/o países de referen-cia. El recurso a modelos de diagnóstico cognitivo(Gorin, 2006; Leighton y Gierl, 2007; Rupp y Templin,2008; Rupp, Templin y Henson, 2010) en la fase deconstrucción de las pruebas y en el posterior análisis dedatos puede proporcionar esa información diagnósticade utilidad para la práctica en el aula, que relacione losresultados del estudio con el trabajo del profesor.

En resumen, sería deseable que estas macroencues-tas educativas proporcionasen una evaluación no solo

sumativa sino en alguna medida formativa, una evalua-ción para el aprendizaje y del aprendizaje. Douglas B.Reeves, presidente del Center for PerformanceAssessment, en su prólogo al excelente manualCommon Formative Assessments (Ainsworth y Viegut,2006) dice abiertamente que en EE.UU. “se padece deun exceso de aplicación de pruebas de evaluación peroestamos infraevaluados. Esta distinción es esencial,porque muchos centros escolares están embarcados enevaluaciones sumativas, autopsias educativas que tra-tan de explicar de qué ha muerto el paciente pero queno proporcionan información de interés para ayudar alpaciente a mejorar” (p. ix). En el nuevo escenario quese está gestando en EE.UU. para establecer unos obje-tivos comunes para preparar a los estudiantes para elacceso a la Universidad y a su carrera profesional(Common Core State Standards, firmados ya por 43estados y con consorcios para trabajar con fondos fede-rales en el diseño de las correspondientes evaluacio-nes), se incluyen entre otros objetivos el proporcionarinformación útil para apoyar el trabajo de profesores ydirectores en la enseñanza, el aprendizaje y la mejorade los programas. Algunos años antes, el comité delNational Research Council encargado de revisar losavances acaecidos en el campo de la medición y lasciencias cognitivas publicó un informe (Pellegrino,Chudowsky y Glaser, 2001) en el que se presenta uninteresante marco de trabajo –el triángulo de evalua-ción– para poder obtener ese tipo de información. EnNavas y Urdaneta (2011) se puede consultar una apli-cación de dicho marco al estudio PISA.

La creciente repercusión mediática de estas macro-encuestas educativas tiene el efecto positivo de ponertemporalmente en primera plana la educación, pero enmuchas ocasiones se ofrecen interpretaciones erróneaso indebidas de los datos, tanto por parte de periodistascomo de políticos.

Al presentarse los resultados de cada nueva ediciónde la Prueba de Conocimientos y Destrezas Indispen-sables realizada por la Consejería de Educación deMadrid, los titulares más habituales suelen ser del tipo“Los peores resultados desde 2005” o “Los resultadosno indican ninguna mejoría”. Estos titulares están deltodo injustificados, ya que no se puede comparar lascompetencias básicas de los alumnos de este curso aca-démico con las mostradas por los alumnos evaluadosen 2005: se ha trabajado con pruebas distintas –queseguramente tendrán un nivel de dificultad diferente–y no se ha utilizado en el proceso de elaboración de laspruebas los mecanismos necesarios para garantizar esacomparación. Puede que sean peores –o no–, sencilla-mente no hay forma de saberlo dada la forma en la quese han hecho las cosas. Los políticos suelen ir máslejos, al hacer atribuciones de causalidad con los resul-tados obtenidos (cuando bajan, la oposición lo atribu-ye a que “cada vez hay menos calidad en el sistemaeducativo” y el gobierno “al aumento de la dificultad yde los escolares extranjeros en las aulas de Madrid”),





cuando en este tipo de estudios nunca se puede estable-cer relaciones de causa-efecto sino simplemente decovariación y, en particular, en el estudio citado no semide nada más que las competencias básicas enLengua y Matemáticas, por lo que éstas no son corre-lacionadas con ninguna otra variable.

La presentación de una nueva edición del estudioPISA suele dejar también un buen número de titularesde dudosa justificación. Así, en una carta al director, sevaloraba la distancia de 12 puntos de España respectoal promedio de la OECD en la edición 2009 en térmi-nos de deplorable mediocridad e indigencia educativa,cuando para interpretar correctamente esa distancia loque hay que hacer es ponerla en relación con el rangode puntuaciones de los países de la OECD (que es másde 100 puntos) o con otros indicadores estadísticos queseñalan que la distancia entre España y la OECD esmás bien pequeña y no significativa estadísticamente.

Un ranking que es verdaderamente imposible –peroofrecido puntualmente todos los años por los mediosde comunicación– es el de las universidades en el exa-men de Selectividad. En este caso ya no es que no sepueda comparar los resultados académicos de un añocon el anterior –como sucedía con la prueba deConocimientos y Destrezas Indispensables– sino queen el mismo año no se puede comparar la tasa de apro-bados de los alumnos que se han examinado en distri-tos universitarios diferentes, al tratarse de exámenesdistintos y que no pueden ser equiparados.

Ha llegado la hora de plantearse un mayor nivel deexigencia cuando se realizan pruebas de evaluación agran escala en cualquier ámbito de aplicación, máximeen uno tan crítico para la vida de miles de estudiantesy, por ende, de la sociedad.

Para corregir esta situación y garantizar la compara-bilidad de las calificaciones obtenidas por todos losalumnos presentados a la Selectividad, es preciso traba-jar con pruebas estandarizadas elaboradas con todas lasgarantías por expertos en medición, en estrecha colabo-ración con profesores de bachillerato, expertos en con-tenido y autoridades educativas. Estas pruebas deberíanser aplicadas en idénticas condiciones y preferentemen-te en un llamamiento único a los alumnos de todas lascomunidades autónomas en cada convocatoria de laSelectividad. Por su parte, los jueces o calificadoresdeberían ser formados previamente para poder realizarla tarea de la corrección con las garantías suficientes.Los grandes avances experimentados en las últimasdécadas en el campo de la medición educativa permitendisponer de la tecnología necesaria para, partiendo deamplios bancos de preguntas para cada materia a eva-luar, construir la prueba que se necesite con arreglo alobjetivo marcado y, además, obtener puntuaciones en lamisma escala de medida para todos los alumnos.

Wayne J. Camara (2011), ex presidente de la asocia-ción profesional NCME, habla de la dificultad intrínse-ca de la medición en el ámbito educativo, ya que setrata de medir la conducta de personas y éstas son por

naturaleza bastante complejas y en buena medida im-predecibles, con un sinfín de factores externos distin-tos a la calidad de la docencia que pueden influir tantocomo ésta en los resultados educativos.

En la misma línea, otro ex presidente de dicha asocia-ción hablaba en su discurso presidencial en la reuniónanual 2009 de lo que creía saber acerca de la medicióneducativa, de lo que en realidad sabía y de lo que creíau opinaba acerca de la misma (Reckase, 2010). Despuésde reconocer el cambio de paradigma que supuso laintroducción de la teoría de respuesta al ítem en los años60 y de los cambios tan importantes que se han operadoen la metodología para diseñar y construir tests, asícomo a la hora de asignar puntuaciones para estimar elnivel de los sujetos en las características de interés y deavances considerables en campos tan relevantes como laequiparación, el establecimiento de criterios y la evalua-ción computerizada, reconoce también que la mayoríade los programas de evaluación no utilizan estos avan-ces tecnológicos (en buena medida, porque no resultanfácilmente comprensibles), siguen anclados en la teoríaclásica para estimar el rendimiento académico, la cali-dad de los ítems utilizados sigue siendo manifiestamen-te mejorable y en el diseño de las pruebas de evaluacióncontinúa siendo necesario trabajar más tanto en la espe-cificación de contenido como técnica, definiendo fun-ciones de información objetivo o distribuciones inicialesde la dificultad y discriminación de los ítems junto a lascorrespondientes descripciones del contenido y de losprocesos cognitivos implicados en la resolución de lastareas planteadas. En un encomiable ejercicio de humil-dad, Reckase admite saber menos cosas de las que creíasaber, dejando al margen todo el bagaje tecnológico que,según él, no es más que “conocimiento sobre un sistemaartificial de conocimiento” (p. 3). Lo que sabe con cer-teza del mundo real –no del mundo paralelo que se cons-truye con los modelos– es que tanto las personas comolos ítems (los dos términos básicos de la ecuación queexplica la relación entre la actuación observable en lostests y el nivel –inobservable o no directamente apre-hensible– de los sujetos en la característica que éstospretenden medir) son complicados y que los modelosson solo aproximaciones (muy útiles y convenientes) ala realidad, que muchas veces se resiste a ser simplifica-da en una única puntuación o estimación, proporciona-da en ocasiones por la presión ejercida para informar dela manera más sencilla posible.

La dificultad de la tarea nunca puede ser óbice parano acometerla, máxime cuando se dispone de excelen-tes herramientas y habida cuenta de la importancia delos retornos de la educación y del papel crucial quejuega la evaluación en ella. Las reflexiones de Reckasealertan sobre la complejidad de la medición y sobre lospeligros de interpretaciones simplistas que desvirtúenlos muchos ángulos que caracterizan a la realidad edu-cativa, pero muestran a las claras la utilidad de la medi-ción educativa y la ingente labor que todavía queda porhacer a los profesionales del campo.




The origin of Educational Psychology is closelylinked to the administration of standardized tests thatrequire the collaboration of professionals with the nec-essary training, working on assessments originallymeant, above all, for the field of Special Education.The administration of standardized tests continues tobe a relevant part of the work of the educational psy-chologist, and may constitute its most visible identify-ing marks: it is necessary to evaluate and intervene,and both the evaluation and intervention are based onmeasurement, which provides objective information,based on which decisions can be made about the sub-jects. The measurement provides the necessary infor-mation to design the best intervention strategy possi-ble, and it also indicates to what degree that strategyhas led to the desired results.

Measurement is needed to make decisions about thestudents, the teaching-learning process, the curricu-lum, the teachers and the schools. It is possible to dis-tinguish between two quite different types of assess-ments which respond to different goals and use differ-ent procedures to measure or obtain the necessaryinformation: classroom assessments conducted withthe purpose of knowing about but, above all, improv-ing the students’ learning; and the large-scale assess-ments that take place periodically in the entire popula-tion in question (for example, college entrance tests) ora sample of it (for example, PISA or national assess-ments of educational progress), with the basic objec-tive of accrediting or accounting for the educationalresults of the students. Both are essential nowadays.

Assessment is inherent to the teaching practice.Thanks to assessment, the teacher has informationabout what the student really knows, and can organizethe work accordingly in order to facilitate and laterdocument or give proof of his/her learning. It informsstudents, parents and the corresponding authoritiesabout the students’ academic progress; therefore, it islinked to and serves the teaching itself. After reviewingthe measurement procedures available to the teacherand the way of choosing the most appropriate one foreach case, a reflection is made about the technicalpreparation and competence of Spanish teachers forcarrying out such an important task.

The grade in the college entrance test constitutes atleast 40% of the score that finally opens or closes thedoor to higher education. The system of access toUniversity awards the same value to the gradesobtained on the tests carried out in all the universities,a perfectly viable assumption from a technical point ofview, but completely unsustainable taking into accountthe way these tests are designed and administered.Whether a Spanish student passes the entrance test ornot depends not only on his or her capacity to success-fully handle university studies, but also on the test andthe qualifying board that he or she has been assigned to

in the university district of his or her region; that is, thegrades obtained by students who have taken the test indifferent geographical areas are not comparable andcannot be equated. The tests are designed locally andfor each specific occasion by panels of experts in thecorresponding content. The exercises are rated by dif-ferent judges without sufficiently detailed, clear andfixed scoring criteria, leaving a lot of room for subjec-tivity. Furthermore, the tests are not subjected to anyquality control: nor their reliability or their validity aremeasured; nor there is an item analysis to establishwhether the questions included provide relevant infor-mation and function as expected. Many of these prob-lems are shared by the entrance tests to specializedhealthcare training in Spain.

However, in recent years the culture of evaluationhas taken on great impetus. In fact, title VI of OrganicEducation Law 2/2006 is entirely dedicated to the eval-uation of the educational system, with very ambitiousobjectives and a scope that goes from the students’results to the evaluation of school inspection and theDepartments of Education. The aforementioned lawcontemplates two assessments to find out the students’basic skills at critical moments in primary and second-ary education. These assessments have a formative andorienting nature for the schools, and provide informa-tion for the families and the entire educational commu-nity. In some autonomous regions the Departments ofEducation have also promoted regional assessments ofbasic competencies at other moments in the students’educational journey, and the participation in interna-tional assessments is also important (ICCS, INES,PIRLS, PISA, TALIS, TIMSS).

Next, we examine the keys to obtaining sound edu-cational measures: having instruments of adequatemetric quality and professionals with the necessaryskills to select (or construct) the best instrument foreach case and use it appropriately. Many institutionsare worried about improving the practice of profes-sionals who work in psychological and educationaltesting, as well as the training/information provided fortheir users. This concern has translated into the elabo-ration of different regulations which, in the form ofcodes or user guides, include the main principlesinvolved in the correct use of the measurement instru-ments and the guidelines for a responsible profession-al practice, from both an ethical and a technical pointof view. After a brief review of the regulations, thisstudy focuses on the Standards for Educational andPsychological Testing (AERA, APA and NCME,1999).

We then reflect on the consequences of bad practiceand, more generally, the consequences derived fromthe use of tests, as potentially relevant information formaking decisions related to the administration of tests.Assessment is becoming an instrument for education-





Extended Summary

al policy making, and, as is clearly indicated inStandard 13.1, “it is the responsibility of those whomandate the use of tests to monitor their impact and toidentify and minimize potential negative conse-quences” (p. 145).

In summary, it is necessary to be able to count onprofessionals with the necessary technical training inthe process of administering the tests and later scoringthem. Likewise, the people who must interpret them inorder to make decisions in the school setting must beduly qualified or receive appropriate help. For this pur-pose, it is important for the professional associations tohave mechanisms for updating knowledge on this issueand the new evaluation tools that come out on the mar-ket. In this sense, initiatives like the new APA database(PsycTESTS), and the evaluation of tests recently initi-ated by the Test Commission of its Spanish counterpart,are excellent examples of steps taken in this direction.

From among the large number of functions per-formed by the educational psychologist within theschool, supporting teachers in dealing with diversity isbecoming increasingly important for tailoring thelearning-teaching process to the characteristics of eachstudent, as a priority on the necessary path to excel-lence. New technologies can play an important rolehere: the computer is a very useful and accessible toolthat makes it possible to implement new ways of learn-ing, to monitor and to evaluate student progress andprovide information about it. The last edition of thePISA study reveals that the success of educational sys-tems seems to be related to their capacity to be inclu-sive and the capacity of schools and teachers to serve adiverse school population by offering personalizededucation.

One of the most important drawbacks of the PISAstudy is its limited usefulness for reorienting the workof the teacher in the classroom, as it is a study basical-ly focused on comparisons between countries.However, it would be helpful if these types of surveycould provide an assessment that was not only summa-tive but also to some degree formative, an evaluationof learning but also for learning.

The paper ends with some reflections about thecomplexity of measurement and the dangers of sim-plistic, erroneous or undeserved interpretations ofthe data. It also discusses the great usefulness ofmeasurement and the large advances made in the lastfew decades in providing strong technology andexcellent work tools to professionals in the field. Thenext step would be to take advantage of its fullpotential.

Referencias

Ainsworth, L. y Viegut, D. (2006). Common formativeassessment. Thoasand Oaks, California: Corwin Press.

American Educational Research Association, American

Psychological Association y National Council onMeasurement in Education (1999). Standards for educa-tional and psychological testing. Washington, DC:American Educational Research Association.

American Federation of Teachers, National Council onMeasurement in Education y National EducationAssociation (1990). Standards for teacher competence ineducational assessment of students. Washington, DC:Autor.

Anastasi, A. (1987). What test users should know about theinterpretation of test scores. Keynote address at JointCommittee on Testing Practices Second Test PublishersConference, Rockville, Maryland. (citado de Muñiz,1998b).

Bennett, R. E. (2006). Inexorable and inevitable: The contin-uing story of technology and assessment. En D. Bartramy R. K. Hambleton (Eds.), Computer-based testing andthe internet: Issues and advances. Nueva York: Wiley.

Camara, W. J. (2011). The role of NCME and measurementprofessionals: What role we may choose in policy andaccountability. NCME Newsletter, 19, 1-3.

Cattell, J. M. (1890). Mental tests and measurements. Mind,15, 373-380.

DiRanna, K., Osmundson, E., Topps, J., Barakos, L.,Gearhart, M., Cerwin, K. y Strang, C. (2008). Assess-ment-centered teaching. A reflective practice. ThoasandOaks, California: Corwin Press.

Garaigordobil, M. (2009). Papel del psicólogo en los centroseducativos. INFOCOP, 44, 14-17.

Gorin, J. S. (2006). Test design with cognition in mind.Educational Measurement: Issues and Practice, 25, 21-35.

Hopkins, K. D. (1998). Educational and psychologicalmeasurement and evaluation. Boston: Allyn and Bacon.

Leighton, J. P. y Gierl, M. J. (2007). Why cognitive diagnos-tic assessment? En J. P. Leighton y M. J. Gierl (Eds.),Cognitive diagnostic assessment for education: Theoryand applications. Cambridge: Cambridge UniversityPress.

Martí Recober, M. (1998). Los sistemas de corrección de laspruebas de Selectividad en España. Análisis y propues-tas. Madrid: CIDE. Memoria de Investigación inédita.

Martínez-Arias, M. R. (2010). La evaluación del desempe-ño. Papeles del Psicólogo, 31, 85-96.

McMillan, J. H. (2008). Assessing essentials for standard-based education. Thoasand Oaks, California: CorwinPress.

Meliá, J. L. (1990). Introducción a la medición. Valencia:Cristóbal Serrano.

Méndez, L. (2011). El psicólogo educativo en España.Algunas propuestas para la reflexión. PsicologíaEducativa, 17, 39-56.

Moss, P. A. (1992). Shifting conceptions of validity in edu-cational measurement: Implications for performanceassessment. Review of Educational Research, 62, 229-258.

Muñiz, J. (1998a). La medición de lo psicológico. Psicothe-ma, 10, 1-21.




Muñiz, J. (1998b). Teoría clásica de los tests. Madrid:Pirámide.

Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E.,Campillo-Álvarez, A. y Peña-Suárez, E. (2011).Evaluación de tests editados en España. Papeles delPsicólogo, 32, 113-128.

Muñoz-Repiso, M., Murillo, F. J., Arrimadas, I., Navarro, R.,Díaz Caneja, P., Martín, A. I., ... Fernández, E. (1997). Elsistema de acceso a la universidad en España: Tres estu-dios para aclarar el debate. Madrid: CIDE.

Navas, M. J. (2001). La medición de lo psicológico. En M.J. Navas, (Ed.), Métodos, diseños y técnicas de investiga-ción psicológica. Madrid: UNED.

Navas, M. J. y García-Forero, C. (2011). Las competenciasbásicas de hoy para el mundo de mañana. Informe PISACanarias 2009. Consejería de Educación del Gobierno deCanarias.

Navas, M. J. y Urdaneta, E. J. (2011). PISA y el triángulo dela evaluación. Psicothema, 23, 701-706.

OECD (2010). PISA 2009 Results: What makes a schoolsuccessful?–Resources, policies and practices (VolumeIV). Recuperado el 08 de diciembre de 2010, dehttp://dx.doi.org/10.1787/9789264091559-en

OECD (2011). PISA 2009 Results: Students on line: Digitaltechnologies and performance (Volume VI). Recuperadoel 20 de junio de 2011, de http://dx.doi.org/10.1787/9789264112995-en

Outtz J. L. (Ed.) (2010). Adverse impact. Implications fororganizational staffing and high stakes selection. NuevaYork: Routledge.

Padilla, J. L., Gómez, J., Hidalgo, M. D. y Muñiz, J. (2006).La evaluación de las consecuencias del uso de los tests enla teoría de la validez. Psicothema, 18, 307-312.

Pellegrino, J. W., Chudowsky, N. y Glaser, R. (Eds.) (2001).Knowing what students know: The science and design ofeducational assessment. Washington, DC: NationalAcademy Press.

Ponsoda, V. (2012). Nuevas tecnologías y medición educati-va. Revista Española de Pedagogía, 251, 45-60

Prieto, G. y Muñiz, J. (2000). Un modelo para evaluar lacalidad de los tests utilizados en España. Papeles delPsicólogo, 77, 65-71.

Reckase, M. D. (2010). NCME 2009 presidential address:“What I think I know”. Educational Measurement: Issuesand Practice, 29, 3-7.

Rupp, A. A. y Templin, J. L. (2008). Unique characteristicsof diagnostic classification models: A comprehensivereview of the current state of the art. Measurement, 6,219-262.

Rupp, A. A., Templin, J. L. y Henson, R. J. (2010).Diagnostic measurement: Theory, methods, and applica-tions. Nueva York: Guilford Press.

Sanz, J. (1992). Análisis por asignaturas de las pruebas deacceso a la Universidad. Madrid: CIDE. Memoria deInvestigación inédita.

Savage, L. W. y Ehrlich, P. (Eds.) (1990). Philosophical andfoundational issues in measurement theory. Hillsdale, NJ:Lawrence Erlbaum Associates.

Yela, M. (1984). Apuntes de Psicometría. Madrid: Univer-sidad Complutense de Madrid.





Manuscrito recibido: 20/09/2011Revisión recibida: 29/11/2011

Manuscrito aceptado: 02/12/2011

la medición en el ámbito educativo - · pdf filecampbell. sin embargo, los...

Documents