er

ALGUNOS FACTORES QUE INCIDEN EN EL RENDIMIENTO Y LAEVALUACIÓN EN LOS ALUMNOS DE LAS PRUEBAS DE APTITUD DE

ACCESO A LA UNIVERSIDAD (PAAU)

ANNA CUXART JARDIMANUEL MARTÍ RECOBER (")

FERRAN FERRER JULIA (m)

PRESENTACIÓN Y ANTECEDENTES

En junio de 1993 el Boletín Oficial delEstado publicaba la Orden Ministerial de 9de junio sobre las pruebas de aptitud parael acceso a las facultades, escuelas técnicassuperiores y colegios universitarios. En ellase señalaba que: «...una vez finalizadotodo el proceso de las pruebas, cuando seobserve una elevada desviación entre lasmedias de los expedientes 1 de los alum-nos y las calificaciones globales otorgadaspor un Tribunal,... procederán a estudiarlas causas.., y a proponer las oportunasmedidas en relación con los Centros o Tri-bunales correspondientes». En el mismoario, la Memoria de Actividades del Conse-jo de Universidades, insistía en la necesi-dad de controlar, en relación al centro, la

diferencia entre la media de expediente yla media cle las Pruebas de Aptitud de Ac-ceso a la Universidad (PAAU). Ese mismoaño, y de manera paralela al trabajo siste-mático que se realizaba en la Oficina deCoordinación del COU i les PAAU de Cata-lunya, Anna Cuxart inició un trabajo cle in-vestigación 2 dirigido por Manuel MartíRecober. El objetivo consistía en investigaraquellos modelos estadísticos que podíanser de utilidad en el análisis de los resulta-dos académicos de las PAAU, prestandouna atención especial al estudio cle las va-riables o factores que inciden en la evalua-ción de los alumnos que se presentan adichas pruebas. Las preguntas que enton-ces se plantearon fueron las siguientes:

• ¿Cuál el grado de asociación entrelas puntuaciones que obtienen los

(*) Department d'Econoinia, Universistat Pompeu Fabra.

(**) Catedrático de la Universidad Politécnica de Cataluña, Departamento de Estadística e Investigación

Operativa. Coordinador del COU y de las Pruebas de Actitud de Acceso a la Universidad (PAAU) en Cataluña.

(***) Departamento de Pedagogía Sistemática y Social, Universidad Autónoma de Barcelona.

(1) La inedia de Expediente (o nota de expediente) de cada alumno es la media aritmética entre los cuatrocursos de secundaria (tres cursos de bachillerato y el COU). La nota de acceso a la unliersidad que servirá mástarde para ordenar los estudiantes y ubicarlos en los estudios superiores es el resultado de calcular la mediaaritmética entre la nota de expediente y la nota PAAU (inedia ponderada del conjunto de (PAAU).

(2) El resultado de dicha investigación constituye el núcleo de una tesis doctoral en curso, de la cual sehan presentado resultados parciales en CUXART, GRAITELMAN I Malin (1995); CUXART and LONGFORD (1996); Mairily Cuxma (1997).

Revista de Educación, núm. 314 (1997), pp. 63-88

63

estudiantes (en cada materia y glo-balmente) en el COU y en lasPAAU? Es decir, ¿cuál es la capaci-dad predictiva de una puntuaciónrespecto de la otra?

• ¿Existe homogeneidad entre loscentros que imparten el COU encuanto a los resultados que obtie-nen sus alumnos en las PAAU? ¿Yexiste esa homogeneidad respectoa la puntuación que estos centrosles otorgan? ¿Se puede hablar depuntuación uniforme (estandariza-da) en el COU?

• Y en las PAAU, ¿existen diferenciasapreciables entre los resultados queclan distintos correctores cle una mis-ma materia, hecho que desvirtuaría elprincipio cle prueba estándar?

A continuación damos cuenta de algu-nas de las características que tuvo la inves-tigación que se llevó a cabo para darrespuesta a las anteriores preguntas:

• la modelización estadística, cons-truida a partir de datos individuales.

• La utilización de amplia informa-ción sobre cada alumno: notas delCOU y de las PAAU por asignaturas—ésta es una de las diferencias adestacar respecto de otros estudiospublicados—, características perso-nales del alumno y del centro en elque éste estudió el COU, etc.

• Una investigación empírica llevadaa cabo para detectar y cuantificarlas imperfecciones del proceso.

• La propuesta de ajustes incorpora-dos al proceso (autorevisión) con elobjetivo cle obtener una estimaciónmás eficiente de la preparación delos alumnos. En este sentido se se-

ñalan ciertas perspectivas de auto-matización en el futuro.

Con este trabajo pretendemos reflexio-nar sobre los factores que inciden en elrendimiento y en la evaluación cle losalumnos en las PAAU. En el primer aparta-do se estudia la influencia del centro esco-lar en la predicción cle la nota PAAU. En elsegundo apartado se analiza la influenciadel profesor-corrector en el proceso. Y porúltimo, en el espacio dedicado a las con-clusiones, se recogen algunas perspectivascle investigación y otras consideracionespedagógicas que han surgido a partir clelos resultados estadísticos.

LA INFLUENCIA DEL CENTRO ESCOLAREN LA PREDICCIÓN DE LA NOTA PAAUDE CADA ALUMNO

ANTERIORES ESTUDIOS

Muchos han sido los investigadores queanteriormente se han dedicado a estudiar enprofundidad las llamadas pruebas cle Selecti-vidad. Entre los pioneros, destacan T. Escude-ro e I. Aguirre de Cárcer. En el documentodel Consejo de Universidades (que antes hasido citado) se recoge una amplia bibliog-rafía que permite conocer cuáles han sido laspreocupaciones de los investigadores sobreel tema, sus principales aportaciones y lassucesivas modificaciones que se han ido in-troduciendo en la normativa cle las pruebasa la luz de dichas investigaciones. Aquí noslimitaremos a mencionar aquellos trabajosque por sus objetivos y resultados están di-rectamente relacionados con los estudiosque presentamos.

(3) in Oficina de Coordinació del COU 1 les PAAU de Catalunya dispone de las notas por asignaturas de

todos los alumnos que han cursado COU. Puesto que el examen PAAU se basa en las materias cursadas en COU

nos ha parecido más adecuado analizar la relación entre estas puntuaciones que entre la nota de expediente yla de las PAAU.

64

Antoni Sans (1990) analizó los resul-tados en las PAAU que obtuvieron los12.423 estudiantes que se matricularonen el COU en el curso 1986-87 y que es-taban adscritos a la Universidad Autóno-ma de Barcelona. Su estudio señaladiferencias significativas en la nota PAAUentre los distintos tribunales y las distin-tas convocatorias cle exámenes (tandas).Sans llega a proponer que no se tenga encuenta la nota de expediente en el cóm-puto de la nota cíe acceso a la universi-dad a la luz de las discrepanciasobservadas entre nota de expediente ynota PAAU en algunos centros. Precisa-mente los centros con peores resultadosen las PAAU eran los que habían puntua-do más alto a sus alumnos. El manifiestocomportamiento heterogéneo que Sansobserva entre los centros le lleva a esta re-comendación. El desequilibrio existentese manifiesta también entre centros pri-vados y públicos: mientras que el porcen-taje de los alumnos matriculados en loscentros públicos es de un 50 por cien-to para los que superan el COU, y deun 38 por ciento para los que apruebanlas PAAU, en los centros privados estosporcentajes ascienden a un 78 por ciento ya un 66 por ciento, respectivamente.

Otro trabajo a señalar es el de Merce-des Muñoz y otros autores (1991) realizadoa partir cle los principales resultados de susinvestigaciones sobre las pruebas cle accesoa la universidad. En dicho trabajo, también

estudian la incidencia cle las modificacio-nes que se introdujeron en el formato y or-ganización de las PAAU a partir de losresultados de las convocatorias cle 1987,1988 y 1989 relativos a una muestra estrati-ficada de universidades de todo el Estado.Nos parece interesante destacar aquí algu-na de las conclusiones de este trabajo encuanto al sistema actual de acceso a la uni-versidad: «...Podrían resumirse sus defec-tos en que cumple mal y de forma desigualla función que se le asigna de ordenar demanera aquilatada 4 a los estudiantes encuanto a su prioridad para obtener unpuesto en la universidad».

LOS DATOS. UNA PRIMERA EXPLORACIÓN

Para abordar el estudio de la asocia-ción de la nota que obtuvo cada estudianteen las PAAU y en el COU 4 , se escogióuna muestra aleatoria 6 de 26 centros(1.619 estudiantes) del distrito cle Cata-lunya, sobre los 400 centros (unos 25.000estudiantes en total) que concurrieron alas PAAU en junio de 1993. Nuestra hipó-tesis cle trabajo era que la relación entrela nota obtenida en el COU y la cle lasPAAU variaba de un centro a otro. Se tra-taba pues de escoger un modelo de va-riación cle la nota PAAU que incluyera lanota COU como variable explicativa (en-

(4) La preocupación sobre el grado de homogeneidad existente entre los centros al puntuar a sus alum-

nos sigue siendo motivo de preocupación en uno de los estudios publicados recientemente. NI.' del R. Lói,E7.

(1997) estudia los resultados de las pruebas de acceso a la Universidad Autónoma de Madrid del curso 1995-

1996. La distribución por centros (132 centros de secundaria) de la diferencia entre la nota de expediente y la

nota de las PAAU presenta un promedio de -1.6 con una variabilidad que va desde -0.8 hasta -2.8. Para los es-

tudiantes del bachillerato LOGSE el promedio de dicha diferencia por centros (14 centros) es de -1.9 variando

entre -0.9 y -3. Luego, no parece que el nuevo sistema educativo vaya a reducir estas diferencias en la evalua-ción de los alumnos. Sigue pues siendo un tema pendiente.

(5) Nota COU es la media artimética de las ocho asignaturas pertenecientes a este curso mientras que

nota PAAU, como decíamos antes, es una media ponderada de los nueve ejercicios que componen dichas prue-bas en Catalunya.

(6) La Oficina de Coordinació del COU 1 les PAAU de Catalunya suministró los datos.

65

tre otras) y que a la vez contemplara la po-sible diferencia entre centros.

En una primera exploración consta-tamos que la correlación intra-centros 7

para la nota PAAU era de 0.195. Es de-cir, aproximadamente, un 20% de la va-riación de la nota PAAU observada sedebía a variación entre centros. Este he-cho desaconsejaba la aproximación clási-ca, a través de un modelo de regresióncon una misma ecuación para los 1.619estudiantes 8.

En el Gráfico I se observa:

• La devaluación de nota (del COU alas PAAU) de la mayoría de los es-tudiantes. Si la nota del COU y lanota de las PAAU estuvieran mi-diendo la misma variable latente«aptitud del alumno para los es-tudios universitarios», sería deesperar que el gráfico de disper-sión se situara alrededor de larecta bisectriz de este primercuadrante. Pero no es así, lospuntos se sitúan alrededor deuna recta paralela a dicha bisec-triz. Existe, por tanto, un sesgoentre una valoración y la otra.Está claro que esta diferencia sedistribuye de manera desigualentre los estudiantes. Pero nos

preguntamos también, ¿cómo sedistribuye entre centros?

• Las distribuciones marginales dela nota obtenida en el COU y dela nota de las PAAU. Más de lamitad de los estudiantes tienenuna nota COU comprendida entrelos 6 y 7 puntos. Cabe recordarque los alumnos que se presentana las PAAU deben haber aproba-do el COU, es decir han de teneruna nota COU superior a un 5.5.Por otro lado, un 65% de los es-tudiantes obtiene en las PAAUuna nota situada entre los 4 y 6puntos; un 8.4% obtiene unanota inferior a 4; un 20.7% consi-gue una puntuación entre 6 y7; un 6.2% entre 7 y 9; y un0.1% obtiene una calificaciónsuperior a 9.

Si en el Gráfico I nos centramos sola-mente en los resultados obtenidos por losestudiantes de dos escuelas concretas (lanúmero 2 y la número 18 de nuestra mues-tra), observamos la situación que se apre-cia en el Gráfico II.

El Gráfico II sugiere la convenienciade estimar un modelo de regresión con pa-rámetros que puedan tomar valores dife-rentes 9 para cada escuela.

(7) El coeficiente de correlación intra-grupos es una medida del grado de homogeneidad existentedentro de los grupos. La estimación que hemos tomado es la que propone MITIIIS (1994) a partir de la des-composición derivada de un análisis de varianza clásico. Para más detalle ver COCIII1AN (1977).

(8) Al no satisfacer la hipótesis de incorrelación entre residuos, los estimadores de cuadrados míni-mos (MCO) subestiman los errores estándar de los coeficientes de la ecuación de regresión. Esta «subesti-mación» de los errores estándar conlleva que no puedan darse por válidos los test que suelen ofrecer lospaquetes de software estadístico al realizar uit análisis de la regresión. Al mismo tiempo, y puesto que nues-tro Inter'res se centraba en toda la población de centros, no únicamente en los 26 de la muestra, desestima-mos los modelos de análisis de la covarianza (ANCOVA) que ofrecen la estimación del efecto fijo debido acada centro sin inferir sobre la población de los mismos.

(9) Si aplicáramos un modelo de regresión clásico por separado a estas dos escuelas se obten-drían dos rectas diferentes quizás paralelas, es decir, con la misma pendiente y diferente ordenada enel origen.

66

16

84

335

525

\ 522

108

25

3

10

9

87

• 2X 18

1 0

GRÁFICO INota PAAU tersus nota COU (1619 estudiantes)

843

375234 167

15 6

7 8 9

nota COU

GRÁFICO IINotas de las alumnos de los centros 2 y 18. Las notas medias del COU y de las PAAU son,

respectivamente: 6.62 y 5.91, el primero; 6.46y 4.17, el segundo.

10

9

8

7

6

5

4

3

2

1

o

Nota global PAAU versus nota global COU (escuelas 2 y 18)

•• • •• see .•

11! x x• • IX x x

X x 1x x xMI w x XX

x 31x

••xxx x

•

5 6 7 8

9

COU

67

ASOCIACIÓN ENTRE LA NOTA DEL COU Y LA

NOTA DE LAS PAAU

Con el objetivo de poder hacer infe-rencias sobre la población de centros y ala vez estimar eficientemente los paráme-tros de interés, decidimos modelizar lavariación de la nota PAAU a través de unsistema de regresión de coeficientes aleato-rios (parámetros que varían de una escuela aotra de acuerdo con una distribución deprobabilidad) tomando la nota del COUcomo variable explicativa. Aitkin and Long-ford (1986) proponen la utilización de di-chos modelos para el estudio cle datos deestructura jerárquica. En nuestro caso,los estudiantes (o unidades del primer ni-vel) aparecen agrupados en centros esco-lares (o unidades de segundo nivel). Elmétodo (le estimación seguido ha sido elde Mínimos Cuadrados Generalizados Ite-

rativos (MCGI) y se ha utilizado el softwareinformático Mln (ver Goldstein, 1995).

En la tabla I presentamos los resulta-dos que se derivan del ajuste de diferentesmodelos a los datos de la muestra asícomo las variables incorporadas en cadauno de estos modelos. El modelo 1 es unanálisis de la regresión clásico en el que nose tiene en cuenta la agrupación de los es-tudiantes en centros. El modelo 2 es el mássimple cle los modelos de coeficientesaleatorios de dos niveles: descompone lavarianza observada de la nota PAAU en va-rianza entre centros y en varianza entrealumnos dentro de los centros; estima lamedia global de la nota obtenida en lasPAAU (5.24) y permite además calcularuna estimación del coeficiente de correla-ción intra-centros. Por su parte, el modelo3, amplía el modelo anterior incluyendo lavariable explicativa nota COU. Como re-

TABLA ILa variación de la nota PAAU individual con relación a la nota COU, el género, el ser alumno

repetidor de COUy la opción

Modelo 1MCO

Modelo 2MCGI

Modelo 3MCGI

Modelo 4MCGI

Coeficientes (E.E.)

constante -0.84 (0.17) 5.24 (0.10) -0.68 (0.17) -0.36 (0.18)

Narcou 0.90 (0.03) 0.88 (0.02) 0.85 (0.02)

SEXO 0.20 (0.02)

REPCOU -0.23 (0.05)

OPA -0.27 (0.04)

OP11 -0.41 (0.05)

I'arianzas

entre centros 0.22 (0.07) 0.18 (0.07) 0.18 (0.05)

entre estudiantes 0.706 1.03 (0.04) 0.52 (0.02) 0.48 (0.02)

Cocí de correlación

intra-centrosI

— 1 0.1751

0.25I

0.27

68

sultado de la estimación 10 podemos decirque el coeficiente de dicha variable (pen-diente de la recta) es el mismo para todoslos centros, no varía. Sin embargo, la cons-tante (ordenada en el origen) varía entrelos distintos centros. Esta constante, quevaría de un centro a otro, está recogiendoel efecto producido debido al centro esco-lar ". El modelo 3 se amplió añadiendo di-versas variables cualitativas tales como elgénero, el ser repetidor de COU, la opciónde COU, el tipo de centro (público o priva-do). El tipo de centro no resultó ser unavariable significativa. No se observa dife-rencia entre la opción C y la D, que torna-mos como opción base o referencia. Porotra parte, el modelo más completo y que,además cíe la variable nota COU, incorporaotras variables que explican la variación dela nota PAAU es el Modelo 4. La explora-ción de los residuos del modelo 4 no pusoen evidencia ninguna violación de las hi-pótesis sobre los mismos con lo cual es unbuen modelo parar explicar la variación dela nota PAAU. Según estos dos modelos (3y 4), el efecto centro en la nota PAAU essignificativo y se reduce a un término adi-tivo de media O y varianza 0.18. En conse-cuencia, para cada centro la recta deregresión de PAAU sobre COU tiene unaconstante propia, resultante cle sumar laconstante común a todos los centros (-0.68en el modelo 3) con el efecto centro co-rrespondiente, y una pendiente fija (0.88en el modelo 3), la misma para todos loscentros. Se confirma, pues, el patrón decomportamiento que sugería el Gráfico II.

Es de destacar que, al ir añadiendo va-riables explicativas (modelos 2, 3 y 4) se va

reduciendo la varianza entre centros y entreestudiantes -esta última en mayor grado-, yque sin embargo, el coeficiente de correla-ción intra-centros aumenta. Al ajustar (corre-gir) la variación de la nota PAAU con lassucesivas covariantes se hace todavía másostensible la homogeneidad interna de loscentros frente a la heterogeneidad de losmismos en lo que se refiere a la puntua-ción en las PAAU.

Centrándonos en la interpretación delmodelo 4, se puede observar que la nota ob-tenida en el COU es predictont ' 2 de la pun-tuación que se puede conseguir en las PAAU(matizada con una serie cle características in-dividuales); pero también se observa que elfactor centro escolar tiene carácter preclicti-yo. Por otro lacio, es importante destacarciertas observaciones al respecto:

• Por el hecho de haber cursado elCOU en un centro u otro y respectoal comportamiento medio de la po-blación, la nota PAAU que se esperade cada estudiante sufrirá un incre-mento que puede oscilar entre -0.84y 0.84 puntos '3.

• Se observa que en las PAUU, enigualdad de condiciones con res-pecto al resto de variables, a loschicos les va mejor (0.20 puntos enpromedio) que a las chicas.

• El hecho cle ser repetidor disminuye lapredicción de nota en 0.23 puntos.

• A los estudiantes de Ciencias (0.27por debajo de la media para los dela opción A y 0.41 para los de la op-ción B) les va peor que a sus com-pañeros de Letras (opciones C y D).

(10) Hemos desestimado el modelo de dos niveles que contempla la ordenada en el origen y la pendien-

te variando de un centro a otro ya que la varianza de este último coeficiente no resultó significativa (no se pue-

de rechazar la hipótesis de que dicho coeficiente sea constante) y adem.ís dicho modelo ofrecía un peor ajuste(test de la razón de verosimilitud) en comparación con el Modelo 3.

(11) A partir de este momento, para abreviar, nos referiremos al efecto debido al centro estimado en losmodelos 2, 3 y 4 como el efecto centro.

(12) El coeficiente de correlación lineal entre la nota COU y la nota PAAU de cada estudiante es 0.66.

(13) 0.84 = 2DE = 2NAW3

69

El. EFECLO DEBIDO AL CENTRO ESCOLAR YLAS ESCALAS DE MEDIDA

Los resultados de la estimación delmodelo /1 corroboran los que, para el ám-bito nacional, encontraron Muñoz-Repiso(1991) y otros autores. Nuestro enfoque,realizado a través de modelización estadís-tica, ofrece, además, la posibilidad de ob-tener un identificador para cada centro ".Los centros que presentan una asociaciónextrema entre la nota obtenida en lasPAAU y la nota del COU deberían ser mo-tivo de estudio. El análisis de las caracterís-ticas de dichos centros y la discusión conlos responsables de los mismos podríaaportar un mayor conocimiento sobre ladiversidad ' S de los centros.

Mientras la nota PAAU presenta unavariación considerable entre distintos cen-tros, no ocurre lo mismo con la nota delCOU. El coeficiente de correlación intra-centros para esta última nota es práctica-mente O. Se podría decir que lasdistribuciones de puntuaciones (aproba-dos) en el COU no varían de un centro aotro. Cada centro ha «ordenado» a susalumnos con una media y una variabilidadmuy similares. En cambio, según acaba-mos de ver, al proponer el mismo examen

a todos los alumnos se aprecian las dife-rencias entre los resultados de los alumnosde un centro a otro. Nuestra conclusión esque los centros están utilizando escalas demedida diferentes y distintos estándares enla preparación de los alumnos.

LA INFORMACIÓN A LOS CENTROS.INDICADORES E INFORMACIÓN

Los estudiantes concurren a las PAAUa través del centro en que han cursado elCOU. Cada centro está adscrito a una de-terminada universidad. Por ejemplo, enCataluña, la Oficina de Coordinació delCOU i les PAAU es la encargada decoordinar y administrar la realización deestas pruebas (los exámenes son losmismos para todas las universidades) y,a la vez, tiene como función la de hacerllegar a los centros los resultados de susalumnos. La información que suministrase concreta en la nota media del COU,la nota media obtenida en las PAAU y ladiferencia entre ambas notas para losalumnos de su centro. Además comuni-ca la nota media del conjunto de alum-nos de la convocatoria. En la actualidad

(14) Dicho identificador, al tener asociada, según el modelo, una distribución de probabilidad, permite

distinguir los valores extremos de los considerados más comunes. En los modelos de regresión de nivel múlti-

ple (GowsTEIN, 1995) nos encontramos con residuos asociados a cada una cle las variables o coeficientes alea-

torios introducidos en el modelo. El modelo que hemos estimado para nuestros datos contempla la existencia

de residuos a nivel individuo (tantos como individuos) y residuos a nivel centro (tantos como centros). Cada

residuo no es más que una realización (o predicción de realización) de una variable aleatoria. El residuo com-

ponente a cada centro (efecto centro) se estima a partir de los residuos individuales, el número de alumnos y

el valor del coeficiente cle correlación intra-centros. Se trata cle estimadores encogidos (subestiman la informa-

ción sobre un subgrupo a favor de la información sobre todo el grupo cuando el número de elementos del

subgrupo es muy pequeño y puede conducir a estimaciones poco eficientes). Una vez identificado cada centro

con su efecto podemos establecer una banda de efectos no distinguibles (que se separan como máximo una

desviación estándar de la media) y considerar aquellos centros que presentan un efecto superior a 0.42 o infe-

rior a -0.42.

(15) Los centros que impartirán el bachillerato LOGSE proceden de institutos de bachillerato, institutos

de formación profesional o centros de enseñanza secundaria creados ex profeso. Cabe esperar, pues, diferencias

Importantes entre los centros, no solamente en cuanto al conjunto de materias sino también en cuanto al estilo

de la enseñanza que impartirán.

70

éstos son algunos de los indicadores 16 conlos que cuenta la comunidad educativa ycómo tales indicadores han sido utilizadosdesde la Administración y desde cada unode los centros para realizar comparaciones.

Nosotros, nos preguntamos ahora sobrela «oportunidad» de tales comparaciones 17

dado que, en muchos casos, las diferencias ob-servadas no parecen ser significativas. Esmás, debido a la diversidad existente encuanto al número de alumnos 18 que cadacentro presenta a las PAAU, algunas com-paraciones carecen incluso de sentido.

Por estos motivos, a la hora de abor-dar esta cuestión, decidimos estudiar la es-tructura de covarianza entre la nota COUy la nota PAAU descomponiendo la varia-ción global en variación entre centros yvariación dentro de los centros. La meto-dología seguida consiste en modelizar demanera conjunta (bivariante) la variaciónde la nota COU y la nota PAAU de cadaestudiante, descomponiendo la variaciónde cada nota en efecto debido al centro yefecto específico del estudiante y admi-tiendo la posible covarianza entre losefectos de un mismo nivel. Hemos aplica-do a los datos de la muestra (que se reco-gían en el apartado que llevaba por títuloLos datos. Una primera aproximación) un

modelo de componentes de la varianzapara el estudio de datos multivariantes conestructura jerárquica 19. Los resultados 2" dela estimación de la variación entre centros,matriz Er, y dentro de los centros entre estu-diantes, matriz EE son los siguientes:

(0.022 0 (0.662 0.582)= EFO 0.201 - = 0.582 1.033

CONCLUSIONES

Una primera conclusión que se des-prende del tratamiento estadístico señalaque la media global de la nota COU y de lanota PAAU es, respectivamente, 6.74 y5.24. La descomposición de la variación to-tal en variación entre centros y dentro clelos centros está justificada. La varianza en-tre centros es significativa para ambas no-tas. Los resultados de estas estimacionescorroboran lo que desde el punto de vistadescriptivo ya se apuntaba anteriormente:una mayor variabilidad entre efectos cen-tro en la nota PAAU que en la nota COU.Mientras el efecto centro en la nota PAAUtoma valores en un rango que va de -0.9 a0.9 21 , en la nota COU varía entre -0.3 y 0.3.En el Gráfico III puede observarse que el

(16) En este sentido, hay que celebrar la labor que está realizando el INCE en su «Proyecto de sistemaestatal de Indicadores de la educación». Otra referencia imprescindible es el documento de la OCDE «Educa-tion at a glance. OCDE indicators» de 1995.

(17) Estos datos no se hacen públicos en Cataluña -tampoco nos consta que se haga en el resto de Es-paña- hasta el momento. En otros países, como Inglaterra y el País de Gales donde tradicionalmente se publi-can estas informaciones y, a la vista del uso no siempre adecuado que se ha hecho de estos indicadores, loscientíficos (ver artículo de GOIDSTEIN y SPIEGEUIALTER, 1996) se han visto obligados a recordar la incertidumbreInherente en este tipo de medidas y la necesidad de contextualizarlas.

(18) Los centros con un número reducido de estudiantes son más susceptibles de verse afectados en susmedias por valores excepcionales. El tamaño del centro es una característica que se debería tener en cuenta alcomparar centros.

(19) Para más detalle sobre este tipo de modelos ver Golo grraN (1987).(20) La diferencia con el modelo del apartado anterior radica en que, en aquel caso, tomábamos una única

respuesta, la nota PAAU y estudiábamos su variación previo ajuste con la nota COU. Ahora consideramos ambasnotas como respuestas y estudiamos su variación conjunta. los detalles sobre este enfoque blvariante de nivel múl-tiple y su aplicación a la muestra de 26 centros se encuentran en la tesis que A. Cuxart está elaborando.

(21) 0.90 = 2DE = 2NW2(Til-

71

• privado+ público

GRÁFICO IIIMedias en COU y en las PAAU de las 26 centros

PAAU versus COU en promedio (26 escuelas)

8 —

7 —

a_ 6 —

2 •

5 — •+

••

4 —

6

MCOU

rango de variación de la nota media de lasPAAU es mucho mayor (más del doble)que el de la nota media del COU. Tantodesde la consideración del alumno, comodesde la del centro, la nota PAAU presentauna mayor variabilidad 22 que la nota COU.No solamente la primera nota distinguemejor los centros, sino que, dentro de unmismo centro, la nota PAAU introduce másdiscriminación que la nota COU.

Una segunda conclusión igualmenteimportante resulta de este aspecto: aten-diendo al nivel del centro, la covarianzano es significativa. La covarianza nula en-tre el efecto centro en la nota COU y el co-rrespondiente en la nota PAAU nosindicaría que el hecho de tener una mediaalta de la nota COU no siempre va acom-pañado de una media alta también en lanota PAAU. En cambio, en relación alalumno, la correlación entre efectos es

0.704 (superior a 0.66, la correlación obte-nida entre las dos notas a nivel global).Existe mayor coherencia entre ambas pun-tuaciones dentro de cada centro que siconsideramos a todos los alumnos de lamuestra. Este hecho tiene una clara expli-cación: cada centro ha ordenado a los es-tudiantes que superan el COU a través desus puntuaciones y el resultado son distri-buciones de notas COU con una media si-milar de un centro escolar a otro. En lasPAAU se realiza una nueva ordenación. Aun-que de manera interna en cada centro existauna coherencia entre ambas ordenaciones,parte de la misma se pierde al agrupar a to-dos los centros ya que la escala o baremoutilizado por cada uno de los centros enCOU no es exactamente la misma.

Por último, hay que destacar hasta quépunto resulta fiable la comparación de losdistintos centros a través de sus respectivas

(22) La similitud de medias de COU entre centros y dentro de los centros es una consecuencia, en parte,

del reducido rango de valores con que se puntua cada asignatura: 5.5, 6.5, 7.5 y 9. Como decíamos en el apar-tado anterior, la nota PAAU evidencia que los centros están puntuando con escalas diferentes en COU pero

dando como resultado distribuciones de notas similares. En el bacliillerato LOGSE se ha corregido esta deficien-

cia y la puntuación es más «fina».

72

notas media de COU y de las PAAU. A esterespecto y a tenor de nuestros resultadospodemos señalar que:

• No tiene sentido comparar los dis-tintos centros en cuanto a las notasmedias obtenidas en COU 2' (en elcaso de que dos centros se diferen-ciaran en una cantidad apreciable,esta diferencia solamente sería ob-servable si el tamaño de los centrosfuera superior a 197).

• Para centros de tamaño inferior a 30alumnos tampoco se recomiendaestablecer ordenaciones a partir clelas medias obtenidas en las PAAU.

• En cambio, la ordenación «más in-formativa», la que puede ser utiliza-da para tamaños incluso de 16alumnos, es la diferencia entre lasdos medias. Esta ordenación es laque puede resultar más útil para la Ins-pección Educativa en el estudio de loscasos que se separan considerablementedel comportamiento estimadocomo promedio.

LA INFLUENCIA DEL PROFESOR-CORRECTORANÁLISIS DEL PROCESO DE CORRECCIÓNDE LAS PRUEBAS PAAU

ESTUDIOS ANTERIORES Y MOTIVACIÓN

En educación —en general en todo elámbito de las ciencias sociales— las varia-bles suelen ser difíciles de medir. Por ejem-plo, si pretendemos evaluar la habilidadque una población cle estudiantes mani-fiesta en matemáticas, tendremos que defi-

nir previamente aspectos como éstos: quéentendemos por habilidad en matemáticas,qué tipo de prueba prepararemos paraprovocar que se manifieste tal habilidad (sise trata de un examen, si van a ser pregun-tas abiertas o cerradas, si se trata de unaprueba oral o escrita, etc.), qué respuestasesperamos obtener y cuáles cle ellas ciare-mos por válidas, cómo se administrará laprueba, cómo se puntuará, y por fin, unavez tengamos la puntuación final, habráque definir qué interpretación correspon-derá a los posibles resultados. Cada uno delos elementos que integran el proceso demedida conlleva arbitrariedad e incerti-dumbre. Ante esta situación, digamos deimperfección del instrumento cle medida, ypuesto que erradicada es imposible, lo acon-sejable es avanzar en el conocimiento de suscausas para limitar al máximo su impacto.

Sans (1991) entre otras consideracio-nes apunta la necesidad de medir la fiabi-lidad del proceso cle corrección de lasPAAU a la vista de las diferencias observa-das entre distintos tribunales. Por su parte,Muñoz-Repiso y otros autores (1991) tam-bién abordan el tema de la corrección. Así,por ejemplo, al intentar explicar por quélos estudiantes cle Ciencias (opciones A yB) sufren una disminución de nota -de lanota de expediente a la nota PAAU- supe-rior a sus compañeros de Letras (opcionesC y D) sugieren que una de las razones po-dría ser que las asignaturas específicas delárea de Ciencias permiten una mayor dis-criminación entre los alumnos que las asig-naturas específicas del área de Letras, a lavez que, en las asignaturas comunes a to-das las opciones —como Filosofía o Co-mentario de Texto—, se tienda a discriminarpoco otorgando puntuaciones que en su

(23) En el Gráfico III observamos la similitud en las medias de COU para los centros. Llama la atención

que los centros que se destacan por obtener los mejores o los peores resultados en media en las PAAU son

todos privados. Estos resultados coinciden con los obtenidos por /11~z-12ms° y otros autores (1997) en unestudio relativo a los centros de la Universidad Autónoma de Madrid.

(24) Este apartado ha sido redactado partiendo de una investigación ya presentada que dirige el Sr. Ma-nuel Martí Recober y que está financiada en parte por el CIDE (Proyectos de Investigación, 1995).

73

mayoría van del 4 al 7. Por ello, y ante lainstauración del tribunal único para el cur-so 1991-1992, Muñoz-Repiso y otros auto-res (1991) planteaban la necesidad decriterios de homologación y garantías demayor objetividad en la corrección de laspruebas.

Para medir la fiabilidad de la correc-ción es necesario disponer de algún tipode réplicas. Escudero y Bueno (1994) reali-zaron un experimento con un tribunal para-lelo que evaluaba los exámenes puntuados asu vez por el tribunal oficial correspondien-te. Al comparar las puntuaciones que otor-garon los dos tribunales, no encontrarondiferencias significativas entre las mediasde la nota final de las PAAU (tampoco re-sultaban significativas las diferencias entrela mayor parte de notas agregadas) 25 . Des-de nuestro punto cle vista uno de los resul-tados más relevantes del trabajo deEscudero y Bueno (1994) consistió en laconstatación del siguiente hecho: si se hu-bieran tomado las puntuaciones de la se-gunda corrección (experimental) en lugarde las oficiales, para un 10% cle los estu-chantes se hubiera invertido la resolución(obtener o no un aprobado) de la nota deacceso a la universidad.

Aunque de manera global los resulta-dos de un tribunal no sean significativa-mente diferentes de los de otro tribunal,ésta, creemos, no es una razón suficientepara pensar que el proceso en sí mismo es«justo». Deberían ser los expertos los quese pronunciaran al respecto. Y a partir de

sus observaciones, sería la política educati-va la que tendría que definir qué es los quese entiende por una «diferencia acepta-ble». Además, los datos de interés en edu-cación deberían considerarse en relaciónal individuo, y no solamente en cuanto a laagrupación de individuos, ya se trate de untribunal o de centro escolar.

En junio de 1991, Albert Satorra y Fre-deric Udina de la UPF, llevaron a cabo unexperimento 26 de control de la calidad enla corrección de los exámenes de Matemá-ticas I de las PAAU. De los resultados sepudo estimar que la varianza inducida porla corrección en la nota de Matemáticas Iera del 10%. No obstante, insistían sus au-tores que este estudio no podía ser consi-derado como concluyente, sino más biencomo una invitación a la reflexión, dado elcarácter voluntario de las respuestas.

Así se perfilaba la necesidad de abriruna línea de investigación en nuestro paíssobre un tema que, hasta ese momento ha-bía sido insuficientemente estudiado: 27 lanecesidad, por una parte de medir eficien-temente la mriabilidad cle la corrección encada una de las pruebas y por otra, de in-dagar sobre las componentes de dicha va-riabilidad.

El trabajo de Albert Satorra y FredericUdina había constatado la existencia de unefecto debido al centro —centro en que secursa el COU— en la nota PAAU de cada es-tudiante. El efecto debido al centro tam-bién aparecía al analizar la asociaciónentre la nota PAAU de cada materia y la co-

(25) En el trabajo de Escudero y Bueno no se comparan los resultados de la doble corrección en las prue-

bas específicas por asignaturas. Se estudian los resultados a nivel global de la primera obligatoria, segunda obli-

gatoria, primera optativa y segunda optativa.

(26) A los 73 correctores de dicha asignatura de la ciudad de Barcelona se enviaron por correo dos exá-

menes fotocopiados (al azar se escogieron 20 exámenes de uno de los tribunales y se fotocopiaron antes de

ser corregidos oficialmente) pidiéndoles que los corrigieran con el mismo criterio que días antes habían aplica-

do en la corrección oficial. De los 73 correctores, respondieron 39.

(27) Lo cierto es que a pesar del valioso estudio realizado por el Consejo de Universidades en 1993 y de

las interesantes recomendaciones que en el mismo ya se incluían, poco se ha avanzado en estos cuatro años

para Implementadas. Una de las recomendaciones era la de utilizar un mayor número de preguntas con la in-

tención de abarcar mejor el programa y así incrementar la fiabilidad de las pruebas.

74

rrespondiente nota obtenida en COU. Elpaso siguiente de nuestra investigaciónconsistió en analizar 28 las posibles cau-sas de dicho efecto. Había que tener encuenta aspectos, corno por ejemplo, elhecho de que, debido a cuestiones orga-nizativas, en Cataluña es el mismo co-rrector el que corrige los exámenes detodos los alumnos de un mismo centro.Por ello, el efecto centro podía estar con-fundido con el efecto debido al corrector.Aplicando modelos de regresión de ni-vel múltiple pudimos separar (Cuxart,1995) el efecto centro del efecto correc-tor en la materia de Matemáticas I, esti-mando una varianza significativa entrecentros del mismo orden que la varianzaentre correctores 29 • Cabe destacar que lamagnitud de la incidencia del efecto cen-tro en la nota PAAU resultó ser muy pró-xima a la obtenida por Satorra y Udina(1991). Pero, el hecho de que cada exa-men fuera corregido por una sola perso-na no nos permitía investigar sobre losposibles grados de severidad de los correc-tores ni tampoco abordar temas de fiabili-dad en la corrección.

Con la intención de poder estudiar conmás profundidad el proceso de correcciónen la calificación de los estudiantes que sepresentan a las PAAU, emprendimos el di-seño de un experimento que permitieraevaluar la calidad de la corrección en dosmaterias, en Matemáticas I y en Filosofía(consideradas de diferente dificultad en laconcreción y aplicación de los criterios de

corrección). El objetivo principal del estu-dio consistía en la obtención de medidasde la calidad de la corrección que nos per-mitieran iniciar un proceso cle seguimientoy control del sistema en posteriores convo-catorias. Un segundo objetivo que perse-guíamos, ligado al anterior y que adquieresentido en función cle él, era la detecciónde las posibles fuentes o factores de la va-riabilidad de la corrección.

En evaluación educativa en general yen las pruebas PAAU en particular, intere-sa que el examen sea válido :%<), es decirque el examen mida aquello que ha demedir y para lo que ha sido concebido yque la puntuación que otorga el procesode corrección sea fiable. La fiabilidad tie-ne sentido en un contexto de réplicas y serefiere a la precisión del instrumento clemedida. En consecuencia, la puntuaciónserá más fiable o precisa cuanto menorsea el error de medida introducido en elproceso cle corrección.

En el estudio cle Satorra y Uclina(1994) la selección de correctores no fuealeatoria. La corrección se llevó a cabo conposterioridad a las pruebas y sin la presióndel volumen de exámenes a corregir. Elmodelo de componentes de la varianza cleestos autores no distinguía entre posiblesfuentes de error en la estimación. El traba-jo de Escudero y Bueno (1994), en el quepor el contrario se respetaron las condicio-nes de realización que acabamos de citar,involucraba pocos correctores. Cada tribu-nal, en aquellos momentos, solía tener so-

(28) Es evidente que para estudiar el efecto centro se debería investigar en el proceso de evaluaciónen las escuelas. Este sería tema de otra investigación muy interesante, por cierto. Nuestros esfuerzos se cen-traron en conocer el funcionamiento del instrumento de medida de la nota PAAU, es decir, el proceso decorrección.

(29) Los detalles de este trabajo se encuentran en un informe preparatorio.

(30) No abordamos el tema de la validación del examen. Nos centraremos en el proceso de correccióny en su fiabilidad. No obstante, como se verá más adelante, al analizar las causas de las discrepancias obser-vadas entre correctores, se apunta la posibilidad de que los exámenes propuestos no estén midiendo adecua-damente la preparación de los alumnos. De ser así, tendríamos que una insuficiente validación del examenconllevaría al mismo tiempo una fuente de discrepancia en la corrección, añadiendo más elementos de injus-ticia al proceso.

75

lamente un corrector para cada asignatura.Al comparar dos tribunales, en realidad, loque se estaba haciendo era comparar doscorrectores.

Frente a estos estudios, nuestro diseñoreunía las siguientes características:

• Se hizo una corrección doble. Cadaexamen debía ser corregido dos ve-ces, una sería la corrección oficial yla otra la realizaría un corrector ads-crito a otro tribunal de las PAAU.Ésta, llamémosle, segunda correc-ción —aunque se hiciera al mismotiempo y sin conocimiento de la co-rrección oficial— se haría a partir deuna fotocopia 3'.

• Se asignó el segundo corrector alazar, no de manera voluntaria.

• Los exámenes fueron corregidosen las fechas oficiales, no conposterioridad.

• Participaron un número importantecle estudiantes (187 en Matemáticas Iy 363 en Filosofía) lo cual permitiócontar con un abanico de situacioneslo suficientemente amplio. Intervinotambién un número considerablede correctores (10 en Matemáticas Iy 20 en Filosofía, que estaban adscri-tos a los 18 tribunales de Barcelona,en junio de 1995). Esto garantizóuna cierta representativiclacl de lamuestra respecto a la población clecorrectores.

• Los correctores desconocían el usoque se haría de la puntuación (se-gún la información que se dio a loscorrectores, ellos no podrían sabersi su nota sería la oficial o si sería

utilizada solamente con finalidadesestadísticas).

En los Gráficos IV y V que a continua-ción se recogen, se representa la puntua-ción que obtuvo cada examen según elcorrector oficial y según el segundo correc-tor (NOTPAAU1 y NOTPAAU2, respectiva-mente). En los gráficos se informa (através cíe los símbolos (o, +) de la moda-lidad (opción A o B) que fue escogidapor el alumno. Dichos gráficos muestranuna discrepancia considerable entre co-rrectores, que por otra parte es mayor enFilosofía que en Matemáticas I. Al distin-guir por opciones, parece ser que en Fi-losofía existe una mayor concentraciónde puntos de la opción A en el extremoinferior izquierdo, mientras que la op-ción B predomina en el extremo superiorderecho. En general, los exámenes de laopción B de Filosofía han obtenido, tan-to en la primera como en la segunda co-rrección, notas superiores a los de laopción A. En Matemáticas I no se aprecia,a primera vista, una tendencia tan claracomo en Filosofía.

Por su parte, la Tabla II nos ofrece,para cada asignatura por separado, la co-rrelación entre la corrección oficial, la se-gunda corrección y la correspondientepuntuación que en COU obtuvo cadaalumno, lo que confirma la dispersión quese apreciaba en los Gráficos IV y V. Es na-tural que la segunda corrección mantengauna menor correlación con la nota obteni-da en COU que la corrección oficial. Setrata de un efecto debido al diseño: el nú-mero cíe correctores es mayor en la segun-da corrección que en la primera.

(31) Se fotocopiaron todos los exámenes de estas asignaturas de dos de los tribunales. Se repartieron las

fotocopias aleatoriamente entre el resto de correctores. Los correctores de las fotocopias recibieron en el sobre

que contenía los exámenes de su tribunal veinte fotocopias, aproximadamente, de exámenes sin corregir junto

con una carta en que se les pedía que corrigieran estos veinte exámenes con los mismos criterios y al mismo

tiempo que el resto de exámenes.

76

1 0 — + e+ 00

+ 0 + 0O O

00+ + + + + +

NOTPAAU2 O + ED$51000

O O O O $O ED O O +

5 —0 $ + ED O + O +000+190 O

+ + O e ++

$ O ED o e++ ++0+00 + + 0 O O

+ ED e + 0

+ ED O + 00O $ o + +

+ + +— 0 +

1o 5 10

GRÁFICOS IV Y V

Diagramas de la doble corrección. NO7PAAU1 es la puntuación que dio el corrector oficialy NOTPAAU2 la que dio el segundo corrector

DOBLE CORRECCIÓN EN FILOSOFÍA

lo — oOo e + + + e + +

+ + + + e) eo o ++ e + 0 +e

4- 0 O e 4- $ ++++ 4-7— e + e + + + + + + +

O o (D + + + + e + e + + + +N0TPAAU2 6 e e O $ + eee++++

O o e e e e e ED + + + +5 —00 O O ED $ + + O + ED $000eoe+ ED ED + + + +4— 0000eeee + O ED $ 0+

O ooeeee + O +3— 0 oeooeee+++ +

o +0 e O + +02 —0 + e+ O e

0 +1 — 0 O O O

O OO —

O Opción A4- Opción B

o

10

NOTPAAU1 (nota onginan

DOBLE CORRECCIÓN EN MATEMÁTICAS

O Opción A+ Opción El

NOTPAAU1 (nota original)

TABLA IICorrelaciones Pearson entre las notas de Filosofía y entre las notas de Matemáticas

Filosofía Matemáticas

COU NOTPAAU1 COU NOTPAAU1

NOTPAAU1 0.316 NOTPAAU1 0.614

NOTPAAU2 0.311 0.600 NOTPAAU2 0.572 0.074

77

Según la Tabla III que a continuaciónaparece, el grado de concordancia entrecorrecciones no es muy alto 32 . Como erade esperar, se observa una mayor coinci-dencia entre correctores en Matemáticasque en Filosofía. No deja de sorprender-nos, sin embargo, que en el 28% cle los ca-sos la diferencia entre las dos correccionesdc Matemáticas supera la unidad. Otroclato preocupante es el siguiente: la exist-encia de un 13% cle casos en Filosofía conuna discrepancia superior a los tres puntos.

Antes hemos señalado que algunos es-tudios ya publicados en los que se planteabala comparación entre la corrección de dostribunales se habían basado en el análisis dela varianza. Por nuestra parte, hemos realiza-do tales análisis con nuestros datos y pode-mos decir que, al igual que en el estudio deEscudero y Bueno (1994) ", no ha resultadoser significativa la diferencia entre la primera yla segunda corrección, tanto en Filosofíacomo en Matemáticas. Ahora bien, aunque,en promedio la diferencia entre correccionesno sea estadísticamente significativa, puedemuy bien ocurrir que, para un número im-portante de estudiantes, el hecho de tener

un corrector u otro modifique sus posibili-dades futuras (sabemos que el acceso a al-gunos estudios universitarios depende dedécimas). Naturalmente, hay que empezarpor saber cuál es la variabilidad en quenos movemos y a partir de ahí definir elplan de trabajo a seguir: especificación deobjetivos, oportuno seguimiento, controle intervención.

Si antes decíamos que al considerar laprimera y la segunda corrección no se po-día concluir que las medias fueran signilicati-vamente diferentes, al introducir el factoropción de examen este aspecto cambia. Laopción de examen es un factor diferenciacloren el siguiente sentido: la media de notas queobtienen los estudiantes de Filosofía que es-cogen la opción A es significativamente dife-rente de la media cle notas que obtienenaquellos que escogen la opción B. Este hechose da tanto en la corrección original como enla segunda corrección y en las dos materias,aunque con un grado de significación másalto en la materia de Filosofía que en la deMatemáticas. Estos análisis corroboran lo quedesde el punto cle vista descriptivo apuntabanlos gráficos de doble corrección.

TABLA IIIFrecuencias de valores de la variable diferencia (en valor absoluto) entre las dos correcciones.

Para 185 estudiantes la nota de Filosofía otorgada por el primer corrector difiere en menos de unpunto de la nota que le habría otorgado el segundo

Dif < 1 1 < Dif < 3 3 < Dif Total deestudiantes

Filosofía 185 (51.0%) 130 (35.8%) 48 (13.2%) 363

Matemáticas 134 (71.7%) 49 (26.2%) 4 (2.1%) 187

(32) Cabe destacar que en aquellos momentos, junio de 1995, ya se había realizado un esfuerzo considerablepara adecuar los programas de COU y modificar los formatos de examen y criterios de corrección en aras deuna mayor objetividad.

(33) Cabe recordar que en el trabajo de ESCUDERO y BUENO (1994) la nota de Matemáticas no se estudiabapropiamente ya que aparecía mezclada con el resto de primeras obligatorias de opción. Sí se estudiaba la notade Filosofía.

78

DESCOMPOSICIÓN DE LA VARIACIÓN

OBSERVADA

Con el objetivo de profundizar unpoco más en el estudio de la discrepanciaobservada, decidirnos modelizar nuestrosdatos descomponiendo el error de medidaintroducido en la corrección en sus dife-rentes fuentes de variación. Nuestro enfo-que se enmarca en la teoría de lageneralizabiliclad (Cronbach, 1972) y en laadaptación que Longford (1994 y 1995,cap. 2) propuso para el estudio de datosrelativos a exámenes y a correctores. Al in-tentar explicar el hecho de que dos correc-tores asignen puntuaciones diferentes almismo examen podríamos distinguir entredos posibles fuentes de discrepancia (Long-ford, 1994): la severidad y la inconsistencia.

Por severidad cle un corrector, enten-deremos la diferencia entre dos cantidadesno observables: la media del corrector(que conoceríamos si dicho corrector corri-giera todos los exámenes) y la media glo-bal (calculable si todos los exámenesfueran corregidos por todos los correcto-res). No obstante, parece evidente que ladiscrepancia no se debe solamente a losdiferentes grados de severidad. Un mismoexamen puede obtener una puntuación di-ferente si se trata de uno de los primerosexámenes que tiene que evaluar un correc-tor o si por el contrario, éste se enfrenta aél cuando ya lleva corregidos un buen nú-mero de ellos. El cansancio puede influir

en la agudeza y en la atención que se poneen la corrección. También el hecho de ha-ber visto el contenido de muchos exáme-nes puede modificar 34 el criterio decorrección que, a partir de un momentodel proceso, puede volverse más indulgen-te o más exigente que al principio. A esta se-guncb fuente de error, que engloba una seriede imperfecciones que están presentes en elproceso de corrección, la llamaremos incon-sistencia o error no sistemático. La inconsis-tencia específica de cada examen ycorrector sería la «desviación de la puntua-ción otorgada respecto a la puntuaciónque en promedio dicho corrector otorgaríaal examen en cuestión». El modelo concre-to de componentes cle la varianza que pro-ponemos para explicar la variación de lapuntuación de un examen es el modeloaditivo (Longforcl 1994):

.»./= 0./ (MOV)

siendo y = 1, 2,..., 1, el índice del exa-men o estuc-liante; j = 1, 2,...,jel del correc-tor. El número de puntuaciones que entranen el estudio es 21; yu es la puntuación queel corrector j ha dado al examen i; a l es lapuntuación verdadera y no observable delexamen i; 131 es la severidad del corrector j;Cy representa la inconsistencia específicade cada corrección. Suponemos que estostres últimos términos están mutuamente nocorrelacionados con medias iguales a II, O y O

(34) Uno de los hechos observados es el de la adaptación del corredor al grupo de exámenes. Parece serque algunos profesores distribuyen a sus alumnos como harían en su propia aula o grupo-clase sin tener en cuenta

que deben aplicar unos criterios universales y prescindir de un particular grupo de estudiantes que están corrigien-

do. Este fenómeno de adaptación genera injusticias. En función del conjunto de centros que van a parar a un mis-mo tribunal puede repercutir tina ventaja o inconveniente para cada alumno en particular.

Este fenómeno se limitaría si: 1) los correctores no fueran adscritos a tribunales, separando vigilancia decorrección; 2) cada corrector recibiera un bloque aleatorizado de exámenes, con desconocimiento de las escue-las de procedencia; 3) se repartieran normas consensuadas de corrección de cada examen.

Sobre las normas de corrección cabría distinguir entre las generales, elaboradas a priori y aplicables a

cualquier examen, y las específicas, elaboradas por el equipo que propone los enunciados de examen en el

momento de su confección y revisadas, por este mismo equipo, a partir de la corrección de una muestra alea-toria de los exámenes una vez que se dispone de los mismos.

79

y varianzas a a 1, a , respectivamen-te, cc, sería la media que obtendríamos sitodos los correctores corrigieran el exa-men i, mientras que (3j sería la diferenciaentre la media global 11 (todos los exáme-nes corregidos por todos los correctores)y la media correspondiente al corrector j(todos los exámenes y este corrector); eyrecogería la separación del corrector j enel examen i respecto de su comportamientomedio.

No hay que perder de vista que unabuena corrección requiere que las com-ponentes de la varianza relativas a la se-veridad y a la inconsistencia seanpequeñas con relación a la varianza de lanota verdadera.

ESTIMACIÓN

El método que hemos seguido para es-timar el modelo del apartado anterior es elde los momentos, una adaptación de los clá-sicos estimadores de la varianza (ADEVA) alcaso de datos no balanceados y para más de

un factor. Una vez determinadas las fórmulasalgebraicas 35 para los estimadores, utilizamosel software estadístico MLn (Goldstein, 1986a)para la confección de los programas que cal-culan las estimaciones y permiten la revisiónde las hipótesis del modelo.

En una primera comparación de lasvarianzas de las dos asignaturas, consta-tamos que en Filosofía se da una concen-tración de notas alrededor de su mediamucho mayor que en Matemáticas. Estehecho se da tanto en la varianza totalcomo en la varianza debida a la nota ver-dadera. La prueba de Filosofía en lasPAAU discrimina menos que la cle Mate-máticas I. En cambio, la varianza cle estasdos asignaturas en COU es muy similar(1.46 en Matemáticas frente a 1.36 enFilosofía) 36.

RESULTADOS

Éstas pueden ser algunas de las conclu-siones a las que hemos llegado en nuestrotrabajo:

TABLA IVEstimaciones de las componentes de la varianza de la puntuación observada.

Entre paréntesis aparece la proporción de varianza respecto de la varianza total

Componentes de la varianza total Matemáticas Filosofía

A 2a n, var. entre notas verdaderas a, 5.350 (86.5%) 2.475 (60.2%)

A 2o b, van de la severidad 0, 0.011 ( 0.2%) 0.248 (6 .0%)

a 1„ var. de la inconsistencia Ey 0.827 (13.3%) 1.386 (33.7%)

Varianza total (suma) estimada 6.188 4.109

Varianza muestra! 6.189 4.065

(35) Los detalles técnicos se encuentran en la tesis que A. ancarts está elaborando.

(36) No podemos olvidar que las puntuaciones en las asignaturas de COU son en cuatro categorías (5.5, 6.5,7.5 o 9), hecho que provoca una excesiva similitud entre estudiantes y entre distribuciones por asignaturas en COU.

80

• inconsistencia

II severidad

O nota verdadera

Filosotia

Matemáticas

• El estudio arroja esta primera conclu-sión: la calidad de la corrección esbaja. Para una tercera parte de los exá-menes de Filosofía y un 18% de Mate-máticas I, la diferencia entre las doscorrecciones superó los dos puntos.Los indicadores de la calidad de la co-rrección, obtenidos a partir de la mo-delización de los datos —léase, lasvarianzas cle la nota verdadera, clela severidad y cle la inconsistencia,así como las correlaciones—, confir-man las primeras observaciones de-rivadas cle la simple comparación clepuntuaciones.

• En las dos materias analizadas, laprincipal fuente de error en la co-rrección resulta ser la inconsisten-cia. La varianza debida a lainconsistencia representa un 13%de la varianza total en Matemáticasy un 34% en Filosofía. En Matemáti-cas no se aprecia una diferencia en-tre la severidad de los correctores.Sin embargo, en cambio en Filoso-fía parecen coexistir diferentes gra-dos de severidad entre correctores

-la varianza de la severidad en Filo-sofía representa un 6% de la varian-za total. El Gráfico VI ilustra sobrela participación porcentual de cadafuente cle error en la variación total.

• El análisis de la inconsistenciaapunta la posibilidad de que ciertosexámenes o preguntas conllevenmayor probabilidad de discrepanciaentre correctores. El hecho que másllama la atención, que sustentanuestra conjetura, es la evidenciacle que en Filosofía una de las op-ciones ha generado más discrepan-cia que la otra y, además, lo hahecho en sentido inverso, de talmanera que, la diferencia entre laspuntuaciones del primer y segundocorrector en promedio es más deldoble en la opción A (-0.714) queen la B (0.33). Los diagramas decaja (box-plot) que se recogen en elGráfico VII ilustran esta situación.En ellos, la línea que divide cada cajase sitúa en la diferencia mediana. Eldiagrama relativo a la opción B sedesplaza hacia valores más positivos,

GRÁFICO VIDescomposición de la varianza total de la nota obsen .ada en Filosofra y en Matemáticas I, según

aplicación del modelo (MDV)

Descomposición de la variación total observada

0% 20% 40% 60% 80% 100%

Porcentaje de varianza

81

lo cual pone cle manifiesto que paraesta opción la corrección oficialtendió a ser superior a la de la se-gunda corrección. Por el contrario,para los exámenes de la opción Afue la segunda corrección la quetendió a ser superior. Una cle las ra-zones de esta situación -según sedesprende de un estudio más por-menorizado sobre los exámenes delos alumnos y las anotaciones delos correctores- parece ser el com-portamiento diferenciado de losdos correctores oficiales que partici-paron en el estudio. Por ello, sepuede deducir que parte de la dife-rencia observada entre tribunales sedebe, pues, al comportamiento di-ferenciado cle sus respectivos co-rrectores (oficiales).

• En cuanto a los efectos que las co-rrecciones hubieran tenido en el ac-ceso a la universidad, se puededecir que aproximadamente un 3%de los estudiantes de la muestra(11 sobre un total de 362 alum-nos) habrían sido ubicados demanera diferente (obtener o noun aprobado en la nota de acce-so) si sus exámenes hubieran sido

evaluados por los segundos correc-tores en lugar de por los correctoresoficiales.

En condiciones normales solamentese dispone de una corrección por exa-men. Es de destacar la mejora que se in-troduciría, sobretodo en Filosofía, si paracada examen se pudiera contar con doscorrecciones y tomar como nota definiti-va la media de ambas. Según se despren-de de la Tabla V, el valor del coeficientede correlación entre la puntuación obser-vada y la nota verdadera, se vería incre-mentado en un 12% al tomar la mediaentre las dos correcciones (de 0.78 a0.87). En Matemáticas tan sólo repre-sentaría una mejora del 3%.

Por último hay que hacer constar que,a pesar que los resultados de este estudiono contradicen la intuición, no pueden ge-neralizarse a otras materias, ni a anterioreso futuras convocatorias, ni tampoco a dife-rentes formatos de examen.

ALGUNAS REFLEXIONES Y PROPUESTAS

El Consejo de Universidades en un do-cumento del año 1993 que lleva por título

GRÁFICO VIIDiscrepancia entre correcciones en Filosofía y opción de examen

(DIF = Corrección oficial - segunda corrección)

Distribución de la discrepancia entre correcciones

en Filosofía y según opción de examen

A

OPC I ON

o

5

82

«Las Pruebas de Aptitud para el acceso a laUniversidad: Problemática actual y pro-puesta de modificación», señala concreta-mente la necesidad cle una doble correcciónpara la prueba del Comentario de Texto(propuesta 3.3):

Dadas las características especiales de esteexamen, sería conveniente utilizar para elComentario de Texto una doble corrección.La doble corrección es utilizada en distin-tos tipos de prueba y ejercicios como garan-tía de ponderación y equilibrio en lacalificación final que se otorga.

En el caso de la prueba de Comentario deTexto, que no se refiere a una materia espe-cífica, sino que tiene un carácter general, ydado que los profesores que han de corre-girlo, al ser de cualesquiera de las otras ma-terias que integran la prueba, pueden tenerapreciaciones y criterios dispares, se hacemás aconsejable el uso de este procedimiento.

La calificación final será la inedia de laotorgada por ambos correctores, siempreque no se diferencien en más de 2 puntos.Si la diferencia es mayor, los correctoresprocederían, en cada caso, a la revisión delas calificaciones efectuadas siguiendo me-ticulosamente los criterios de corrección es-pecíficos establecidos para el examen. Lacorrección de este examen se dará por con-cluida una tez que todas las calificacionesse hayan obtenido promediando puntua-

ciones con diferencias que no superen el lí-mite establecido (Modificación legal delR.D. 406/83. /Art. 4.1. (nuevo) y de la Or-den 3-9-3 7 /Artnueto).

A este respecto, y teniendo en cuentatodos los aspectos que aquí hemos apunta-do cabe plantearse, a nuestro entender,tres observaciones relevantes:

• Esta propuesta no se está teniendoen cuenta en las actuales Pruebas deAptitud o Acceso a la Universidad, almenos en todas las administracionescon las que hemos contactado.

• Si para una materia como el Co-mentario de Texto se considera noadmisible una diferencia superior a2 puntos entre las dos correcciones,podemos preguntarnos cuál habríade ser la diferencia que se podríaadmitir entre las dos correccionesen materias como Filosofía o Mate-máticas, donde los correctores sonexpertos en el tema.

• El presente estudio, realizado sobrelas pruebas de acceso en las mate-rias de Matemáticas y de Filosofíaha arrojado los siguientes datos: 3714 exámenes de Matemáticas (un 7%cle los mismos) recibieron puntuacio-nes que diferían en más che 2 puntos,mientras que en la materia Filosofía

TABLA VIndicadores de la calidad de la corrección, calculados a partir de las estimaciones que se derivan

de la aplicación del modelo (MDV)

Coeficientes de correlación Matemáticas Filosofía

r (entre las dos puntuaciones) 0.86 0.60

ra i (entre nota verdadera y puntuación observada) 0.93 0.78

ra2 (entre nota terdadera y puntuación media) 0.96 0.87

(37) 1..a distribución de estos exámenes por opciones A /13 fue de 10/4 de Matemáticas y 33/44 en Filosofía,respectivamente.

83

fueron 77 los exámenes cuya califi-cación distaba en más de dos pun-tos en cada una de las correcciones(lo que supone un 41%).

A la vista de estos datos y con el objeti-vo de incrementar la precisión en la correc-ción de las pruebas PAAU, presentamos, acontinuación, una serie de propuestas:

• Considerar en cada materia de exa-men la posibilidad de sustituir elexamen actual, o una parte del mis-mo, por una prueba con preguntasde respuesta cerrada.

• De manera sistemática, y para losexámenes con preguntas de repuestaabierta, en cada convocatoria se de-bería seleccionar una muestra deexámenes de cada materia y realizaruna doble corrección cle los mismoscon el objetivo de medir la fiabilidado precisión en su corrección y detec-tar posibles fuentes de discrepancia.

• Para aquellas asignaturas con unaprecisión baja realizar una doblecorrección de todos los exámenes,como ya recomendaba el Consejode Universidades en 1993.

• Incorporar un mecanismo de revisiónautomático cle todas las puntuacionesPAAU que, al comparar con las de lamisma prueba en COU u otra variableindicativa, permita destacar aquellaspuntuaciones que se separan demasia-do de las previsiones. Realizar una do-ble corrección (si se trata de preguntasde repuesta abierta) cle estos casos eintroducir los ajustes que se conside-ren oportunos. Aquellos centros (y co-rrectores) cuyos alumnos (exámenes)en un porcentaje alto hayan sufrido re-visión deberían ser analizados.

No obstante, creemos oportuno traer aconsideración el hecho de que para poderllevar a cabo de manera eficaz todas laspropuestas anteriores habría que tener unainfraestructura y unos medios adecuados.

CONCLUSIONES

Destacamos a continuación las princi-pales conclusiones que se derivan de laaplicación cíe modelos de regresión concoeficientes aleatorios para el estudio cle laasociación entre la nota de COU y la notacle las PAAU de cada estudiante:

• Existe una variación significativa dela nota PAAU entre centros escola-res. Un 20% aproximadamente de lavariación total de la nota PAAU co-rresponde a variación entre centros.

• La influencia del centro escolar enla predicción de la nota PAAU indi-vidual se concreta en un términoaditivo, común a todos los estu-diantes del mismo centro y que he-mos llamado efecto centro. Talesefectos tienen asociada una distri-bución de probabilidad y permitenidentificar los centros escolares quepresentan una asociación entre lanota COU y la nota PAAU extrema.

• Las distribuciones cle la nota COU, adiferencia cle la nota PAAU, varíanmuy poco de un centro a otro. Deahí que el coeficiente de correla-ción intra-centros para la nota COUsea prácticamente 0. Este hecho su-giere que los centros están utilizan-do escalas de puntuación propias,diferentes de un centro a otro, se-gún pone en evidencia el examenPAAU.

• El modelo cle regresión cle coefi-cientes aleatorios cle la nota PAAUfrente a la nota COU que contemplagénero, posible repetición cle COU,opción cle COU y tipo de centro,nos lleva a una serie cle conclusio-nes en cuanto al valor preclictivo deestas variables coincidentes con an-teriores estudios realizados en elámbito estatal. La novedad cle nues-tro enfoque estriba en la determina-ción del papel preclictivo de cada

84

centro en la nota individual dePAAU de manera conjunta con elresto de variables citadas.

Por otra parte, el análisis del proce-so de corrección de las pruebas PAAUha puesto en evidencia los siguientesaspectos:

• La baja calidad de la corrección enlas dos asignaturas estudiadas, in-cluso en Matemáticas. La principalfuente de error ha sido la inconsis-tencia (la varianza debida a la in-consistencia representa un 13% dela varianza total en Matemáticas yun 34% en Filosofía). En esta últimamateria, además parecen coexistirdiferentes grados de severidad en-tre correctores (un 6% de la varian-za total corresponde a severidad).

• Son importantes las consecuenciasque para algunos estudiantes sepueden derivar de esta imperfec-ción del sistema: un 3% de los estu-diantes de la muestra habríantenido una suerte distinta en su in-corporación al mundo de la univer-sidad de haberse tenido en cuentala segunda corrección en lugar de lacorrección oficial. Los estudiantesmás afectados por la baja fiabilidadson, naturalmente, los que se en-cuentran cerca de la frontera (bor-derline) del aprobado.

• El valor que tiene el monitorizaruna investigación conectada a laejecución, s's tanto por la informa-ción que suministra como por laposibilidad de intervenir para reali-zar un ajuste a tiempo.

• La necesidad de interpenetrar co-rrectores y exámenes si queremoscomparar los resultados de Meren-

tes tribunales, centros, comarcas,etc.

• La conveniencia cle contrastar empí-ricamente la dificultad cle las pre-guntas cle cada examen y materia.

• La existencia de diversas fuentes clevariación en la corrección: algunasde ellas relacionadas con el diseñoy el contenido de los exámenes (deahí la necesidad de mejorar el pro-cedimiento de elaboración de losexámenes); otras relacionadas conla organización de las pruebas (poreste motivo recomendamos la sepa-ración entre la labor de vigilante yla labor de corrector).

• La importancia que adquieren todosestos temas en la discusión de lasnuevas PAAU. En la actualidad, elhecho de utilizar una puntuaciónque es una «media cle medias» dilu-ye, en gran parte, los efectos cle unsistema imperfecto. Una pondera-ción que diera un peso mayor a al-gunas de las materias requeriría unmayor grado cle fiabilidad en la co-rrección de las mismas y justificaríala incorporación de pruebas de res-puesta cerrada.

PERSPECTIVAS DEL TRABAJO DEINVESTIGACIÓN

Los modelos de descomposición cle lavarianza han demostrado ser de utilidad enla investigación realizada hasta el momen-to y consideramos interesante ahondar ensus posibilidades.

En una de las investigaciones que aho-ra se está realizando hemos abordado elestudio de la variación conjunta del vectorde notas PAAU de cada estudiante. Con

(38) En (Curxiorr and LONGIORD, 1996) se incluyen una serie de reflexiones y propuestas sobre el efecto de laelección, la posibilidad de realizar reajustes, de comparar resultados, y de realizar pretests de las preguntas para co-nocer su dificultad.

85

ello tratamos de detectar la asociaciónexistente entre las diversas materias y elpoder discriminaclor del primer y del se-gundo ejercicio y de la nota global dePAAU. También intentamos obtener infor-mación sobre la capacidad evaluaclora deambos ejercicios.

Los resultados aportados han sido és-tos: las correlaciones entre las diferentespruebas son muy débiles, incluso cuandose calculan para los estudiantes de unamisma opción. Es un hecho conocido queel error de medida en cada evaluación tie-ne el efecto de atenuar los coeficientes quemiden la relación entre variables y que laspreguntas de respuesta abierta conllevanmayor subjetividad e imprecisión en su co-rrección. Si además, los formatos de exa-men de dos asignaturas, aunque seanpropias de la opción, son muy diferentespueden estar evaluando habilidades distin-tas a la vez que conocimientos. Por otrolado, los actuales exámenes no cubren demanera exhaustiva el programa de las asigna-turas. De ahí que pueda hablarse cle un factorsuerte en cuanto a los temas que aparecencackt año a examen. La suerte de una asigna-tura a otra puede variar y nos encontramoscon otra fuente (le variabilidad. Todas estasconsideraciones hacen referencia a la valida-ción del examen y a la fiabilidad del mismo.

En el futuro creemos que sería interesantela utilización de modelos estadísticos que ten-gan en cuenta el error (le medida. Para ellonecesitamos disponer de réplicas (doble co-rrección, por ejemplo) para al menos unamuestra de cada materia. Pensamos que losmodelos LISREL nos permitirían introducir unpoco más de luz en el complejo sistema de re-laciones entre las materias y entre los factoresque influyen en su evaluación.

Del análisis de la corrección que se hahecho teniendo en cuenta las dos opciones

(A o B) de las materias cíe Filosofía y Mate-máticas I se desprende que el nivel depuntuaciones no es el mismo en las dosopciones. En general, y tanto en la primeracomo en la segunda corrección, la opciónA (le Filosofía recibió notas inferiores a laopción B, mientras que en Matemáticasocurrió la situación inversa. Dado que losestudiantes fueron quienes eligieron la op-ción de examen es imposible separar elfactor opción cle la preparación del estu-diante. Se plantea pues la necesidad de co-nocer la dificultad 39 de las preguntasplanteadas y, a la vez, recomendar la limita-ción al máximo de la opcionaliclacl en estosexámenes.

La implantación de la LOGSE y lasnuevas PAAU representa una oportunidadpara introducir cambios estructurales en elproceso cle acceso a la universidad quetengan en cuenta la experiencia acumula-da con el sistema de acceso anterior. Con-sideramos un hecho clave la incorporaciónde la investigación estadística en el seguimien-to del proceso y la evaluación empírica de lasmodificaciones que se vayan introduciendo.

En una situación cle transición como laque estamos viviendo en estos momentos enla que existen dos sistemas de pruebas PAAU

vigentes, es interesante conocer y compararporcentajes de superación cle las diferentes fa-ses educativas en relación a la población dejóvenes de una misma edad o cohorte. De ahítambién surge la oportunidad de investigar laaplicación de modelos de regresión logística.

ALGUNAS CONSIDERACIONESPEDAGÓGICAS A LA LUZ DE LASESTADÍSTICAS

Entre las consideraciones pedagógicasque se desprenden del presente estudio,

(39) Este curso se están analizando los datos de un nuevo experimento de doble corrección para un número

mayor de asignaturas. El objetivo de este experimento es calcular la fiabilidad de la corrección, conocer la dificul-

tad de las preguntas y recoger la opinión de los correctores en cuanto al enunciado de examen y a los criterios decorrección específicos.

86

consideramos oportuno destacar lassiguientes:

• La relevancia que adquiere paratodo sistema educativo el hecho dedisponer de datos fiables. En estesentido las pruebas PAAU, comoexamen externo a los centros y es-tándar, 40 se revelan como un instru-mento de gran utilidad.

• La necesidad de comparar resulta-dos con rigor y teniendo en cuentael contexto. Si se dan estos dos req-uisitos, la prevención a la compara-ción entre centros carecerá desentido.

• Se debería avanzar en la «cultura»de realizar estudios que sean útilespara la Administración y que, almismo tiempo, sirvan de referenciay contraste para los centros.

• La defendida necesidad de propo-ner exámenes que contengan pre-guntas lo más cerradas que sepueda plantea un cambio en la pe-dagogía. Los profesores de secun-daria deberían incorporar en sudocencia este tipo de pruebas. 4'

• Las pruebas PAAU no debe ser elprimer examen global de la materiaal que se enfrentan los estudiantes.Por ello, es importante que en laenseñanza secundaria los alumnospreparen y realicen exámenes queabarquen una parte importante dela programación, y a ser posible, to-dos los contenidos del temario.

• Las habilidades en comunicaciónescrita adquieren una gran relevan-cia en las pruebas de respuestaabierta de las PAAU —hemos habla-do cle limitar en las PAAU las prue-bas cle respuesta abierta, no de

eliminarlas—. Y puesto que dichashabilidades requieren un proce-so de aprendizaje, resulta evi-dente que esta necesidad deberíaser atendida como una de las prác-ticas prioritarias en la enseñanzasecundaria.

BIBLIOGRAFÍA

AGUIRRE DE CÁRCER: La Selectividad a deba-te, Madrid, Universidad Autónoma,1984.

ArrKIN, M. y LONGFORD, N.: «Statistical mo-clelling issues in school effectivenessstuclies», en j. R. Statistical Society, 149(1986), Part 1, pp. 1-43.

COCHRAN, \V. G.: Sampling Techniques,ed. Roronto, Wiley, 1977.

CRONBACH, L. J.; GLESER, G.C.; NANDA, H. yRAJARATNAm, N.: The dependability ofbehavioral measurements: Theoly ofgeneralizability for scores and prof.iles,New York, John Wiley, 1972.

CUXART, A.; GRAFFELMAN, J. y MARTÍ, M.: Lanota PAAU y su relación con la notaCOU: un modelo de regresión con coe-ficientes aleatorios para el estudio delefecto centro en la nota PAAU, Actas dela 5. 1 Conferencia Española de Biome-tría. Valencia. 1995.

CUXART I JARDÍ, A. y LONGFORD, N. T.:Equity in the university admissionsprocess in Spain, Estudio —en prensa—presentado al 10th European Congressof Psychometric Society, Santiago deCompostela, julio de 1997 y al 5th Eu-ropean Research Congress on Educa-tion, Erancfurt, Alemania, set. 1997.

ESCUDERO, T.: «Investigaciones y Experien-cias: Buscando una mejor selección de

(40) En el artículo desarrollo de la LOGSE: las nuevas pruebas de acceso a la universidad» de este mismonúmero se dan diferentes argumentos a favor de las pruebas externas.

(41) Existen múltiples experiencias en este ámbito: Las pruebas Canguro de matemáticas que se realizansimultáneamente en varios países europeos, las pruebas MIR de nuestro país, el examen SAT americano,...

87

universitarios», Revista de Educación,núm. 283, Ministerio de Educación yCiencia, 1987.

ESCUDERO, T. y BUENO GARCÍA, C.: «Investi-gaciones y Experiencias: Examen cleSelectividad. El estudio del tribunal pa-ralelo», Revista de Educación, núm.304, Ministerio de Educación y Cien-cia, 1994.

GOLDSTEIN, H.: «Nlultilevel mixeci linearmoclel analysis using iterative generali-sed least squares», Biometrika, 73, pp.43-56, 1986a.

— Multilevel models in Educational andSocial Researcb, Oxforcl UniversityPress, New York, 1987.

GOLDSTEIN, 11. y SPIEGELIIALTER, D. J.: «Lea-gue tables ancl their limitations: statisti-cal issues in comparisons ofinstitutional performances (with clis-cussion)», fon, nal ofthe Roya! StatisticalSociety, Ser. A, 159, 1989, pp. 385-443.

GOLDSTEIN, H.: Multilevel Statistical Models,2.° ecl., Kenclall's Library of Statistics 3(Lonclon, Edward Arnolcl), 1995.

LONGFORD, N. T.: 1?andom Coefficient Mo-dels, Oxforcl Science Publications, Cla-renclon Press, Oxforci, 1993.

of essay rating and scoreadjustement», fournal of Educationaland Bebavioral Statistics, Vol 19, núm.3, 1994, pp. 171-200.

— «Moclels for uncertainty in EclucationalTesting», Springer Series in Statistics,New York, 1995.

LÓPEZ, M. del R.: «Algunos resultados so-bre las Pruebas de Acceso a la Univer-sidad Autónoma de Madrid», enÁLVAREZ, J. B. y ARROYO, F. (comp): Ac-ceso a la Universidad y Marco Educati-vo, Tarbiya, número extraorclinatio,junio, 1977.

MARTÍ RECOBER, NI.: Los sistemas de correc-ción de las pruebas de Selectividad enEspaña. Análisis y propuestas. Concur-so nacional de Proyectos de Investiga-ción Educativa, Ministerio deEducación y Ciencia, CIDE, 1995.

MEMORIA DE ACTIVIDADES DEL CONSEJO DEUNIVERSIDADES. Junio 1991- Julio 1993.

MUÑOZ-REPISO IZAGUIRRE, M., et al: Las ca-lificaciones en las pruebas de aptitudpara el acceso a la universidad, núm.61 colección INVESTIGACIÓN. Ma-drid: CIDE, 1991.

MUÑOZ-REPISO, M. y otros: El sistelna de ac-ceso a la Universidad en España: tresestudios para aclarar el debate. Ma-drid: CIDE, 1997.

SANS, A.: Selectivitat universitária. Análisia Catalunya. Tesi doctoral. Bellaterra:Publicaciones de la UAB, 1990.

SATORRA, A. y UDINA, F.: Comunicaciónpersonal, 1994.

88