e1.11~~111~1

RESULTADOS DE UNA EVALUACIÓN CRITERIAL EN EL ÁREA DECIENCIAS SOCIALES, GEOGRAFÍA E HISTORIA DE LA EDUCACIÓN

SECUNDARIA OBLIGATORIA 1

JUAN L. CASTEJÓN COSTA (*)LEANDRO NAVAS MARTÍNEZ (*)

GONZALO SAMPASCUAL MAICAS (")

RESUMEN

En este artículo ofrecemos los resulta-dos de una evaluación referida al criteriopartiendo de los contenidos establecidosen el currículo de la Educación SecundariaObligatoria para el área de Ciencias Socia-les, Geografía e Historia. Se establece unpunto de corte empírico siguiendo el mé-todo de Berk para cada criterio, para cadabloque de contenido y para toda el área, yun punto de corte racional considerandolas estimaciones de los profesores. Lamuestra la componen 932 alumnos-as de3" y 4" de la Educación Secundaria Obliga-toria y 26 profesores. Nuestros datos indi-can que el porcentaje mínimo de dominiopara el final del segundo ciclo se sitúa al-rededor de un tercio del total. Además laestimación de los puntos de corte realizadapor los profesores no discrepa mucho delos puntos de corte obtenidos de formaempírica. No obstante, existe una ligera

discrepancia entre las calificaciones de losprofesores y los resultados cle la evalua-ción criterial.

INTRODUCCIÓN

El presente trabajo se inscribe en undoble marco teórico, por una parte, la eva-luación criterial de los objetivos educativosentendidos como desarrollo de capacida-des, y por otra, la teoría de la consistenciaen la toma de decisiones.

La evaluación en la Educación Secun-daria Obligatoria supone valorar el tipo yel grado de aprendizaje que los alumnoshan alcanzado con respecto a las capacida-des indicadas en los objetivos generales,tal y como se señala en el Real Decreto1345/1991. El nivel de cumplimiento de ta-les objetivos no debe medirse de modo in-flexible, hay que tener en cuenta lasituación del alumno, sus características yposibilidades.

(*) Universidad de Alicante.

(") Universidad Nacional de Educación a Distancia.

(1) Este trabajo es parte del proyecto de investigación .Procesos de evaluación y decisiones de promoción

en el área de Ciencias Sociales, Geografía e Historia de la Educación Secundaria Obligatoria: Análisis de consis-

tencia desde la Evaluación Criteriak subvencionado por la Secretaría de Estado de Educación en el ConcursoNacional de Proyectos de Investigación Educativa para 1993.

Revista de Educación, núm. 315 (1998), pp. 251-267 251

Además, si la evaluación ha de cum-plir una finalidad formativa debe realizarseteniendo como criterio de referencia, no lamedia estándar del grupo de clase sino laevolución personal de cada alumno conrelación a sí mismo, si bien, para poder ha-cer esto, es necesario disponer de pautasmínimas y escalas graduales de los apren-dizajes, que permitan trazar la evoluciónde cada alumno en función de los nivelesque esas escalas señalan. En este sentido,la evaluación tiene tres referentes claves:los objetivos generales, los contenidos ylos criterios de evaluación, que deben con-cretarse en una serie de tareas que permi-tan poner en práctica los aprendizajeslogrados durante el proceso educativo. Enconsecuencia parece necesario definir, demanera clara y operativa, los aprendizajessobre los que se va a evaluar a los alum-nos. Esto es todavía más prioritario en rela-ción con los aprendizajes mínimos que unalumno deberá haber alcanzado a fin delograr la promoción de curso o ciclo. Estapromoción debe cíe estar en función de lamadurez del alumno y de sus posibilidadesde progreso en los estudios posteriores,como se indica en la Resolución de 28 demayo de 1993 de la Secretaría de Estado deEducación.

Ello nos lleva directamente al primerode los marcos teóricos a los que anterior-mente aludíamos: el campo de la evalua-ción criterial, que se constituye en unaestrategia adecuada para ayudar a los pro-fesores en la toma de decisiones con res-pecto a la promoción o no cle los alumnos,y de utilidad para la adopción de medidaseducativas acordes con el principio deatención a la diversidad.

La finalidad cle los test referidos al cri-terio, desde las primeras aproximaciones altema realizadas por Glaser (1963), Glaser yNitko (1971), .es poder definir con exacti-tud la posición de un sujeto respecto al do-minio de una conducta bien definida. Elcriterio en el cual se basa una prueba crite-rial no está condicionado por el nivel de

realización del grupo de alumnos; el límiteen el que se basa la toma de decisiones seestablece especificando uno o varios pun-tos de corte o niveles mínimos de dominiode las destrezas básicas. La característicaclave de esta evaluación es que los crite-rios para fijar los niveles mínimos de domi-nio, aunque puedan ser diversos (Shepard,1980; Hambleton y Zaal, 1991) han de es-tar respaldados por la experimentación.

Este tipo de evaluación permite, ade-más, alternativas y acciones instruccionalesque posibilitan la intervención inmediataen el proceso de enseñanza-aprendizajeajustándolo a las necesidades educativasindividuales de cada estudiante.

El desarrollo de las aplicaciones prác-ticas de la evaluación criterial tiene actual-mente una gran difusión en diversosámbitos geográficos, siendo así notableslas realizaciones llevadas a cabo en Holan-da, Escocia y Francia, por citar algunospaíses de nuestro entorno cercano. Los as-pectos teóricos de la evaluación criterialhan sido tratados extensamente en nuestropaís (Rivas et al., 1985; Rivas y Alcantud,1989; Jornet y Suarez, 1989a, b y c; Rivas,Jornet y Suarez, 1995). Los planteamientosde la evaluación criterial han mostrado suvalidez en diversos trabajos llevados acabo en nuestro contexto educativo, apli-cados fundamentalmente a las áreas deMatemáticas y Lenguaje dentro de la Ense-ñanza Primaria (Rivas et al., 1985; Alcan-tucl, Vidal y Gilabert, 1985; Rivas yAlcantud, 1989; Gómez Arbeo, 1990).

Es conveniente aplicar tales plantea-mientos en el marco de la Educación Se-cundaria que propugna la ReformaEducativa y en áreas distintas a las que tra-dicionalmente han sido objeto de evalua-ción criterial.

De otra parte, tras las decisiones queel profesorado ha de adoptar para realizarel Proyecto Curricular, en orden de impor-tancia se sitúan las decisiones acerca de laevaluación y promoción de los alumnos.La relevancia de tales decisiones es inclis-

252

cutible por la transcendencia que tienenpara el alumnado, y para las institucioneseducativas; y buena muestra de ello es quehan sido contempladas por la Administra-ción educativa de nuestro país (Resoluciónde 28 de mayo de 1993 de la Secretaría deEstado de Educación sobre criterios y pro-cedimientos para decidir la promoción y ti-tulación del alumnado en la EducaciónSecundaria Obligatoria).

De acuerdo con esta normativa, la pro-moción o no de los alumnos de un curso ociclo al siguiente está en función de la es-timación del equipo docente en general, yde cada profesor en particular, acerca de lamadurez y del grado de desarrollo de lascapacidades del alumno. El conjunto deprofesores de cada grupo de alumnos hade decidir la promoción o no, desde el pri-mer ciclo al segundo, o desde tercer cursoa cuarto, de los alumnos que aún siendoevaluados negativamente en algunas de lasáreas alcancen en conjunto los objetivoseducativos del curso o ciclo respectivo. Encoherencia con el carácter continuo e inte-grador que ha de tener la evaluación, seestablece que al decidir la promoción altérmino del tercer ciclo o al final del tercercurso, el conjunto de profesores deberávalorar el progreso de los alumnos en lasdiferentes áreas, en relación al desarrollode las capacidades generales contenidasen los objetivos educativos del curriculum.

Se señala, además, que la decisión depromoción se adoptará siempre que elalumno haya desarrollado las capacidadesque le permitan proseguir con aprovecha-miento los estudios del ciclo o curso si-guiente, aún en el caso de que haya sidoevaluado negativamente en algunas de lasáreas o materias.

El criterio para decidir la promoción esla estimación por parte del profesorado delgrupo, de las posibilidades del alumnopara proseguir con aprovechamiento susestudios a la vista de las capacidades gene-rales desarrolladas. Inclicándose ademásque, junto a la determinación del dominio

de los contenidos específicos de cada unade las áreas, la decisión de promoción im-plica un juicio sobre el nivel de desarrolloy de adquisición alcanzado por el alumno,en lo que concierne a las capacidades ge-nerales necesarias para continuar su proce-so de aprendizaje en el ciclo o cursosiguiente.

Tal estimación tiene cierto caráctersubjetivo y requiere ser validada a travésde su consistencia en relación a otras esti-maciones más objetivas, como las deriva-das de la evaluación criterial. Toda vez,además, que las decisiones de promociónhan de estar en función de las -posibilida-des de progreso en estudios posteriores., elanálisis de la consistencia entre la estima-ción del profesor y la evaluación criterialen la decisión de promoción, enlaza direc-tamente con el punto teórico anterior, enlo relativo al establecimiento de criteriosmínimos de superación.

El análisis de la consistencia en latoma de decisiones tiene su fundamentoen la Teoría de la Decisión (Cronbach yGleser, 1965; Wiggins, 1973; Silva, 1980)que permite analizar la validez predictiva,y la utilidad y eficacia de los distintos tiposde pruebas de evaluación. Estos criteriosde validez y utilidad se convierten en ins-trumentos muy adecuados a la hora de latoma de decisiones que afectan a personase instituciones. Algunas de las propuestasrealizadas dentro de la evaluación criterialenlazan directamente con los procedimien-tos de toma de decisiones (Berk, 1976,1980, 1984).

De los principales acercamientos parala toma de decisiones, distribución bino-mial (Kriewall, 1972), teoría de la decisiónbayesiana (Novick, Lewis y Jackson, 1973),prueba de la razón de la probabilidad se-cuencial (Nitko, 1974), y el de Berk (1976),se opta por este último, una vez que supe-ra las deficiencias fundamentales de losanteriores: fallos al definir la operacionali-zación del domino en términos de la ejecu-ción observada, la medida de los objetivos,

253

y el aumento de probabilidad de error aso-ciado con la estimación del criterio. Estemétodo no se corresponde con ningúnmodelo general (modelo de estado, mode-lo continuo basado en la teoría de la deci-sión o con el denominado «modelo decompromiso»), pero en opinión cle Jornet ySuárez (1989b) tiene transcendencia a ni-vel metoclológico.

Para Rivas, Jornet y Suárez (1995) lasoperaciones básicas cle construcción de untest referido al criterio incluyen: 1. Especi-ficación del dominio educativo, 2. Análisisde items, 3. Determinación cle estándares ypuntos de corte, 4. Comprobación de laFiabilidad y, 5. Validez. Aunque de acuer-do con estos autores estas operaciones nose realizan en etapas independientes, sinoque se producen de forma paralela o trans-versal, estando presentes en varios puntosdel proceso.

La especificación del dominio educati-vo es uno de los elementos centrales en laconstrucción de pruebas referidas al crite-rio. El dominio educativo es .el conjunto deObjetivos, Contenidos, Actividades y Tareasque constituyen el objeto de la Educación—engeneral- o de un programa o una unidadeducativa —en particular-. (Jornet y Suá-rez, 1989a, p. 238). Se trata del conjuntoexhaustivo de tareas que manifiesten, a ni-vel de conducta, los aprendizajes objeto deuna determinada unidad educativa (Rivas,Jornet y Suárez, 1995). Este dominio edu-cativo forma el universo cle medida desdeel punto de vista práctico de la construc-ción del test. Mientras que desde el puntode vista teórico, la definición del dominioeducativo al que se refiere el test está a suvez estrechamente relacionada con la es-pecificación del contenido educativo, locual permite interpretar los resultados ob-tenidos en referencia a criterios internos,contenidos de la materia y unidad o temabajo estudio.

El establecimiento de los puntos clecorte es, junto a la definición del dominio,el aspecto más importante cle la evaluación

criterial y la construcción de pruebas refe-ridas al criterio.

La cuestión que se plantea en el ámbi-to educativo, a la cual es muy sensible laevaluación criterial, es establecer quéestándares cle competencia mínima sonnecesarios para ser considerado aptoen un dominio. Sin embargo, en estecampo los criterios de realización no sue-len ser tan evidentes como en el ámbitoprofesional.

Una solución a la cuestión anterior seplantea cle acuerdo con Rivas y Alcantud(1989) en términos de la capacidad del es-tudiante para continuar o no dentro delproceso educativo. El estándar mínimo decompetencia suele establecerse en el pun-to en que se garantiza con suficiente pro-babilidad la continuación en el curso, cicloo nivel siguiente. Esto, desde luego, re-quiere asumir la existencia de una jerar-quía de habilidades y conocimientos,graduados en orden de dificultad. «La cons-tatación a través de mediciones educativasrelevantes de que unos individuos puedenprogresar adecuadamente en el nivel in-nzediatamente posterior y otros, con desi-gual resultado, fallan en su progresión, esuna información importante para teneracotado el término de competencia educa-tiva. (Rivas y Alcantud, 1989, p. 55).

Lo que se requiere es establecer un es-tándar de competencia mínima que vengaasegurado por un programa de enseñanzaaprendizaje. Esta competencia mínima, sies de tipo profesional, va a venir definidapor la demostración de las destrezas nece-sarias para la realización de tareas que sellevan a cabo en esa actividad profesional.Si la competencia es de tipo escolar, puedeestar definida por la progresión futura a lolargo de cursos y ciclos.

Los procedimientos para establecer elpunto de corte varían considerablemente.Existen diversas clasificaciones propuestaspor distintos autores (Martínez Arias, 1981,1995; Rivas y Alcantud, 1989; Álvaro Page,1993; Rivas, Jornet y Suárez, 1995).

254

Berk (1976, 1980, 1984) recoge variasideas presentes en tales procedimientos,como son la utilización de grupos con ysin instrucción, la teoría de la decisión, y laestimación de la utilidad de la prueba en latoma de decisiones. La alternativa pro-puesta por Berk es la de seleccionar deforma empírica una puntuación óptima decorte, basada en las respuestas que danmuestras de validación formadas por suje-tos instruidos y no instruidos, de formaque esta puntuación haga máxima la pro-babilidad de decisiones correctas.

El método de Berk .es conceptualmen-te útil y bastante lógico. (Iornet y Suárez,1989b, p. 293). Aunque algunos autorescomo Shepard (1980) estiman que el prin-cipal problema de este método radica en ladificultad de definir qué constituye un gru-po instruido y no instruido, una vez que sesupone que el grupo instruido ha recibidoinstrucción «eficaz. antes de que los sujetossean considerados competentes (o mas-ters) durante una cantidad de tiempo queno siempre puede determinarse claramen-te. Además el punto de corte óptimo de-pende del grado de conocimientos delgrupo no-instruido.

En la situación escolar están claramen-te definidos los grupos pre-instrucción,(al inicio de un ciclo o etapa) y post-instrucción (al final de ella) y el tiempo(cursos) dedicado a la adquisición dedeterminado nivel de competencia omaestría, por lo que estas limitaciones sehacen mucho menos evidentes o dejan deser tales.

Lo que se necesita, en situaciones reales,es definir puntos de corte empíricos quepuedan compararse con los criterios esta-blecidos por la Administración educativa si-guiendo procedimientos lógico-racionalesbasados en el juicio de expertos. Estos pun-tos de corte empíricos van a darnos una vi-sión clara de hasta qué punto se alcanzanaquellos estándares teóricos cuando se tieneen cuenta el rendimiento real de muestraslo suficientemente amplias de alumnos si-

tuados en etapas determinadas del sistemaeducativo.

Este conjunto de características haceque consideremos este procedimientocomo uno de los más útiles para el estable-cimiento del punto de corte.

A partir de estos supuestos teóricos,nuestro trabajo trata fundamentalmente dedefinir de modo claro y operativo los apren-dizajes mínimos sobre los que evaluar a losalumnos en el área de Ciencias Sociales,Geografía e Historia para el segundo ciclode la Enseñanza Secundaria Obligatoria(ESO), construyendo para ello una pruebacriterial en la que se establezcan, por expe-rimentación, los puntos de corte o nivelesmínimos de dominio de las destrezas bási-cas en el área mencionada; otros aspectos atener en cuenta son: valorar la validez pre-dictiva, utilidad y eficacia de esta prueba;analizar la consistencia entre las evaluacio-nes del profesor y la evaluación criterial ycomparar los resultados de la estimaciónde los puntos de corte con el procedimien-to empírico con los puntos de corte esta-blecidos racionalmente por el profesorado.

MÉTODO

MUESTRA

La muestra está compuesta por 932alumnos-as que cursan 3" y 4° de Educa-ción Secundaria Obligatoria y 26 profeso-res-as de Ciencias Sociales, Geografía eHistoria pertenecientes a 8 Institutos deEducación Secundaria de la ComunidadAutónoma de la Región de Murcia, que enlos cursos académicos 93-94 y 94-95 antici-paban la implantación de la Reforma Edu-cativa en la Educación Secundaria.

La unidad de muestreo para los alum-nos la constituye el centro y se extrae de lapoblación de los 26 Centros de EducaciónSecundaria de la Comunidad Autónoma deMurcia según listado facilitado por la Sec-

255

ción de Planificación y Estadística de la Di-rección Provincial de Educación y Cienciaen Murcia. Se parte de un arranque aleato-rio i, y se seleccionan los distintos centrospor muestreo sistemático con k = 3.

La muestra de profesores queda deter-minada por aquéllos que imparten docen-cia en el área de Ciencias Sociales a losgrupos muestreados, asumiendo que talcircunstancia es aleatoria.

INSTRUMENTOS

Los instrumentos utilizados en la pre-sente Investigación se elaboran de modo es-pecífico para la misma, y son los siguientes:

• Prueba de evaluación criterial paralas Ciencias Sociales en el 2" Ciclode la ESO (PECCS-2ES0). Para laelaboración de esta prueba, en unprimer paso se emplean las estrate-gias de análisis racional y .de acuer-do interjueces• con profesores delárea en ejercicio, y se definen demanera operativa los aprendizajesmínimos sobre los que asentar laevaluación, partiendo como refe-rente principal cle los objetivos,contenidos curriculares y criteriosde evaluación que para el áreacompleta y para su afianzamientodurante toda la etapa, fueron fijadosen el Anexo correspondiente alReal Decreto por el que se estable-cía el Currículo cle la Educación Se-cundaria Obligatoria. Así, cada unocle los criterios cle evaluación ex-presados en el currículo oficialmen-te establecido queda definido demodo operativo en función de, enprimer lugar, las capacidades impli-cadas en los mismos y, en segundolugar, según los contenidos de tipoconceptual a los que van referidos.

En un segundo paso, partiendo cleese universo de medida relativo a ca-pacidades y contenidos implicadosen los criterios de evaluación, unacomisión de profesores del área, conamplia experiencia docente, constru-yó un conjunto de ítems destinados avalorar distintos niveles de logro delas capacidades, procedimientos,conceptos y actitudes a los que loscriterios se referían. Por ese proce-dimiento fueron generados cerca dedoscientos ítems.A continuación, una comisión deexpertos formada por profesoresdel área en ejercicio, distintos alprofesorado seleccionado para lamuestra, diversos asesores cle Cien-cias Sociales adscritos a diferentesCentros de Profesores, así comomiembros de Departamentos deOrientación y cle Grupos Establesde Innovación Curricular, seleccio-naron los 100 ítems que definitiva-mente conforman la versión inicialde la prueba, valorando su nivel derelevancia y dificultad, en sendasescalas de uno a cinco puntos enlas que la mínima puntuación refle-ja poca relevancia (escaso ajuste en-tre el ítem y el criterio que pretendemedir), y máxima dificultad.El análisis empírico de los ítems su-pone el cálculo de los índices de di-ficultad (porcentaje de respuestascorrectas en el grupo instruido, se-gún la teoría clasica de test); de dis-criminación (definido por Cox yVargas en 1966 como la diferenciapretest-postest, y que en nuestrocaso se corresponde con la diferen-cia entre el porcentaje de respues-tas correctas en el grupo instruido yel porcentaje de respuestas correc-tas en el grupo no instruido); de ga-nancia máxima, formulado porBrennan y Stolurow (1971); el esta-dístico x2, como índice de discrimi-

256

nación calculado a partir del por-centaje de respuestas correctas enel grupo instruido y en el grupo no-instruido (el índice de significaciónestadística informa del poder discri-minatorio de cada pregunta entrelos grupos criterio); y el coeficientede consistencia interna de Cron-bach para el total de la prueba, si elítem es suprimido.Una vez realizado el análisis deítems, se combinan los resultadosobtenidos según los distintos crite-rios de selección de ítems (juicio cíeexpertos sobre relevancia y dificul-tad, e índices empíricos). Se optapor eliminar aquellas preguntas enlas que la mayor parte de los crite-rios anteriores sugieren su supre-sión. La versión final de la pruebaconsta de 94 items de diverso for-mato que demandan a los alumnosque identifiquen, relacionen, locali-cen, completen, o evalúen enuncia-dos mediante respuestas simples detipo objetivo. Como norma general,los alumnos-as deben escribir, entrecorchetes, números, letras o aspasque se correspondan con la res-puesta adecuada. En el enunciadode cada cuestión se indica el modode respuesta en cada caso.Cada formulario comienza recaban-do unos clatos de carácter generalpara la identificación del sujeto,unas instrucciones y cuatro ejem-plos resueltos que pretenden repre-sentar diversas tareas demandadasen el resto de la prueba (Castejón,Navas y Sampascual, 1996).La fiabilidad de la versión final de laprueba es aceptable. El índice deconsistencia interna de Cronbach es0,84 y el coeficiente K 2 de fiabilidaden la clasificación de Livingston(1972), que parte para su cálculodel coeficiente KR-20, alcanza unvalor igual a 0,90.

• Escala de valoración REDI delPECCS-2ESO. Esta escala se elaboracon la finalidad de evaluar la ade-cuación cle los items del cuestiona-rio PECCS-2ESO según el criterio delos profesores que imparten clase alos alumnos que lo contestaron.Este instrumento incluye, junto acada cuestión, dos escalas tipo Li-kert de cinco puntos. La primera deellas que varía desde a, mínima re-levancia, hasta e, máxima relevan-cia, valora el grado de relevanciaque el profesorado asigna a cadaítem atendiendo a los objetivos ycriterios de evaluación establecidosen el currículo oficial para este ciclode la ESO. Igualmente, en la segun-da escala se ha de evaluar la dificul-tad que, a juicio del profesor, presentael ítem. Para ello ha cle indicar unnúmero entre el 1, mínima dificul-tad, y el 5, dificultad máxima.

VARIABLES

Las variables consideradas son las si-guientes:

• Punto de corte para cada criterio deevaluación.

• Punto de corte para cada bloquetemático.

• Punto de corte para el dominio decontenido.

• Calificaciones finales en CienciasSociales cle los alumnos de 3" deESO.

• Calificaciones finales en CienciasSociales de los alumnos de 4" deESO.

• Concordancia entre calificación yresultados de la evaluación criterial.

• Punto de corte establecido por elprofesorado.

257

PROCEDMENTO

Se establece un calendario de aplica-ción del cuestionario PECCS-2ESO para losalumnos de 3" y 4" de la ESO, al inicio delcurso académico 94 - 95, durante los mesesde octubre y noviembre. Y otro, para unaposterior aplicación a los mismos alumnosal finalizar el curso correspondiente. Enambos casos la aplicación del cuestionariotiene lugar en el horario lectivo, requirién-dose un tiempo para completarlo de doshoras aproximadamente.

Al finalizar el curso se recaban los da-tos relativos a las calificaciones escolaresen el área, partiendo para ello de las actasde evaluación.

A los profesores se les invita a quecompleten la escala de valoración RED1del Cuestionario PECCS-2ESO, que trata devalorar la relevancia y dificultad que a sujuicio presenta cada uno de los ítems de laprueba contestada por los alumnos.

DLSF.110 Y ANÁIISIS DE DATOS

El diseño general básico para la cons-trucción de la prueba criterial y el estable-cimiento del punto de corte consiste en unprocedimiento de pre-post instrucción conuna línea base situada al inicio del tercercurso de la ESO y un grupo criterio postinstrucción de alumnos que han completa-do la etapa y cuyos clatos se recaban a finalde cuarto curso.

Los análisis de datos incluyen el esta-blecimiento del punto de corte para cadacriterio de evaluación, para cada bloquetemático, por cada nivel y para toda la eta-pa. El procedimiento seguido para estable-cer el punto de corte es el de Berk (1976;1980), en el que se hace uso del coeficien-te de validez -cp..

La evaluación de la consistencia entrelas calificaciones de los profesores y los re-sultados de la prueba criterial se realizan

mediante técnicas de correlación para va-riables dicotómicas.

El punto de corte establecido racional-mente por el profesorado se calcula a par-tir de la dificultad asignada a cada ítem.

RESULTADOS

PUNTO DE CORTE PARA EL FINAL DELSEGUNDO CICLO

Se estima el punto de corte para cadacriterio de evaluación, bloque de conteni-do y para el total de la prueba, siguiendoel procedimiento de Berk (1976, 1984).

En la tabla 1 se indica el punto de cor-te para cada uno de los criterios de eva-luación establecidos para el área deCiencias Sociales, Geografía e Historiaen el segundo ciclo de la ESO. El puntode corte es la puntuación que hace má-xima la probabilidad de decisiones co-rrectas y el valor del coeficiente (p. Lasprobabilidades de decisiones correctas y elcoeficiente de validez se obtienen a partirde la clasificación establecida entre los gru-pos instruidos (alumnos-as que finalizan4" de ESO) y no instruidos (alumnos-asque comienzan 30 de ESO). Por ejemplo,en el criterio 1, que agrupa a ocho iteras, lapuntuación necesaria para superarlo, co-rrespondiente al punto de corte óptimo, es4. Esto es, se considera que el sujeto quecontesta correctamente cuatro items de losocho que se utilizan para evaluar este cri-terio tiene un dominio mínimo del mismo.El valor correspondiente al punto de cortesupone un porcentaje de dominio del 50 0/0del contenido para poder ser consideradoapto en este criterio.

En la tabla II se muestra el punto decorte para cada uno de los bloques de con-tenido establecidos en el Decreto del Cu-rrículo para el área de Ciencias Sociales,Geografía e Ilistoria, de la ESO.

258

TABLA IPunto de corte para cada criterio de evaluación obtenido para el final

del segundo ciclo de la ESO

CRITERIO NÚMERO DE ÍTEMS PUNTO DE CORTEPORCENTAJE DE

DOMINIO

1 8 4 0,37 50%

2 4 2 0,34 50%

3 4 2 0,34 50%

4 4 2 0,38 50,%

5 8 3 0,43 37,5%

6 3 1,5 0,20 50%

7 4 2 0,26 50%

8 5 2,5 0,41 50%

9 3 1 0,45 33,3%

10 3 1 0,42 33,3%

11 5 1,5 0,48 30%

12 2 2 0,40 99%

13 2 1 0,34 50%

14 4 2 0,37 50%

15 2 1,5 0,30 75%

16 3 1 0,39 33,3%

17 3 2 0,34 66,7%

18 3 1 0,33 33,3%

19 3 1 0,34 33,3%

20 4 2 0,37 50%

21 3 1 0,36 33,3%

22 1 - - 52%

23 4 1 0,43 25%

24 3 1 0,41 33,3%

25* 1 - - 38%

26 3 1 0,44 33%

27 - - - -

28* 1 - - 20%

29 2 1 0,36 50%

ni •. 623; nz - 517.• Criterios definidos mediante un sólo ítem. El porcentaje de dominio corresponde al índice de dificultad (k . 1 ítem.

259

NÚMERO DE ÍTEMS l'UNTO DE CORTE PORCENTAJE DEDOMINIO

TABLA IIPunto de corte para cada bloque de contenido obtenido para el final

del segundo ciclo de la ESO

BLOQUE NÚMERO DE ÍTEMS PUNTO DE CORTE 9PORCENTAJE DE

DOMINIO

1 42 16 0,57 38,1%

2 26 9 0,63 35%

3 26 8 0,57 31%

11 , - 623; 517.

Al igual que en el caso anterior la pun-tuación mínima con la que se supera el do-minio del bloque está determinada por laprobabilidad de decisiones correctas y porel coeficiente de validez <p.

El bloque número 1 (Sociedad y terri-torio) requiere una puntuación mínima de16 entre 42 respuestas posibles para que seconsidere que un sujeto posee el conoci-miento mínimo para ser considerado aptoen este bloque, lo que supone un porcen-taje de dominio necesario del 38 %. El blo-que número 2 (Sociedades históricas ycambio en el tiempo) necesita un porcen-taje mínimo del 35 % para ser declaradoapto. Finalmente, el bloque número 3 (Elmundo actual) precisa un 31 % de dominiomínimo.

En la tabla III se indica el punto decorte para el total de la prueba de evalua-ción criterial al final de la ESO. Como po-demos apreciar la puntuación mínima dedominio coincide con el valor 32. Estonos indica que el porcentaje mínimo cledominio requerido es del 34 %. Llama es-pecialmente la atención que siendo la pun-

tuación máxima posible de 94, la mayorpuntuación obtenida por los alumnos delgrupo instruido es igual a 74.

PUNTO DE CORTE PARA LA PROMOCIÓN DE30 A 4° CURSO

En este apartado se presentan los resul-tados correspondientes a los puntos de corterequeridos para la promoción dentro del ci-clo, es decir de 30 a 4" curso. El procedimien-to empleado es el de grupos independientesinstruidos y no instruidos. El grupo no ins-truido lo forman los alumnos que comienzantercer curso y el grupo instruido los alumnosque inician cuarto curso.

En la tabla IV se resumen los puntosde corte obtenidos para cada bloque decontenido y para el total de la prueba, es-timados a partir de los valores del coefi-ciente de validez 9. Los puntos de cortecalculados de este modo constituyen lapuntuación mínima necesaria para la pro-moción dentro del ciclo. Como podemos

TABLA IIIPunto de corte para el tota/de la prueba al final del segundo ciclo de la ESO

94 32 0,68 34%

- 623; 517.

260

TABLA IVPuntos de corte por bloques de contenido y para el total de la prueba para la

promoción dentro del ciclo (de 3 ° y 4° curso)

PRUEBA PUNTO DE CORTE PROBABILIDAD DEDECISIONES CORRECTAS

PORCENTAJE DEDOMINIO

Bloque n.° 1 11 0,63 0,26 26%

Bloque n.° 2 6 0,64 0,28 23%

Bloque n.° 3 6 0,60 0,18 23%

Total 24 0,65 0,30 25%

n i - 623; n k 690.

observar, todas las puntuaciones corres-pondientes al punto de corte tienen valo-res inferiores a los hallados para el final delciclo (ver el punto 1 de este apartado). Eneste caso, el porcentaje mínimo de domi-nio requerido para el total de la prueba deevaluación criterial es del 25 %. De la mis-ma forma, el porcentaje de dominio decada uno de los bloques de contenido esinferior al obtenido al final del ciclo.

ANÁLLSIS DE CONSISTENCIA

En este apartado se presentan los re-sultados de los análisis de consistencia entrela evaluación criterial y las calificaciones detercero y cuarto curso.

El procedimiento consiste en estable-cer una doble clasificación en función delpunto de corte para el total de la pruebade evaluación criterial (no supera y superael punto de corte) y las calificaciones defin de curso (no apto —calificación de sus-penso— y apto —calificaciones de aprobadoy superiores—). A partir de las correspon-dientes tablas de contingencia se calculaun valor de X2 que indica la existencia deconcordancia o de discrepancia estadísti-camente significativa.

La consistencia entre los resultados dela evaluación criterial y las calificaciones fi-

nales se calculan independientemente paratercer y cuarto curso.

En la tabla V se resume el análisis decontingencia obtenido para tercer curso.Como podemos observar, no existe con-sistencia entre los resultados de la prue-ba criterial y las calificaciones de losprofesores: casi el 11 % de los alumnosque obtienen una calificación positiva nosuperan el punto de corte establecido porla prueba de evaluación criterial; mientrasque el casi el 19 % de los alumnos concalificación «suspenso . , sí superan el pun-to de corte referido. La discrepancia en-contrada es estadísticamente significativa(X2 = 19,26; gl.= 1. 412; p < 0,0001).

Como se aprecia en la tabla VI, encuarto curso, el 18,5 % de los alumnosobtiene , una calificación positiva a pesar deno superar el punto de corte en la pruebacriterial; mientras que suspenden el 10,4 %que se sitúan por encima del punto decorte en la prueba. La discrepancia tam-bién resulta estadísticamente significativa(X2 = 4,96; gl.= 1, 491; p 0,0258) aunqueen este caso el valor de la significación seencuentra muy próximo al límite de la sig-nificación convencional, indicando así queno existe tanta discrepancia como en elcaso anterior. Un criterio de significaciónestadística más estricto nos llevaría a es-tablecer la existencia de cierto grado deconcordancia.

261

CALIFICACIÓN

SUSPENSOCALIFICACIÓN

POSMVA TOTAL

No 41 45 86

10 10,9 20,9

Supera elcriterio

Sí 77 249 326

18,7

60,4

79,1

118

294

412

Total 28,6

71,4

100

TABLA VResultados del análisis de consistencia en la clasificación entre Calificaciones y

Puntuación en la prueba criterial a la mitad del ciclo (de 3 0 y 4 ° de ESO)

TABLA VIResultados del análisis de consistencia en la clasificación entre Calificaciones y

Puntuación en la prueba criterial al final del ciclo (4 0 de la ESO)

No

CALIFICACIÓN

CALIFICACIÓNSUSPENSO POSITIVA TOTAL

117

23,826

5,3

91

18,5

Supera elcriterio

Sí 51 323 374

10,4 65,8 76,2

77 414 491

Total 15,7 84,3 100

El hecho de que sea mayor el por-centaje de alumnos que son calificadoscomo aptos por el profesorado y que nosuperan el punto de corte de la evalua-ción criterial, que el porcentaje de alum-nos que son calificados como no aptospor el profesorado y sí superan el puntode corte establecido, parece indicar quepor tratarse del curso terminal del ciclo yde la etapa, el profesorado califica deforma menos estricta que la prueba deevaluación criterial.

FSIIMACIÓN DE LOS PUNTOS DE CORTEPOR EL PROFESORADO

Para estimar los puntos de corte, par-tiendo de las opiniones del profesorado, seemplea una estrategia similar a la propues-ta por Angoff (1971). Si bien, en lugar deemplear la probabilidad de que un exami-nado con una competencia mínima res-ponda al ítem correctamente, nuestraaproximación consiste en calcular el por-centaje de aciertos esperados (1- P) a partir

262

de la dificultad estimada por el profesor centajes de dominio para cada criterio ypara cada ítem (P). los porcentajes de dominio real calculados

En la tabla VII se muestran los puntos por el procedimiento empírico de Berkde corte, obtenidos siguiendo este proce- (1984), a partir de las respuestas de losdimiento, expresados en términos de por- alumnos a la prueba criterial.

TABLA VIIPuntos de corte estimados por los profesores por criterios de evaluación. Comparación

de los puntos de corte obtenidos por el procedimiento empírico de Berk (1984).

PORCENTAJE DE DOMINIOCRITERIOS

PROFESORES PROCEDIMIENTO EMPf RICO

1 42,32 50,00

2 38,75 50,00

3 44,53 66,67

4 44,55 50,00

5 40,05 37,50

6 28,73 50,00

7 31,60 50,00

8 49,72 50,00

9 33,67 33,34

10 36,67 33,34

11 34,24 30,00

12 59,30 100

13 36,90 50,00

14 27,72 50,00

15 50,60 75,00

16 41,87 33,34

17 35,93 66,67

18 41,27 33,34

19 28,40 33,34

20 56,00 50,00

21 39,67 33,34

22' 41,20

23 34,55 25,00

24 32,60 33,34

25* 49,00

26 40,87 33,34

27

28' 51,20

29 52,10 50,00

• Criterios definidos mediante un sólo ítem. El porcentaje de dominio corresponde al índice de dificultad del ítem.

263

Los guiones en relación al criterio 27indican la ausencia de items que valoraneste criterio. Como se observa, no exis-ten diferencias muy elevadas. Es de no-tar que en la mayoría de los criterios elporcentaje de dominio calculado por elprocedimiento empírico es ligeramentesuperior al porcentaje de dominio estimadopor el profesorado.

En la tabla VIII se ofrecen los puntosde corte estimados por los profesores, ex-presados mediante porcentajes de domi-

nio, para cada bloque de contenido y parael total de la prueba, así como los puntosde corte obtenidos por el procedimientoempírico de Berk (1984). En todos los ca-sos, los profesores estiman que es necesa-rio un tanto por ciento mayor para superarlos mínimos exigibles en cada uno de losbloques y en el total de la prueba. La ma-yor discrepancia se produce en el tercer blo-que de contenido, si bien las diferenciasobservadas no son muy elevadas en todoslos casos, incluido el total de la prueba.

TABLA VIIIPuntos de corte estimados por los profesores por bloques de contenido y parael total de la prueba. Comparación con los puntos de corte obtenidos por el

procedimiento empírico de Berk (1984)

PORCENTAJE DE DOMINIO

PROFESORES PROCEDIMIENTO EMPÍRICO

Bloque n." 1 40,70 38,10

Bloque n." 2 38,92 35,00

Bloque n." 3 40,05 31,00

Total de la Prueba 40,20 34,00

DISCUSIÓN

Entre los métodos para la estimaciónde los distintos puntos de corte que esta-blecen el mínimo requerido para ser consi-derado • master. o apto en el dominio decontenidos a evaluar, el procedimiento se-guido se encuentra entre los acercamientosmás empíricos empleados hasta ahora.Aunque las aproximaciones basadas en ladistribución binomial, la teoría bayesianade la decisión y la prueba de la razón deprobabilidad secuencial son también detipo empírico, en palabras de Berk: «La de-ficiencia filndamental de todos estos méto-dos es su fallo para definir la maestría deforma operativa en términos de las respues-tas observadas en los estudiantes, el objetivo

o rasgo que se mide, y las característicasdel test y de los items, únicamente. El nivelcriterial o punto de corte se dispone gene-ralmente sobre la base del juicio o de la ex-periencia.... (Berk, 1976, p. 4).

Parece probado que los procedimien-tos racionales para establecer el punto decorte sobreestiman o elevan de formainadecuada la puntuación correspondien-te. Como señala Sheparcl (1980): «Nuestraexperiencia con los comités de expertos queestablecen niveles mínimos del criterio, em-pleando metodologías como las de Ebel oNedelsky, es la de que establecen niveles enlos que fallan mas de la mitad de los candi-datos. (Shepard, 1980, p. 454). El procedi-miento empleado en esta investigaciónselecciona de forma totalmente empírica

264

un punto de corte óptimo basado en lasrespuestas de muestras de validaciónformadas por estudiantes instruidos y noinstruidos, lo que hace máxima la probabilidadde decisiones correctas a la hora de clasifi-car a los sujetos según superen o no el do-minio mínimo requerido para alcanzar unaevaluación positiva; lo que constituye unaestrategia adecuada cuando están claramen-te definidos los grupos instruido y no ins-truido, al menos de manera formal, cornoocurre en la enseñanza obligatoria.

Aunque en nuestro trabajo se calculanlos puntos de corte correspondientes a lamitad del ciclo, el mayor valor informativose encuentra en el punto de corte estable-cido para el final de la etapa, lo que nos in-dica, a su vez, el porcentaje de dominiomínimo necesario para ser consideradoapto en el área. Cuando se consideran losresultados obtenidos, tanto para los crite-rios de evaluación, los bloques de conteni-do, como para el total de la prueba, seaprecia que hay cierta distancia entre eldominio real mostrado por los alumnos-asy los criterios de evaluación establecidosen el currículo. Así, la puntuación máximaalcanzada por los alumnos indica un logrodel 78 % de los contenidos a los que hacenreferencia los criterios. Este desfase nos lle-va a cuestionarnos si los criterios de eva-luación establecidos por la Administracióneducativa para esta etapa son un poco ele-vados o, estando éstos adecuadamente de-finidos, el proceso instruccional no se llevaa cabo adecuadamente, en su planificacióno desarrollo.

El porcentaje de dominio mínimo parael total de la prueba y para el final de laetapa se sitúa en torno a un tercio (34 %)del total. Esto supone que el punto de cor-te establecido es moderadamente bajo (32respuestas correctas de 94 posibles).

En cuanto a la estimación de los pun-tos de corte por el profesorado, resulta no-table que no se produzcan grandesdiferencias entre el porcentaje de dominioestimado por los profesores y el porcentaje

de dominio real mostrado por los alumnos.De nuevo, la mayor discrepancia se produ-ce en el tercer bloque, mientras que en eltotal de la prueba la diferencia entre la es-timación del profesorado y los resultadosreales de los alumnos sólo es de seis pun-tos porcentuales (más alta en el caso de losprofesores). Esta diferencia es mucho me-nor que la encontrada en otros estudios(Shepard, 1980; Jornet y Suárez, 1989b).

Los resultados relativos al punto decorte, tomados en su conjunto, parecen in-dicar de nuevo que los criterios de evalua-ción son relativamente elevados, ya que elporcentaje de dominio estimado por losprofesores y el observado en los alumnosse sitúa entre el 34 y el 40 %.

No se producen diferencias notablesentre el porcentaje de dominio estimadopor los profesores y el porcentaje de domi-nio real mostrado por los alumnos. Estopuede estar indicando cierto grado de vali-dez convergente de nuestros resultados.

Por otra parte, el análisis de consisten-cia entre las calificaciones que otorgan losprofesores a los alumnos y las puntuacionesalcanzadns por éstos en la prueba de eva-luación criterial, así como entre las puntua-ciones en dicha prueba y las decisiones depromoción distan, en general, de ser con-sistentes o coincidentes.

Las calificaciones de los profesores afinal de ciclo y la puntuación alcanzadaen la prueba criterial muestran una discre-pancia que llega a ser estadísticamente sig-nificativa. Mientras el 15,7 % de los alumnosobtienen una calificación «No apto . de susprofesores, al finalizar el ciclo, el porcenta-je de alumnos que no supera el criterio enla prueba se eleva al 23,8 %. Lo que indicael empleo de un criterio de evaluación me-nos estricto por parte del profesorado, te-niendo en cuenta además lo bajo que sesitúa el punto de corte en la evaluación cri-terial.

Todo lo anterior apunta, por tanto, a lanecesidad de continuar trabajando en eldesarrollo de pruebas de evaluación crite-

265

rial y en el análisis de la consistencia entrelas calificaciones y decisiones de promo-ción, por un lado, y los resultados de laevaluación mediante pruebas que ofrecenmayores garantías de objetividad. El desa-rrollo de pruebas que sigan una metodolo-gía referida al criterio puede asegurar, enmayor medida, una evaluación objetiva delos conocimientos del alumno en distintasfases, etapas o momentos del ciclo forma-tivo. La información que aportan estaspruebas lleva &rectamente a la toma de deci-siones instruccionales relativas al alumno indi-vidual, al grupo en general, y de un modomás amplio, al proceso instruccional del pro-fesor, y extendiéndose incluso a la adop-ción de medidas normativas por parte delas distintas administraciones educativas.

El diseño y la construcción de este tipode pruebas pueden ser abordadas tantopor el propio profesor, en el contexto de laclase (Jornet y Suárez, 1994), como por lapropia Administración educativa con unámbito de aplicación mucho mayor.

Puesto que las pruebas que siguenuna metodología referida al criterio pue-den asegurar una evaluación más objetivade los conocimientos del alumno en distin-tas fases, etapas o momentos del ciclo for-mativo, se hace necesario el diseño y laconstrucción de este tipo de pruebas, conel objetivo de mejorar y optimizar la cali-dad de la enseñanza.

BIBLIOGRAFÍA

ALCANTUD, F.; VIDAL, E. y GILABERT, R.: De-sarrollo de un sistema de instrucción yevaluación de la comprensión lectora.Memoria de Investigación del PrimerPlan de Innovación Educativa. Valen-cia, Consellería de Cultura Educacióny Ciencia, 1985.

ALVARO PAGE, M.: Elementos de Psicome-tría. Madrid, EUDEMA, 1993.

ANGOFF, W.: •Scales, norma and equivalentscores», en R. Thorndike (ed.): Educa-tional Measurement, Washington,American Cours Leducat (ERIC n." ED069686), 1971.

BERK, R. A.: •Detennination of optional cut-ting scores in criterion-referenced mea-surement», primal of ExperimentalEducation, 45, 1976, pp. 4-9.

- Criterion Referenced Measurement.Baltimore, John's Hopkins UniversityPress, 1980.

— A guide ro criterion-referenced testconstruction. Baltimore, The John'sHopkins University Press, 1984.

- «A consumer's guide to setting perfor-mance standards on criterion referen-ced test», Review of EducationalResearcb, 56, 1986, pp. 137-172.

BRENNAN, R. L. y STOLUROW, L. M.: An em-pirical decision process for formativeevaluation. Research Memorandumn.° 4, Cambridge, Mass, Harvarcl CAILaboratory, 1971.

CAMILLI, G. y SHEPARD, L. A.: Metbods foridentifying biased test items. ThousandOaks, CA, Sage Publications, 1994.

CASTEJÓN, J. L.; NAVAS, L. y SAMPASCUAL, G.:Procesos de evaluación y decisiones depromoción en el área de Ciencias So-ciales, Geografía e Historia de la Edu-cación Secundaria Obligatoria:Análisis de consistencia desde la eva-luación criteriaL Informe Final. Ma-drid, CIDE, 1996.

Cox, R. C. y VARGAS, J. S. A comparison ofitern selection tecbniques for nornz re-ferenced and criterion-referenced test.Trabajo presentado en la ReuniónAnual del National Council on Meas-urement in Education, Chicago, 1966.

CRONBACH, J. L. y GLESER, G. C.: Psycholo-gical test and personnal decisions. Ur-bana, University of Illinois Press, 1965.

GLASER, R.: -Instructional technology and themeasurement of learning outcomes:some questions», American Psycholo-g:St, 18, 1963, pp. 519-521.

266

GLASER, R. y Nrmo, A. J.: «Measurement inlearning and instruction . en Thorndi-ke, R. L. (ed.): Educational Measure-ment. Washington, American Councilof Education, 1971.

GLASS, G. V.: -Standards and criteria., Jour-nal of Educational Measurement, 15(4), 1978, pp. 237-261.

GÓMEZ ARBE0, B.: Evaluación criteriaL Ma-drid, Instituto de Estudios Pedagógi-cos, Somosaguas, 1990.

HAMBLETON, R. K. y ZALL, J. N. (eds.): Ad-vances in educational and psycbologi-cal testing: Tbeoty and applications.Boston, Kluwer, 1991.

JORNET, J. M. y SUÁREZ, J. M.: .Conceptuali-zación del Dominio educativo desdeuna perspectiva integradora en Eva-luación referida al criterio., Bordón,41, 2, 1989, pp.237-275.

- •Revisión de modelos y métodos en ladeterminación de estándares y en elestablecimiento de un punto de corteen evaluación referida al criterio(ERC)., Bordón, 41(2), 1989b, pp. 277-301.

- •La sensibilidad instruccional: una ca-racterística métrica de los ítems de losTRC., Bordón, 41(2), 1989c, pp. 303-324.

- «Evaluación referida al criterio. Cons-trucción de un test criterial de clase. enPérez Juste, R. (ed.): InvestigaciónEducativa. Madrid, Narcea, 1994.

KRIEWALL, T. E.: Aspects and applications ofcriterion-referenced tests. DownersGrove, III: Institute for Educational Re-search, 1972.

LIVINGSTON, S. A. .11 criterion-referencedapplications of classical test theory.,jou mal of Educational Measurement,9, 1972, pp. 13-26.

MARTÍNEZ ARIAS, R.: 'Principios psicométri-cos de las técnicas de evaluación con-

ductual• en FERNÁNDEZ BAUESTEROS, R. yCarrobles, J. A. (eds.): Evaluación Con-ductual. Metodología y Aplicaciones.Madrid, Pirámide, 1981, pp. 157-198.

- Psicometría: teoría de los test psicológi-cos y educativos. Madrid, Síntesis, 1995.

Nrrtco, A. J.: •Problems in the developmentof criterion-referenced tests: The IP1Pittburgh experience• en C.W. Harris,M.C. Alkin y W.J. Popham (eds.): Pro-blems in criterio n-referenced measure-ment. Los Angeles, Universidad deCalifornia, Centro para el estudio de laEvaluación, 1974, pp. 59-82.

NOVICK, M. R.; LEWIS, C. y JACKSON, P. H.:The estimation of proportions in Mgroups. Psychometrika, 38, 1973, pp.19-46.

RIVAS, F. et al.: Proyecto Valencia. Objetivosbásicos de aprendizaje en los ciclos yáreas de Lenguaje y Matemáticas en laEGB: Una aproximación de evalua-ción referida al criterio. Valencia, Cen-tro de Publicaciones Universitarias,1985.

RIVAS, F. y Air.AN-rup, F.: La evaluación cri-terial en la educación primaría Ma-drid, CIDE, 1989.

RIVAS, F.; JORNET, J. M. y SUÁREZ, J. M.: «Eva-luación del aprendizaje escolar: Clavesconceptuales y metodológicas básicas.en SILVA, F. (coord.): Evaluación psico-lógica en la infancia y la adolescencia.Madrid, Síntesis, 1995, pp. 531-570.

SHEPARD, L.: .Standard setting issues andmethods., Applied Psychological Mea-surement, 4 (4), 1980, pp. 447-467.

SILVA, F.: Predicción y utilidad. Apuntes mi-meografiados. Valencia, Pau Llivres,1980.

WIGGINS, J. S.: Perso piality and prediction:principies of personality assessment.Reading, MA, Addison-Wesley Co,1973.

267