CANADÁ: INFORME DE EVALUACIÓN NACIONAL

JIM BRACKENBURY (*)

RESUMEN. El proyecto SAIP (Programa sobre Indicadores de Rendimiento Edu-cativo) es el primer intento de evaluación educativa desarrollado en Canadá que hacontado con el consenso nacional y como tal, se ha desarrollado por provincias y te-rritorios en colaboración a través del Consejo de Ministros de Educación de Canadá(CMEC).

Se ha diseñado para extraer distribuciones de frecuencia referidas al comporta-miento del alumno en términos de criterios descriptivos establecidos para cada prue-ba. Los criterios se agrupan en cinco grandes niveles de rendimiento. El diseño esmuy similar al del proyecto PISA de la OCDE.

Se inició en 1989 y trata de evaluar la competencia de los alumnos de 13 y 16 añosde edad en las áreas de matemáticas (contenidos y resolución de problemas), lengua(lectura y expresión escrita) y ciencias.

En el presente artículo se describe su diseño y marco conceptual así como el análi-sis de los resultados de la prueba de matemáticas del proyecto SAIP-1997.

Canadá es un país grande en tamaño, perorelativamente pequeño en población. Es-paña y el resto de Europa cabrían fácil-mente dentro de los límites de Canadá.Cubre un área de seis zonas horarias desdela costa atlántica este a la costa pacíficaoeste y tiene una extensión de unos diezmillones de kilómetros cuadrados. La po-blación total es de menos de treinta millo-nes, de la cual la mayoría habita a lo largodel extremo sur, que conforma la fronteracon los Estados Unidos de América.

Canadá cuenta con dos lenguas ofi-ciales, el inglés y el francés. Se encuentradividida en diez provincias y dos territo-

(*) Ministerio de Educación, Alberta. Canadá.

Revista de Educación, núm. 321 (2000), pp. 47-60

rios. La responsabilidad de la educaciónrecae sobre los gobiernos provinciales y te-rritoriales según la constitución canadien-se. El gobierno federal desempeña un pa-pel mínimo en la educación primaria ysecundaria, pero coopera con las provin-cias por medio de subvenciones para laevaluación de ciencias, matemáticas, lec-tura y expresión escrita de alumnos de 13y 16 años de todo Canadá, dentro delmarco del proyecto Programa de Indica-dores de Rendimiento Educativo (SchoolAchievement Indicators Program —SAI P—) .El diseño de esta evaluación es muy simi-lar al del proyecto PISA de la OCDE.

47

COMPARACIONES DE LAEDUCACIÓN DE CANADÁ Y ESPAÑA

Canadá, al igual que España, participó enel Tercer Estudio Internacional sobre Ma-temáticas y Ciencias (TIMSS). El contras-te de los resultados de ese estudio realizadoen 1995 con los datos extraídos de Educa-tion at a Gkínce: OECD Indicators 1997,proporciona algunas interesantes similitu-des y diferencias educacionales entre Cana-dá y España. En Canadá, el PIB per cápitaes de 20.298 dólares americanos mientrasque en España es de 13.596 dólares. Loscanadienses gastan una proporción lilera-mente mayor del PIB en educación prima-ria y secundaria (un 4,4% frente a un4,0%) y mucho mayor en educación ter-ciaria (2,5% frente al 1,0%). El gasto totalpor alumno es mucho más alto en Canadáque en España (6.640 dólares /3.170 dóla-res), siendo el gasto medio en los países dela OCDE de 4.460 dólares.

Los resultados académicos tambiénson diferentes entre Canadá y España.Alrededor de un 84% de canadiensescomprendidos entre los 25 y los 34 añosde edad ha completado la enseñanza se-cundaria y el 53% ha completado estu-dios superiores. En España, un 47% den-tro del mismo grupo de edad hacompletado la enseñanza secundaria y al-rededor del 27% completaron los estu-dios superiores.

PROGRAMA DE INDICADORES DERENDIMIENTO EDUCATIVO (SAIP)

Iniciado en 1989, el Programa sobre Indicadores de Rendimiento Educativo (SAIP)fue desarrollado por provincias y territoriosen colaboración, a través del Consejo deMinistros de Educación de Canadá(CMEC). Como parte de este proyectoSAIP, se confeccionaron pruebas para eva-luar la competencia de alumnos de 13 y 16años de edad en las áreas de matemáticas

(contenidos y resolución de problemas),lengua (lectura y expresión escrita) y cien-cias. Una muestra escogida al azar de alum-nos de cada provincia y territorio realizó laspruebas del proyecto SAIP. Las primeraspruebas que se llevaron a cabo fueron las dematemáticas en 1993, las de lengua en1994 y las de ciencias en 1996. La evalua-ción SAIP se realiza de modo cíclico. El se-gundo ciclo de pruebas empezó con losexámenes del proyecto SAIP del área dematemáticas en la primavera de 1997, se-guidos por los segundos exámenes de len-gua en 1998. El segundo examen de cien-cias tuvo lugar en la primavera de 1999.

El proyecto SAIP es el primer intentode evaluación educativa que ha contadocon el consenso nacional. Las pruebas delproyecto SAIP constituyen un medio paracalibrar el rendimiento educativo de losalumnos a lo largo y ancho de Canadá conrespecto a los niveles medios de rendi-miento, pero también son la base para al-canzar un mayor consenso en todo el paísacerca de lo que los alumnos deben apren-der dentro de estas áreas curriculares bási-cas. SAIP está pensado para complemen-tar las evaluaciones ya existentes en cadaprovincia y territorio, proporcionandodatos procedentes de todo el país sobre losniveles alcanzados por los alumnos de 13y 16 arios de edad y sobre el vado hasta elcual se desarrollan el conocimiento y lashabilidades en el período comprendidoentre estas dos edades. Cada prueba estádiseñada para medir una gama de habili-dades y para dar a todos los alumnos laoportunidad de demostrar lo que son ca-paces de hacer en relación con los nivelesmedios de competencia preestablecidos.

Los resultados se publican en cadaprovincia por grupos de alumnos. En elinforme, los datos se presentan a nivel na-cional, así como por provincias partici-pantes y por territorios. No se facilitan losresultados por centro educativo ni por ju-risdicción. 1\To se especifican los resultadospor alumno y no se intenta comparar los

48

resultados individuales de los diferentesalumnos. Con el tiempo, estaremos endisposición de medir estos resultados.Mediante un análisis conveniente de losresultados locales y su comparación conlos niveles nacionales y las expectativas,los educadores, políticos y público en ge-neral, pueden obtener una valiosa percep-ción del grado de eficacia del sistema edu-cativo. Esto ayudará a garantizar que seestán dando las mejores oportunidadeseducativas posibles a los alumnos de todoel país, teniendo en cuenta las circunstan-cias y los recursos de carácter local.

DISEÑO Y MARCO CONCEPTUAL DELPROYECTO SAIP

El proyecto SAIP está diseñado para in-formar de las distribuciones de frecuenciadel comportamiento del alumno en tér-minos de criterios descriptivos estableci-dos para cada prueba. Estos criterios sealrupan en cinco grandes niveles de ren-dimiento, que oscilan entre lo que cabríaesperar de forma razonable de la mayoríade los alumnos en tercer ario de educaciónprimaria y lo que se espera de los alumnoscon mejor rendimiento al graduarse en se-cundaria, prosiguiendo con los programasacadémicos de especialización posterioresa la educación secundaria (nivel cinco).

Cada prueba del proyecto SAIP inclu-ye un número de ejercicios que nos per-mite extraer los niveles más altos de rendi-miento sistemático. Las decisiones sobrelas reglas para determinar la demostraciónpositiva de cada nivel se establecen a priori(por ejemplo, un 70% de respuestas acer-tadas en un nivel determinado).

Los resultados se ofrecen referidos a latotalidad de Canadá, la edad (13 y 16), elsexo, la lengua (francés e inglés) y la juris-

dicción y se especifican en cada nivel comodistribuciones de frecuencia. Dichos resul-tados no están estandarizados (o reflejadosen una curva normal). Se establecen comi-tés de representantes de grupos educativosy de otros entornos en distintos centros re-gionales para determinar las expectativas«pancanadienses» para cada prueba. Los re-sultados reales se dan a conocer en relacióncon estas expectativas. También se informasobre los datos contextuales que se basanen los cuestionarios de los alumnos.

En las provincias más grandes se sigueuna técnica de muestreo de doble estratifi-cación para la selección de la muestra final(basada en la metodología de la AsociaciónInternacional para el Rendimiento Acadé-mico —IEA—): dentro de cada jurisdicción(distribuidas geográficamente por gruposcon el mismo índice de población), se se-leccionan los centros que cuentan conalumnos pertenecientes a los dos grupos deedad objetivo del estudio y se selecciona alazar un número de entre estos alumnos decada centro, sin tener en cuenta el curso oel tipo de estudios que están realizando.

En las provincias más pequeñas, y porcomunidades anglófonas o francófonasdentro de las mismas, se seleccionan todoslos centros y, si es necesario, todos losalumnos que están dentro de los gruposde la edad objetivo.

Este diseño muestral nos permite ob-tener resultados, con adecuados intervalosde confianza, por provincias y dentro deéstas por comunidades anglófonas y fran-cófonas, así como por edad y sexo.

PRUEBA DE MATEMÁTICAS PERTENECIENTEAL PROYECTO SAIP, 1997'

Las pruebas de matemáticas del proyectoSAIP fueron realizadas en abril y mayo de

(1) El material de esta sección está extraído directamente de las pruebas de matemáticas del proyectoSAIP: ,SAIP Matbematics 1997, Consejo de Ministros de Educación, Canadá, 1997, pp. 2-23.

49

1997 por una muestra de alumnos escogi-dos al azar y pertenecientes a todas las ju-risdicciones. La muestra total estaba for-mada aproximadamente por 48.000alumnos (26.000 de 13 años de edad y22.000 de 16).

Se evaluaron la comprensión de loscontenidos de matemáticas, así como suhabilidad en la resolución de problemas.A cada alumno le fue asignada al azar unaprueba de contenidos o de resolución deproblemas. La prueba de contenidos esta-ba enfocada a descubrir su conocimientode los números y las operaciones, el álge-bra, y funciones, medición y geometría ymanejo de datos y estadística. La pruebade resolución de problemas determinabasus habilidades con respecto a una varie-dad de problemas y soluciones que reque-rían el uso de números y símbolos, su ha-bilidad para razonar y construir pruebas,proporcionar información y sacar conclu-siones de bases de datos, seguimiento deestrategias de evaluación y demostraciónde su capacidad de comunicación.

El material para las pruebas de mate-máticas del proyecto SAIP en 1997, secomponía prácticamente del de aquellasdiseñadas para las pruebas de ese área rea-lizadas en 1993. La elaboración de laspruebas de matemáticas del proyectoSAIP de 1993 empezó en 1991 y fue lleva-da a cabo por una comisión formada porrepresentantes de Alberta, Quebec yOntario, que trabajaron en cooperacióncon representantes de otros ministerios deeducación. Se pidió a estos especialistasque elaboraran el material para la pruebade matemáticas que describiría y evaluaríalos resultados obtenidos por los alumnoscanadienses de 13 y 16 arios de edad. Loscriterios desarrollados para los cinco nive-les se basaron en el documento del Conse-jo Nacional de Profesores de Matemáticastitulado Curriculum and Evaluation Stan-dards for Shool Mathematics (Modelo deCurrículum y Evaluación de Matemáticasa nivel escolar). Se elaboraron dos tipos de

instrumentos, el primero para los conteni-dos y el segundo para la resolución deproblemas.

Los instrumentos se sometieron apruebas piloto en tres ocasiones entre oc-tubre de 1991 y noviembre de 1992. Loscomentarios de los profesores cuyos alum-nos tomaron parte en las pruebas piloto,resultaron muy útiles en el proceso de re-visión. Estas completas puntualizacionesincluían comentarios acerca de las ins-trucciones, procedimientos para la admi-nistración, asignación de tiempos, crite-rios de calificación y cuestionarios delalumno. Los diseñadores de las pruebastambién tuvieron en cuenta las opinionesde los alumnos sobre las preguntas, pro-blemas y procedimientos para la adminis-tración de las pruebas. Los comentarios delos encargados de calificar las pruebas y losresultados de las mismas, atestiguaron laadecuación y nivel de dificultad de las pre-guntas, problemas, instrucciones y proce-dimientos para la administración .de lasmismas. En el caso de la prueba de resolu-ción de problemas, las opiniones y el pro-ceso de corrección también confirmaronla eficacia de los criterios y los procedi-mientos para la calificación, de modo quelos alumnos fuesen incluidos dentro delnivel de destreza adecuado. Los ejerciciosutilizados en las pruebas piloto fueron ex-puestos a un tratamiento de análisis esta-dístico que asegurara una óptima medi-ción de la predictibilidad en el proceso deselección de los ejercicios que serían in-cluidos finalmente en los cuadernillos fi-nales de los exámenes.

La comisión responsable de la evalua-ción de matemáticas dentro del proyectoSAIP del ario 1997 se formó en abril de1996 e incluía representantes de BritishColumbia, Ontario, Quebec y NewBrunswick (F). Su labor consistió en exa-minar y actualizar el material para laspruebas teniendo en cuenta, donde fueranecesario, los datos y comentarios a pro-pósito de las pruebas realizadas en 1993,

50

asegurándose de que el material modifica-do midiese los mismos conceptos y habili-dades del mismo modo en el que lo hacíael de 1993.

En lo que respecta a las pruebas decontenido, los criterios permanecieroniguales, pero de acuerdo con el análisis delos datos obtenidos en 1993, se cambia-ron cuatro ejercicios de elección múltipley alrededor de otros veinte ejercicios su-frieron pequeñas modificaciones, la ma-yoría de ellas destinadas a facilitar la com-prensión del enunciado. Aunque losejercicios eran prácticamente los mismosque se usaron en 1993, los cuadernillos deexamen se organizaron de forma distinta:el formulario de datos contextuales, testde situación y 125 preguntas se incluye-ron en el mismo cuadernillo. Después deestas modificaciones, todos los instru-mentos experimentaron una prueba pilo-to en el otoño de 1996. Se hicieron nue-vos análisis estadísticos de los resultadospara determinar si las novedades introdu-cidas alteraban las características de medi-ción de los instrumentos. Los análisismostraron que no se observaban diferen-cias debidas a los cambios operados en losinstrumentos entre los resultados de lasevaluaciones de 1993 y 1997.

En las pruebas de resolución de pro-blemas, el examen contenía menos pro-blemas matemáticos, en concreto, seis envez de nueve, siendo cuatro de ellos idén-ticos, aunque los otros dos fueron modifi-cados con respecto a la enunciación de1993. Todos los alumnos completaron elmismo cuadernillo, que contenía todoslos problemas. Éstos se examinaron a tra-vés de una prueba piloto y se compararonlos datos extraídos en 1997 con los de1993.

Los cambios realizados en la organiza-ción y los procedimientos para la adminis-tración de las pruebas podían tener algúnefecto en los resultados observados de lasmismas. Se realizó una réplica de la admi-nistración de las pruebas de contenidos de

la de 1993 en una muestra nacional porseparado de alumnos de 13 y 16 años, almismo tiempo que se realizaba la versiónmodificada de 1997. Se llegó a la conclu-sión de que los cambios en el procedi-miento no provocaban cambios significa-tivos en las características de medición delas pruebas.

HOMOGENEIZACIÓN DE LOSPROCEDIMIENTOS Y PRUEBAS DE LASVERSIONES INGLESA Y FRANCESA

Desde el principio, los instrumentos utili-zados en las pruebas de matemáticas delproyecto SAIP fueron configuradas poreducadores anglófonos y francófonos quetrabajaron juntos con el fin de minimizarcualquier posible prejuicio lingüístico.Los alumnos tenían que responder a lasmismas preguntas y resolver los mismosproblemas independientemente de que lohicieran en inglés o en francés. Tambiénse llevó a cabo un análisis lingüístico decada pregunta y problema con el fin deasegurar que los ejercicios en inglés y enfrancés funcionaran del mismo modo. Encuanto al proceso de calificación, se for-maron correctores francófonos y anglófo-nos juntamente y realizaron este procesojuntos en equipos que trabajaban en lasmismas habitaciones. Como consecuen-cia, los resultados estadísticos presentadospor cada grupo lingüístico en este informepueden compararse con una fiabilidad ra-zonable.

MARCO DE LAS PRUEBAS DE CONTENIDOSMATEMÁTICOS

Los alumnos que tenían que realizar laprueba de contenidos matemáticos teníandos cuadernillos de examen. El cuaderni-llo número uno contenía 27 preguntasbásicas, 15 preguntas situacionaIes deelección múltiple (del nivel 3) y 110 pre-guntas agrupadas en cinco secciones de

51

acuerdo con los niveles de destreza. El se-gundo cuadernillo contenía espacio paralas respuestas.

Todos los alumnos comenzaron porlas preguntas básicas y después siguieroncon las situacionales. Cuando habían aca-bado la pregunta número 15 del test situa-cional, tenían que levantar la mano paraadvertirlo y el profesor que supervisaba laprueba corregía inmediatamente las res-puestas utilizando para ello una plantillasuperpuesta en la sección apropiada. Losalumnos que obtenían una puntuación deO a 10 seguían contestando a partir de lapregunta 16 (sección A). Los alumnos queobtenían una puntuación de 11 a 13 se-guían contestando a partir de la pregunta41 (sección B). Los alumnos que obteníanuna puntuación de 146 15 seguían contes-tando a partir de la pregunta 66 (secciónC). Los alumnos tenían que contestar conatención a tantas preguntas como les fueseposible en las dos horas y media restantes.

RESUMEN DE CRITERIOS PARA LA PRUEBADE CONTENIDOS MATEMÁTICOS

El rendimiento del alumno referente acontenidos matemáticos se medía basán-dose en cinco niveles de destreza. Las pre-guntas de la prueba se configuraron demodo que el rendimiento del alumno pu-diera ser clasificado dentro de uno de loscinco niveles. El resumen de criterios parala prueba de contenidos matemáticos es elsiguiente.

Un alumno en el nivel 1 sabe:

• sumar, restar, dividir y multiplicarutilizando un número limitado denúmeros naturales;

• utilizar material y diagramas pararepresentar relaciones simples;

• determinar dimensiones lineales defiguras planas simples reconocibles;

• leer información en tablas muysencillas.

Un alumno en el nivel 2 sabe:

• aplicar las cuatro operaciones bási-cas con números naturales;

• aplicar patrones y clasificacionesen situaciones de la vida real, asícomo trazar puntos en una cuadrí-cula;

• calcular las dimensiones y áreas defiguras planas, clasificar cuerposgeométricos y hallar transforma-ciones geométricas simples;

• extraer y representar datos utilizan-do tablas y diagramas.

Un alumno en el nivel 3 sabe:

• aplicar las cuatro operaciones bási-cas con números enteros;

• aplicar expresiones algebraicas mo-nomiales y trazar puntos en un ejecartesiano;

• hallar altura, medida de ángulos,áreas y volúmenes incluyendo va-rias figuras geométricas planas y re-peticiones de la misma transforma-ción geométrica;

• utilizar información de varias fuen-tes y calcular la media aritmética yprobabilidad simple.

Un alumno en el nivel 4 sabe:

• aplicar las cuatro operaciones bási-cas con todos los números raciona-les;

• hallar y hacer gráficos de expresio-nes algebraicas polinomiales y fun-ciones simples;

• hallar las características de los cuer-pos geométricos, concordancia y si-militud de polígonos y composicio-nes de transformaciones de planos;

• organizar datos, aplicar medidas detendencia central y calcular la pro-babilidad de un sólo suceso.

Un alumno en el nivel 5 sabe:

• aplicar las cuatro operaciones bási-cas con todos los números reales;

52

• hallar y hacer gráficos de expresio-nes algebraicas con dos variables ydiferentes funciones;

• aplicar las propiedades de los círcu-los y triángulos rectos;

• calcular información estadística yla probabilidad de sucesos combi-nados.

MARCO DE LAS PRUEBAS DE RESOLUCIÓNDE PROBLEMAS MATEMÁTICOS

Los alumnos que realizaron las pruebas deresolución de problemas tenían dos cua-dernillos de examen. El cuadernillo nú-mero 3 contenía 27 preguntas básicas y 15ejercicios de elección múltiple sobre con-tenidos. El cuadernillo número 4 conte-nía espacio para contestar a las preguntasbásicas y a los ejercicios de elección múlti-ple, así como 6 problemas que requeríanuna respuesta extensa. El primer proble-ma estaba dividido en tres partes y otro deellos en cuatro, mientras que los cuatroproblemas restantes se dividían en cincopartes cada uno. Los alumnos debían ha-llar la solución de tantas partes dentro decada problema como les fuera posible, an-tes de pasar al siguiente problema. Seaconsejaba a los alumnos que tuviesen di-ficultades con algún problema que pasa-ran al siguiente y que volviesen a éste unavez que hubiesen tratado de resolver losseis problemas. Los alumnos contabancon las dos horas y media restantes pararealizar la prueba.

Los problemas de esta prueba evalua-ban diferentes aspectos relacionados conla habilidad del alumno para resolverlos.Se podía pedir al alumno:

• formular problemas;• la aplicación de métodos diferentes

para la resolución de los proble-mas;

• formular expresiones matemáticasque se correspondiesen con los

enunciados lingüísticos o proble-mas en sí;

• hallar tanto las soluciones correctascomo aproximadas de los proble-mas;

• la comprobación de la validez dedeterminadas soluciones;

• justificar las soluciones y explicarlos métodos utilizados para la reso-lución de los problemas;

• juzgar la validez de expresionesmatemáticas y soluciones de pro-blemas.

RESUMEN DE LOS CRITERIOS PARA LASPRUEBAS DE RESOLUCIÓN DE PROBLEMASMATEMÁTICOS

Al igual que en la prueba de contenidosmatemáticos, se evaluó la habilidad de losalumnos en la resolución de problemas deacuerdo con cinco niveles de destreza. Elnivel 1 representa una habilidad muy li-mitada, mientras que el 5 representa el ni-vel más alto de destreza para la resoluciónde los problemas. El resumen de los crite-rios para la prueba de resolución de pro-blemas matemáticos es el siguiente.

Un alumno en el nivel 1 sabe:

• hallar soluciones simples a proble-mas sencillos cuyo enunciadoconsta de una única parte, utilizan-do para ello algoritmos lógicos yuna escala limitada de números en-teros;

• establecer una prueba a partir deun caso.

Un alumno en el nivel 2 sabe:

• elegir el algoritmo adecuado parahallar la solución de: a) problemascuyo enunciado consta de más deuna parte utilizando para ello unaescala limitada de números enteroso b) problemas que constan de una

53

sola parte pero que requieren lautilización de números racionales;

• establecer una prueba a partir demás de un caso determinado;

• emplear un vocabulario comúnpara expresar las soluciones.

Un alumno en el nivel 3 sabe:

• elegir un algoritmo de entre dosopciones para hallar la solución deproblemas cuyo enunciado constade más de una parte, utilizandopara ello una escala limitada de nú-meros racionales;

• establecer una prueba a partir deun número necesario y suficientede casos;

• emplear un vocabulario matemáti-co de forma precisa para expresarlas soluciones.

Un alumno en el nivel 4 sabe:

• adaptar uno o más algoritmos parahallar la solución de problemascuyo enunciado consta de más deuna parte, utilizando para ello todala escala de números racionales;

• construir pruebas estructuradas quepodrían carecer de algún detalle;

• emplear un vocabulario común ymatemático de forma correcta,aunque las soluciones carezcan declaridad para un lector ajeno alcontexto.

Un alumno en el nivel 5 sabe:

• crear algoritmos propios para ha-llar la solución de problemas cuyoenunciado consta .2Ie más de unaparte, utilizando para ello la escalacompleta de números reales;

• establecer pruebas estructuradasque justifiquen completamentecada paso;

• emplear un vocabulario común ymatemático correctamente ademásde proporcionar soluciones claras yprecisas.

RESULTADOS DE CADA

En ambos componentes de las pruebasde matemáticas encuadradas en el pro-yecto SAIP en el ario 1997, aparece unadiferencia significativa entre los resulta-dos del grupo de alumnos de 13 arios ylos del grupo de 16, que se da en los cin-co niveles. Los siguientes gráficos basa-dos en tablas de frecuencia, muestranque un porcentaje mayor de alumnos demayor edad está incluido en los nivelessuperiores (del 3 al 5) y un porcentajemenor de estos alumnos está incluido enlos niveles inferiores (1 y 2). Por supues-to, se esperaba que los alumnos de ma-yor edad alcanzasen los niveles superio-res. Sin embargo, estos resultados, quehan sido obtenidos a través de la admi-nistración de instrumentos matemáti-cos comprobados con las muestras demayor tamaño que se han tomado nun-ca en Canadá, proporcionan una útilprueba estadística referida a la diferen-cia existente entre los resultados obteni-dos por los dos grupos de edades, en losdos tipos de pruebas. No deberían ha-cerse comparaciones entre los resultadosobtenidos en contenidos y aquellos pro-cedentes de la prueba de resolución deproblemas, puesto que los instrumentosevaluadores de cada componente esta-ban basados en criterios diferentes y nocomparables.

En lo que se refiere a la prueba de con-tenidos, los resultados de los alumnos de13 arios están muy cerca de coincidir conlas expectativas en los niveles 1 y 5. El ren-dimiento mostrado en el nivel 5 está muypor debajo de las expectativas. Aparecendiferencias más pequeñas entre los resul-tados esperados y los obtenidos en los ni-veles 2 y 4. Los alumnos del grupo de 16arios alcanzan las expectativas en el ni-vel 1, pero están muy lejos de hacerlo en elnivel 4. Hay pequeñas diferencias signifi-cativas en los niveles 2, 3 y 5.

54

78,9

0,0nivel 5 11 3,3

1,2

28,4

1/~1=11(. . 59,8nivel 3

nivel 2

90,0nivel 1

o

20 40 60 80 100

E] 13 años Mi 16 años

nivel 184,2

0,2nivel 5 12,3

nivel 4 /,5

1128

15,3nivel 3

39,8

52,2nivel 2

75,9

92,5

GRÁFICO I

SAIP 1997. Contenidos matemáticosCanadá-% de alumnos por nivel de destreza y edad

Nota: Los resultados son diferentes en términos estadísticos sólo cuando los intervalos no se superponen.

GRÁFICO II

SAIP 1997 Resolución de problemas matemáticosCanadá-% de alumnos por nivel de destreza y edad

o 20 40 60

ni 13 años Ea 16 arios

Nota: Los resultados son diferentes en términos estadísticos sólo cuando los intervalos no se superponen.

80 100

nivel 4 14,5

55

o,0nivel 5 1,0

1 1,2nivel 4

90,0nivel 1 90,0

nivel 3

nivel 2

GRÁFICO III

SAIP 1997. Contenidos matemáticosCanadá-Resultados y expectativas

% de alumnos de 13 años por niveles de destreza

I I 20

60 80 100

Resultados Mi Expectativas

Nótese que las «Expectativas» están dos», los intervalos de confianza se basanrepresentadas por medias con rango per- en el error muestral, como ocurre con to-centil del 25 al 75. En cuanto a «Resulta- dos los gráficos de este informe.

56

10,0

14,5

40,0

S9,1.1

78,9

85»

GRÁFICO IV

SAIP 1997. Contenidos matemáticosCanadá-Resultados y expectativas

% de alumnos de 16 años por niveles de destreza

nivel 5

nivel 4

nivel 3

nivel 2

94,9nivel 1

95,0

o

20 40

60 80 100

Resultados

C1 Expectativas

Nótese que las «Expectativas» estánrepresentadas por medias con rango per-centil del 25 al 75. En cuanto a «Re-sultados», los intervalos de confianzase basan en el error muestra!, comoocurre con todos los gráficos de esteinforme.

En cuanto a la prueba de resolución deproblemas, los alumnos del grupo de 13años están muy cerca de cumplir las expec-tativas en el nivel 1, pero están muy lejos dehacerlo en el nivel 3. Se aprecian diferen-cias más pequeñas entre los resultados es-perados y los obtenidos en los niveles 2y 4.

57

0,2nivel 5 1 1,0

15.nivel 4 —

8,0

84,2nivel 1 90,0

GRÁFICO VSAIP 1997. Resolución de problemas matemáticos

Canadá-Resultados y expectativas% de alumnos de 13 años por niveles de destreza

O

20

ao 60 80 100

E] Resultados IN Expectativas

Nótese que las «Expectativas» estánrepresentadas por medias con rango per-centil del 25 al 75. En cuanto a «Resulta-dos», los intervalos de confianza se basanen el error muestra!, como ocurre con to-dos los gráficos de este informe.

Los alumnos del grupo de 16 añoscoinciden en general con las expectativasen el nivel 1, pero están lejos de ello en elnivel 3. Se aprecian diferencias menoresen los niveles 2, 4 y 5.

58

GRÁFICO VISAIP 1997. Resolución de problemas matemáticos

Canadá-Resultados y expectativas% de alumnos de 16 años por niveles de destreza

2,3nivel 5

10,0

12,8

nivel 4 illabligur. 25,0

39,8nivel 3 60,0

7519nivel 2 85,0

92,5nivel 1

95,0

20 40

1:1] Resultados 1.xpectativas

CONCLUSIONES FINALES

El desarrollo e implementación de estaspruebas nacionales a través del proyectoPrograma de Indicadores de Rendimien-tos Educativos (SAIP) ha producido be-neficios importantes en la educación a ni-vel provincial y territorial en Canadá.Algunos de los más importantes son:

• La colaboración entre provincias yterritorios podría destacarse comoel beneficio de mayor importancia,debido a que ha conducido a unaumento de la conciencia sobre lavariación de los patrones de rendi-miento y se ha hecho patente la po-sibilidad y conveniencia de contarcon cierta uniformidad en los mis-mos a nivel nacional, de modo quetodos los alumnos reciban unaeducación de calidad equivalente ypuedan dar por sentada su prepara-

ción de cara a la continuación deestudios de enseñanza postsecun-daria en cualquier lugar.

• La colaboración en la tarea de en-frentarse con la idea de delimitaren qué deberían consistir nuestrospatrones de rendimiento, goza yade valor en sí misma, pues contri-buye a aclararnos este aspecto a ni-vel provincial. Esto habría sido deutilidad incluso si las pruebas delproyecto SAIP no hubiesen conti-nuado.

• Otro resultado de esta intensa cola-boración es el sólido vínculo esta-blecido entre los ministros, demodo que aun siendo la educaciónresponsabilidad de cada provinciay territorio, nos sentimos más có-modos en nuestras relaciones y a lahora de compartir percepciones ymateriales. Por ejemplo, Albertaestá de acuerdo en vender algunos

59

de sus tests de rendimiento provin-ciales para que sean usados en otrasprovincias y territorios.

• Contar con datos sobre rendimien-to desde una perspectiva nacionalha resaltado nuestros informes di-rigidos al público general sobre elrendimiento de los alumnos. Pode-mos reforzar el mensaje que se des-prende de la evaluación de losalumnos a nivel provincial, pro-porcionándole mayor peso y credi-bilidad.

• Cada provincia/territorio cuentacon una escala externa con la quecomparar sus esfuerzos, al igualque dentro de cada provincia, loscentros y jurisdicciones encuen-tran también una escala con la quemedirse en nuestras evaluacionesprovinciales. Las provincias/terri-torios pueden sentirse satisfechosde los buenos resultados del pro-yecto SAIP. Las provincias/territo-rios verán en un futuro el progresooperado en sus sistemas en las áreasque muestran mayor debilidad se-gún se aprecia en los resultados re-cientes.

También se han producido ciertosimpactos negativos durante el desarrollode este proyecto SAIP:

• Uno de ellos es el coste tanto mo-netario, como de sacrificio huma-no. Puesto que provincias y territo-

nos contribuyen »en especie»,incorporando nuestro trabajo en elproyecto SAIP al resto de nuestrotrabajo, no siempre reconocemosel grado en el que aumentamosnuestras cargas. Las subvencionesson también hasta cierto punto unaspecto negativo para tomar parteen este proyecto. Hay una ciertogrado de tensión asociado a la deli-cada situación del proyecto debidoa su dependencia de los fondos delgobierno federal, así como de cadaprovincia y territorio.

• Ha resultado muy difícil alcanzarla equivalencia entre los sucesivosciclos de realización de las pruebasy entre las versiones en inglés y enfrancés.

• Naturalmente, estas pruebas seañaden a las interrupciones escola-res. Los miembros de la plantilla delos centros escolares obtienen unaretribución menor por esta evalua-ción que la que obtienen por lasprovinciales.

Creemos, como queda reflejado enesta lista, que los beneficios que conllevatomar parte en este proyecto sobrepasancon creces a los inconvenientes. En nues-tra opinión, este proyecto ha tenido unainfluencia positiva profunda en la calidadde la educación en Canadá.

(Traducción: Carmen Gálvez)

60

Nº 321_ENERO_ABRIL_2000SUMARIOMONOGRÁFICOPRESENTACIÓNLA EVALUACIÓN EDUCATIVA MONITOR Y EL SISTEMA DE EVALUACIÓN DE HUNGRÍAEL SISTEMA NACIONAL DE EVALUACIÓNDE RESULTADOS EDUCATIVOS: IRLANDAEL SISTEMA NACIONAL DE EVALUACIÓN EDUCATIVA DE MÉXICO (SNEE)LA EVALUACIÓN DEL SISTEMA EDUCATIVO CUBANO. UNA EXPERIENCIACANADÁ: INFORME DE EVALUACIÓN NACIONALEL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE BRASILLA EVALUACIÓN DEL SISTEMA EDUCATIVO ESPAÑOLESTRATEGIAS PARA LA VIABILIDAD DE UN SISTEMA DE EVALUACIÓNDE LA CALIDAD DE LA EDUCACIÓN. CASO BOLIVIA

ESTUDIOSLA ENSEÑANZA UNIVERSITARIA DEL DERECHO EN ESPAÑAINSERCIÓN Y PREPARACIÓN PARA EL EMPLEO: UN ESTUDIO LONGITUDINAL!LA CONDUCTA EXPLORATORIA:CONCEPTO Y APLICACIONES EN ORIENTACIÓN PROFESIONALLA EDUCACIÓN EN BRASIL Y SUS MÚLTIPLES SUPUESTOS:DESAFÍOS DE LA EDUCACIÓN INTERCULTURALBIOLOGÍA, LENGUAJE Y DIFICULTADES DE APRENDIZAJE

INVESTIGACIONES Y EXPERIENCIASOPINIÓN DE LOS PADRES Y DE LOS ESTUDIANTES DE MAGISTERIO SOBRE LA INFORMACIÓN QUE EL CONTEXTO ESCOLAR DEBERÍA RECIBIR ACERCA DE LA ENFERMEDAD CRÓNICA INFANTILAL OTRO LADO DE LA ACADEMIA: EL CONOCIMIENTO EMPÍRICO DEL PROFESORADOLA SOCIALIZACIÓN ANTICIPADA EN LA UNIVERSIDAD.EL CASO DE LOS ESTUDIANTES DE MAGISTERIO Y EDUCACIÓN SOCIALUN ESTUDIO SOBRE EL PROFESOR DE CIENCIAS EN EDUCACIÓN SECUNDARIA Y UNAS PROPUESTAS PARA MEJORAR SU FORMACIÓN

INFORMES Y DOCUEMENTOSPROPUESTA EDUCATIVA PARA LA PREVENCIÓN DEL ABUSO DEL ALCOHOL EN LA EDUCACIÓN SECUNDARIA OBLIGATORIAIMÁGENES MENTALES Y CREATIVIDAD: SU RELACIÓN CON EL RENDIMIENTO ACADÉMICOLAS BASES GNOSEOLÓGICAS DE LAS MODERNAS TEORÍAS SOBRE EL APRENDIZAJE. UNA INTERPRETACIÓN CRÍTICA DEL PARADIGMA CONSTRUCTIVISTAVÍCTOR: ¿PROFESOR, MÉDICO O CIENTÍFICO? UN ESTUDIO DE CASO DE CATEDRÁTICOS DE LA UNIVERSIDAD DE SANTIAGO DE COMPOSTELA

BIBLIOGRAFÍASOCIOLOGÍA DE LA EDUCACIÓNÍNDICE BIBLIOGRÁFICO DE LA REVISTA DE EDUCACIÓN DE LOS NÚMEROS 318-320 AÑO 1999

RECENSIONES