pruebas internacionales de logros de aprendizaje

8/14/2019 Pruebas Internacionales de Logros de Aprendizaje

1/81

Pruebas internacionales de logros de aprendizaje:

Impacto sobre los procesos de mejoramiento de la calidad de la educaciny criterios para guiar las decisiones sobre la participacin del Per y otros

pases de Amrica Latina

Informe Final

Presentado al

Consorcio de Investigacin Econmica y Social

por

Patricia ArreguiJ. Guillermo Ferrer

GRADE

Lima, febrero del 2002


2/81

TABLA DE CONTENIDOS

Acrnimos y abreviaciones

IntroduccinFundamentacin y objetivos del estudioEstructura del informe

Seccin ILas reformas educativas y la evaluacin dellogro acadmico en la dcada de los 90

Seccin IIQu son las pruebas internacionales?

Seccin IIIBeneficios y problemas de la participacin enpruebas internacionales

Seccin IVMarco terico-conceptual

Seccin VMetodologa

Seccin VIResultados

Seccin VIIDiscusin

Seccin VIIIRecomendaciones para futuras oportunidadesde participacin del Per y otros pases latinoamericanosen pruebas internacionales

Recomendaciones para futuras investigaciones

2


3/81

Acrnimos y abreviaciones

AFT: American Federation of Teachers- Federacin Estadounidense deMaestros.

ALL: Adult Literacy and Lifeskills (Prueba para Adultos sobre Alfabetizacin yDestrezas para la Vida).

BID: Banco Interamericano de Desarrollo.

ETS: Educational Testing Services (Servicios de Evaluacin Educacional),Universidad de Princeton, EEUU.

ICFES: Instituto Colombiano de Fomento de la Educacin Superior.

IDECE: Instituto para el Desarrollo de la Calidad Educativa, Ministerio de

Educacin de Argentina.IEA: International Association for the Evaluation of Educational Achievement

(Asociacin Internacional para la Evaluacin del Logro Acadmico)

IRT: Item Response Theory- Teora de Respuesta al Item.

LLECE: Laboratorio Latinoamericano para la Evaluacin de la Calidad de laEducacin (UNESCO-OREALC).

NCES: National Council for Education Statistics- Consejo Nacional deEstadstica de la Educacin, EEUU.

NCTM: National Council of Teachers of Mathematics- Consejo Nacional deProfesores de Matemticas, EEUU.

NSF: National Science Foundation- Fundacin Nacional de Ciencias, EEUU.

OCDE: Organizacin para la Cooperacin y el Desarrollo Econmico.

OEI: Organizacin de Estados Iberoamericanos.

ONG: Organizacin no-gubernamental.

OREALC (UNESCO): Oficina Regional para Amrica Latina y el Caribe.

PIRLS: Progress in International Reading Literacy Study (Estudio Internacionalsobre los Progresos en Alfabetizacin y Habilidades de Lectura).

3


4/81

PISA: Programme for International Student Assessment (Programa Internacionalde Evaluacin de Estudiantes).

PNUD: Programa de las Naciones Unidas para el Desarrollo.

PROMEDLAC: Comit Regional Intergubernamental del Proyecto Principal deEducacin en Amrica Latina y el Caribe (UNESCO).

REDUC: Red Latinoamericana de Informacin y Documentacin en Educacin.

SIMS: Second International Mathematics Study (Segundo Estudio Internacionalde Matemticas).

SACMEQ: Southern Africa Consortium for Monitoring Educational Quality(Consorcio de Africa del Sur para la Evaluacin de la Calidad Educacional).

SIMCE: Sistema de Medicin de la Calidad Educativa. Ministerio de Educacinde Chile.

SMART: Science and Mathematics Achievement Required for Tomorrow.

TIMSS: Third International Mathematics and Science Study (Tercer EstudioInternacional en Matemticas y Ciencias, 1995).

TIMSS-R: Repeticin de TIMSS (1998).

UMRE: Unidad de Medicin de Resultados Educativos, Administracin Nacionalde Educacin Pblica, Uruguay.

4


5/81

INTRODUCCIN

Fundamentacin y objetivos del estudio

En los ltimos aos han surgido diversas recomendaciones, provenientes deorganismos internacionales y regionales, sobre la conveniencia de laparticipacin de pases latinoamericanos en pruebas internacionales de logroacadmico. Esas recomendaciones suelen sustentarse con el argumento de quelos datos comparativos sobre el rendimiento estudiantil son tiles para informar alos pases sobre la calidad relativa de sus sistemas educativos y,consecuentemente, sobre su competitividad en el mercado global de bienes yservicios. Estn tambin basadas en el argumento de que las pruebasinternacionales garantizan ms alta calidad tcnica y eficiencia que los sistemasnacionales de medicin y que pueden contribuir significativamente al desarrollo

de capacidades locales en el campo de la evaluacin.La utilidad efectiva de las comparaciones internacionales de logro acadmicopara informar polticas educativas no es, sin embargo, algo sobre lo cual existatotal acuerdo en la literatura actual. Tampoco se ha recogido ni sistematizadosuficiente evidencia emprica sobre la difusin que los pases han dado a lainformacin recogida en las pruebas internacionales ni sobre la manera en quehan utilizado esa informacin para promover el mejoramiento de sus polticas,planes, programas y prcticas educativas.

Ante esta falta de evidencia, y ante la posibilidad de que el Per y otros pasesde la Regin comiencen a privilegiar la participacin en pruebas internacionalessin la debida consideracin previa sobre la necesidad de consolidar el desarrollode sus propios sistemas y capacidades de evaluacin y medicin, se consideroportuno iniciar una indagacin sistemtica sobre los riesgos y beneficios deesta participacin y sobre las condiciones tcnicas y polticas en que debierarealizarse. En la medida de lo posible, esa indagacin se focalizar en laexperiencia vivida por algunos pases que ya han participado en pruebasinternacionales de logro acadmico.

El propsito ltimo que se persigue con este estudio es el de contribuir a quedicha participacin -- de resultar recomendable o, de alguna manera, ineludible-- pueda servir efectivamente para el mejoramiento de la gestin y resultados delos procesos educativos en el pas, as como en otros pases de la Regin querecin se incorporan a este tipo de programas, a la vez que para que se tomenmedidas para minimizar impactos negativos que dichas actividades pudieraneventualmente acarrear.

5


6/81

Estructura de este informe

Dada la complejidad del tema investigado, y considerando que una gran parte delos lectores potenciales de este trabajo se enfrentan a este tema por primeravez, se ha decidido organizar este informe de la siguiente manera:

La Seccin I presenta, sobre la base de la revisin bibliogrfica inicial, algunosaspectos del contexto histrico sobre reformas educativas y de desarrollo desistemas de evaluacin dentro del cual se inscribe la participacin de muchospases dentro y fuera de la Regin en pruebas internacionales de logroacadmico. La Seccin II presenta una descripcin inicial de algunas de laspruebas internacionales ms importantes en la actualidad y resume sus

principales caractersticas. En la Seccin III se resumen algunos de losbeneficios y problemas de la participacin en pruebas internacionales msfrecuentemente citados por la literatura especializada. El marco terico-conceptual se presenta en la Seccin IV, y en la Seccin V se describe lametodologa seguida en este estudio. La Seccin VI presenta los resultados deltrabajo de campo, clasificados por tipo de prueba y organizados de acuerdo almarco conceptual seleccionado. En la Seccin VII, en forma de discusin, seplantean algunas generalizaciones sobre la experiencia de participacin depases latinoamericanos en pruebas internacionales. En la Seccin VIII, porltimo, se ofrece un conjunto de recomendaciones para orientar las decisionesde los pases de la Regin sobre futuras participaciones en este tipo de pruebas.

I. LAS REFORMAS EDUCATIVAS Y LA EVALUACIN DEL LOGROACADMICO EN LA DCADA DE LOS 90.

Los esfuerzos en el mundo por llevar a cabo reformas educativas en las ltimasdos dcadas han sido motivados, principalmente, por un creciente interspoltico en asegurar no solamente cobertura y acceso universal a la educacin,sino tambin el aprendizaje efectivo, por parte de todos los alumnos, de loscontenidos curriculares propuestos por esas reformas.

Este renovado inters por la calidad de la educacin, entendindose por calidadms y mejores aprendizajes, se inscribe en un contexto de fuertes cambiospolticos y econmicos de orden mundial, donde las reglas de libre mercado, laglobalizacin y las nuevas tecnologas de informacin imponen una redefiniciny ajustes de las metas y objetivos de la educacin pblica, as como del rol delEstado para la consecucin de esas metas. Estos cambios se caracterizan poruna serie de objetivos que Carter y ONeill (1995), en Ball (1998), definen comoconstitutivos de lo que ellos llaman una nueva ortodoxia:

6


7/81

1. Mejorar las economas nacionales por medio del establecimientode vnculos ms robustos entre escolarizacin, empleo, productividad ymercado.

2. Mejorar los resultados de aprendizajes relacionados a lascompetencias y destrezas que requiere el mundo laboral.

3. Lograr un mayor y ms directo control de los sistemas educativosnacionales sobre los contenidos curriculares y sobre la evaluacin.

4. Reducir los costos de gobierno en educacin.

5. Ampliar la contribucin de la comunidad a la educacin, mediantesu participacin en la toma de decisiones escolares y mediante la presinde la libre eleccin de mercadoi.

Paralelamente, muchos pases, entre ellos los latinoamericanos, buscan pormedio de las reformas curriculares y de gestin fomentar y consolidar valoresdemocrticos, de participacin ciudadana y de respeto por la diversidad. En estesentido, es importante notar que la bsqueda del control ms directo sobre loscontenidos curriculares al que se aluda anteriormente se ha fortalecido en lospases que han tenido sistemas educativos tradicionalmente descentralizados,mientras que en aqullos donde la prescripcin curricular ha sido histricamentecentralizada los esfuerzos se han concentrado ms bien en la flexibilizacin delcurrculo en el nivel local y escolar. En cualquiera de los dos escenarios, sinembargo, se percibe la necesidad de realizar evaluaciones centralizadas quepermitan medir el logro acadmico de

todoslos alumnos bajo un mismo

parmetro y en relacin con contenidos curriculares a los que todos losestudiantes deberan poder acceder.

Estas tendencias vienen de la mano de nuevas formas de administracin ygestin que ponen en el centro de la discusin la necesidad de mejorar laeficiencia de los sistemas educativos y de fomentar la responsabilizacin social yprofesional por los resultados de la educacin. Estas formas de gestin,usualmente denominadas de gerenciamiento, suponen el uso de estilos yherramientas de gestin diferentes a las tradicionalmente utilizadas por el sectorpblico, y de alguna manera introducen matices a los cinco objetivosanteriormente mencionados. Son ejemplos de esas nuevas formas o estilos degestin la delegacin de responsabilidad y poder de decisin a las institucionesproveedoras de servicios (escuelas), as como el control a distancia de lacalidad en la provisin de esos servicios por parte del poder central. De estamanera, el Estado reemplaza la intervencin directa y la prescripcin por ladeterminacin de objetivos, la comparacin y la responsabilizacin (Lyotard,1984, en Ball, 1998).

7


8/81

Dentro de este esquema de gerenciamiento, una de las herramientas principalesde gestin educativa que ha cobrado protagonismo en muchos pases delmundo, y especialmente en los de habla inglesa, es la evaluacin comparativa ycuantitativa de los logros de aprendizaje de los alumnos, y la medicin delimpacto de diversas variables escolares y extraescolares sobre esos logros. Los

pases que disponan de sistemas nacionales de evaluacin desde antes de losaos 80 reforzaron su aplicacin y los vincularon ms directamente a susnuevas metas curriculares. Los pases que no disponan de tales sistemas deevaluacin, como fue el caso de la mayor parte de los pases latinoamericanos,desarrollaron esos sistemas junto con el diseo e implementacin de lasreformas educativas de los aos 80 y 90. El impulso por la creacin de estossistemas de evaluacin en los pases en desarrollo estuvo influido por la presinde algunas agencias de cooperacin internacional, que condicionaban losprstamos para educacin al desarrollo de sistemas nacionales de evaluacinque permitieran medir los resultados de esas millonarias inversiones en reformaseducativas. El Banco Mundial, como parte de la negociacin por los crditos

para educacin, jug un rol particularmente importante en la difusin de unmodelo de gestin consistente con las actuales tendencias de globalizacin y delibre mercado (Jones, 1998, en Ball, 1998; Torres, 1999).

Los cambios econmicos de las ltimas dos dcadas en el mundo tambin handado lugar a una creciente preocupacin de los pases por su capacidad paracompetir eficazmente en los mercados internacionales. Para poder competir yprosperar, segn se ha argumentado en realidad ya desde el siglo XVIII con lapublicacin del tratado sobre la naturaleza y las causas de la riqueza de lasnaciones (Smith, 1776), es menester invertir en capital humano. Desdeentonces, la educacin ha sido vista como el principal medio para incrementarese capital y fomentar as el desarrollo y la posibilidad de competircomercialmente en el escenario global.

A las preocupaciones por la prosperidad econmica, se suman metas deconciencia y participacin ciudadana, as como del desarrollo emocional yactitudinal de los alumnos. Esto es particularmente visible en Amrica Latina,donde las reformas educativas de los ltimos 20 aos se han emprendido encontextos polticos de democratizacin y pacificacin, y en algunos pases deAsia como Japn y Corea donde se ha hecho evidente la necesidad decomplementar el enfoque tradicionalmente academicista de la educacin conaspectos del desarrollo moral, afectivo y social de los estudiantes.

La responsabilidad que se le adjudica a la educacin por incrementar el capitalhumano de las naciones se manifiesta actualmente en las mltiples iniciativas dereforma educativa en el mundo. Casi todas estas reformas, si bien muestrangrandes diferencias de pas en pas y de regin en regin, guardan comoprincipal semejanza los esfuerzos por actualizar permanentemente los currculosy por medir, como se explic anteriormente, la implementacin y aprendizajeefectivo de los contenidos de esos currculos.

8


9/81

Junto con el desarrollo y perfeccionamiento de sistemas nacionales de medicinde aprendizajes, ha crecido notablemente el inters por las comparacionesinternacionales de logro acadmico. Segn Bempechat et al (2000) el ltimocuarto de siglo ha sido testigo de un incipiente inters por las comparaciones

internacionales de logro estudiantil. Agregan las autoras que la fascinacin conel logro acadmico en diferentes naciones ha sido motivada por los rpidosavances tecnolgicos que han transformado la economa mundial [...] LosEstados-nacin expresan su preocupacin por su capacidad para competir en unmundo que se vuelve ms y ms pequeo.

El caso de Estados Unidos es paradigmtico en cuanto al impacto que laspruebas internacionales comparadas pueden tener sobre las polticas educativasde una nacin. Los resultados en matemticas y ciencias de los estudiantesnorteamericanos en pruebas internacionales, por debajo del promedio mundial ymuy lejos de las potencias asiticas, alarmaron a los lderes polticos de los

inicios de los 80, quienes no dudaron en calificar a los Estados Unidos comouna nacin en riesgo (National Commission on Excellence in Education, 1983).La declaracin haca referencia al peligro que corran los EEUU de perderliderazgo mundial si su sistema educativo pblico no lograba mejores resultadosde aprendizaje en ciencias y matemticas, y desencaden una serie de medidasde reforma curricular y de gestin a lo largo y ancho del pas, con el objetivoexplcito de ocupar el primer puesto en los rankings internacionales de logroacadmico hacia el ao 2000.

Pero las comparaciones internacionales no tienen solamente un valorcompetitivo, o de ranking. Adems del inters, muy legtimo por cierto, quepueda tener cada pas en saber su posicin relativa a otros pases en cuanto alogro acadmico, existen razones conceptuales que justifican las comparacionesentre pases como un instrumento metodolgico que ofrece mayor informacinque la que puede ofrecer un anlisis intra-nacional. De acuerdo a Joseph Farrell(1979) no puede realizarse ningn tipo de generalizacin cientfica sobreeducacin si no es a travs de un estudio comparativo. El autor sostiene que losdatos comparativos son esenciales para establecer la credibilidad de lasproposiciones y que hasta que no se conoce la relacin entre universosparticulares y generales, ningn estudio es suficiente para probar unaproposicin.

La teora sobre educacin comparada es extensa y controvertida, y losargumentos sobre el valor y validez de las comparaciones internacionales anson materia de acaloradas discusiones en los medios acadmicos. Sin embargo,persiste el inters de los investigadores sociales, as como de los formuladoresde polticas pblicas alrededor del mundo, en realizar comparaciones, cada vezms precisas y sofisticadas, sobre diferentes aspectos de poltica social. ste hasido el caso de las pruebas internacionales de logro acadmico, que se siguenaplicando en una creciente cantidad de pases cada ao y que se van

9


10/81

perfeccionando gradualmente en lo que se refiere a la especificacinconsensuada de sus objetivos, as como a las tcnicas de recojo y anlisis de lainformacin. Por ejemplo, y como se explicar ms adelante, entre las razonesms comnmente citadas para llevar a cabo comparaciones internacionales eneducacin, se encuentra la posibilidad de hallar mayor varianza en las variables

estudiadas que la que puede hallarse en un estudio intra-nacional, lo quepermite llegar a conclusiones ms claras y ms robustas sobre los efectos dedeterminadas variables o factores sobre el rendimiento estudiantil.

Segn la literatura actual, son varios los objetivos que suelen perseguirsemediante la participacin en pruebas internacionales. Theisen y colaboradores(1983) citan tres objetivos principales para esa participacin:

1. Comparar el logro acadmico relativo entre pases y por asignatura;

2. Identificar implicancias de poltica educativa para un pas a travs de los

determinantes de logro hallados en otros pases; y3. Re-evaluar las prioridades de inversin dentro de un pas para elevar la

calidad de los aprendizajes.

Husn (1987), cuando discute el impacto de la IEA (International Association forthe Evaluation of Educational Achievement) sobre las polticas educativas en lospases participantes, distingue dos categoras de clientes: 1) formuladores depolticas (mayormente en el nivel central), y 2) ejecutores de esas polticas(tcnicos y educadores en el nivel central y local). Segn Husn, los primerossuelen estar ms interesados en datos y hallazgos de investigacin referidos a laestructura del sistema de educacin, mientras que los ltimos prestan msatencin a la informacin recogida sobre procesos de enseanza-aprendizaje,prcticas y metodologa de aula, materiales educativos y evaluacin deaprendizajes en el aula.

Para muchos investigadores y tomadores de decisiones sobre polticaseducativas, tal como fuera expresado en una conferencia del Centro Nacional deEstadstica Educativa de los EEUU- NCES (Husn, 1987), la participacin enpruebas internacionales constituye una intervencin en s misma,independientemente de los resultados del estudio, y alerta a educadores einvestigadores sobre problemas que podran no haber consideradoanteriormente.

QU SON LAS PRUEBAS INTERNACIONALES?

Las pruebas internacionales comparadas son instrumentos de medicinestandarizados que se aplican en varios pases simultneamente, en grados o

10


11/81

grupos etreos seleccionados, y que recogen informacin sobre logros deaprendizaje conceptual y procedimental en diferentes disciplinas, y sobre losfactores contextuales que se presume influyen en el logro acadmico de losestudiantes. Las pruebas suelen incluir temes de opcin mltiple, preguntasabiertas y/o demostraciones prcticas, como por ejemplo de laboratorio en el

caso de las ciencias naturales. Entre los factores contextuales ms importantesque suelen estudiarse aparecen la inversin per cpita en cada sistemanacional, las caractersticas familiares y socioculturales de los alumnos, lainfraestructura escolar, la preparacin acadmica de los docentes, la coberturacurricular efectuada en clase en las reas disciplinares evaluadas, y lasactitudes y valores de los alumnos con relacin a esas reas.

Las pruebas pueden ser curriculares o acurriculares, dependiendorespectivamente de su vinculacin o no vinculacin a los currculos de los pasesparticipantes. Cuando las pruebas son curriculares, como en el caso de TIMSS oLLECE, los instrumentos se disean sobre una matriz curricular comn que

representa los contenidos bsicos que se ofrecen en los niveles educativos a serevaluados en casi todos los pases participantes. A estos contenidos comunesse suman contenidos considerados necesarios para una educacin de calidaden el siglo XXI, segn la opinin de profesionales y acadmicos internacionalesespecializados en las reas disciplinares evaluadas. En el caso de las pruebasacurriculares, tales como PISA, los diseadores del estudio establecenestndares de contenido acadmico disciplinar que se consideran necesariospara una efectiva insercin social y laboral en el mundo de hoy,independientemente de los contenidos de los currculos de los pasesparticipantes en la prueba comparada.

Algunas de estas pruebas se han aplicado una nica vez, a modo de diagnsticoo como ejercicio de investigacin. Actualmente, se observa una tendencia aldiseo de pruebas de aplicacin cclica de manera tal que se pueda seguir elrendimiento de una cohorte de estudiantes cada cierta cantidad de aos, o de ungrado escolar a travs de los aos, y as poder establecer relacioneslongitudinales con respecto al desempeo acadmico.

Estas son pruebas diseadas y coordinadas por agencias internacionales deevaluacin, y con cierto grado de participacin por parte de las unidades demedicin de la calidad educativa de los pases. Algunas de estas agencias sonprivadas e independientes, de un perfil bsicamente acadmico, tales como laIEA (Asociacin Internacional para la Evaluacin del Logro Acadmico), o ETS(Servicios de Evaluacin Educacional). Otras agencias sonintergubernamentales y en ellas estn representadas las mximas unidadespolticas o tcnicas de administracin o evaluacin educativa de los pasesmiembro. Ejemplo de estas ltimas son la OCDE (Organizacin para laCooperacin y el Desarrollo Econmico), el Laboratorio Latinoamericano para laEvaluacin de la Educacin (LLECE), dependiente de UNESCO-OREALC, oSACMEQ (Consorcio de Africa del Sur para la Evaluacin de la Calidad

11


12/81

Educacional). Las pruebas de la IEA o de la OCDE son de cobertura mundial,mientras que otras, como las del LLECE o SACMEQ, son de cobertura regional.En la actualidad existen no menos de 10 pruebas internacionales que miden ellogro estudiantil en diferentes reas de conocimiento, tal como se resume enforma ilustrativa en elAnexo A.

Originadas como ejercicio principalmente acadmico, las pruebasinternacionales buscan el desarrollo de nuevas metodologas de investigacincomparada y enfoques analticos (Forster, 2000); actualmente, sin embargo, setiende al desarrollo de estas pruebas como un instrumento que puede proveerimportantes insumos de informacin para el diseo y mejoramiento de polticaseducativas orientadas a elevar la calidad de los aprendizajes. Para ese fin,algunas de estas pruebas ofrecen lo que en este informe daremos a llamaropciones nacionales, es decir la posibilidad de que cada pas utilice eloperativo de aplicacin de instrumentos a la muestra nacional para medirsubpoblaciones especficas que por alguna razn ameriten una medicin ms

enfocada, o de reas de conocimiento particulares y diferentes de las que evalala prueba general. As, un pas podra hacer uso del operativo internacional paraevaluar, por ejemplo, un grupo etreo diferente o agregar temes de contenidoscurriculares nacionales no contemplados en la prueba internacional.

Los resultados de las pruebas internacionales pueden ser reportados ydifundidos por las agencias mismas que dirigen los estudios, por las agenciasnacionales que coordinan los estudios en los pases participantes, porinvestigadores independientes o por la prensa (Forster, 2000; Macnab, 2000).Los datos que las pruebas arrojan suelen ser cuantiosos y por esa razn seeligen diferentes formas de reportarlos, de acuerdo a las audiencias a quienesestn dirigidos. Algunos reportes presentan un

rankingde acuerdo al logro

relativo de los pases participantes, con relacin al total del examen o a gruposde temes seleccionados para el reporte; tambin suele mostrarse la distribucinde los resultados con relacin a la media aritmtica de cada pas (dispersin), ellogro de diferentes subpoblaciones, o las relaciones entre logro acadmico ydiferentes variables contextuales relevadas por el estudio (Forster, 2000).

Algunas de las formas en que suele usarse la informacin recogida son: lamotivacin para mejorar polticas a partir de la simple comparacin con el logrode otros pases; la promocin de polticas de mejoramiento a travs de ladifusin masiva de los resultados; el establecimiento de nuevos estndaresacadmicos de acuerdo al desempeo de alumnos en otros pases; laidentificacin de los factores escolares y extraescolares que muestran un efectopositivo en el logro de aprendizajes; y el estmulo para las investigaciones dentrodel pas mediante la profundizacin de los resultados del estudio internacional(Forster, 2000; Macnab, 2000).

12


13/81

BENEFICIOS Y PROBLEMAS DE LA PARTICIPACIN EN PRUEBASINTERNACIONALES

El valorde las comparaciones de logro acadmico entre pases o entre regioneses materia de discusin permanente entre investigadores. Los argumentos que

se esgrimen a favor y en contra de esas comparaciones suelen sereminentemente de carcter tcnico, aunque tambin entran en juego factores deorden poltico e ideolgico. A continuacin se resumen las razones msfrecuentemente citadas por la literatura especializada con relacin a las ventajasy desventajas (o problemas) de la participacin en pruebas internacionales.

Beneficios

La construccin de pruebas requiere de los pases participantes una revisincuidadosa de sus currculos y de su comparacin con los de otros pases

(Beaton et al, 1999), lo cual puede conducir a su actualizacin ymejoramiento. Tambin motiva a educadores e investigadores a estudiarproblemas del sector que no se haban considerado antes (Husn, 1987).

Se desarrolla la capacidad local para la medicin de aprendizajes (Greany yKellaghan, 1996; Torney-Purta, 1990; Bloom, 1974), en la medida en queeducadores e investigadores de la educacin se ven llamados a interactuarcon especialistas internacionales y as se mantienen actualizados (Beaton etal, 1999; Mislevy, 1995).

Se conoce la efectividad de las polticas implementadas por otros pases

(Beaton et al, 1999)

Los resultados comparados internacionalmente atraen la atencin de losmedios de comunicacin, movilizan fuerzas polticas (Greany y Kellaghan,1996) y suscitan debates sobre las implicancias prcticas de los resultadosobtenidos (Husn, 1987; Husn y Tuijnman, 1994, en Kellaghan, 1996).

Adems del logro acadmico propiamente dicho, existe una gran variedad devariables educativas que pueden compararse, tales como el clima escolar, ladisponibilidad relativa de materiales educativos o los efectos de la educacinpreescolar. Estas variables contribuyen a comprender cules son los efectos

relativos de los diferentes factores sociales y escolares que afectan elrendimiento (Husn, 1987; Torney-Purta, 1990).

Los gobiernos pueden incluir en estos estudios preguntas e temes que deotra manera deberan hacer por su propia cuenta, a travs de sus sistemasnacionales (Husn, 1987).

13


14/81

La dispersin que se halla en los estudios comparativos internacionales sueleser mucho ms fuerte y evidente que la que se puede observar en estudiosintra-nacionales, y por lo tanto se puede indagar ms profundamente sobrelos efectos de diferentes variables sobre los resultados de aprendizaje(Husn, 1987).

La construccin colectiva y aplicacin de pruebas puede promover prcticasprofesionales democrticas debido al tipo de procedimientos y metodologasutilizadas (Torney-Purta, 1990).

Algunas pruebas, como TIMSS, utilizan diseos jerrquicos para larecoleccin de datos, lo cual permitira, asumiendo que exista suficientevarianza en los datos totales, analizar cunto de la varianza se debe adiferencias entre pases o a diferencias entre estudiantes (Bempechat et al,2000). Estos anlisis pueden contribuir a revelar cmo algunas polticassimilares pueden tener efectos diferenciales en los pases, dependiendo de

otras variables complementarias. Un ejemplo de esto es el efecto positivoque la tarea en el hogar puede tener en el logro acadmico de losestudiantes chinos, mientras que en Per el efecto puede ser mucho menordebido al alto ndice de analfabetismo de los padres.

Si bien en el proceso participan tcnicos internacionales, los informes deresultados son producidos por investigadores nacionales que conocen afondo los problemas de su pas; por esta razn se espera que exista unainteraccin entre investigadores y educadores por lo menos igual a la quepuede existir en el caso de pruebas intra-nacionales, de manera tal que lainformacin recabada y difundida provoque respuestas constructivas a los

problemas detectados por el estudio (Bloom, 1974).

Problemas y limitaciones

Los resultados de los estudios, en particular cuando se presentan comorankingde logro entre pases, suelen desatar comentarios y crticas por partede polticos, medios de comunicacin y pblico en general, de manera tal quepredomina el efecto llamado carrera de caballos o juegos olmpicos,donde slo importa la posicin relativa de logro en el escenario internacional

y no la generalmente abundante informacin sobre factores sociales,escolares y personales asociados al rendimiento (Greaney y Kellaghan,1996). La prensa, particularmente, tiende a desconocer los aspectos mscomplejos y autnticamente informativos de los resultados y slo destaca lasposiciones en el ranking, a menudo con ttulos dramticos y escandalosos(Husn, 1987; Kellaghan, 1996).

14


15/81

Si bien las pruebas internacionales utilizan diferentes formatos, algunos deellos innovadores, los temes ms numerosos continan siendo diseados enforma de opcin mltiple. Aun cuando estos temes, si estn debidamenteconstruidos, pueden evaluar habilidades cognitivas complejas, persistencrticas y dudas sobre su validez para ese fin (Greaney y Kellaghan, 1996).

De la misma manera, se ha criticado a los estudios internacionales porutilizar un paradigma bsicamente cuantitativo, positivista, alejado de larealidad de los pases en desarrollo y carentes de metodologas quefomenten la construccin cooperativa y democrtica de las pruebas (Husn,1987).

La complejidad de los estudios, sumada a la escasa capacidad que sueleexistir entre el pblico para interpretar los numerosos datos que derivan delos estudios comparativos, determina que la informacin que finalmente sedifunde resulte ambigua o contradictoria, que un mismo dato pueda serutilizado para argumentos antagnicos (dependiendo de la postura poltica),

o que sencillamente se malinterpreten los datos y se llegue a conclusioneserrneas (Husn, 1987). Los indicadores, interpretados aisladamente de sucontexto cultural y estructural, pueden conducir a interpretaciones y accionesde poltica equivocadas (Burstein, Oakes y Guiton, 1992, en Schmidt yMcKnight, 1995).

La validez de los estudios se ve amenazada por las grandes diferenciasculturales entre los alumnos de diferentes pases, que hacen que lascondiciones en que se toman las pruebas no sean iguales en cada pas.Entre estas diferencias destacan los diferentes grados de familiaridad que losalumnos puedan tener con las pruebas estandarizadas, los estilos de

respuesta (Ej. tendencia a omitir o a adivinar respuestas), y las motivacionesque puedan tener los alumnos para hacer un esfuerzo significativo porresolver las preguntas (Mislevy, 1995).

A menudo se toman decisiones de poltica sobre la base de interpretacionesde causalidad entre las variables estudiadas, cuando en realidad esacausalidad slo podra confirmarse mediante estudios experimentalescontrolados (Platt, 1975, en Mislevy, 1995).

La informacin cualitativa recogida por los estudios comparativos no siempreresulta suficiente para comprender las variaciones que existen al interior de

cada cultura y as comprender mejor cmo las creencias y percepciones delos alumnos afectan diferencialmente su rendimiento (Bempechat et al,2000).

Si bien se ha propuesto el uso de las pruebas internacionales para fines deresponsabilizacin de los gobiernos y funcionarios, an no existe un modeloclaro para operacionalizar una propuesta de este tipo, es decir definicionesclaras sobre quin ser responsable, o quin tendr el poder o la autoridad

15


16/81


17/81

utilizan diferentes nomenclaturas y nmeros de fases para su descripcin iii,aunque en conjunto coinciden en la existencia de las siguientes etapas en eldesarrollo de polticas educativas centradas en el logro de aprendizajes:

a) Reposo, o situacin de status quo, en que tanto los proveedores como los

beneficiarios se sienten conformes con la calidad del servicio educativo,concretamente con los aprendizajes logrados por los alumnos.

b) Descontento: En esta fase, algn actor, o grupo de actores del sistemapercibe, o demuestra con algn tipo de evidencia, que el servicio educativo noest proveyendo suficientes oportunidades de aprendizaje y que por lo tanto elrendimiento de los estudiantes es inadecuado.

c) Iniciativa y adopcin: Ese mismo grupo, u otros interesados, deciden proponercambios en el sistema, impulsan el diseo de programas y estrategiascomprehensivas que apuntan a elevar el nivel de los aprendizajes, buscan

apoyo poltico y financiero para asegurar la viabilidad inicial de esos programas,y en algunas ocasiones buscan sensibilizar o movilizar a otros actores clave delsistema.

d) Implementacin: Los programas se ponen en prctica, buscando articularnuevos elementos (currculo, textos, capacitacin docente, etc.) con recursos yaexistentes.

e) Evaluacin de proceso y resultados: En esta fase se monitorea el proceso deimplementacin para poder realizar ajustes a los nuevos programas en curso(evaluacin formativa), o se decide medir los resultados e impactos de esosprogramas (evaluacin sumativa). La evaluacin sumativa requiere, en elcontexto del estudio que nos ocupa, la aplicacin de instrumentos que permitanmedir objetivamente los logros de aprendizaje de los alumnos.

f) Retroalimentacin: La informacin recabada mediante las evaluaciones seutiliza para mejorar los insumos o procesos de implementacin, y as elevar lasposibilidades de que los programas en curso tengan mayor impacto en losaprendizajes.

En el contexto de esta investigacin, las etapas de poltica mencionadas estarnreferidas especficamente a las polticas de diseo, implementacin, evaluaciny mejoras del currculo prescrito. Simultneamente, se ha concebido el procesode participacin en pruebas internacionales como un continuo donde se sucedenfases similares de desarrollo, desde la percepcin de problemas de aprendizajey la decisin de utilizar una herramienta de evaluacin comparada paraverificarlo, hasta el uso de la informacin de esa evaluacin para elmejoramiento de las condiciones para un mejor logro acadmico.

17


18/81

Para fines analticos, y asumiendo tericamente que las fases de polticacurricular y las de evaluacin comparada internacional son ms o menossincrnicas, encuadramos el anlisis del ciclo de participacin en pruebasinternacionales de cada pas dentro del ciclo de poltica, o reforma curricular, enel cual se inscribe histricamente. De esta manera se intenta ver, por ejemplo,

en qu medida los procesos de implementacin de pruebas internacionales(elaboracin y aplicacin de instrumentos) contribuyen al desarrollo decapacidades profesionales para la implementacin y ajuste de los programascurriculares que se pretende evaluar. Dado que en la realidad cada pas haparticipado en ms de una prueba, en diferentes momentos, y acompaandotiempos distintos del desarrollo curricular, este tipo de anlisis no deja de sersolamente un intento por contextualizar los ciclos de evaluacin comparada, sinpretender establecer relaciones exactas y sincronizadas entre ambos procesos.

De esta manera, los resultados de este estudio se presentarn conforme alsiguiente esquema conceptual sobre poltica curricular y evaluacin comparada

internacional:Ciclo de poltica curricular Ciclo de evaluacin internacionalReposo, o situacin de status quo, enque tanto los proveedores como losbeneficiarios se sienten conformes conla calidad del servicio educativo,concretamente con los aprendizajeslogrados por los alumnos.

Reposo: No existe evidencia empricadisponible sobre el rendimientoacadmico de la poblacin estudiantilnacional con respecto a otros pases,ni sobre los factores que en esospases impactan positivamente en lacalidad de los aprendizajes. Enconsecuencia, no hay movilizacin

poltica ni de la opinin pblica yprofesional para promover nuevasevaluaciones internacionales que, a suvez, estimulen el diseo omejoramiento de los programascurriculares.

Descontento: En esta fase, algn actor,o grupo de actores del sistema percibe,o demuestra con algn tipo deevidencia, que el servicio educativo noest proveyendo suficientes

oportunidades de aprendizaje y quepor lo tanto el rendimiento de losestudiantes es inadecuado.

Descontento: Los resultados obtenidosen la participacin en alguna pruebainternacional, o en algunos casos losresultados de las medicionesnacionales, estimulan la opinin y la

investigacin sobre la necesidad deelevar la calidad de los aprendizajes ysobre las formas de lograrlo.

Iniciativa y adopcin: Ese mismogrupo, u otros interesados, decidenproponer cambios en el sistema,impulsan el diseo de programas yestrategias comprehensivas que

Iniciativa y adopcin: La unidad centralde administracin educativa, o algunaentidad acadmica con el aval oficial,resuelven que es necesario medirsecon respecto al logro acadmico de

18


19/81

apuntan a elevar el nivel de losaprendizajes, buscan apoyo poltico yfinanciero para asegurar la viabilidadinicial de esos programas, y enalgunas ocasiones buscan sensibilizar

o movilizar a otros actores clave delsistema.

otros pases y, de acuerdo a lasprioridades curriculares y de polticaeducativa en cada pas, se opta poruno o ms tipos de proyecto deevaluacin internacional. Se espera de

esta manera realizar un seguimiento delos alcances y efectos de losprogramas curriculares nacionales.

Implementacin: Los programas seponen en prctica, buscando articularnuevos elementos (currculo, textos,capacitacin docente, etc.) conrecursos ya existentes.

Implementacin: En cada pas seponen en marcha los procesostcnicos de evaluacin internacional,desde las primeras reuniones dediscusin entre expertos sobre elmarco conceptual a ser utilizado, hastala seleccin y validacin de temes,seleccin de la muestra poblacional y

aplicacin final de los instrumentos. Sila relacin entre los equipos tcnicosde medicin y los profesionales deldesarrollo curricular en cada pas esfluida y cooperativa, es probable que elproceso de diseo de las pruebascontribuya a las primeras revisionescrticas de los contenidos curricularesnacionales, ya sean antiguos o dereciente diseo e implementacin.

Evaluacin de proceso y resultados:

En esta fase se monitorea el procesode implementacin para poder realizarajustes a los nuevos programas encurso (evaluacin formativa), o sedecide medir los resultados e impactosde esos programas (evaluacinsumativa). La evaluacin sumativarequiere, en el contexto de estudio quenos ocupa, la aplicacin deinstrumentos que permitan medirobjetivamente los logros de

aprendizaje de los alumnos.

Interpretacin y diseminacin de

resultados: Se lleva a cabo la lecturade los resultados de evaluacin porparte de tcnicos de medicin ascomo de los profesionales deldesarrollo curricular convocadosdurante el proceso de implementacin.Se preparan informes de resultadospara la prensa, la opinin pblica engeneral y para diferentes audienciasprofesionales del sector, se ofrecentalleres de difusin y desarrollo de

capacidades de interpretacin yanlisis de los datos, y se liberan lasbases de datos para uso de los mediosacadmicos con fines investigativos.Los esfuerzos de interpretacin secentran en las inferencias de tipocurriculares que puedan realizarse, esdecir en relacin a los contenidos

19


20/81

prescritos y enseados de las reas deconocimiento evaluadas.Decisiones, impacto poltico y nuevaslneas de investigacin: Los resultadosde las evaluaciones influyen

directamente, o indirectamentemediante la presin de la opininpblica y profesional, sobre lasdecisiones de funcionarios yprofesionales del sector para elevar lacalidad de los aprendizajes.

Retroalimentacin: La informacinrecabada mediante las evaluacionesse utiliza para mejorar los insumos oprocesos de implementacin, y aselevar las posibilidades de que los

programas en curso tengan mayorimpacto en los aprendizajes.

Retroalimentacin: Las autoridades delsector o las agencias evaluadorasmismas llevan a cabo un sondeo oinvestigacin sistemtica sobre el tipode impactos que ha tenido la

experiencia de evaluacin comparadainternacional. Los resultados de esainvestigacin se utilizan para decidirfuturas participaciones en pruebasinternacionales.

El marco secuencial as establecido permite no solamente ordenar el contenidode las entrevistas y de los datos recogidos sino que, en las primeras fases deltrabajo de campo, tambin permite anticipar uno de los aspectos del procesoque representa el mayor obstculo para el uso efectivo de la evaluacin

internacional en el mejoramiento de la calidad de los aprendizajes. Eseobstculo, concretamente el de ausencia de dilogo entre investigadores oevaluadores y los usuarios potenciales de la informacin, requiri para suexplicacin de un segundo referente terico que se hall en el trabajo deFernando Reimers (1999).

Reimers sostiene que en las altas esferas de administracin educativa enmuchos pases del mundo, la mayor parte de las decisiones que se toman paraincrementar las oportunidades de aprendizaje se realizan intuitivamente,especulando con la articulacin de algunos de los elementos del sistema(currculo, capacitacin, supervisin, etc.), en vez de tomarse como resultado del

anlisis cuidadoso de la evidencia que muestran las investigaciones y losanlisis de poltica. El autor argumenta que esto se debe a la forma en que elconocimiento derivado de la investigacin es acumulado y procesado, y a que nosiempre se reconoce la diferencia entre la investigacin que pretendesimplemente explicar la realidad, y la investigacin de poltica que, adems,busca describir cmo podra cambiarse esa realidad, que se asume es lo que losfuncionarios necesitan saber. Esa funcin propositiva de la investigacin deberadarse en forma de dilogo participativo entre investigadores y funcionarios u

20


21/81

otros usuarios de la informacin, de manera tal que se logre un acuerdo entrelas necesidades de informacin y las posibilidades reales de los investigadoresde proveer esa informacin. Reimers cita a Husn (1994) para ejemplificar,precisamente, cmo la falta de dilogo entre investigadores y funcionarios haimpedido que muchos de los estudios internacionales de la IEA logren tener un

impacto real en las polticas educativas de los pases participantes, y cmo conel paso de los aos se ha intentado reforzar ese vnculo entre proveedores yusuarios de informacin.

El modelo racional de toma de decisiones, que asume que los funcionariosseleccionarn opciones de poltica sobre la base de un anlisis informado, estsiendo descartado. Se reconoce que la mayor parte de los problemas no estn,ni pueden ser, perfectamente definidos y que los funcionarios no siemprepueden establecer prioridades de accin racionalmente sino en funcin devariables de oportunidad poltica y de poder. Por eso, para lograr decisionesinformadas, es preciso ejercer cierto grado de persuasin de los decisores de

polticas mediante un proceso de negociacin, y no de diseo unilateral, delproceso de reforma. Ese proceso debe ser interdisciplinario (que es, en realidad,la forma en que los funcionarios perciben los problemas de poltica), debe serpropositivo y no solamente descriptivo, y debe tener en cuenta que el anlisisdebe realizarse y comunicarse dentro de los lmites de tiempo que impone elciclo de poltica. Reimers, adicionalmente, propone el uso de un mediador deconocimiento entre el mundo de la investigacin y el mundo de la poltica. Laevidencia recogida para este estudio muestra que, en ciertas ocasiones, esamediacin se logra a travs de la prensa y de otras instituciones acadmicas yno gubernamentales formalmente convocadas durante el proceso de evaluacininternacional. Sostiene Reimers que el problema del uso de la informacin nopuede ser considerado recin despus de concluida la investigacin o el anlisis[...] la investigacin debe comenzar con la consideracin de las necesidades delcliente si se intenta evitar el riesgo de que los resultados del anlisis resultenirrelevantes para los funcionarios.

El uso de los dos referentes tericos mencionados, sobre etapas secuencialesde poltica y sobre dilogo informado entre investigadores y funcionarios, serviren este informe para organizar el reporte de los datos recogidos en formaordenada y contextualizada, y a la vez sustentar conceptualmente uno de loshallazgos clave en este estudio de investigacin.

II. METODOLOGA

21


22/81

Sobre la base del referente terico sobre usos de la informacin para decisionesde poltica, y tomando en cuenta el modelo secuencial o cronolgico de polticaantes descrito, el diseo del presente estudio qued metodolgicamenteconfigurado de la siguiente manera:

1. Revisin bibliogrfica inicial sobre pruebas internacionales existentes, pasesparticipantes y principales caractersticas de esas pruebas. Elaboracininicial de marco terico-conceptual.

2. Diseo del cuestionario de entrevistas, principal herramienta de investigacinen este estudio, con una concepcin a prioride los momentos o fases quepresentara la participacin de diferentes pases en pruebas internacionales.Ese cuestionario (ver Anexo B) fue revisado y corregido en dosoportunidades por un consultor externoiv y se aplic en una primera fase envarias entrevistas a altos funcionarios y ex-funcionarios de las oficinasnacionales de evaluacin educativa en cuatro pases de Amrica Latina y a

acadmicos de los Estados Unidos involucrados en el diseo y aplicacin depruebas internacionales (ver lista total de entrevistas enAnexo C) .

3. Pilotaje y afinamiento de cuestionario de entrevistas y recoleccin demateriales bibliogrficos y documentales adicionales.

4. Primer anlisis de datos, con el objetivo de afinar el marco conceptual,revisar los instrumentos de campo e identificar nuevos posibles informantes.

5. Reelaboracin de marco terico-conceptual de poltica para encuadrar elanlisis del resto de las entrevistas. Bsqueda de sustento terico adicionalpara explicar el quiebre de comunicacin entre evaluadores/ investigadores ydecisores de poltica.

6. Seleccin de ocho pases americanos como muestra o materia de estudio enrelacin a su experiencia de participacin en pruebas de la IEA, LLECE yOCDE. Esta muestra no se considera representativa, pero es suficiente paraidentificar algunas tendencias y patrones comunes en los procesos departicipacin de Amrica Latina en pruebas internacionales. La seleccin delos pases estuvo condicionada por las limitaciones financieras de losinvestigadores, que prefirieron realizar entrevistas personales y telefnicassolamente, haciendo uso de tiempo y recursos financieros adicionales deotros proyectos de investigacin.

7. Finalizacin del trabajo de campo y desgrabaciones de entrevistas a cargode personal contratado y revisadas luego por los investigadores.

8. Anlisis de datos: codificacin de las entrevistas y reordenamiento de lainformacin de acuerdo a los momentos de la experiencia de evaluacininternacional y su relacin con los momentos de reforma curricular nacional,

22


23/81

por tipo de prueba aplicada, por fases del proceso de participacin, y porpas.

9. Discusin sobre los hallazgos del estudio y presentacin de algunas posiblesgeneralizaciones aplicables a todo Amrica Latina a partir de los mismos.

10. Redaccin de recomendaciones para futuras participaciones del Per y otrospases latinoamericanos en pruebas internacionales.

RESULTADOS

A continuacin se presentan los resultados del trabajo de campo, concretamentelos contenidos de las entrevistas y del material documental recogido. Valeaclarar que del total de pruebas internacionales en las que Amrica Latina haparticipado, o est actualmente participando, se decidi reportar los datos de las

experiencias del Primer Estudio Internacional Comparativo del LLECE(UNESCO-OREALC), de TIMSS, TIMSS-R y Educacin Cvica de la IEA, y de laprueba PISA administrada por la OCDE. El trabajo del LLECE se seleccion porser el nico estudio comparado de cobertura estrictamente regional, y porque enl particip un nmero importante de pases latinoamericanos. La pruebas de laIEA fueron seleccionadas porque han convocado la participacin de algunospases de la Regin, y porque esa experiencia puede ser contrastada con la deotros pases, como Estados Unidos, donde el impacto de la misma evaluacinha sido mucho ms significativo que en Amrica Latina. La prueba PISA seseleccion por ser una prueba acurricular que propone estndaresinternacionales, porque ha concitado el inters de varios pases de la Regin, yporque es la nica prueba en la que Per est participando en la actualidad. Unabreve descripcin de las pruebas mencionadas se presenta en el Anexo D deeste informe.

Si bien los datos presentados en esta seccin pueden contener sesgosderivados de la interpretacin subjetiva de los investigadores, se ha intentadoque la informacin reportada se ajuste estrictamente a las expresiones de losentrevistados. Para una mejor comprensin de los datos, la informacin se haclasificado, en primer lugar, de acuerdo a las agencias que administran laspruebas (LLECE, IEA y OCDE). En segundo lugar, se organiza la informacin deacuerdo a las etapas en la secuencia de poltica y de evaluacin explicadas enel marco terico-conceptual. Finalmente, para cada una de esas etapas, sepresenta la informacin de los pases de la muestra sobre los cuales se poseeinformacin relevante.

23


24/81

Agencia: LLECE (UNESCO-OREALC) Prueba: Primer EstudioInternacional Comparativo sobre Lenguaje, Matemticas y Factores

Asociados.

Etapa: Descontento

En 1989 la UNESCO llev a cabo un estudio comparativo exploratorio de sietepases de la regin que inclua pruebas de rendimiento y encuestas. No fue unestudio riguroso pero sent precedente y los bajos resultados alertaron a actorespolticos y acadmicos de la Regin sobre las deficiencias de los sistemaseducativos y pusieron en cuestin la eficacia de los ltimos treinta aos depolticas educativas. En una reunin en Campinhas, Brasil, donde sepresentaron los resultados de ese primer estudio exploratorio, los representantesregionales solicitaron a la UNESCO-OREALC que diseara un mecanismo deevaluacin que permitiera reunir informacin en forma sistemtica a travs deuna organizacin estable. OREALC coincida en advertir que existan falencias

importantes en trminos de calidad educativa, no ya medidas en trminos decobertura y universalizacin sino tambin en cuanto al logro de aprendizajeacadmico.

Etapa: Iniciativa y adopcin

Hacia el momento en que se crea el Laboratorio Latinoamericano para laEvaluacin de la Calidad de la Educacin (en adelante, Laboratorio), y queempieza a gestarse la idea de realizar una prueba comparativa latinoamericana,predominaba bsicamente la idea de la reforma de la administracin del Estado,

no solamente de reforma de la educacin. Esto se siente desde los inicios de ladcada de los 90 con la cada del muro de Berln. Es all cuando se inicia unproceso de crtica muy fuerte al Estado benefactor y comienzan en la Reginprocesos muy marcados de ajuste estructural, que en el rea social se sintimuy especialmente en el sector educacin. Se instala un discurso y algunasmedidas concretas de descentralizacin, como la transferencia de gestin querealiza el Ministerio de Educacin de Argentina a los ministerios provinciales, ydonde la administracin central se reserva el rol de evaluador a travs de susistema estadstico y de medicin de aprendizajes. Esto implicaba comenzar aconcebir una nueva forma de gestin que permitiera disear polticas educativassin tener la gestin directa de las escuelas. Se observa una transicin de un

modelo de planificacin normativa a un modelo de gerenciamiento donde sepretende controlar al sistema no ya desde los insumos provistos sino desde losresultados. Este modelo de gerenciamiento no necesariamente se propona enforma explcita desde los diferentes planes de gobierno y sectoriales en laRegin, pero su necesidad s se senta a travs de las formas de gestin queplanteaban las agencias crediticias internacionales, especialmente mediante elcondicionamiento de los prstamos a la creacin de sistemas nacionales deevaluacin de la calidad educativa. En ese contexto poltico y de administracin

24


25/81

pblica, era palpable un fuerte mensaje de que la riqueza y la competitividad delas naciones dependan de la eficiencia de sus sistemas educativos. Si bien esarelacin no se sustenta hasta el da de hoy con evidencia consistente (Forster,2000), en su momento promovi el deseo de los representantes nacionales pordevelar el estado de la competitividad de sus pases segn indicara la capacidad

competitiva de sus sistemas educativos en relacin a otros pases.La reunin en Campinhas antes mencionada fue importante porque fuerepresentativa de cada pas, de la sociedad civil (ONG de educacin), delgobierno y del entorno acadmico. Fue destacable en ese momento laparticipacin del aparato ejecutivo de diferentes pases, representados no porlos ministros de educacin directamente, sino por la lnea de funcionarios casiinmediatamente despus de ellos. A pesar de que entre estos actores yrepresentantes exista una clara percepcin sobre la crisis de la educacin enAmrica Latina, no se contaba con un referente emprico que ofreciera evidenciacontundente sobre las falencias de los sistemas, particularmente en relacin al

logro de aprendizajes. La peticin que se realiza en ese momento a OREALCtiene entonces mucha fuerza, porque proviene tanto de la academia como de losrepresentantes polticos de diferentes pases. Tuvo especial impacto tambin elevento de PROMEDLAC de 1993 en Santiago de Chile, donde los ministros deeducacin discutieron la necesidad de que UNESCO impulse el desarrollo de laevaluacin y la creacin de estndares en la Regin. Esta peticin por parte delos gobiernos se transforma en un mandato para la OREALC, quien comienza ainvitar a los pases para participar en una experiencia de evaluacin conjunta. Elconsenso final para la realizacin del Primer Estudio Internacional Comparativose logr en Mxico en 1996.

Paralelamente, la OEI comenzaba a generar su propio programa de evaluacinen educacin y, por su parte, la IEA ofreca la posibilidad de que Amrica Latinaparticipara en TIMSS. Sin embargo, a pesar del inters inicial que manifestaronvarios pases por la prueba de la IEA, muy pocos llegaron a inscribirseformalmente en el proyecto definitivo, y slo uno de ellos, Colombia, culmin elproceso y public los resultados internacionalmente. Esto, segn lainterpretacin de OREALC, pudo deberse a que la participacin en TIMSS eracostosa y los pases perciban que no estaran adecuadamente representadosen la experiencia. La oferta de OREALC, por otra parte, implicaba una idea deidentidad regional donde se generara una visin compartida sobre la evaluacinen un contexto organizacional de confianza. Cuando se aprob la idea de crearel Laboratorio prcticamente todos los pases optaron por adherirse. ElLaboratorio, que es considerado ms que el estudio comparativo mismo, seconcibi como una red de los sistemas nacionales de evaluacin emergentes aprincipios de los 90, en momentos en que la responsabilidad de crear y sostenerun sistema de evaluacin era complejo desde el punto de vista tcnico y poltico.En esos momentos, el Laboratorio ofreca un espacio protegido de dilogo yparticipacin para los funcionarios y tcnicos responsables de esos sistemas, ybrind apoyo para la creacin de varios sistemas nacionales de evaluacin.

25


26/81

Segn lo percibe la OREALC, los sistemas nacionales de evaluacin fueronfinanciados por los Bancos pero se crearon en el contexto poltico y cultural delLaboratorio, que a su vez ofreca ciertas garantas a los financistas de que eldinero sera bien invertido. El proyecto de evaluacin comparada del Laboratoriofue financiado inicialmente con los fondos de cada pas participante, y

posteriormente con aportes del BID, que se hicieron efectivos luego que elestudio haba concluido.

Se considera que hubo dos razones fundamentales que motivaron la decisinfinal de realizar el estudio comparado. La primera fue la necesidad de estableceruna comparacin propia, de raz latinoamericana, que tuviera el mnimo posiblede sesgos. La segunda, era obtener una herramienta de informacin quepermitiera apoyar las decisiones de poltica educativa. En relacin a los posiblessesgos en las pruebas, se consideraba que era fundamental contar con pruebasregionales que establecieran parmetros curriculares acordados por todos lospases participantes y que permitieran realizar inferencias ms pertinentes a la

realidad educativa regional. Una tercera razn que motiv a los pases aparticipar en la prueba del Laboratorio en vez de participar en pruebas decobertura mundial fue que el Laboratorio ofreci una alternativa extremadamenteaccesible en trminos econmicos en comparacin con la oferta de otrosestudios internacionales.

El primer objetivo para el Laboratorio era entregar una comparacin de logro, derendimiento acadmico entre pases. En segundo lugar, se pretenda ofrecer unanlisis de factores asociados a ese rendimiento. Otros objetivoscomplementarios eran fortalecer los sistemas nacionales de medicin yevaluacin por la va de la prctica a travs del primer estudio comparado,establecer estndares educativos, y generar una lnea de investigacin a partirde los resultados.

En Argentina, la decisin de participar se tom por dos razones. En primerlugar, por las oportunidades para la capacitacin que ofreca la experiencia. Ensegundo lugar, porque el Laboratorio constitua un espacio para la discusin detemas comunes a las reformas de varios pases, como por ejemplo aqullasobre desarrollo curricular. Se consideraba que se deba tener capacidadinstalada en el pas, y tener datos sobre el rendimiento en el mbito nacional,antes de embarcarse en una propuesta internacional comparada. Argentinarealizaba operativos nacionales desde el ao 1993 y conoca las dificultades quesupone institucionalizar y legitimar polticamente la evaluacin externa. Dadasesas dificultades, era necesario considerar los efectos de las evaluaciones en laopinin pblica, y en ese sentido convena participar primero en una pruebaregional antes que arriesgarse a salir en los ltimos lugares en una prueba decobertura mundial como TIMSS. Los efectos de un ranqueo desfavorable aArgentina se consideraban una amenaza a toda la estrategia de implantacin delsistema nacional de evaluacin. La solucin era graduar la estrategia,estableciendo primero estndares latinoamericanos y despus recin estndares

26


27/81


28/81

no era en ese momento enteramente dependiente del Ministerio de Educacin,se consideraba que era importante participar en una prueba comparada, puestener referentes exclusivamente internos no se consideraba suficiente para

juzgar la calidad de la educacin. Se saba cmo rendan las diferentessubpoblaciones del sistema educativo respecto de un conjunto de destrezas que

se haban definido para el Ecuador, pero se hubiera valorado la medicin conrespecto a otras naciones para rescatar informacin sobre las estrategias depoltica que mejor han funcionado en esas naciones. Adicionalmente, seconfiaba en que la participacin habra contribuido a desarrollar capacidadesnacionales de medicin. En relacin a futuras oportunidades de participacin, yteniendo en cuenta que es necesario priorizar la asignacin de recursos paradecidir sobre el tipo de pruebas comparadas en las cuales participar, seconsidera que es mejor comenzar participando en estudios regionales que enestudios de cobertura mundial.

En Per, la primera propuesta de adhesin al Laboratorio y participacin en la

prueba comparada la realiz la representante de UNESCO en el pas, junto conotro funcionario de la organizacin. Su funcin era mantener el inters delMinisterio de Educacin en el proyecto y que se cumpliera el compromisofinanciero con la OREALC. La decisin de participacin fue tomada por la jefa dela unidad de medicin, junto con la Oficina de Planificacin Estratgica y con elaval de la viceministra. Si bien el Estado estaba atravesando un proceso demodernizacin de la gestin, y el sector educacin en particular experimentabacambios de organizacin central y planes de mejoramiento de los servicios, ladecisin final de participar en el Laboratorio no parece responder a un deseo, almenos no explcito, de reforzar una forma determinada de gestin, como puedeser la de gerenciamiento, o de efectuar mejoras de tipo pedaggico o curricular apartir de los resultados. Sin embargo, se sostiene que los Bancos ejercan unapresin puntual para que se realizaran mediciones de logro acadmico. Las dosrazones ms concretas que se exponen para la participacin son, por un lado,acceder a oportunidades de capacitacin tcnica en diseo de instrumentos yanlisis estadstico va el intercambio con expertos internacionales y, por otrolado, rescatar informacin que permitiera disear algunas medidas focalizadasde poltica, como por ejemplo en la educacin rural. Esa segunda intencin, sinembargo, no parece del todo fuerte dado que el Ministerio de Educacin yaestaba desarrollando un operativo de medicin nacional que le permitira tenerese tipo de informacin en un grado ms detallado, y la Unidad de Medicin notena un inters particular en vincular los datos comparados con los datos quearrojara el sistema nacional. El valor comparativo-competitivo de la experienciano fue considerado. En realidad, era ms bien temido. El proceso de decisin ylos primeros pasos de la participacin fueron algo accidentados, especialmentepor razones polticas internas, pero finalmente, y a pesar de no cumplir con elcompromiso financiero con OREALC, Per aplic las pruebas del Laboratorio.Cabe destacar que durante todo el proceso de evaluacin comparada, el vnculoentre UNESCO-Per y el Ministerio de Educacin fue particularmente dbil.

28


29/81


30/81

percepcin de los responsables del Laboratorio, los coordinadores nacionalestenan una representatividad poltico-tcnica importante y todas las decisioneseran tomadas por acuerdo, tratando de asegurar que todas las voces estuvieranrepresentadas. El diseo de la matriz curricular se hizo con la participacin, enalgunos casos, de los tcnicos en currculo de los diferentes ministerios.

En algunos pases hubo tensiones importantes entre las oficinas del currculo ylos sistemas nacionales de evaluacin, y en algunos casos esa tensindetermin que los departamentos de currculo no estuvieran representados enabsoluto durante el proceso. En este sentido, se admite que la prueba final notena una base curricular de igual significancia para todos los pases, lo cualrepercutira en las inferencias de tipo curricular que se hicieran ms adelante.Esto, a pesar de que los contenidos que se incluan en las pruebas deban estarrepresentados en los currculos de al menos el 80% de los pases participantes.No se esperaba necesariamente una relacin tcnica entre las pruebasnacionales y la del Laboratorio, pero como se evaluaban los mismos grados que

en varios sistemas nacionales, los pases esperaban confirmar de algunamanera lo que ellos mismos venan evaluando internamente. Se aplic la mismaprueba en todos los pases, y no hubo opciones nacionales, con excepcin deMxico donde, junto con la muestra internacional, se realiz una muestranacional de cada uno de los estados.

Desde OREALC se percibe que los pases no tenan definiciones muy concretassobre el tipo de capacidades que deseaban desarrollar mediante su participacinen la prueba comparada. En la prctica, hubo ciertas capacidades que tuvieronmayor desarrollo que otras, siendo de mayor importancia las relacionadas a laconstruccin de pruebas, desde el anlisis curricular hasta la construccin de lostemes mismos, pese a que los temes en su gran mayora fueron construidospor especialistas contratados ad hoc. Desde la coordinacin del proyecto enSantiago se percibe que la comunicacin con los pases era frecuente y ladiscusin profunda. Otro tipo de conocimiento que se gener ampliamenteestuvo relacionado a las tcnicas de muestreo. Si bien el esquema del muestreofue diseado centralmente por la coordinacin, las muestras nacionales fueronseleccionadas por cada pas individualmente y verificadas por la coordinacin encombinacin con un tercer pas que obraba de rbitro o testigo. Eseprocedimiento tuvo un primer propsito que fue el de asegurar la validez de lasmuestras, y otro que aspiraba a fomentar la transferencia de expertise entrepases. Finalmente, la experiencia del Laboratorio contribuy a desarrollarcapacidades operativas para aplicaciones en gran escala, particularmente en lospases que no tenan experiencia con sistemas nacionales. Junto con laexperiencia prctica, el Laboratorio ofreci una serie de talleres para desarrollarcapacidades en la construccin de escalas, en la seleccin de las muestras, enel uso de modelos jerrquicos lineales, entre otros. Durante el desarrollo delestudio tambin participaron expertos de la IEA y de ETS.

30


31/81

Las oportunidades de capacitacin, y de aplicacin prctica de las capacidadesque habra brindado el Primer Estudio Internacional Comparativo, no aparecencomo un elemento tan claro para otros actores del proceso, tanto internacionalescomo nacionales. Voces ajenas al Laboratorio, pero vinculadas estrechamente ala evaluacin educativa en la regin, consideran que el proceso pudo resultar

confuso para algunos pases, especialmente para aqullos donde los sistemasnacionales se encontraban en ciernes o todava ausentes. La OEI, que tambinofrece programas de capacitacin a los sistemas nacionales de evaluacin,sostiene que hay que ser extremadamente cuidadosos en los pases con msbajo desarrollo tcnico, para evitar crear confusin en cuanto al objetivo de lascapacitaciones. Si bien hay capacidades que son requeridas para ambos tiposde mediciones, nacionales e internacionales, los tcnicos nacionales debentener claridad sobre el tipo de aplicacin que se le puede dar a losconocimientos adquiridos, y deben tener la posibilidad de experimentargradualmente, quizs primero en el contexto nacional, y luegointernacionalmente. Ms concretamente, se considera que es imperativo generar

slidas capacidades nacionales de manera tal que los tcnicos que asistan enrepresentacin de sus pases para las pruebas internacionales tengan efectivaautoridad profesional para influir sobre las decisiones tcnicas y as evitenterminar simplemente traduciendo y aplicando mecnicamente las pruebas queotros han diseado.

Con esta postura de la OEI coinciden, en general, las percepciones que sobre eltema tienen quienes representaron a los diferentes pases participantes. EnArgentina, por ejemplo, se percibi que los pases se embarcaban en laexperiencia comparativa en desigualdad de condiciones, y que por lo tanto losaprendizajes durante el proceso dependan de sus capacidades iniciales.Argentina se senta comparativamente fuerte en cuanto a conocimientostcnicos, especialmente porque haban ya ejecutado cuatro o cinco operativosen el mbito nacional. Entre los aspectos ms positivos de la experiencia estnel transitar experiencias compartidas con Amrica Latina, poder discutir conotros pases en situacin de desigualdad tcnica --para lo cual se requieremucha tolerancia y buena voluntad-- y llegar a acuerdos para la toma dedecisiones. La muestra seleccionada fue una submuestra de la muestra deloperativo nacional y se aplic al mismo tiempo que el operativo del ao 1997.Las contribuciones a la matriz curricular del estudio se realizaron sobre el nuevocurrculo nacional (Contenidos Bsicos Comunes). Se tiene la percepcin que elLaboratorio no supo aprovechar adecuadamente los conocimientos y laexperiencia que se tena ya en algunos de los pases, por ejemplo, en lautilizacin de algunos modelos estadsticos. Aun as, el contenido de lasdiscusiones sobre esos temas era interesante e instructivo. La representacin deArgentina fue tcnico-poltica, de alto rango ministerial, como fue el caso de lamayora de los pases. En la opinin de estos representantes, los estudiosinternacionales son estudios de cpula. Cuanto ms internacional es el estudio,ms focalizado, ms restringido es el equipo tcnico-poltico que interviene.

31


32/81

En la experiencia de implementacin de Colombia, se considera que uno de losbeneficios mayores fue el fortalecimiento de la relacin entre el Ministerio deEducacin y el ICFES, cuyos representantes en las reuniones de Laboratoriomantuvieron comunicacin constante. En el ICFES se organizaron las bases dedatos, se digitaron los datos y se envi la informacin procesada al Ministerio. El

ICFES considera que su fortaleza mayor siempre ha sido el manejo operativo delas aplicaciones nacionales, as como el procesamiento mismo de lainformacin. La debilidad mayor, por su parte, ha estado siempre relacionadacon las estrategias de difusin de la informacin sobre logro acadmico yfactores asociados para lograr mayor impacto en el diseo de polticas demejoramiento. En este sentido, el ICFES esperaba aprender ms mediante laparticipacin en la prueba comparada. Si bien tenan expectativas de obtenermayores conocimientos tcnicos mediante esta experiencia, los representantessostienen que tuvieron poca participacin efectiva en el diseo de temes, enparte debido al hecho de que se sumaron al proyecto una vez que ste hubocomenzado. Para cuando los tcnicos del ICFES se incorporaron a la

evaluacin, si bien tuvieron la posibilidad de revisar las pruebas y cuestionariosfinales, sus sugerencias no fueron tenidas en cuenta pues las decisiones yaestaban tomadas. Slo pudieron influir en algunos cambios mnimos y ms bienformales. Entre las deficiencias ms importantes del proceso, mencionan quenunca tuvieron acceso al marco conceptual con el cual se haban construido losinstrumentos. Esto se considera riesgoso pues afecta la validez del anlisis quepueda hacerse de los resultados. La falta de un marco conceptual fundamentadose hizo evidente, por ejemplo, cuando se puso a discusin uno de los temes derespuesta abierta de la prueba. Colombia rechaz dos veces todos los criteriosde calificacin propuestos por los especialistas del Laboratorio, y finalmente eltem fue descartado. El ICFES ya vena experimentando con temes abiertos yconoca los criterios psicomtricos necesarios y aceptables para ese tipo demedicin, y por esa razn tena ms elementos para juzgar el escaso sustentoconceptual del diseo.

Otras recomendaciones que se hicieron al Laboratorio no fueron tenidas encuenta. Una de las razones por las cuales se considera que la comunicacin y elintercambio fall es que no se dio un uso apropiado al recurso de correoelectrnico. La comunicacin flua de los pases hacia la sede del Laboratorio,pero no se facilit la comunicacin entre los pases mismos. Hubiera sidoimportante que toda la informacin y opiniones se distribuyeran ampliamenteentre los participantes, si es que se pretenda desarrollar una visin regionalsobre la evaluacin, sobre las disciplinas, para poder hacer una aproximacin enconjunto a problemas comunes de reforma, y de desarrollo cientfico, cultural ysocial en Amrica Latina. En sntesis, hubo deseo e intencin de comunicacin ycolaboracin multidireccional, pero fall la estrategia. La participacin del ICFESen esta fase de implementacin del estudio fue relativamente alta, pero loaprendido no necesariamente redund tambin en beneficios de aprendizajepara el Ministerio de Educacin, quizs porque lo que se aprendi no es deaplicacin permanente en ese mbito.

32


33/81

Para Cuba, la participacin en la prueba comparada de Laboratorio fue unproceso de amplio aprendizaje. En l participaron investigadores del Instituto deCiencias Pedaggicas en representacin nacional, pero tambin de otrasuniversidades, as como maestros y asesores provinciales y municipales en

diferentes reas disciplinares. Valoran particularmente la participacin en eldiseo de las matrices curriculares, pues fue en esa fase del estudio cuando serevelaron falencias del currculo cubano, como por ejemplo con relacin alescaso enfoque comunicativo en el rea de lenguaje, o la demora en introducircontenidos de matemticas en los grados inferiores. Tambin fue un momentode confrontacin tcnica entre diferentes formas de evaluar, con lo cual segener debate y se accedi a nuevos conocimientos sobre evaluacin, como porejemplo con relacin al diseo y calificacin de respuestas abiertas. Finalmente,la experiencia permiti acceder a nuevas tecnologas de medicin, tales como elmodelo de Rasch y modelos jerrquicos lineales. Ese conocimiento se difundi aotros profesionales del pas que no estaban directamente involucrados en la

evaluacin del Laboratorio. Tambin hubo intencin de incluir en el diseo delestudio una opcin nacional que, por razones de financiamiento, no pudoconcretarse.

Para Per, la representacin y participacin durante el proceso deimplementacin de la prueba fue bsicamente de carcter tcnico. Las primerasdificultades estuvieron relacionadas a factores polticos, concretamente deantagonismo entre un dirigente sindical que fungi como representante ante elLaboratorio inicialmente y la cpula directiva del Ministerio. Luego cambi eserepresentante y el proceso de implementacin se volvi eminentemente tcnico.Durante las reuniones internacionales se discuti el diseo de la prueba, lamuestra y la utilidad potencial de la informacin que se recogera. La percepcinen cuanto a las posibilidades de influir sobre el diseo es que slo se materializcon relacin a los cuestionarios de factores asociados, no a las pruebas mismas.Participaron en la revisin de los temes ya formulados, pero los aportes nofueron sustanciales, sino slo para reducir algunos sesgos percibidos. Sinembargo, se considera que fue de gran utilidad un curso de capacitacin de 15das de duracin que el Laboratorio ofreci en Santiago de Chile.

Al igual que en Colombia, no se percibe que la experiencia haya constituido unespacio de identidad y comunicacin regional. Durante el proceso de desarrolloe implementacin las reuniones eran ms bien fluidas y Per no realiz mayoresobservaciones tcnicas, aunque en algunas de las reuniones los coordinadoresnacionales llegaron a ciertos consensos para garantizar la comparabilidad de losdatos. La escasa intervencin durante ese tiempo pudo haberse debido al tipode dinmica utilizada para las discusiones, que ahorraba tiempo de debate y lepermita al Laboratorio continuar con los tiempos establecidos desde el inicio.Las objeciones tcnicas mayores que Per hizo al Laboratorio no seincorporaron sino hasta el final del proyecto, cuando se dieron a conocer losresultados, tema que se retoma en la prxima seccin. Per no propuso aplicar

33


34/81

opciones nacionales, pero s acord establecer estndares sobre los cualesrealizar las mediciones, aunque luego ese acuerdo se cambi por decisincompartida entre los pases.

Etapa: Interpretacin y diseminacin de resultadosLa entrega de los resultados finales por parte de la UNESCO-OREALC se hizodirectamente a los ministerios, a la vez que se realizaron conferencias de prensaen Santiago de Chile y se edit un compacto para televisin que fue difundidopor la Red de TV Espaola a Amrica Latina. Todos los pases participantes dela prueba del Laboratorio haban asumido el compromiso de publicar losresultados, es decir que los resultados pudieran hacerse pblicosinternacionalmente, independientemente de lo que cada gobierno decidierahacer con la informacin. La OREALC considera que un sistema de evaluacininternacional opera en la confianza, y por eso fue muy difcil resolver las

situaciones que se presentaron hacia el final de la experiencia, cuando dos delos pases participantes, Mxico y Per, cuestionaron la validez de los resultadosy no autorizaron su publicacin.

Otro problema, relacionado al anterior, es que no se haba anticipado desde elLaboratorio que la informacin generada por la evaluacin sera de intersprincipalmente para la cpula de gabinete ejecutivo en cada pas, y que el flujode informacin ms importante se dara solamente entre ministros de educaciny sus presidentes de gobierno. Era decisin de los gobiernos cul sera ladifusin que se dara a la informacin en cada pas, y en muchos casos losresultados slo circularon en reuniones de cpula, acaso compartiendo unresumen con la prensa, pero sin la voluntad de generar debate pblico sobre eltema. Esta falta de difusin en los pases se atribuye, entre otras cosas, a lagran diferencia de rendimiento entre Cuba y el resto de los pases. Se interpretaque algunos de los pases que haban realizado cuantiosas inversiones enreformas con apoyo internacional, principalmente de Estados Unidos, sentangran incomodidad al ver que un pas no alineado con las polticas de desarrollode los 90 estuviera tan por encima del resultado del resto de la Regin. Estopuede en realidad haber inhibido una mayor difusin de los datos en cada pas,sumado al hecho de que existe una fuerte resistencia cultural a la comparacin,y especialmente a la comparacin con pases ms desarrollados. Slo Chile yColombia se han comparado pblicamente con pases altamenteindustrializados. En un estudio latinoamericano, por otro lado, haba laesperanza de que todos lograran un resultado similar, y el hecho de que Cubaquebrara esa expectativa caus incomodidad en las esferas polticas de lospases vecinos.

Los pases participantes saban con anticipacin cul sera el mecanismo deanuncio de manera tal que pudieran preparar sus propias estrategias decomunicacin internamente y ante la opinin pblica. El Laboratorio public dos

34


35/81

informes principales. El primero presenta los resultados comparativos en formade rankingy desagregados por estratos. Esta primera informacin se considerde carcter ms bien poltico, simplemente para saber la posicin relativa de lospases. El segundo informe, que sali tiempo despus, ofrece un anlisis defactores asociados al rendimiento acadmico en el conjunto de pases

participantes, y se concibi con la idea de ofrecer mejores insumos deinformacin para la toma de decisiones de poltica educativa y para estudiosacadmicos en la Regin. Si bien el informe no presenta esta informacindesagregada por pases, lo cual limita el uso que cada sistema nacional lepueda dar a los datos, se espera que cada pas realice luego su propio anlisisde factores asociados con la asistencia tcnica del Laboratorio.

Los equipos de representacin tcnica y poltica de los pases participantes nocambiaron demasiado entre las primeras fases de la experiencia y el momentoen que se entregaron los resultados. Esto debi permitir que la informacintuviera ms impacto dentro de cada pas, pero sin embargo ese impacto no se

percibi, como ser descrito en la prxima seccin. La organizacin delLaboratorio asume parte de la responsabilidad por esa falta de impacto debido aque no se dedic tiempo y recursos suficientes a la planificacin y ejecucin deuna estrategia de difusin regional adecuada. Este aspecto de las evaluacionesse considera como la gran debilidad de las experiencias de medicin, tantointernacionales como nacionales. Sin embargo, a pesar de esta autocrtica, caberecordar que el Laboratorio, como organismo internacional e intergubernamental,tiene limitaciones formales en cuanto al grado de involucramiento e influenciaque puede ejercer sobre las polticas educativas de los pases miembro.

En Argentina, la principal receptora de los resultados fue la Ministra deEducacin, quien los comparti inmediatamente con el gabinete ejecutivo de laPresidencia. La lectura que se dio a los datos fue mnima, en parte porque elprimer informe slo fue comparativo y no permita realizar inferencias sobre lasrazones que explicaban esos resultados. Se interpret que los datosconfirmaban de alguna manera lo que decan los resultados de los operativosnacionales en cuanto a, por ejemplo, diferencias significativas de rendimientoentre estratos socioeconmicos, o entre escuelas pblicas y privadas. Como enel resto del continente, sorprendieron los resultados de Cuba, los que seatribuyeron al alto valor social que se le otorga a la educacin en ese pas. Antesde la devolucin de resultados no se previeron estrategias de difusin y a laprensa slo se le entreg una copia del informe oficial del Laboratorio, sininterpretaciones por parte del Ministerio. Se considera que habra podido darsems uso a la informacin del segundo informe del Laboratorio, si ste hubierasalido durante la gestin ministerial anterior. Retrospectivamente, se piensa quela estrategia de difusin que falt debi consistir en una socializacin amplia delos resultados, con los medios de comunicacin, y entre directores de escuela,padres de familia y asociaciones civiles. Se asume que la escasa difusin de losresultados se debe, tambin, a que OREALC no propuso una estrategia definidaal respecto.

35


36/81

El Ministerio de Educacin de Colombia sostuvo con el ICFES algunasdiscusiones sobre la visin poltica del proyecto, sobre el tipo de informacin quese esperaba rescatar, y sobre el tipo de impacto que se esperaba luego de ladifusin de los resultados. Sin embargo, debido a la falta de estrategia y de

marco conceptual regional mencionada anteriormente, las conclusiones a lasque llega el Laboratorio no estn planteadas en una forma que pueda afectar latoma de decisiones de poltica. Adems, se percibe que los resultados no estncontextualizados en el continente, en parte por la ausencia de estndaresregionales, y porque el proyecto no ofreci un marco interpretativo de losresultados con relacin al alcance y cobertura de las reformas y polticaseducativas implementadas en la ltima dcada. Es decir, si bien se estudiaronvariables asociadas al logro acadmico, esas asociaciones no estncontextualizadas en un marco conceptual de poltica educativa regional.

En Cuba exista la percepcin de que los resultados seran altos debido a los

muchos aos de una poltica sectorial orientada a la distribucin masiva yequitativa de oportunidades educativas. Adems, se saba que Cuba tena,regionalmente, el ms alto ndice cultural de padres de familia, as comoprogramas de salud infantil de amplia cobertura. Se esperaba con ansiedad losresultados del segundo informe, y se recibi con beneplcito la informacinsobre los efectos positivos del clima escolar sobre los aprendizajes, lo cual ellosinterpretan como resultado de varias dcadas de polticas sociales en su pasque fomentan la solidaridad. La difusin que se dio a los resultados del primerinforme tuvo un marcado, y deliberado, cariz poltico, en tanto se difundi por laprensa radial y televisiva, y entre los participantes del Congreso de JvenesComunistas, como un logro significativo de la poltica social cubana.

En Per, al tiempo de publicarse los datos, Fujimori an se aferraba al slogan dehacer de la educacin peruana la mejor de Amrica Latina, y los resultados dela prueba comparada podan ser interpretados como evidencia de que poco onada se estaba avanzando hasta entonces en esa direccin. Desde laconduccin del Laboratorio, y tambin por parte de los representantesnacionales por Per, se presuma desde antes de la conclusin del estudio queel gobierno no tena intenciones de publicar los resultados. Sin embargo, losrepresentantes peruanos tambin expusieron razones tcnicas por las cuales serequeran ms detalles tcnicos sobre el anlisis de los datos, y se solicitaba unplazo adicional antes de publicar los resultados internacionales. Anteriormente, ydurante la fase de diseo y aplicacin de pruebas, Per ya haba realizadoalgunas observaciones tcnicas sobre los instrumentos, que al parecer no fuerontenidas en cuenta. Finalmente, la peticin de un plazo adicional antes de lapublicacin fue interpretado como que Per no autorizaba la publicacin de susresultados y el Laboratorio liber el primer informe sin los datos peruanos. En uncontexto de mucha tensin poltica en el Per, donde las crticas al autoritarismodel gobierno de Fujimori se venan intensificando, la no-publicacin de losresultados fue rpidamente interpretada como una privacin al derecho

36


37/81

constitucional de acceso a la informacin pblica. A pesar de que existieronrazones tcnicas fundamentadas por las cuales se solicit que los resultados nose publicaran, los coordinadores nacionales del Per son concientes de queprobablemente nunca hubo intencin de publicar por parte del gobierno. Estehecho coincide con la no-publicacin de los resultados de las pruebas

nacionales, con lo cual se incrementan las razones para pensar que exista laintencin de ocultar cualquier informacin desfavorable al gobierno. Lasprimeras demandas de publicacin se realizaron en el Congreso de laRepblica, en la voz de un congresista de oposicin, y fueron seguidas por lademanda de informacin de al menos dos periodistas de televisin que sabande la partici

pruebas internacionales de logros de aprendizaje

Documents