documentos - inter-american dialoguearchive.thedialogue.org/publicationfiles/preal 38-spanish.pdf2....

DOCUMENTOS

Programa de Promoción de la Reforma Educativa en América Latina y el CaribePartnership for Educational Revitalization in the Americas


El Programa de Promoción de la Reforma Educativa enAmérica Latina y el Caribe es un proyecto conjunto delDiálogo Interamericano, con sede en Washington, y laCorporación de Investigaciones para el Desarrollo, consede en Santiago de Chile.

Desde su creación en 1995, el PREAL ha tenido comoobjetivo central contribuir a mejorar la calidad y equidadde la educación en la región mediante la promoción dedebates informados sobre temas de política educacional yreforma educativa, la identificación y difusión de buenasprácticas y la evaluación y monitoreo del progresoeducativo.

La ejecución de las actividades se realiza a través deCentros Asociados de Investigación y Políticas Públicasen diversos países de la región y comprenden larealización de estudios, la organización de debates y lapromoción de diálogos públicos sobre temas de políticaeducacional y reforma educativa.

Las actividades del PREAL son posibles gracias al apoyode la United States Agency for International Development(USAID), el Banco Interamericano de Desarrollo (BID),la International Association for the Evaluation ofEducational Achievement (IEA), GE Foundation, TheTinker Foundation, entre otros.

Inter-American Dialogue • 1211 Connecticut Ave. N.W. Suite 510Washington, D.C. 20036 U.S.A. • Tel: (202) 822-9002Fax: (202)822-9553 • E-mail: [email protected]: www.thedialogue.org & www.preal.org

CINDE • Santa Magdalena 75, Piso 10 • Oficina 1002 • ProvidenciaSantiago, Chile • Tel: (56-2) 334-4302

Fax: (56-2) 334-4303 • E-mail: [email protected]: www.preal.org

1

N˚ 38

Laurence Wolff*Julio 2007

Las opiniones vertidas en este trabajo son responsabilidad del autor y no comprometen a PREAL ni a las instituciones que lopatrocinan.

Los costos de lasevaluaciones de aprendizaje

en América Latina


* Laurence Wolff se ha desempeñado desde 1997 como consultor del Banco Interamericano de Desarrollo, entre otras agenciasy organizaciones. Con anterioridad, trabajó durante 22 años con el Banco Mundial. De nacionalidad norteamericana, tiene elgrado de Dr. en Planificación Educativa del Harvard Graduate School of Education.

2

© 2007 Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL)

Todos los derechos reservados

Si desea solicitar copias adicionales, contacte al PREAL y al Inter-American Dialogue.Este estudio puede ser descargado de: www.preal.org/publicacion.asp

Inter-American Dialogue1211 Connecticut Avenue, NW, Suite 510Washington, DC [email protected] y www.preal.org

Para citar: Wolff, Laurence, Los Costos de las Evaluaciones de Aprendizaje en América Latina(Washington, DC: PREAL, 2007).

ISBN: 0-9772271-8-9Primera EdiciónPublicado en Chile

Diseño e Impresión:Editorial San Marinoesm.cl

3

RECONOCIMIENTOS .......................................................................................... 5

ACRÓNIMOS Y ABREVIATURAS ....................................................................... 6

RESUMEN EJECUTIVO....................................................................................... 7

I. ¿POR QUÉ ESTIMAR LOS COSTOS DE LAS EVALUACIONES? ............ 8

• EVALUAR ES FUNDAMENTAL .......................................................................... 8• TRES TIPOS BÁSICOS DE EVALUACIONES....................................................... 9• SÍNTESIS DEL ESTUDIO ...............................................................................10

II. LOS COSTOS DE LAS EVALUACIONES EN AMÉRICA LATINA ............. 12

• PRUEBAS CENSALES ................................................................................... 12• PRUEBAS MUESTRALES ...............................................................................15• PARTICIPACIÓN EN EVALUACIONES INTERNACIONALES ................................ 22

III. CONCLUSIONES SOBRE LOS COSTOSDE LAS EVALUACIONES EN AMÉRICA LATINA ...................................... 25

• EL COSTO DE LAS EVALUACIONES COMO

PORCENTAJE DE LOS COSTOS DE LA EDUCACIÓN ........................................ 25• VARIABILIDAD DE LOS COSTOS DE LAS EVALUACIONES ............................... 28

IV. COSTOS Y TOMA DE DECISIONES SOBRE LAS EVALUACIONES ...... 31

• LA DIFICULTAD DE MEDIR RESULTADOS EN EDUCACIÓN ............................... 31• EQUILIBRANDO LO DESEABLE Y LO POSIBLE (TRADE-OFFS)

EN TÉRMINOS DE METAS, COMPLEJIDAD, CAPACIDAD YCOSTOS DE LAS EVALUACIONES .................................................................. 31

• ENFATIZANDO LA DIFUSIÓN DE LOS RESULTADOS ........................................ 32• EL IMPACTO POTENCIAL DE LAS PRUEBAS DE ALTAS CONSECUENCIAS ........ 33• EL VALOR DE PARTICIPAR EN PROGRAMAS INTERNACIONALES

DE EVALUACIÓN ...........................................................................................34• NECESIDAD DE IDENTIFICAR “QUÉ FUNCIONA” EN LA EDUCACIÓN ................ 34

BIBLIOGRAFÍA ................................................................................................... 35

• ANEXO: RESUMEN DE SISTEMAS NACIONALES DE

EVALUACIONES DE APRENDIZAJES .............................................................. 37

ÍNDICE

4

1. Objetivos posibles de las evaluaciones realizadas en América Latina

2. Chile - Pruebas SIMCE

3. Colombia - Evaluación nacional en educación básica y examen de ingresoa la educación superior

4. Colombia - Prueba muestral de educación básica

5. Uruguay - Prueba muestral de educación primaria y media

6. Perú - Prueba muestral de educación primaria y secundaria

7. Honduras - Evaluación muestral

8. Uruguay - Participación en PISA

9. Perú - Participación en PISA

10. Colombia - Costos de participación en PIRLS

11. Costos estimados de la prueba LLECE de UNESCO 1997-99

12. Resumen de los costos de las evaluaciones en América Latina

13. Costo estimado de intervenciones potenciales en educación primaria

14. Costos de evaluación por área de estudio y grado evaluados

Lista de tablas

Lista de gráficos

1. Costos de evaluación como porcentaje del presupuesto total del nivel edu-cativo correspondiente

2. Costos totales y costos ajustados

3. Costos totales y costos ajustados por alumno evaluado

5

El autor desea agradecer a los funcionarios e investigadores Lorena Meckes

(Chile), Daniel Bogoya y Álvaro Díaz (Colombia), Renán Rápalo (Honduras),

Liliana Miranda (Perú), y Pedro Ravela y Beatriz Picaroni (Uruguay) por su

gentil aporte de información para el presente estudio y por comentar los

borradores; a Lucrecia Palacios y Julien Hautier por su asistencia en el análisis

de datos; a Jeff Puryear, Hans Wagemaker y Andreas Schleicher por sus

comentarios a versiones preliminares; a Kristin Saucier por darle forma final al

documento. El autor está sumamente agradecido a Patricia Arregui por su

apoyo continuo al inicio y durante la preparación de este informe. Cualquier

error o inconsistencia en los datos son responsabilidad del autor.

Reconocimientos

6

ANEP Administración Nacional de la Educación Pública - Uruguay

PBI Producto Bruto Interno

ICFES Instituto Colombiano para el Fomento de la Educación Superior -Colombia

BID Banco Interamericano de Desarrollo

IEA International Association for the Evaluation of Educational Achieve-ment (Asociación para la Evaluación de los Logros Educativos)

LLECE Laboratorio Latinoamericano de Evaluación de la Calidad de laEducación

PIRLS Progress in Reading and Literacy Study

PISA Programme for International Student Assessment

PPA Paridad del Poder Adquisitivo

SABER Sistema Nacional de Evaluación de la Calidad de la Educación -Colombia

SIMCE Sistema de Medición de la Calidad de la Educación - Chile

TIMSS Trends in International Mathematics and Science Study

UMC Unidad de Medición de la Calidad Educativa - Perú

UMCE Unidad de Medición de la Calidad Educativa - Honduras

UNESCO United Nations Educational, Scientific, and Cultural Organization

Acrónimos y Abreviaturas

7

RESUMEN EJECUTIVO

La realización de evaluaciones, al menos a unnivel muestral, se está convirtiendo rápidamenteen un elemento fundamental de los sistemaseducativos modernos, dado que representa unaparte necesaria del proceso de diseño, imple-mentación y evaluación de programas para mejo-rar la calidad de la educación y, además, porquepaíses de muchos lugares del mundo están reali-zando crecientemente evaluaciones censales,usualmente en determinados grados escolares.

Hasta el momento, se ha publicado muy poca in-formación respecto al tema de los costos de lasevaluaciones y ninguna sobre el caso particular deAmérica Latina. El presente estudio tiene comopropósito brindar estimados preliminares sobreeste tema, basados en información provista porChile, Colombia, Honduras, Perú y Uruguay.

Cada uno de estos países ha seguido su propioconjunto de criterios y definiciones, y no se harealizado trabajo de campo para confirmar susestimados. En particular, los costos indirectos deadministración de una unidad de evaluación nohan sido considerados. Los datos presentadosdeben ser, por lo tanto, considerados indicativosmás que definitivos. Los datos disponibles co-rresponden a evaluaciones censales en Chile yColombia, a evaluaciones muestrales en cuatrode los cinco países y a evaluaciones internacio-nales (muestrales) en Chile, Colombia y Perú.

Esta revisión condujo a los siguientes hallazgos:

• Los costos varían significativamente de paísen país, incluso cuando se evalúa aproxi-madamente al mismo número de estudian-tes. Esta variación responde a diversas ra-zones, tales como las siguientes:– Algunos países evalúan varios grados y

materias en un mismo momento o tienenuna cobertura curricular más extensa y/oprofunda, lo que incrementa los costos.

– Algunos países recogen información so-bre posibles factores determinantes delrendimiento, mientras que otros no lohacen.

– Los países con gran número de habi-tantes y amplia área territorial son máscostosos de muestrear que países máscompactos; es más costoso calificarrespuestas a preguntas abiertas que apreguntas de opción múltiple.

– Países con limitados recursos humanospueden requerir de los servicios de con-sultores locales o internacionales, loque resulta más caro.

– Algunos países consideran deseableque sean los mismos profesores o fun-cionarios del sector quienes adminis-tren las pruebas, mientras que otrosprefieren contratar examinadores exter-nos.

– Las escalas salariales pueden variar depaís en país aun luego de considerar laparidad del poder adquisitivo (PPA).

Las comparaciones de costos –que no son elfoco central de este estudio– deberían tomar encuenta dichas diferencias1.

• Los costos absolutos de realizar evalua-ciones fluctúan entre $ 111,000 (PPA) poruna evaluación muestral en Uruguay hasta$ 6.5 millones en Chile por una evaluaciónaplicada a todos los estudiantes de octavogrado2. Comprensiblemente, las evalua-ciones censales son más costosas que lasmuestrales. Los costos de participación enprogramas de evaluación internacionalestales como el Programa para la Evalua-ción Internacional de Estudiantes (PISA) yEstudio sobre Tendencias Internacionales

1 Se ha incluido unas tablas en el anexo para facilitar dichascomparaciones.

2 Todos los valores monetarios señalados en este estudio estánexpresados en su equivalencia en dólares americanos converti-dos utilizando la paridad del poder adquisitivo (PPA).

8

en Matemáticas y Ciencias (TIMSS) estánen un rango de $ 311,000 a $ 599,000 en3 países.

• Los costos por alumno obviamente varíandependiendo del número de alumnos eva-luados. Van desde $2.50 por alumno en unaevaluación de más de un millón de estu-diantes en Colombia hasta alrededor de$100 por alumno en Perú y Colombia poruna evaluación muestral de 5,000 alumnosen una prueba internacional.

A pesar de estas diferencias, los costos de eva-luaciones tal y como se realizan en la región(por ejemplo, pruebas muestrales o evaluacio-nes censales a determinados grados) no repre-sentan una carga pesada para los presupuestoseducativos. En ninguno de los países estudia-dos las evaluaciones representaron más del0.3% del presupuesto educativo del nivel eva-luado (por ejemplo, primario o secundario).

Sobre la base de los datos provistos, así comode la revisión de literatura sobre el impacto de lasevaluaciones en el rendimiento académico, sepuede arribar a las siguientes conclusiones:

• Evaluar está entre las innovaciones menoscostosas en la reforma educativa primaria,teniendo un costo mucho menor al del au-mento de los salarios docentes, la reduc-ción del tamaño de los salones de clase o lareforma de la formación docente.

• Los costos juegan un rol importante, perono determinante, en la toma de decisionessobre evaluación. Cada país tiene un con-junto de condiciones diferente, y los toma-dores de decisiones y los técnicos necesi-tan tomar sus propias decisiones(trade-offs) sobre la amplitud y profundidadde las mediciones en función a sus propiosobjetivos y capacidades. Dadas las actualescapacidades, no es recomendable evaluar atodos los estudiantes de todos los grados,tal como está normado actualmente en Es-tados Unidos.

• Las únicas situaciones en las que las eva-luaciones pueden ser consideradas comoun mal uso de fondos públicos es cuando lacalidad técnica de las pruebas es tan bajaque no permite arribar a conclusiones váli-das sobre el aprendizaje, o cuando la infor-mación obtenida con las pruebas no se di-semina ni ut i l iza. Los tomadores dedecisiones no deben subestimar la compleji-

dad y los retos técnicos que implica la medi-ción del logro académico y deben realizartodos los esfuerzos posibles por aseguraralta calidad técnica. Asimismo, debe contar-se con un plan de diseminación completa-mente financiado antes de comenzar cual-quier programa de evaluación.

• Hay creciente evidencia internacional quesustenta que las pruebas de altas consecuen-cias, o los exámenes de salida basados en elcurrículo, diseñados para certificar que los es-tudiantes han completado exitosamente un ni-vel de educación (usualmente la secundaria),pueden elevar el nivel de logro académico.Los países podrían considerar esta opcióncomo un medio para mejorar el rendimientoacadémico en la educación secundaria.

• La participación en pruebas internacionalesno resulta costosa, y puede resultar muyrentable si se usan los resultados para re-formar el currículo y los programas de for-mación docente.

• Se debe invertir más dinero en medir “aque-llo que funciona” en educación, incluyendo,pero no restringiéndose a los posibles im-pactos de las evaluaciones en el rendimien-to académico.

I. ¿POR QUÉ ESTIMAR LOS COSTOS DELAS EVALUACIONES?

El principal propósito de este documento esaportar información sobre los costos de las eva-luaciones en América Latina. Hasta ahora nohay información publicada sobre el tema. Ha ha-bido quejas anecdóticas sobre los altos costosde las evaluaciones, sobre todo comparadoscon los limitados fondos discrecionales disponi-bles en los ministerios y la alta dedicación detiempo exigida a un puñado de personas califi-cadas. Por ahora, el debate sobre los costos deevaluación no ha llegado aún a la opinión públi-ca. Esto puede cambiar a medida que las eva-luaciones se amplíen y que en una serie de paí-ses las agencias externas que actualmente lasfinancian insistan en que estos costos se inte-gren en los presupuestos ordinarios.

EVALUAR ES FUNDAMENTAL

Este trabajo asume que la realización de eva-luaciones, al menos a un nivel muestral, es unelemento fundamental de los sistemas educati-vos modernos, dado que representa una parte

9

necesaria del proceso de diseño, implementa-ción y evaluación de programas para mejorar lacalidad de la educación. El estudio se basa endatos gentilmente puestos a disposición por losfuncionarios de cinco países de la región –Chile,Colombia, Honduras, Perú y Uruguay– sobretres tipos de evaluaciones:

• Universales o censales (es decir, pruebasaplicadas a todos los estudiantes en gradosseleccionados) en Chile y Colombia.

• Pruebas muestrales nacionales (es decir,pruebas aplicadas a muestras aleatorias deestudiantes a fin de generalizar resultadospara el universo no evaluado) en Colombia,Uruguay, Honduras y Perú.

• Participación en programas internacionalesde pruebas muestrales en Colombia, Perú yUruguay.

Los informantes fueron generalmente los en-cargados de los programas de evaluación na-cional, o colegas por ellos designados. Loscostos son comparados con los costos de edu-car a los estudiantes del nivel en que se efec-túa la prueba y como porcentaje de los costostotales por estudiante en cada país. Los datosse presentan en moneda local y en dólares es-tadounidenses, estimados según su “paridadde poder adquisitivo” (PPA) del año en que seefectuó la prueba3. Cada uno de los países haseguido su conjunto propio de criterios y defini-ciones, y no se ha realizado trabajo de campopara confirmar sus estimados. Los datos pre-sentados deben ser, por lo tanto, consideradosindicativos más que definitivos. Se espera queestudios futuros puedan calibrar de maneramás fina los costos de las evaluaciones enesos y, ojalá, muchos otros países.

TRES TIPOS BÁSICOS DE EVALUACIONES

En América Latina, 16 países evalúan hoy a susestudiantes, ya sea en base a censos o a mues-tras. Chile evalúa regularmente a todos los estu-diantes en grados seleccionados. Otros paísesde la región que evalúan al universo de estu-diantes en grados y años seleccionados sonMéxico, Colombia y varios estados del Brasil. ElSalvador empezó recientemente a evaluar a to-dos los estudiantes de grados seleccionados,mientras que Guatemala planea hacerlo en unfuturo cercano. Estos países usan pruebas cen-sales para una variedad de propósitos, pero es-pecialmente para diagnóstico y retroalimenta-ción a las partes interesadas. Chile emplea losdatos para identificar escuelas y localidades quenecesitan ayuda, recompensar a los maestrosde buen desempeño, estudiar las causas de loséxitos y fracasos e informar a los padres sobreel progreso de sus hijos. En Chile y México lospuntajes relativos de los estudiantes en las eva-luaciones tienen efectos sobre los salarios delos maestros o en sus posibilidades de ascenso.

Las pruebas censales pueden usarse para deter-minar si los alumnos recibirán un diploma o siavanzarán al siguiente nivel educativo. Estasevaluaciones de altas consecuencias se aplicana todos los estudiantes al final de un ciclo, usual-mente la educación secundaria. Son comunes enEuropa, el Lejano Oriente y en países anglófonosy francófonos, incluido el Caribe de lengua ingle-sa, como también en algunos estados de Esta-dos Unidos. En América Latina, Costa Rica, Re-pública Dominicana y El Salvador exigen hoy unaprueba de secundaria que vale entre 20% y 25%de la nota de egreso de secundaria. Los paísesangloparlantes del Caribe evalúan a todos los es-tudiantes en un contexto de altas consecuencias(usual, aunque no exclusivamente, para culminarla educación secundaria).

También se pueden evaluar muestras de estu-diantes, como es el caso de casi todos lospaíses de la región que tienen programas deevaluación. Las muestras (como también laspruebas censales) pueden usarse para deter-minar en qué medida el currículo nacional ylos estándares acordados están siendo exito-samente implementados en el aula, así comopara estudiar cuáles son los factores que con-tribuyen a los resultados diferenciales de di-versas poblaciones de estudiantes. Puedenayudar a diseñar programas y materiales para

3 Este ratio, usado por el Banco Mundial, la Organización para laCooperación y el Desarrollo Económico (OCDE) y otras agenciasinternacionales, ha sido diseñado para evitar problemas de so-brevaluación y subvaluación de monedas basadas en tasas decambio oficiales, tomando en cuenta el poder adquisitivo de lasmonedas locales, lo que permite que las cifras puedan ser máscomparables. Como la moneda en la mayoría de los países envías de desarrollo está subvaluada, los estimados de la PPA sue-len mostrar estimados en US dólares más altos comparados conaquellos estimados basados en tasas de cambio oficiales. Porejemplo, el ingreso per cápita en Chile y Perú es más del doblede alto si se usa la tasa PPA que la tasa de cambio oficial; elingreso per cápita en Colombia es tres veces más alto y en Hon-duras 2,5 veces más. Las tasas PPA y las de cambio oficialespara 2002 pueden encontrarse en el sitio web del Banco Mundial.Ver http://siteresources.worldbank.org/ICPINT/Resources/Table5_7.pdf Todos los valores monetarios de este informe estánexpresados en equivalencias a dólares americanos convertidosusando PPA.

10

maestros en áreas donde un amplio porcenta-je de estudiantes tiene mal rendimiento, ypara evaluar el impacto de diversos progra-mas y políticas. Con muestras no es posibleidentificar, recompensar ni sancionar a escue-las o docentes individuales por su desempeñorelativo. En el Perú a veces se han evaluadomuestras relativamente grandes para obteneruna idea del progreso de unidades territorialessubnacionales, mientras que en Colombia sedispone de resultados que permiten análisismás finos de lo que está sucediendo en algúnárea metropolitana. En Uruguay el muestreose usó para evaluar el impacto de la reformaen la capacitación de maestros, la introduc-ción de la escolaridad de jornada completa, yprogramas dirigidos a niños de las familiasmás pobres. En Honduras, se ha usado elmuestreo para obtener una idea general delaprendizaje en el país, para comparar elaprendizaje por región y ciudad, y para identi-ficar los factores asociados con el aprendiza-je. El gobierno federal de Brasil suele evaluara los estudiantes para comparar el progresode estados y municipios.

Una variación de las pruebas muestrales se dacuando los países participan en programas in-ternacionales de evaluación, como es cada vezmás el caso en América Latina (ver recuadro).Como estas pruebas tienen el propósito de ubi-car a un país en el contexto de otros países, sesuele requerir una muestra aleatoria relativa-mente pequeña, de entre 5,000 a 7,000 estu-diantes. Este es el mínimo para asegurar unrazonable intervalo de confianza en los resulta-dos. En algunos casos se toman muestras deeste tamaño en cada una de varias provincias,de manera que cada una es considerada enefecto como un país. En la evaluación PISA2003 y 2006, México implementó una muestrade más de 30,000 estudiantes a fin de obtenerdatos confiables para cada estado. Entre losobjetivos de participación en pruebas interna-cionales están el ayudar a establecer nuevasmetas nacionales para logros de aprendizaje,reformar el currículo y/o la capacitación demaestros a fin de alcanzar dichas metas. Unresumen completo de la situación de las eva-luaciones en América Latina se encuentra enFerrer (2004).

Participación reciente de América Latinaen pruebas internacionales

• Laboratorio Latinoamericano de Evalua-ción de la Calidad de la Educación-LLECE: 13 países en 1997; 16 paísesmás un estado mexicano en la segundaaplicación en el año 2006.

• El Programa para la Evaluación Interna-cional de Estudiantes (PISA) de la Orga-nización para la Cooperación Económicay el Desarrollo (OECD’s Programme forInternational Student Assessment): Ar-gentina, Brasil, Chile, México, Perú yUruguay en el año 2000 y/o 2003; Argen-tina, Brasil, Chile, Colombia, México yUruguay en 2006.

• Estudios sobre Tendencias en Matemáti-cas y Ciencias (TIMMS) (Trends in Ma-thematics and Science Studies) de la In-ternational Association for the Evaluationof Educational Achievement (IEA): Ar-gentina, Chile, Colombia y México en2003.

• Estudio sobre el Progreso en Lectura yLiteracidad (PIRLS) (Progress in Rea-ding and Literacy Study), otra iniciativaapoyada por la IEA: Argentina, Belice yColombia en el año 2001.

La decisión de si aplicar pruebas censales omuestrales debe tomarse en base al uso cuidado-samente pensado y planificado de los resultadosde las pruebas, algo que con frecuencia ha sidopasado por alto en América Latina (ver introduc-ción a Ravela 2001). La tabla 1 presenta un resu-men de los objetivos posibles de las evaluaciones,según estos tres tipos de pruebas: participaciónen programas de evaluación internacional, evalua-ción de muestras de estudiantes y evaluación detodos los estudiantes en un mismo grado.

SÍNTESIS DEL ESTUDIO

Como veremos, los costos por estudiante difie-ren significativamente de un país a otro, peroesto no debe interpretarse como que un paísestá gastando “demasiado” por estudiante enlas evaluaciones, sino más bien que las condi-ciones de evaluación difieren mucho de un paísa otro. Por ejemplo, tomar una muestra aleatoriaen Uruguay es mucho más simple y menos cos-toso que tomarla en Perú, cuya gran extensión

11

física, variedad y dificultad de terrenos elevansignificativamente los costos, especialmente detransporte, de un estudio muestral. Como otroejemplo, una prueba con solo preguntas de op-ción múltiple, como en el caso de Colombia, esmucho menos costosa de corregir que una conpreguntas abiertas. El propósito de este informeno es comparar los altos o bajos costos entrelos países, sino más bien brindar un panoramadel rango de los costos de evaluación en la re-gión e identificar las situaciones sobre el terre-

no, las alternativas y las decisiones viables (tra-de-offs) que afectan los costos. Determinar demanera más rigurosa los costos que permitanuna mayor precisión y la comparabilidad entrepaíses es un desafío a afrontar más adelante yque implicará rastrear los costos por país desdelas primeras etapas de las evaluaciones.

Para este estudio, funcionarios de los 5 paísesrecabaron y organizaron los datos sobre costosutilizando una hoja de cálculo estandarizada brin-

TABLA 1

OBJETIVOS POSIBLES DE LAS EVALUACIONES REALIZADAS EN AMÉRICA LATINA

12

dada a ellos por el autor. En algunos casos, lospaíses no brindaron todos los datos solicitados, olos brindaron agregados en varias categorías.Los costos indirectos (overhead) estuvieron dis-ponibles en algunos casos y no en otros. Ade-más, algunos costos ocultos, tales como el tiem-po que los profesores y los supervisores inviertenen administrar las pruebas, no fueron estimados.

Los países suministraron los datos en cuatro ru-bros generales:

• Preparación de pruebas: análisis del currículoy definición de los objetivos educativos a eva-luar, elaboración de los ítemes y del primerborrador de las pruebas, aplicación piloto yretroalimentación, y preparación de la versiónfinal de las pruebas.

• Aplicación de las pruebas: distribución demateriales, preparación del equipo centralque supervisará la prueba (incluyendo lacontratación de supervisores locales, eva-luadores y vigilantes de pruebas) y recolec-ción de datos.

• Procesamiento y análisis: capacitación depersonal, procesamiento de preguntas deopción múltiple (por lo general mediante elprocesamiento automático de datos), co-rrección de preguntas abiertas, análisis deresultados y preparación de informes.

• Difusión: impresión y difusión de documen-tos e informes.

Los estimados suministrados suelen no incluirla capacitación de maestros, el desarrollo delcurrículo o la revisión de libros de texto en fun-ción de los resultados, pero pueden incluir loscostos de seminarios breves.

La siguiente sección de este informe resume lainformación disponible sobre costos aportadapor cinco países: Chile, Colombia, Honduras,Perú y Uruguay. Como ya se mencionó, los cos-tos dependen principalmente de las característi-cas de las poblaciones muestreadas y de la am-plitud y profundidad de la evaluación. Por lotanto, los lectores deberán revisar el apéndice,que resume las características de los cinco ca-sos nacionales usados en este estudio. La sec-ción III presenta conclusiones tentativas respec-to a las evaluaciones de la región, atendiendo alos tres tipos de evaluaciones: pruebas censalesnacionales, pruebas muestrales y participaciónen programas internacionales de evaluación. Laúltima sección discute el impacto potencial so-

bre el aprendizaje que tienen las pruebas, com-parado con sus costos.

II. LOS COSTOS DE LAS EVALUACIONESEN AMÉRICA LATINA

PRUEBAS CENSALES

Se obtuvo acceso a datos de dos países que eva-lúan a todos los estudiantes en determinados gra-dos. Chile aportó datos sobre las pruebas de octa-vo grado del 2004 en cuatro materias académicas.Colombia aportó datos sobre pruebas efectuadasen el 2003 y el 2004 en el quinto (lenguaje y mate-máticas) y noveno grados (ciencias y ciudadanía).

• CHILE

Chile ha estado aplicando las pruebas delSIMCE (Sistema de Medición de la Calidad de laEducación) durante más de 15 años, de maneraque ha desarrollado capacidades y un cuadro deexpertos tanto dentro como fuera del gobierno.Las pruebas del SIMCE se aplican cada cuatroaños al cuarto, octavo y décimo grados4. Laprueba del 2004 fue rendida por 300,000 estu-diantes del octavo grado en 6,500 escuelas y11,000 aulas en las materias de castellano, ma-temáticas, ciencias naturales y ciencias socia-les. La prueba incluía una mezcla de preguntascon respuestas de opción múltiple y abiertas.

Los datos aportados por Chile son mucho másdetallados que los aportados por otros paísesde la muestra. Pudo desagregar las actividadesen preparación, aplicación y análisis de laspruebas. También pudo separar los costos de lacorrección de preguntas de opción múltiple(57% del costo de corrección y análisis) deaquellos de la corrección de preguntas abiertas(43%). Chile, como unos cuantos otros países,también aportó alguna información sobre costosindirectos, específicamente, el costo de los sala-rios de quienes en la unidad de evaluación su-pervisan todas las actividades de la evaluación.La tabla 2 muestra los costos por categoría tan-to en pesos chilenos como en dólares norteame-ricanos, usando las tasas de cambio PPA.

4 Las explicaciones y resultados detallados de las pruebas SIMCEestán disponibles en http://www.simce.cl

13

Fuente: SIMCENotas: Tasa de cambio PPA 2002: 288.7 pesos = US$ 1.a No se tuvo acceso a los costos de otros documentos, publicaciones y reuniones.b No incluyendo gastos indirectos.c Costos por estudiante secundario en el año 2000. Ver Wolff y Gurría, 2005.

TABLA 2

CHILE - PRUEBAS SIMCE

Algunas especificaciones de la evaluación

Año 2004

Áreas de estudio Lenguaje, matemáticas, ciencias y ciencias sociales

Tipo de escuela Pública y privada

Grados 8º

Número de estudiantes evaluados 300,000

Costos de la evaluación Pesos US$ (PPA)

Preparación de la prueba 175,200,000 607,000Elaboración de los ítemes 76,000,000 263,000Pilotaje inicial 20,000,000 69,000Pruebas piloto 30,000,000 104,000Corrección / Preguntas abiertas 49,200,000 170,000

Aplicación 788,700,000 2,732,000Diseño y edición 20,000,000 69,000Impresión de las pruebas 220,000,000 762,000Impresión de otros materiales 160,000,000 554,000Distribución 70,000,000 242,000Aplicación 275,000,000 953,000Control y supervisión 43,700,000 151,000

Procesamiento y análisis 258,900,000 897,000Codificación e ingreso de datos 146,400,000 507,000Preguntas abiertas 112,500,000 390,000

Publicación de resultados 68,250,000 236,000Informe a cada escuelaa 68,250,000 236,000

Subtotal 1,291,050,000 4,472,000Costos indirectos 584,700,000 2,025,000

Personal 540,000,000 1,870,000Infraestructura 24,000,000 83,000Equipamiento 7,200,000 25,000Otros costos generales 13,500,000 47,000

TOTAL 1,875,750,000 6,497,000Costo por estudianteb 4,304 14,90

Costo de educar a un estudiantec 519,371 1,799Costo de evaluación como % delpresupuesto total para un grado 0.83

Costos de evaluación como % delpresupuesto total para educación secundaria 0.17

14

El SIMCE preparó una descripción detallada decómo calculó los costos para cada rubro, de lasiguiente manera:

• Elaboración de ítemes: contrato con unauniversidad, 200 ítemes validados, incluyen-do orientaciones sobre cómo corregir pre-guntas abiertas.

• Pilotaje inicial: muestra que busca 300 res-puestas válidas de estudiantes por ítem.

• Prueba piloto: muestra que busca 3,000respuestas válidas de estudiantes por ítem,incluyendo el diseño, la impresión y la distri-bución.

• Diseño y edición: diseño de todos los mate-riales, incluyendo los cuadernillos de prue-bas, listados de las aulas, cuestionarios,formas rotadas, etc.

• Impresión: 300,000 cuadernillos de pruebaspara cuatro áreas de aprendizaje, un totalde 1.2 millón de cuadernillos.

• Impresión de otros materiales: listado deaulas, encuestas a padres y maestros, untotal de 400,000 documentos.

• Distribución: a cerca de 6,000 escuelas, delas cuales 25% eran rurales.

• Aplicación: contratación de 10,000 examina-dores.

• Control y supervisión: realizados por perso-nal del SIMCE. Los costos incluyen solotransporte y viáticos.

• Codificación e ingreso digitalizado de datos:codificación automatizada de todos los íte-mes y cuestionarios.

• Corrección de preguntas abiertas: correc-ción de dos secciones completas y 10% deotras 2 secciones, con doble codificación de10% de las respuestas.

• Informe a las escuelas: resultados persona-lizados para cada escuela. No incluye otrasformas de comunicación.

• Costos indirectos: personal - salarios de 60miembros del equipo.

• Costos indirectos: infraestructura - espaciofísico para el personal del SIMCE.

• Costos indirectos: equipamiento - computa-doras.

• Gastos indirectos: otros - gastos generalesincluyendo teléfono, electricidad, etc.

El costo total para esta evaluación en particularfue de alrededor de $ 6.5 millones, o unos$ 14.90 por estudiante evaluado en octavo gra-do. Si se añadieran los costos indirectos com-pletos de administrar el programa SIMCE, so-

bre todo los costos salariales del personal delSIMCE dedicado a la administración y supervi-sión, entonces los costos por estudiante se in-crementarían en 45%, a $ 21.65. Pero como elpersonal del SIMCE se dedica regularmente aadministrar y planificar varias pruebas a la vez,esta cifra podría ser más baja. Sin contar loscostos indirectos, el desagregado de costospor actividad es el siguiente: preparación de laprueba, 10,1%; aplicación de la prueba, 63,5%;procesamiento y análisis, 20,9%; difusión,5,5%. Dentro del rubro preparación de la prue-ba, preparar y escribir los ítemes (por ejemplo,definir los dominios a ser evaluados y luegoescribir los ítemes) representó 60% de los cos-tos. Para el segundo rubro, aplicación de laprueba, la impresión da cuenta de 26% de loscostos y la aplicación 36%. Chile incluyó uncuestionario de antecedentes para los estu-diantes, maestros y algunos padres, y es pro-bable que esto explique los costos relativamen-te altos de “otros materiales”.

Según UNESCO, el costo estimado de educar aun estudiante de octavo grado en Chile en elaño 2000 fue $ 1,7995. Así, el costo de evalua-ción de $ 14.90 por estudiante (sin incluir costosindirectos) representaría 0.8% del costo de edu-car a un estudiante en aquel grado. Al consistirla escuela secundaria de cuatro grados y eva-luarse solo un grado en cualquier año dado, sepuede decir que el costo de evaluación de laescuela secundaria es equivalente a un cuartode aquel monto, o 0.17% del gasto público totalen educación secundaria.

• COLOMBIA

Desde 1980, el Instituto Colombiano para el Fo-mento de la Educación Superior (ICFES), agen-cia pública autónoma, ha estado evaluando atodos los estudiantes que culminan su educa-ción secundaria, como una manera de determi-nar el acceso a instituciones de educación supe-rior. Estas evaluaciones son similares a laspruebas de admisión del Educational TestingService (ETS) de Estados Unidos6.

5 No se contó con datos de fuentes internacionales para añosposteriores.

6 Se puede hallar información sobre las evaluaciones colombia-nas en http://www.colombiaaprende.edu.co/html/investigadores/1609/channel.html y en http://www.icfes.gov.co

15

Hasta hace poco, el gobierno nacional de Co-lombia aplicaba solo pruebas muestrales en pri-maria y media7. En el 2002 y 2003 empezó aevaluar a todos los estudiantes de quinto y no-veno grado cada tres años, vía el programa SA-BER del Sistema Nacional de Evaluación de laCalidad de la Educación, también encomendadoal ICFES. Esta institución ha estado involucradaen pruebas a gran escala desde los años sesen-ta, tiene competencias profesionales y econo-mías de escala que a menudo faltan en otrospaíses.

La tabla 3 muestra los costos estimados de laspruebas censales de estudiantes en Colombia,tal como lo reportó el personal de ICFES, para laevaluación de todos los estudiantes en quinto ynoveno grado en el 2002 y el 2003. En el 2002se evaluó a los estudiantes en lenguaje y mate-máticas y en el 2003 en ciencias y ciudadanía.También se han incluido los costos de adminis-trar las pruebas de admisión a la educación su-perior para fines comparativos. Los datos aporta-dos por Colombia están incompletos. No seestimaron los costos de procesamiento y análisisde la prueba, ni la difusión para el 2002. Tampo-co se estimaron los costos de procesamiento yanálisis de la prueba para el 2003. No se estima-ron los costos indirectos en ambos años.

En el 2002 se tomaron pruebas de matemáti-cas y lenguaje a más de un millón de alumnosdel quinto y noveno grado a un costo total de$ 2,5 millones, o un costo por estudiante (deestos grados) de $ 2,47, sustantivamente másbajo que el costo de $ 14,90 en Chile. Como seseñaló antes, estas cifras no incluyen la correc-ción ni la difusión de resultados, lo cual posi-blemente incrementaría el costo en 25%. No sepuede estimar el impacto de los costos indirec-tos. Dado que Colombia gasta un promedio de$ 1,365 por estudiante, los costos reportadosen el 2002 son equivalentes a 0.2% del costopor estudiante de cada grado evaluado y al0.02% de los gastos totales en educación, tan-to en primaria como en secundaria.

En el 2003 Colombia evaluó a todos los estu-diantes en las áreas de ciencia y ciudadanía.Los costos de implementación de estas pruebas

7 La ciudad de Bogotá ha estado evaluando a todos los estudian-tes de grados seleccionados (tercero, quinto y noveno) desde1998.

fueron de $ 5,32 por estudiante evaluado, o másdel doble del costo de las pruebas de lenguaje ymatemáticas. Llama la atención que menos de1% del costo corresponde a la preparación y 3%a la difusión.

Como se señaló antes, Colombia ha tenido unprograma de larga data para la evaluación detodos los estudiantes del último año de educa-ción secundaria, originalmente aplicado solamen-te a aquellos que deseaban continuar con la edu-cación superior. Se evalúan hasta nuevematerias y cerca de 500,000 estudiantes tomanestas pruebas anualmente. El costo estimado esde unos $ 17,42 por estudiante, significativamen-te más alto que las pruebas de la educación pri-maria y media. Las pruebas de salida de secun-daria también son totalmente de opción múltiple.

Hay varias razones que explicarían por qué loscostos reportados de la evaluación en Colom-bia son menos de la mitad que los de Chile. Adiferencia de lo que sucede en Chile, que de-pende en mayor grado de consultores, es elmismo personal de ICFES que codifica y anali-za las respuestas, lo que hace difícil determi-nar este costo. ICFES emplea de modo exclusi-vo ítemes de opción múltiple en lugar de unacombinación de esos ítemes con otros de pre-guntas abiertas. Las pruebas de ICFES no in-cluyen cuestionarios detallados de anteceden-tes. Es también posible que las tasas decambio PPA no capten plenamente las diferen-cias relativas de salarios entre los países. Elgran número de estudiantes evaluados puedepermitir a Colombia economías de escala noasequibles a Chile. Además, en el 2002, elICFES introdujo un sistema de racionalizaciónde costos, que incluyó entrenamiento, compu-tarización de todos los procesos, descentraliza-ción e impresión de la mayor parte de materia-les en su propia imprenta. Se requeriría mayorrevisión e información para confirmar el pesorelativo de cada uno de estos factores.

PRUEBAS MUESTRALES

Se pudo obtener datos de pruebas muestralesde Colombia, Honduras, Perú y Uruguay, y losque se describen a continuación. Al revisar estainformación, el lector debe tener en cuenta queel Perú es similar en extensión y población aColombia, mientras que Honduras, aunque desimilar tamaño que Uruguay, es un país muchomás pobre que este.

16

Fuente: ICFESNotas: ND = No disponible. No se incluyeron los costos indirectos. Tasa de cambio PPA: en el 2002, 719 pesos = US$1; en el 2003, 757 pesos =

US$ 1; en el 2004, 794 pesos = US$ 1.a Incluido en aplicación de pruebas.b Promedio ponderado del costo por estudiante de primaria y secundaria en el año 2000, en función al número de estudiantes inscritos en

cada nivel. Ver Wolf y Gurría, 2005.c Costos totales de evaluación en un grado como porcentaje de gastos totales en ese grado.d Asume que el número de estudiantes evaluados en cada nivel respeta la distribución de estudiantes entre primaria y secundaria. Los

datos son del 2000.

TABLA 3

COLOMBIA - EVALUACIÓN NACIONAL EN EDUCACIÓN BÁSICA Y EXAMEN DE INGRESO A LA EDUCACIÓN SUPERIOR

Algunasespecificacionesde la evaluación 2002 2003 2004Áreas de estudio Lenguaje y matemáticas Ciencia y ciudadanía Examen de ingreso a

la Educación Superior

Tipo de escuela Público y privado Público y privado Público y privado

Grados 5º y 9º 5º y 9º 11º

Número deestudiantesevaluados 1,030,626 1,034,049 540,716

Costos de laevaluación Pesos US$ (PPA) Pesos US$ (PPA) Pesos US$ (PPA)

Preparaciónde la prueba 113,081,000 157,000 29,039,000 38,000 795,127,000 1,002,000

Aplicación dela prueba 1,710,842,000 2,380,000 4,009,667,000 5,298,000 5,878,419,000 7,408,000

Correccióny análisis 8,133,000 11,000 a a a a

Difusión deresultados ND ND 121,850,000 161,000 800,126,000 1,008,000

TOTAL 1,832,057,000 2,548,000 4,160,555,000 5,497,000 7,473,672,000 9,418,000Costo por estudiante 1,778 2,47 4,024 5,32 13,822 17,42

Costo de educara un estudianteb 1,089,948 1,365 1,147,364 1,365 1,203,704 1,516

Costo de evaluacióncomo % del costototal de educarestudiantes en ungradoc 0.2 0.4

Costo total deevaluar estudiantesde primaria como %del presupuestototal de educaciónprimariad 0.02 0.04

Costo total deevaluar estudiantes desecundaria/presupuestototal de educaciónsecundariad 0.02 0.05 0.17

17

• COLOMBIA

En el 2004 Colombia realizó una prueba mues-tral nacional del progreso en matemáticas y len-guaje para quinto y noveno grado. La tabla 4presenta un resumen de esos costos elaboradocon la información brindada por el ICFES. No sepudo obtener información sobre los costos delanálisis de los datos.

Se evaluó un total de 96,000 estudiantes delquinto y noveno grado, menos de 10% del totalde estudiantes en dichos grados. Colombiatomó una muestra relativamente grande de estu-diantes, a fin de poder comparar el aprendizajeen centros urbanos y regiones. El costo total

para esta muestra fue equivalente a 40% delcosto de las pruebas censales realizadas solodos años atrás: $ 1.4 millón, frente a $ 2.5 millo-nes que costó evaluar a un millón de estudian-tes en el 2002. Costó $ 14,20 evaluar a cadaestudiante muestreado, comparado con $ 2,47por cada estudiante en la evaluación censal. Deotro lado, al evaluarse solo una muestra de es-tudiantes, el costo del programa de evaluacióncomo porcentaje del presupuesto general fue0,01%, menos de la mitad del costo de la prue-ba censal realizada dos años atrás. El costodesagregado de la evaluación muestral fue: pre-paración de la prueba, 9%; aplicación de laprueba, 78%; análisis de la prueba, no estuvodisponible, y difusión, 13%.

Fuente: ICFESNotas: ND = No disponible. No se incluyeron los costos indirectos. Tasa de cambio PPA: en el 2002: 794 pesos colombianos = US$ 1a Promedio ponderado del costo por estudiante de primaria y secundaria en el año 2000, en función al número de estudiantes inscritos en

cada nivel. Ver Wolff y Gurría, 2005.b Calculado en base a los costos totales de la evaluación de un grado como porcentaje de los gastos totales en educación primaria, y no

en el costo de evaluación por estudiante, ya que solo se evaluó una muestra de estudiantes.c Se asume que el número de estudiantes evaluados en cada nivel respeta la distribución de estudiantes entre primaria y secundaria; los

datos son de 2000.

TABLA 4

COLOMBIA - PRUEBA MUESTRAL DE EDUCACIÓN BÁSICA


Año 2004

Áreas de estudio Lenguaje y matemáticas


Grados 5º y 9º


Costos de la evaluación Pesos US$ (PPA)

Preparación de la prueba 100,000,000 126,000

Aplicación 838,318,000 1,056,000

Corrección y análisis ND ND

Difusión de resultados 159,414,000 181,000

TOTAL 1,097,732,000 1,363,000

Costo por estudiante 11,405 14,20

Costo de educar a un estudiantea 1,203,019 1,365

Costo total de evaluar a estudiantes de primariacomo porcentaje del presupuesto total deeducación primariab,c 0.01

Costo total de evaluación de estudiantes desecundaria como porcentaje del presupuestototal de educación secundariac 0.01

18

• URUGUAY

Se dispuso de datos sobre las pruebas mues-trales de la Administración Nacional de Educa-ción Pública (ANEP) de Uruguay para los años2001, 2002 y 2003, en preescolar y en primero,segundo, sexto y duodécimo grado. En el 2002,Uruguay evaluó en las áreas de lenguaje y ma-temáticas a todas las escuelas que funciona-ban con el nuevo programa de jornada comple-ta, y también tomó una muestra aleatoria deotras escuelas. Se evaluó a un total de 9,171estudiantes. En el 2003 se evaluó a 12,993 es-tudiantes del nivel secundario, superior o diver-sificado –una muestra en las escuelas conven-cionales y todos los estudiantes de lasescuelas técnicas– en las áreas de lenguaje,matemáticas, ciencias sociales y ciencias natu-rales. También se administró cuestionarios pararecoger otros datos contextuales a estudiantes,maestros, directores de escuela y padres defamilia8. Los costos reportados fueron los queaparecen en la tabla 5:

El costo total de las evaluaciones fue $ 111,000en el 2002 y $ 266,000 en el 2003. El costo porestudiante en el 2002 para los alumnos de sex-to grado que tomaron dos pruebas fue de $ 12.El costo por estudiante en el 2003 fue más alto($ 20), tal vez como resultado de que se eva-luaron cuatro materias en vez de dos, y tam-bién de que evaluar a alumnos del duodécimogrado requiere medir capacidades de mayor or-den de complejidad que evaluar a los de sextogrado. El costo por estudiante para las pruebasde 2001 fue aún mayor, debido a lo pequeñode la muestra y a que se evaluaron tres gradosa la vez. Al tener Uruguay un sistema y presu-puestos educativos mucho más pequeños quelos de Colombia y evaluar un mayor porcentajede sus estudiantes, el costo en términos deporcentaje del presupuesto nacional fue muchomayor que el de Colombia: 0.03% en el año2001 y 0.07% en el 2002, comparados a0.01%. En el 2002, el desagregado de costospor tipo de actividad fue el siguiente: elabora-ción de la prueba, 10.1%; aplicación, 46.9%;análisis, 11.7%; y difusión, 20.7%. Uruguayprestó gran atención a la difusión de los resul-tados de la evaluación de 2002.

• PERÚ

En 2001 Perú evaluó a 34,000 estudiantes decuarto y sexto de primaria y cuarto y quintogrado de secundaria en matemáticas y comu-nicación. En 2004 emprendió un programamuy ambicioso de pruebas, evaluando a untotal de 70,000 estudiantes de segundo y sex-to grado de primaria, como también de terceroy quinto de secundaria, o 17,500 alumnos encada grado. Las pruebas cubrieron matemáti-cas y comunicación en todos esos grados, ciu-dadanía en sexto de primaria y quinto de se-cundaria. En el caso de lenguaje en sextogrado, también se aplicaron pruebas en doslenguas indígenas. La tabla 6 resume los cos-tos del programa.

El costo total de evaluación en 2001 fue $1.7millón; en 2004, $ 4.9 millones, más del dobledel monto que en el 2001. En 2004 se incluyóuna tercera materia (ciudadanía), se evaluó amás del doble de número de estudiantes, y sereportó el control de campo para asegurar con-diciones confiables y adecuadas para la aplica-ción de pruebas. El costo promedio de evalua-ción por estudiante en el 2001 fue $ 52 y $ 70en el 2004.

Las evaluaciones en Perú, sobre todo en el2004, fueron integrales y complejas. Se evalua-ron cuatro grados y tres materias, frente a unoo dos grados en el caso de los otros paísesque proporcionaron datos. También se tomaronpruebas en lenguas indígenas extrayendo unamuestra especial de escuelas bilingües. Se ad-ministraron cuestionarios a estudiantes, padresy maestros. Los maestros recibieron cuestiona-rios sobre “oportunidades de aprendizaje”, quepreguntaban sobre tópico de matemáticas ylenguaje que ellos realmente habían enseñado,y también se evaluaron sus propios conoci-mientos de estas áreas. Se contrataron a terce-ros para la aplicación y corrección de las prue-bas. Las preguntas abiertas a los estudiantesrepresentaron entre 30% y 100% de los ítemesy fueron calificados dos veces para asegurar laconfiabilidad. La prueba aplicada a los maes-tros fue totalmente abierta. La aplicación de laprueba tomó 5 días. Se brindó capacitación de4 a 5 días a los aplicadores de los instrumen-tos. La implementación de esta prueba era laprincipal actividad de la Unidad de Medición dela Calidad Educativa. En ese tiempo, Perú es-taba empezando su sistema de evaluación, no

8 Se puede encontrar información sobre el programa de evalua-ción de Uruguay en http://www.anep.edu.uy

19

Fuente: ANEP.Notas: Las tasas de cambio PPA variaron cada año. En 2003 la tasa fue 11.21 pesos=US$ 1. No incluye el costo del reducido número

de personal que trabaja a tiempo completo en todos los estudios. Este grupo, como también otras instituciones, conduce ciertasactividades de difusión que tampoco han sido costeadas.

a Calculado en base a los costos totales de la evaluación de un grado como porcentaje de los gastos totales en educaciónprimaria, y no en el costo de evaluación por estudiante, ya que solo se evaluó una muestra de estudiantes.

contaba con un marco institucional y dependíamucho de los consultores. Tanto el Banco Mun-dial como el Banco Interamericano de Desarro-llo aportaron financiamiento parcial. El costo

total de la evaluación en el año 2004 que fuede $ 4.9 millones, fue equivalente a solo 0.15%de los gastos en educación primaria y 0.13%de los gastos en educación secundaria.

TABLA 5

URUGUAY - PRUEBA MUESTRAL DE EDUCACIÓN PRIMARIA Y MEDIA

Algunas especificacionesde la evaluación 2001 2002 2003

Áreas de estudio Lenguaje, Lenguaje y Lenguaje,matemáticas, matemáticas matemáticas,desarrollo cognitivo ciencias socialesy afectivo y ciencias naturales

Tipo de escuela Pública y privada Pública y privada Pública y privada

Grados Preescolar, 1º y 2º 6º 12º

Número deestudiantes evaluados 2,387 9,171 12,993

Costos de la evaluación Pesos US $ Pesos US $ Pesos US $(PPA) (PPA) (PPA)

Preparación de la prueba 299,000 35,000 229,000 23,000 608,000 54,000

Aplicación de la prueba 464,000 55,000 524,000 52,000 1,618,000 144,000

Corrección y análisis dela prueba 36,000 4,000 134,000 13,000 742,000 66,000

Difusión de resultados 64,000 8,000 226,000 23,000 15,000 2,000

TOTAL 863,000 102,000 1,113,000 111,000 2,983,000 266,000

Costo por estudiante 362 43 121 12 230 20

Costo de educaciónde un estudiante 8,592 1,016 10,104 1,011 13,657 1,219

Costo total de evaluara estudiantes deprimaria como porcentajedel presupuesto totalde educación primariaa 0.03 0.03

Costo total deevaluación deestudiantes desecundaria comoporcentaje delpresupuesto total deeducación secundaria 0.07

20

TABLA 6

PERÚ - PRUEBA MUESTRAL DE EDUCACIÓN PRIMARIA Y SECUNDARIA

Algunas especificacionesde la evaluación 2001 2004

Áreas de estudio Matemáticas y comunicación Matemáticas, comunicacióny ciudadanía

Muestra en escuelas Muestra en escuelasbilingües: Comprensión bilingües: Comprensiónde lectura y escritura en de lectura y escritura enprimaria y segundas lenguas primaria y segundas lenguas(aymara y quechua / castellano) (aymara y quechua / castellano)

Tipo de escuela Pública y privada Pública y privada

Grados 4º, 6º, 10º 2º, 6º, 9º y 11º

Número deestudiantes evaluados 34,000 70,000

Costos de la evaluación Soles US$(PPA) Soles US$ (PPA)

Preparación de la prueba 250,000 166,000 1,142,000 760,000

Aplicación de la prueba 1,474,000 980,000 5,083,000 3,384,000

Corrección y análisisde la prueba 587,000 390,000 899,000 598,000

Difusión de resultados 331,000 220,000 214,000 142,000

TOTAL 2,642,000 1,757,000 7,338,000 4,885,000

Costo por estudiante 78 52 105 70

Costo de educar a un estudiantea 751 500 751 500

Costo total de evaluara estudiantes deprimaria comoporcentaje delpresupuesto totalde educación primariab 0.06 0.15

Costo total deevaluación deestudiantes desecundaria comoporcentaje delpresupuesto totalde educaciónsecundaria 0.05 0.13

Fuente: UMCNotas: No incluye costos de overhead. Tasa de cambio PPA 2001/2004: 1.5 soles peruanos=US$ 1.a Promedio ponderado del costo por estudiante de primaria y secundaria en el año 2000, en función al número de estudiantes inscritos en


en el costo de evaluación por estudiante, ya que solo se evaluó una muestra de estudiantes.

21

• HONDURAS

En el 2002 y el 2004, Honduras evaluó el rendi-miento de más de 40,000 estudiantes de terceroy sexto grado en lenguaje, matemáticas y cien-cias9. La tabla 7 presenta un resumen de loscostos aportados por consultores de la Unidadde Medición de la Calidad Educativa (UMCE),localizada en la Universidad Pedagógica Nacio-nal Francisco Morazán de Honduras.

Honduras evaluó a 24-25,000 estudiantes detercer grado y entre 18,000 y 20,000 estudian-tes de sexto grado, de un total de 140,000alumnos estimados en cada grado. Los costostotales fueron $ 1.9 millón en el 2002 y $ 2.3millones en el 2004. El costo por estudianteevaluado fue $ 46 en el 2002 y algo más de $50 en el 2004. Los costos totales de evaluaciónrepresentaron entre 0.28% y 0.33% del presu-

puesto nacional asignado a la educación prima-ria. Este es un monto significativo, si se consi-dera que más de 90% del presupuesto de Hon-duras se destina a salarios de maestros y queel número de estudiantes evaluados es relati-vamente pequeño. El desagregado de los gas-tos por actividad en el 2004 fue reportado de lasiguiente manera: preparación de la prueba,20%; aplicación, 50%; procesamiento y análi-sis, 15%; y difusión, 15%. Honduras tiene unnúmero muy pequeño de expertos en evalua-ción. Esta escasez condujo probablemente aapoyarse en consultores externos, lo que elevólos costos. Otros elementos del programa hon-dureño que impactaron sobre los costos sonque se evaluaron múltiples grados (2) y mate-rias (3), se realizó un muestreo y análisis dedatos más cuidadoso que en años anteriores;el financiamiento externo conllevó regulacionesprocedimentales que pueden haber generado

TABLA 7

HONDURAS - EVALUACIÓN MUESTRAL

Algunas especificacionesde la evaluación 2002 2004

Áreas de estudio Lenguaje, matemáticas y Lenguaje, matemáticas

ciencias naturales y ciencias naturales

Tipo de escuela Pública y privada Pública y privada

Grados 3º y 6º 3º y 6º

Número de estudiantes evaluados 42,572 45,657

Costos de la evaluación Lempiras US$ (PPA) Lempiras US$ (PPA)Preparación de la prueba 2,377,000 391,000 3,081,000 458,000

Aplicación de la prueba 5,942,000 977,000 7,703,000 1,146,000

Corrección y análisis de la prueba 1,783,000 293,000 2,311,000 344,000

Difusión de resultados 1,783,000 293,000 2,311,000 344,000

TOTAL 11,885,000 1,953,000 15,406,000 2,292,000

Costo por estudiante 279 45,88 337 50,20

Costo de educación de un estudiantea 2,080 342 2,299 342

Costo total de la evaluación/gastos

totales en educación primariab 0.28 0.33

Fuente: UMC.Notas: No incluye costos de overhead. Tasa de cambio PPA 2002: 6.1 lempiras = US$ 1; 2004: 6.6 lempiras = US$ 1.a Promedio ponderado del costo por estudiante de primaria y secundaria en el año 2000, en función al número de estudiantes inscritos en


en el costo de evaluación por estudiante, ya que solo se evaluó una muestra de estudiantes.

9 Puede encontrarse información sobre la evaluación de Hondu-ras en http://www.upnfm.edu.hn/proyectos/umce/acercade.htm

22

costos más altos y el que la unidad de evalua-ción estuviera localizada en la Universidad Pe-dagógica en vez del Ministerio de Educación, loque se hizo en parte para asegurar una mejorcalidad técnica.

PARTICIPACIÓN EN EVALUACIONES

INTERNACIONALES

Los países latinoamericanos participan cadavez más en programas internacionales de eva-luación. Seis países (Argentina, Brasil, Chile,México, Perú y Uruguay) han participado en elesfuerzo internacional de evaluación PISA, quemide capacidades en lectura y razonamientomatemático y científico de estudiantes de 15años. La prueba incluye una combinación depreguntas abiertas y de opción múltiple, comotambién cuestionarios sobre antecedentes. Laprueba PISA exige un mínimo de 5,000 estu-diantes escogidos al azar de todo un país paraasegurar resultados estadísticamente válidos.En el 2003 requería a cada país pagar más de$ 100,000 para participar en el programa.

Se cuenta con datos de los costos de PISA deUruguay para el 2003 y de Perú para el 2000.También se cuenta con datos sobre la participa-ción de Colombia en la Prueba Internacional deComprensión Lectora (PIRLS), que mide las ha-bilidades de lectura de estudiantes de cuartogrado, y que normalmente requiere a los paísesparticipantes un pago anual de $ 20,000 durantetres años.

• URUGUAY

Los costos de la participación de Uruguay en laprueba PISA del 2003 se resumen en la tabla 8:

El costo total de la participación de Uruguay fue$ 311,000. La mayor parte de este gasto fue elpago de $ 110,000 a la oficina central de PISApara su administración central, lo que incluyeservicios de la preparación de las pruebas,orientación para las aplicaciones, viajes interna-cionales y análisis. Uruguay evaluó un total de5,797 estudiantes. Desde que Uruguay realizóla evaluación ha publicado varios análisis basa-

Fuente: ANEP.Notas: La tasa en el 2003: 11.21 pesos = US$ 1. Las tasas de cambio PPA variaron cada año. No incluye el costo del reducido número de

personal que trabaja a tiempo completo en todos los estudios. Este grupo, como también otras instituciones, conduce ciertas actividadesde difusión que tampoco han sido costeadas.

a El costo de educar a un estudiante corresponde al costo por estudiante a nivel secundario en el año 2000. Ver Wolf y Gurría (2005).

TABLA 8

URUGUAY - PARTICIPACIÓN EN PISA


Año 2003

Áreas de estudio Lectura, matemáticas, ciencias, solución de problemas


Grados Estudiantes de 15 años (principalmente 10º grado)


Costos de la evaluación Pesos US$ (PPP)

Costo de participación en PISA/OECD 1,220,000 110,000

Preparación de la prueba 349,000 35,000

Aplicación de la prueba 839,000 75,000

Corrección y análisis de la prueba 645,000 58,000

Difusión de resultados 398,000 34,000

TOTAL 3,451,000 311,000

Costo por estudiante 595 53,64

Costo de educar a un estudiantea 13,530 1,219

Costo total de evaluación/presupuestototal de educación secundaria 0.08

23

Fuente: UMCNotas: La tasa en el 2000 fue de 1.5 soles=US$ 1. No se incluyen los costos del personal de la UMC que participó en la preparación de la

evaluación y la corrección y análisis de la prueba.a El costo de educar a un estudiante corresponde al costo por estudiante a nivel secundario en el año 2000. Ver Wolf y Gurría (2005).

dos en PISA. Esto puede no haber sido incluidoen los costos de difusión. Los costos desagre-gados fueron: participación en PISA, 35%; pre-paración de la prueba, 11%; aplicación de laprueba, 24%; análisis, 19%; y difusión 11%.

• PERÚ

La tabla 9 resume los costos de la participaciónde Perú en PISA 2000.

La preparación de la evaluación costó $171,000. Esto incluyó el diseño de la muestra ylos ítemes, los viajes a las reuniones interna-cionales de PISA, y la revisión de las traduccio-nes al español. El costo más alto de Perú fren-te a los de Uruguay es resultado de lasdificultades de realizar pruebas a muestrasaleatorias en un país extenso y montañoso.

Perú gastó solamente $ 33,000 en difusión. Encualquier caso, el costo total de $ 480,000 enla prueba PISA fue solo 0.04% de los gastosanuales en la educación secundaria del Perú.Los costos desagregados por actividad fueronlos siguientes: membresía en PISA, 21%; pre-paración, 36%; aplicación, 27%; procesamientoy análisis, 10%; y difusión, 7%.

• COLOMBIA

El costo de participación de Colombia en el es-tudio PIRLS de competencia en lectura en cuar-to grado en el 2001 es similar al de Perú para laprueba PISA, como puede verse en la tabla 10,a pesar de que Colombia no reportó costos deanálisis y difusión. El costo de aplicación de laprueba fue significativamente más alto que eldel Perú.

TABLA 9

PERÚ - PARTICIPACIÓN EN PISA

Algunas especificaciones de la evaluaciónAño 2001

Áreas de estudio Lectura, matemáticas y ciencias


Grados Estudiantes de 15 años (principalmente de 9º y 10º grado)


Costos de la evaluación Soles US$ (PPA)Costo de participación 150,000 100,000

Preparación de la prueba 257,000 171,000

Aplicación de la prueba 193,000 128,000

Corrección y análisis de la prueba 73,000 49,000

Difusión de resultados 49,000 33,000

TOTAL 722,000 480,000Costo por estudiante 139 92

Costo de educar a un estudiantea 832 553

Costo total de la evaluación/gastostotales en educación secundaria 0.04

24

Costo de participar en la prueba regional deUNESCO

También se encuentra disponible el costo departicipación en el programa de evaluación re-gional de la UNESCO (Laboratorio Latinoameri-cano de Evaluación de la Calidad en Educación,LLECE), realizado en 1997. Este programa eva-luó a alumnos de tercero y cuarto grado en 1997y 1998 en lenguaje y matemáticas en 13 países.La tabla 11 presenta un estimado de los costosde administración central, como también los dela participación de los 13 países:

El costo total de todo el programa fue algo me-nos de $2 millones de dólares, un costo aproxi-mado de $166,000 por país, bastante menos quela participación en PISA o PIRLS. Los costosmás bajos son resultado, en parte, de que cadapaís solo tuvo que aportar $10,000 anuales aUNESCO, comparado con los 30 a 50,000 dóla-res por año por participar en PISA, TIMSS oPIRLS. Los viajes para las reuniones de expertospara un estudio regional son mucho menos cos-

TABLA 10

COLOMBIA - COSTOS DE PARTICIPACIÓN EN PIRLS


Año 2001

Áreas de estudio Lectura


Grados 4º


Costos de la evaluación Pesos US$ PPA

Costo de asociación a laInternational Evaluation Association 41,220,000 60,000

Preparación de la prueba 93,986,000 137,000

Aplicación de la prueba 276,582,000 402,000

Corrección y análisis de la prueba N.D. N.D.

Difusión de resultados N.D. N.D.

TOTAL 411,788,000 599,000

Costo por estudiante 80,255 117

Costo de educar a un estudiantea 840,228 1,223

Costo total de evaluación/gastostotales en educación primaria 0.01

Fuente: ICFES.Notas: ND= No Disponible. No incluye costos indirectos. La tasa de cambio PPA en el 2001 fue 688 pesos colombianos = US$ 1a El costo de educar a un estudiante corresponde al costo por estudiante a nivel primario en el año 2000. Ver Wolff y Gurría, 2005.

TABLA 11

COSTOS ESTIMADOS DE LA PRUEBA LLECE DE

UNESCO 1997-99

Fuentes US$

Apoyo directo de los países 269,000

Apoyo de UNESCO 80,000

Fundación Ford 50,000

BID 500,000

Subtotal 899,000

Costos internos en los paísesa 1,100,000

TOTAL 1,999,000

Fuente: estimados del BID en base a documentación aportada porUNESCO.

a Los costos son estimados para los 12 países

25

tosos que para uno internacional. Casi todos losítemes fueron de opción múltiple. El tamaño de lamuestra en cada país fue de alrededor de 5,000estudiantes. Esta ronda de pruebas fue criticadapor tener una serie de inconsistencias técnicas,que pueden haber sido resultado en parte de uninadecuado financiamiento para especialistas. Seanticipa que los costos para la nueva ronda deevaluaciones de LLECE serán significativamentemás altos que la primera ronda. LLECE estámanteniendo sus costos bajos gracias al empleode expertos latinoamericanos de las institucionesevaluadoras de los países que están realizandola mayor parte del trabajo preparatorio, pero tam-bién ha establecido un comité internacional desupervisión para asegurar la calidad técnica. Unaestimación preliminar de los costos totales, repor-tados por el equipo de LLECE, rodea los $ 5.2millones para 17 países y un Estado, o cerca de$ 307 mil por participante.

III. CONCLUSIONES SOBRE LOS COSTOSDE LAS EVALUACIONES EN AMÉRICALATINA

La tabla 12 y los gráficos siguientes resumen lainformación recogida sobre el costo de las eva-luaciones. Esta sección resalta algunas conclu-siones que se pueden derivar sobre los costos dela evaluación en América Latina (Ver tabla 12).

Basándonos en esta tabla y en los gráficos queposteriormente serán presentados, ¿qué sepuede concluir acerca de los costos de las eva-luaciones en América Latina?

EL COSTO DE LAS EVALUACIONES COMO

PORCENTAJE DE LOS COSTOS DE LA EDUCACIÓN

Como se observa en el gráfico 1, las evaluacio-nes, tal como se vienen realizando en la región,no son una carga financiera significativa, repre-sentando bastante menos del 1% del presu-puesto total del nivel de estudio (primaria o se-cundaria).

Los costos de participación en los programasinternacionales, que suelen exigir muestras decerca de 5,000, fluctúan entre $ 300,000 y$ 600,000 en los países estudiados. En Colom-bia, las evaluaciones alcanzan 0.02% o menosdel presupuesto nacional para la educación pri-maria o secundaria. En la mayoría de los de-más países los costos de evaluaciones varían

entre 0.02% y 0.17% del presupuesto nacional.Honduras, probablemente por su necesidad dedepender de consultores externos y por su de-cisión de tercerizar todos los aspectos del pro-ceso de evaluación, muestra los costos relati-vos más altos, que todavía son solo el 0.3% delpresupuesto público para la escuela primaria.Resulta evidente que implementar una pruebapara todos los estudiantes de un grado requie-re desembolsos mayores que evaluar solo unamuestra, como se argumenta más adelante.Por ejemplo, Colombia gastó $ 2.5 millones enevaluar a todos los estudiantes de un grado,pero $ 1.2 millón para evaluar una muestra am-plia en el 2004. Es importante señalar que nin-gún país de la región evalúa a todos los estu-diantes de todos los grados.

Si bien ninguno de estos montos es extraordi-nariamente grande, debe recordarse que lospresupuestos educativos y del sector públicoen América Latina son bastante pequeños, de-bido tanto al reducido PBI como a la baja re-caudación tributaria, así como también a unafalta de claridad en las prioridades. Los sala-rios de los maestros y del personal administra-tivo tienden a absorber la parte mayor de esosrecursos: entre 70% y 91% de los gastos tota-les (Bruneforth et al. 2004), y los presupuestos“discrecionales” son bastante limitados, una si-tuación que no es fácil de resolver en el cortoplazo. Es probable que la evaluación sea perci-bida como una carga mayor en algunos paísespequeños y pobres (por ejemplo, aquellos conun PBI per cápita menor a $ 5,000) con limita-da capacidad de recursos presupuestarios yhumanos como es el caso de Honduras, a dife-rencia de los países más grandes y avanzadoseconómicamente.

De otro lado, las evaluaciones son baratas si selas compara con la mayoría de intervencionespropuestas para mejorar el aprendizaje. Un esti-mado reciente de costos de la educación prima-ria da una idea de los costos de evaluacióncomparados con otras intervenciones que sue-len ser discutidas e implementadas en AméricaLatina (Ver la tabla 13).

La evaluación es una de las innovaciones menoscostosas en la reforma de la educación primariarequiriendo apenas un 1% del costo de incremen-tar los salarios de los maestros, reducir el tama-ño de las clases y fortalecer la capacitación delos maestros. Esto sugiere que evaluar puede ser

26

aE

l p

resu

pu

est

o t

ota

l p

ara

ed

uca

ció

n p

or

niv

el

corr

esp

on

de

a s

us

resp

ect

ivo

s va

lore

s e

n e

l 2

00

0.

Cu

an

do

se

ap

lica

n p

rue

ba

s ta

nto

a p

rim

ari

a c

om

o a

se

cun

da

ria

se

asu

me

la

mita

d d

el

cost

op

or

eva

lua

ció

n a

ca

da

niv

el.

Lo

s co

sto

s in

dir

ect

os

no

est

án

in

clu

ido

s. P

ara

po

sib

les

exp

lica

cio

ne

s so

bre

dife

ren

cia

s e

ntr

e e

l co

sto

to

tal

ab

solu

to y

el

cost

o u

nita

rio

de

est

a t

ab

la,

ver

lase

cció

n V

ari

ab

ilid

ad

de

los

cost

os

de

la e

valu

aci

ón

lín

ea

s a

ba

jo.

TA

BL

A 1

2

RE

SU

ME

N D

E L

OS C

OS

TO

S D

E L

AS

EV

AL

UA

CIO

NE

S D

E A

MÉ

RIC

A L

AT

INA

27

GRÁFICO 1

COSTOS DE EVALUACIÓN COMO PORCENTAJE DEL PRESUPUESTO TOTAL

DEL NIVEL EDUCATIVO CORRESPONDIENTE

Fuente: Adaptado de Schiefelbein, Wolff y Schiefelbein (2000)

TABLA 13

COSTO ESTIMADO DE INTERVENCIONES POTENCIALES EN EDUCACIÓN PRIMARIA

Tipo de intervención Incremento estimado de diversoscostos unitarios (%)

Evaluar una muestrade estudiantes de cuarto grado 0.01 a 0.3

Evaluar a todoslos alumnos de cuarto grado 0.04 a 0.2

Reducir el tamañode la clase en 10% 9

Preescolaridad paratodos los niños en riesgo (50%) 8.3

Elevar salarios demaestros en 20% 18

Capacitación para maestros focalizada(una semana por año) 2.3

Instrucción interactiva por radio 0.5

28

un complemento relativamente económico paralos esfuerzos de reforma, siempre y cuando losresultados sean técnicamente adecuados y utili-zados para la toma de decisiones. Por supuesto,en el caso de que las evaluaciones tengan unacalidad técnica tan baja que no permitan llegar aninguna conclusión válida acerca del aprendiza-je, o si no se realiza una adecuada diseminaciónde los resultados o estos no son utilizados, resul-tarán ciertamente muy costosas. A la vez, existencostos ocultos en las evaluaciones que no hanpodido ser tomados en cuenta aquí. Además deconseguir mejores estimados de los costos indi-rectos, una contabilización total de costos debe-ría tomar en consideración el tiempo que tardanlos maestros en algunos países para aplicarpruebas, recoger los materiales y entregar los re-sultados a los supervisores, lo cual podría fácil-mente equivaler a un día completo de escolari-dad. Si todos los estudiantes de un determinadogrado fueran evaluados, ello representaría cercade 0.55% de los costos totales de aquel grado,suponiendo un año escolar de 180 días, muchomás que los costos de evaluación reportado.También significaría menos tiempo para la ense-ñanza. Además es posible que los supervisoresescolares pasen muchos días preparando e im-plementando las pruebas, sin ningún reembolsodirecto y, como ya se señaló, hay costos adicio-nales asociados con la reforma curricular, la ca-pacitación y otros programas que se derivan, odeberían derivarse, de las evaluaciones.

VARIABILIDAD DE LOS COSTOS DE LAS

EVALUACIONES

Los costos de evaluación varían mucho de unpaís a otro, aun cuando ellos emprendan pro-gramas similares. Por ejemplo, Colombia evaluóa 96,000 estudiantes a un costo de $ 1.4 millón,mientras que Honduras evaluó a 46,000 estu-diantes con $ 2.3 millones, y Perú a 70,000 es-tudiantes con $ 4.9 millones. La participación enPISA costó $ 480,000 en Perú y $ 311,000 enUruguay, mientras que la participación de Co-lombia en PIRLS costó $599,000. Las diferen-cias de costos entre los países pueden ser ex-plicadas en parte por diferencias en el númerode grados y materias evaluados. El gráfico 2muestra (1) los costos totales de evaluar paracada país en un año particular y para un tipoparticular de evaluación (por ejemplo, censal,muestral o participación en una prueba interna-cional); y (2) cuál sería el costo de evaluar soloun grado y una materia (costo ajustado).

El costo por estudiante evaluado en muestras yen aplicaciones censales nacionales también va-ría significativamente, entre $ 2 en Colombia y$ 70 en Perú. Sin embargo, así como los costostotales, los costos relativos varían cuando el nú-mero de grados y materias evaluados son consi-derados, tal como se muestra en el gráfico 3.

Así pues, las explicaciones posibles de las dife-rencias de costos totales y unitarios de un paísa otro podrían ser las siguientes:

• Evaluar múltiples materias y grados es máscostoso que evaluar una o dos materias yun solo grado. La tabla 14 muestra un esti-mado de costos en base a una materia porgrado. Con este enfoque, el costo estimadode evaluación en el Perú desciende signifi-cativamente en comparación con los otrospaíses estudiados como se mostró en elgráfico 3. Por ejemplo, el Perú evaluó cua-tro grados y tres materias en el 2004, esdecir un total de 12 pruebas, comparadascon cuatro o seis en la mayoría de los otrospaíses. Similarmente, en el 2001 Uruguayevaluó cuatro materias y tres grados, es de-cir un total de 12 pruebas (ver tabla 14).

• Países con poblaciones y territorios másgrandes son más costosos de evaluar quepaíses pequeños y compactos.

• Las preguntas abiertas son más costosas decalificar que las de opción múltiple. El queColombia solo use preguntas de opción múl-tiple es un factor que explica sus costos rela-tivamente más bajos, mientras que la deci-sión peruana de explorar los procesos porlos cuales los estudiantes llegan a sus res-puestas a los ítemes, usando cerca de 50%de preguntas abiertas, ciertamente contribu-ye a los mayores costos de este país.

• Los países con recursos humanos limitadospueden necesitar utilizar y pagar más a con-sultores locales y extranjeros, en compara-ción a países con mayor capacidad de re-cursos humanos.

• Aplicaciones piloto, controles de seguridad,así como análisis y difusión más cuidadososy amplios incrementan los costos.

• La automatización de procesos y una admi-nistración eficiente pueden reducir los costos,según reportaron autoridades colombianas.

• El costo por estudiante de las evaluacionesde muestras pequeñas es mucho más altoque el costo de muestras más amplias o detodos los estudiantes.

29

GRÁFICO 2

COSTOS TOTALES Y COSTOS AJUSTADOS

Nota: El costo ajustado considera el número de grados y materias evaluados se obtuvo dividiendo el costo total entre elnúmero de grados y materias evaluados.

GRÁFICO 3

COSTOS TOTALES Y COSTOS AJUSTADOS POR ALUMNO EVALUADO

Nota: El costo ajustado por alumno se obtuvo dividiendo el costo por alumno entre elnúmero de grados y materias evaluados.

30

TABLA 14

COSTOS DE EVALUACIÓN POR ÁREA DE ESTUDIO Y GRADO EVALUADOS

País, año Costo Número Número Número total Costo unitariode evaluación unitario de grados de áreas de áreas por gradoy tipo de total evaluados de estudio de estudio y áreas de y áreasevaluación (US$) estudio evaluados de estudio

evaluados(US$)

Chile 2004 C 15 1 4 4 3,75

Colombia 2001 I 117 1 1 1 117,00

Colombia 2002 C 2,5 2 2 4 0,63

Colombia 2003 C 5,3 2 2 4 1,25

Colombia 2004 M 14 2 2 4 3,50

Honduras 2002 M 46 2 3 6 7,70

Honduras 2004 M 50 2 3 6 8,30

Perú 2001 I 92 1 3 3 30,70

Perú 2001 M 52 3 2 6 8,67

Perú 2004 M 70 4 3 12 5,80

Uruguay 2003 I 54 1 4 4 13,50

Uruguay 2001 M 43 3 4 12 3,60

Uruguay 2002 M 12 1 2 2 6,00

Uruguay 2003 M 20 1 4 4 5,00

Nota: C = censal; M = muestral; I = internacional

• El apoyo de los organismos internaciona-les que efectúan préstamos o donacionespuede incrementar los costos debido a lasregulaciones de adquisiciones como tam-bién simplemente por la disponibilidad deesos fondos.

• Hay incertidumbre sobre cómo dar cuentade los costos indirectos de los organismospúblicos que implementan el programa deevaluación de un país. En este informe nose incluyeron de manera completa y con-sistente esos costos indirectos en las ta-blas. Si se los incluyera, los costos podríanincrementarse hasta 60%, como en el casode uno de los países estudiados. Chile cal-culó sus costos indirectos, pero no pudodistribuirlos entre las diferentes pruebasque estaba implementando al mismo tiem-po. Colombia no estimó costos indirectosque probablemente son significativos. Perúestimó sus costos con y sin costos indirec-tos, que eran significativos. Honduras notuvo costos indirectos gubernamentales,pues su unidad de evaluación estaba loca-

lizada en una universidad bajo contrato conel gobierno. Uruguay no estimó sus costosindirectos.

• Las escalas salariales pueden variar de unpaís a otro, incluso luego de ajustar en fun-ción a la paridad de poder adquisitivo (PPA).

• Las cuestiones relacionadas con la disponibi-lidad de personal pueden tener impactos fi-nancieros. La mayoría de los países de la re-gión tiene muy reducidos cuadros de expertosen evaluación, que suelen estar sobrecompro-metidos. Esto eleva los costos por la necesi-dad de contratar consultores externos caros,y puede crear problemas en la calidad técnicay en la difusión. A la larga, entrenar más ex-pertos locales no solo mejorará la calidad téc-nica sino que bajará los costos.

En suma, rastrear los costos de las evaluacio-nes es complejo dadas las incertidumbres en ladefinición de lo que se considera costos indirec-tos y/o difusión, en la consideración de costosocultos y la dificultad de hacer los costos com-parables de un país a otro.

31

IV. COSTOS Y TOMA DE DECISIONESSOBRE LAS EVALUACIONES

Evaluar –al menos en base a una muestra– esun elemento fundamental en cualquier sistemaeducativo moderno, puesto que es un paso ne-cesario en el proceso de diseñar, implementar yevaluar los esfuerzos de reforma10. Más allá deesta generalización, la toma de decisiones so-bre los tipos y el alcance de las pruebas depen-de de una amplia gama de factores, empezandopor la definición de objetivos viables de aprendi-zaje y otros, y luego pasando a consideracionesde capacidad técnica y administrativa. Los cos-tos juegan un papel importante, pero no deter-minante, en estas decisiones. Cada país tieneun conjunto diferente de condiciones, y los en-cargados de la toma de decisiones y los técni-cos precisan hacer sus propios cálculos de cos-to-beneficio sobre la amplitud y la profundidadde las pruebas, basados en esos objetivos. Acontinuación, presentamos algunas sugerenciasa tomar en cuenta cuando los países ponderanqué tipo de evaluaciones implementar.

LA DIFICULTAD DE MEDIR RESULTADOS EN

EDUCACIÓN

Los países deben reconocer que medir resulta-dos en educación mediante evaluaciones no esun asunto simple. Un estudio reciente (Crone2004) intenta resumir algunos problemas vincu-lados a la evaluación. En primer lugar, una prue-ba debe reflejar con precisión lo que se proponeenseñar. Esto exige cuidado en el desarrollo deítemes, pilotaje y análisis. En segundo lugar, unpuntaje individual variará cada vez que un estu-diante toma una prueba, no solo debido a losítemes particulares incluidos en la prueba, sinotambién por la condición física y emocional delestudiante. Tercero, es difícil determinar a tra-vés de una evaluación si un maestro, una es-cuela o un sistema determinado es más efectivoque otro. El problema fundamental es que lamateria prima, el estudiante que ingresa al sis-tema, no es homogéneo, pues los niños y jóve-nes tienen distintos antecedentes, capacidadesy experiencias. Por ello, un maestro cuyos estu-diantes sacan puntajes promedio en una pruebaestandarizada, pero cuyos padres son analfabe-

tos, podría considerarse mucho más efectivoque aquel cuyos estudiantes obtienen puntajesen el 25% superior, pero cuyos padres son ricosy con educación superior. También es difícil me-dir el valor agregado del aprendizaje de un añoa otro, a menos que haya un número único deidentificación de estudiantes. Algunos incremen-tos en los puntajes de las pruebas no reflejanincrementos de aprendizaje per se, sino másbien reflejan el incremento de experiencia y co-modidad con el propio proceso de la toma deevaluaciones. Por último, los estados o los paí-ses pueden bajar sus estándares. En los Esta-dos Unidos una serie de estados han reportadomejoras en los puntajes de las evaluaciones es-tatales. Al mismo tiempo, la Evaluación Nacionalde Progreso Educativo (NAEP) ha mostradopoco o ningún progreso en esos mismos esta-dos. Existe la sospecha de que estos estadosestán bajando sus estándares de evaluaciónpara poder reportar incrementos de aprendizaje(Dillon 2005).

EQUILIBRANDO LO DESEABLE Y LO POSIBLE (TRADE-OFFS) EN TÉRMINOS DE METAS, COMPLEJIDAD,CAPACIDAD Y COSTOS DE LAS EVALUACIONES

Como se señaló antes, la toma de decisionessobre las evaluaciones empieza con la identifi-cación y selección de metas de aprendizaje yotros objetivos relevantes, la identificación delos actores interesados claves y la búsqueda desu interés y apoyo, y el reconocimiento de limi-taciones reales en términos de recursos huma-nos y costos. Luego de considerar todas estascuestiones, los encargados de la toma de deci-siones necesitarán hacer y aceptar un balancede ventajas y desventajas relativas (trade-offs)sobre una amplia variedad de parámetros.

La regla de oro en este proceso es nunca esca-timar en calidad técnica o en difusión, dadoque una evaluación técnicamente pobre oaquella que no es usada o difundida es unareal e inaceptable pérdida de dinero. Los obje-tivos de evaluación deben ser simples y claros.

En caso de incertidumbre, puede resultar mejorevaluar pocos grados y materias y concentrarseen la difusión. Evaluar muchos grados y mate-rias a la vez, si bien ahorra en personal y costosde transporte y materiales, puede sobrepasar lacapacidad del organismo evaluador para anali-zar, reportar y –lo más importante– difundir losresultados con efectividad; este quizás sea el

10 Uruguay es el mejor ejemplo en la región de un país que hausado programas de evaluación como una línea de base paramedir si una reforma importante ha tenido impacto en el apren-dizaje con resultados positivos.

32

caso peruano. Pero, de otro lado, los maestros yestudiantes pueden considerar que aquellas ma-terias que no fueron tema de evaluación care-cen de importancia.

Otro tema crítico con el que hay que lidiar es sitomar muestras o aplicar pruebas de forma cen-sal. Como lo ilustra la tabla 1, esta decisióndebe tomarse en base a una clara definición deobjetivos y de la forma en que se usarán losresultados. El tamaño de la muestra también tie-ne un fuerte impacto en el costo por estudianteevaluado. En Colombia, por ejemplo, una mues-tra de 5,000, para participar en evaluaciones in-ternacionales, costó $ 117 por estudiante. Enuna muestra mayor (96,000 estudiantes), el cos-to por estudiante evaluado fue $ 14, y en prue-bas censales está entre $ 2 y $ 5.

Debe tomarse en cuenta los costos fijos y loscostos variables. Los costos fijos de una eva-luación son la preparación y la validación deítemes, incluida la aplicación de pruebas piloto.Los costos de preparación de ítemes se pue-den reducir si solo una porción pequeña de es-tos se pone a disposición del público, lo cualpermite reutilizar los ítemes ya validados. Losrubros de costo variable son la aplicación y ladifusión de resultados. El análisis de resultadoses una combinación de costos fijos y variables.Computadoras de gran poder permiten hoy endía analizar grandes bases de datos a costosadicionales pequeños, pero corregir ítemesabiertos es un costo variable. Corregir pregun-tas abiertas también puede demandar tiempo ycostos, aunque suelen ser mejores medidas decapacidades de razonamiento más complejas.Cuando Colombia realizó una evaluación cen-sal, sus costos fijos de preparación de laspruebas alcanzaron solo 6.6% de los costos to-tales. Cuando realizó una muestra, sus costosfijos fueron 10.6% del costo total. En el estudioPIRLS de menos de 6,000 estudiantes, los cos-tos de preparación de las pruebas fueron25.4% de los costos totales. Las muestras pe-queñas pueden ser costo-efectivas, pero, almismo tiempo, muestras grandes pueden am-pliarse hasta una evaluación censal a bajo cos-to marginal, puesto que los costos fijos de de-sarrollo de ítemes y pruebas piloto pueden seramortizados sobre una población más grande.

Si tomamos en cuenta la capacidad instaladaactual, evaluar a todos los estudiantes de cadagrado cada año, tal como se hace en muchos

estados de los Estados Unidos, parece no seruna buena idea para los países de América Lati-na. Chile tiene probablemente el programa depruebas censales más amplio, pero hasta hacepoco habían estado evaluando no más de ungrado al año, entre 1º y 8º. Implementar un pro-grama completo de evaluaciones anuales enChile incrementaría los gastos cerca de ochoveces, lo cual llevaría a que los costos seanmás de 1% de los gastos educativos nacionales,aún suponiendo algunas economías de escala.En Perú y Honduras el costo proporcional seríaaún más alto. En comparación, el costo en Esta-dos Unidos es, en promedio, equivalente al0.25% del gasto total anual por estudiante. Estebajo ratio en Estados Unidos es, claramente, re-sultado de sus gastos mucho más altos en laenseñanza y los maestros.

Si los costos educativos se incrementaran en1% por las evaluaciones, y ello pudiera dar lugara grandes incrementos en los logros de los estu-diantes, por cierto que valdría la pena. Pero esprobable que la evaluación masiva distraiga dela tarea más importante de difundir los resulta-dos de la prueba y diseñar la formación demaestros y otras intervenciones basadas en losresultados de la evaluación, sin lo cual no ha-bría ninguna mejora, además de exigir montosadicionales considerables del gasto público.Evaluar solo algunos grados y materias revelaráavances y desafíos para las escuelas, comuni-dades, provincias y el país como un todo, y ayu-dará a los padres a ubicar a sus hijos en uncontexto más amplio. Es decir, evaluar uno odos grados por año logra casi todas las metasde la evaluación educativa salvo la retroalimen-tación a todos los padres. Evaluar a todos losestudiantes de todos los grados todos los añosincrementa los aspectos “negativos” de esteproceso, como son el disminuir el tiempo dedi-cado a la enseñanza, descuidar materias noevaluadas (como historia, artes y ciencias) ydesalentar la innovación a nivel de aula.

ENFATIZANDO LA DIFUSIÓN DE LOS RESULTADOS

Sin una difusión de resultados adecuada, laevaluación no tendría impacto alguno sobre elaprendizaje o rendimiento, puesto que los resul-tados no serán utilizados por los maestros, lospadres, los directores de escuela ni los tomado-res de decisiones. Debido a ello, no debería es-catimarse nunca en los gastos en la difusión ydeberá contarse con un plan de difusión antes

33

de poner en marcha cualquier proceso de eva-luación. En el caso latinoamericano se observaque la difusión no es costosa comparada con elresto del proceso de evaluación. Los costos re-portados de la difusión, usualmente para la pu-blicación de resultados, fluctúa entre 5% a 15%de los costos totales de las evaluaciones. Uncosteo exhaustivo de la difusión debería incluirtambién el análisis que deberían realizar los to-madores de decisiones y los cambios en la for-mación docente, el currículo y los libros de tex-to. Para una discusión detallada sobre el estadoactual de la difusión de los resultados de lasevaluaciones en América Latina véase Ravela2002 y Cueto 2005.

EL IMPACTO POTENCIAL DE LAS PRUEBAS DE ALTAS

CONSECUENCIAS

Las pruebas de altas consecuencias a nivel dela secundaria, o exámenes de fin de curso ba-sados en el currículo, determinan si un estu-diante se graduará de un nivel particular deeducación y puede tener impacto en sus opcio-nes de educación superior. Esto es común enpaíses tan diversos como Gran Bretaña, Fran-cia, Dinamarca, Japón, Corea del Sur, Holanday Alemania. Son distintos a los exámenes deingreso universitario porque son universales,necesarios para graduarse y se basan en elcurrículo. Hay evidencia internacional crecienteque las pruebas de altas consecuencias dise-ñadas para certificar a los estudiantes que hanculminado satisfactoriamente sus estudios se-cundarios pueden por sí mismas incrementarel nivel de logro de aprendizaje. Tres estudiosrecientes (Bishop 1997, 2003 y Woessman2000) concluyeron que las pruebas de altasconsecuencias incrementaban el aprendizaje anivel de la secundaria. De los 40 países queparticiparon en la prueba internacional TIMSS,los países con pruebas nacionales de altasconsecuencias generalmente obtuvieron punta-jes más altos que aquellos que no las tenían11.En Estados Unidos, estados con ese tipo depruebas, como Nueva York (el examen Regentsal final de la secundaria), tienen mejores resul-tados que los estados sin exámenes de altasconsecuencias. Estos resultados son indepen-dientes de los gastos por estudiante.

Estas conclusiones son advertidas cada vezmás en Estados Unidos. Por ejemplo, el Scho-lastic Aptitude Test (SAT) en Estados Unidosestá basado cada vez más en logros reales an-tes que en destrezas de aprendizaje “general”,que es una manera de incrementar las “conse-cuencias” del aprendizaje de la secundaria. Ade-más el Advanced Placement Exam del Serviciode Evaluación Educativa (ETS) de Estados Uni-dos, que también es una prueba de altas conse-cuencias para los estudiantes de secundariaque buscan entrar a los colleges y universida-des de élite, se está volviendo cada vez másgeneralizado en Estados Unidos.

Todos los países caribeños angloparlantes tie-nen exámenes de altas consecuencias, no asíla mayoría de los países latinoamericanos de laregión. Las excepciones son Costa Rica y Re-pública Dominicana, donde una prueba rendidaal final de la secundaria pesa por lo menos25% en la nota final del estudiante, y El Salva-dor, donde la Prueba de Aptitudes para Egresa-do de Secundaria (PAES) determina 20% delcalificativo final. Todavía no hay evidencias deque los estudiantes de estos países se desem-peñen mejor que lo esperado debido a estosexámenes. Chile ha empezado a considerarevaluaciones de altas consecuencias al final dela educación secundaria y el Consejo Nacionaldel Perú ha propuesto que se considere seria-mente esta opción. Este informe no aporta da-tos sobre los costos de estas pruebas, con ex-cepción de ICFES. Es posible que las pruebassean relativamente caras, pero la recompensaen términos de logros de aprendizaje puede sersignificativa.

Las evaluaciones de altas consecuencias tienenriesgos obvios. Se debe cuidar que las pruebasestén diseñadas para enfatizar aprendizajes dealto nivel, antes que la memorización. Tambiénse debe asegurar que los estudiantes no aban-donen los estudios antes del examen de altasconsecuencias. Esto ocurrió hace unos años enTexas, aunque se reporta que las desercionesescolares se han estabilizado (Carnoy y Loeb2003). También existen reportes anecdóticos dedeserciones previas a las evaluaciones en elCaribe angloparlante.

Una variación de las evaluaciones de altas con-secuencias usada en Estados Unidos son losexámenes de “competencia mínima”, en los cua-les todos los estudiantes deben alcanzar un

11 El estudio de Bishop también concluyó que otra razón del bajodesempeño de los estudiantes de EE.UU. es que sus maestrosestán gravemente subremunerados y sobreexigidos en compa-ración a los de otros países.

34

“piso” de aprendizaje para poder graduarse. Laevidencia disponible hasta ahora (ver Bishop1997) es que los exámenes de competencia mí-nima no tienen un impacto observable sobre elaprendizaje y pueden producir un incremento enla tasa de deserción escolar.

EL VALOR DE PARTICIPAR EN PROGRAMAS

INTERNACIONALES DE EVALUACIÓN

La participación en pruebas internacionales pue-de generar un debate nacional y esfuerzos dereforma que pueden llevar a mejorar el aprendi-zaje y representan un espacio valioso para eldesarrollo de capacidades nacionales en eva-luación. Los puntajes bajos en las evaluacioneshan conducido a tales debates en todo el mundoy a la generación de una amplia variedad deprogramas para el mejoramiento del aprendizajeen los países participantes. Por ejemplo, Alema-nia alcanzó puntajes mucho más bajos que losesperados en el examen PISA y ahora está re-pensando sus políticas de canalización tempra-na de muchos estudiantes a programas de bajasexpectativas (Ammermueller 2004). Algunos lu-gares (por ejemplo Corea del Sur, Hong Kong,Estados Unidos y Ontario, entre otros) han me-jorado aprendizajes recientemente, según suspuntajes en la evaluación TIMSS de ciencias ymatemáticas entre 1995 y 2003. Las razones dedichas mejoras requieren un análisis que tras-ciende el foco del presente estudio. En AméricaLatina, se han suscitado debates nacionales si-milares alrededor de los resultados pobres deChile, México, Perú y Brasil tanto en TIMMScomo en PISA, aunque aún no se observan re-sultados positivos de dichas discusiones. Es po-sible que los estudiantes latinoamericanos ten-gan resultados bajos debido a la falta deoportunidades de aprendizaje, es decir, porqueaquello que se mide en las pruebas no estásiendo enseñado en las aulas. Por ejemplo, mu-chas de las pruebas internacionales de lenguajerequieren que el estudiante escriba ensayos o,para matemáticas, que solucionen problemas,habilidades que son poco desarrolladas en latípica aula latinoamericana.

Si bien la participación en programas internacio-nales de evaluación no es una carga financierasignificativa, y es muy valorada como terreno deentrenamiento por casi todos los participantesde América Latina, hay otros problemas que confrecuencia dificultan la participación de algunospaíses y que deben tomar en cuenta los encar-

gados de la toma de decisiones. Por ejemplo,las reuniones de PISA y PIRLS pueden celebrar-se en cualquier lugar del mundo. Viajes largos,digamos al Lejano Oriente, a menudo tienen querecibir el visto bueno de funcionarios guberna-mentales del más alto nivel, sobre todo en paí-ses pequeños, y puede ser difícil cuando lospaíses están implementando medidas de auste-ridad fiscal. Los encargados de tomar decisio-nes educativas tienen que convencer a los fun-cionarios de presupuesto sobre la importanciade estos programas internacionales.

Además, las exigencias planteadas a grupos pe-queños de expertos nacionales calificados,usualmente involucrados simultáneamente enesfuerzos de evaluación nacional, pueden sermuy altas. La solución a largo plazo es capacitara más especialistas en el área de evaluación.

Para algunos países parece ser más atractivoparticipar en las pruebas regionales de UNES-CO, sobre todo debido a la posibilidad de uninvolucramiento cercano, aprender haciendo ymenores costos. Las pruebas de UNESCO po-drían ayudar a alcanzar muchas de las metas delas pruebas internacionales si porciones de ellasse hicieran equivalentes a PISA, PIRLS, etc.

NECESIDAD DE IDENTIFICAR “QUÉ FUNCIONA” EN

LA EDUCACIÓN

Las evaluaciones estandarizadas no son carassi se las compara con los gastos totales en edu-cación en América Latina. Una cuestión másfundamental es identificar qué es “lo que funcio-na” en educación. Desafortunadamente, los sis-temas educativos alrededor del mundo resaltanpor invertir muy poco en investigación y desarro-llo. América Latina no es una excepción.

Como se señaló antes, la investigación sugiereque las pruebas de altas consecuencias puedenincrementar el aprendizaje. Hay evidencia suge-rente –aunque no concluyente– de que la re-troalimentación de los resultados de las pruebasque conllevan recompensas/sanciones para losmaestros y escuelas (es decir, responsabiliza-ción o accountability) en función a mejoras en elaprendizaje afectarán positivamente ese apren-dizaje. En los Estados Unidos, la ley No ChildLeft Behind ordena acciones para mejorar lospuntajes de las evaluaciones e incluye una va-riedad de recompensas y sanciones a las es-cuelas y comunidades por cambios en puntajes.

35

Un estudio reciente (Carnoy y Loeb 2003) con-cluyó que, si bien ello parece prometedor, aúnes demasiado temprano para identificar con cla-ridad si la responsabilización del maestro, es-cuela o comunidad en Estados Unidos ha tenidoimpacto sobre el aprendizaje. En la región, Chileha identificado distritos de bajo desempeño (elprograma de las 900 escuelas) para que recibanayuda adicional. Anteriormente, ha habido mejo-ras en estas escuelas pero también hay eviden-cia de que algunas escuelas no deseaban “gra-duarse” a mejores niveles de desempeño parano perder esos recursos adicionales. El sistemachileno para estimular el desempeño docente (elSNED) es bien aceptado por los maestros, peroaún no se ha demostrado que tenga un impactoen el aprendizaje. Tampoco en México hay evi-dencias de que los incentivos a los maestrosque obtienen mayores puntajes en las evalua-ciones hayan mejorado los logros de aprendiza-je (ver Mizala y Romaguera 2005 para un estu-dio de la experiencia de ambos países). Deigual manera, la retroalimentación de los resul-tados de las pruebas para reformar el currículo,revisar los libros de texto y mejorar la capacita-ción del maestro debería tener un impacto sobreel aprendizaje, pero existe muy poca evidenciadirecta de ese impacto, en gran medida por locomplejo que es el proceso. En suma, quedamucho por hacer en cuanto a medir el impactode los programas y políticas educativas sobre elaprendizaje.

BIBLIOGRAFÍA

Ammermuller, Andreas. 2004. “PISA: WhatMakes the Difference? Explaining the Gapin PISA Test Scores between Finland andGermany”. Social Science ResearchNetwork, Center for European EconomicResearch, Munich 2004.

Bishop, John. 2003. “La educación secundariaen los Estados Unidos. ¿Qué puedenaprender otros de nuestros errores?”, enRama (ed.) Alternativas de reforma de laeducación secundaria, ed. German Rama,IDB, Washington DC 2003.

Bishop, John. 1997. “The Effect of NationalStandards and Curriculum-Based ExternalExams on Student Achievement”, AmericanEconomic Review, mayo 1997.

Bruneforth, Michael, Albert Motivans y YanhongZhang. 2004. “Investing in the Future:Financing the Expansion of EducationalOpportunity in Latin America and theCaribbean”, UIS, Unesco. Montreal.

California Legislative Analyst’s Office, “Analysisof the 2003-2004 Budget Bill, EducationTable of Contents”, 2003 Sacramento.

Carnoy, Mart in, y S. Loeb. 2003. “DoesAccountability Affect Student Outcomes? ACross State Analys is” , Educat ionEvaluat ion and Pol icy Analysis 2003 .Amer ican Educat ion ResearchAssociation.

Carnoy. 2004. ¿Tiene efecto la responsabilidadexterna en los resultados educacionales delos alumnos? Un análisis entre los estadosde EE.UU. Documento de Trabajo Nº 26.Santiago, PREAL.

Cohen, Joel, y David Bloom. 2005. “CultivatingMinds,” Finance and Development, junio2005, IMF, Washington DC.

Connecticut State Department of Education.2005. “Cost of Implementing the Federal NoChild Left Behind Act in Connecticut”, marzo2005, Hartford, Connecticut.

Crone, Theodore. 2004. “What Test Scores Can andCannot Tell Us about the Quality of ourSchools”, Federal Reserve Bank of PhiladelphiaBusiness Review, Q3, 2004. Filadelfia.

Cueto, Santiago, ed., “Uso e impacto de lainformación educativa en América Latina”,PREAL 2005, Santiago, Chile.

Chile. 2005. “SIMCE 2004 Octavo básico.Resultados nacionales”, www.simce.cl

Dillon, Sam. 2005. “Students Ace State Tests,but Earn D’s from US”, New York Times,Nov 26, 2005.

Ferrer, Guillermo. 2004. “Estado de situación delos sistemas nacionales de evaluación delogros de aprendizaje en América Latina”.PREAL, Santiago, Chile.

36

Mizala, Alejandra, and Pilar Romaguera. 2003.“Rendimiento escolar y premios pordesempeño: la experiencia latinoamericana,”PREAL, Santiago, Chile.

Peyser, James y Robert Costrel l . 2004.“Exploring the Costs of Accountability,”Education Next , Hoover Inst i tut ion,Stanford, California.

Ravela, Pedro (ed). 2001. Los próximos pasos:¿Cómo avanzar en la evaluación deaprendizajes en América Latina? Santiago,Chile, Documento de Trabajo de PREAL Nº20. Agosto 2001.

Ravela, Pedro. 2002. “¿Cómo presentan susresultados los sistemas nacionales deevaluación educativa en América Latina?”,Documento de Trabajo de PREAL Nº 22,Santiago, Chile.

Schiefelbein, Ernesto, Laurence Wolff y PaulinaSchiefelbein. 2000. “The Opinion of Expertsas an Instrument to Evaluate Investment inPrimary Education”, Revista de la CEPAL,diciembre del 2000, Santiago, Chile.

Uruguay. Administración Nacional de EducaciónPública. 1998. “Evaluación de aprendizajesen tercer año de educación primaria”.Montevideo.

Woessmann, Ludger. 2000. “School ingResources, Educational Institutions, and

Student Performance: the InternationalEvidence,” mayo 2000, Kiel Working PaperNº 983, Kiel Institute of World Economics.Alemania.

Wolff, Laurence, and Martin Gurría. 2005.“Money Counts: Project ing EducationExpenditures in Latin America and theCaribbean to the Year 2015.” UIS WorkingPaper.

SITIOS WEB

Chile: Sistema de Medición de la Calidad de laEducación (SIMCE) www.simce.cl

Colombia: Instituto Colombiano de Fomento dela Educación Superior www.icfes.gov.co

Honduras; Unidad de Medición de la CalidadEducativa www.se.gob.hn

Perú: Unidad de Medición de la Cal idadEducativa www.minedu.gob.pe/umc

Uruguay: Administración Nacional de laEducación Públ ica [email protected]

UNESCO/Orealc: Laboratorio Latinoamericanode Medición de la Calidad de la Educaciónhttp://llece.unesco.cl/esp

37

RESUMEN DE SISTEMAS NACIONALES DE EVALUACIONES DE APRENDIZAJES

Los siguientes textos y tablas fueron extractados de Ferrer (2006) e inclu-

yen información básica sobre las características de los sistemas nacionales

de evaluación de la educación de los países latinoamericanos incluidos

aquí –Chile, Colombia, Honduras, Perú y Uruguay– que se deberían tener

en cuenta cuando se comparan los costos.

Anexo

38

CUADRO A-1

CHILE- RESUMEN DEL SISTEMA NACIONAL DE EVALUACIÓN

CHILE

Las pruebas son censales en todos los gradosde aplicación. Históricamente han sido diseña-das con referencia a normas, aunque reciente-mente se ha redefinido el modelo para poderreportar los resultados con referencia a criterios.Los instrumentos incluyen preguntas cerradasde opción múltiple, así como preguntas para eldesarrollo de respuestas abiertas. Todos losoperativos son acompañados con cuestionariosde contexto para el estudio posterior de factores

escolares y extraescolares asociados al rendi-miento académico. Complementariamente, unequipo técnico especial realiza un seguimientocuanti-cualitativo de implementación curricular anivel nacional mediante encuestas y observacio-nes a docentes y directores de escuelas. Eseseguimiento permite indagar más profundamen-te sobre la incidencia que las diferentes fuentesde prescripción curricular utilizadas en la escue-la (marcos curriculares, programas de estudio,libros de texto, etc.) tienen sobre el logro acadé-mico de los alumnos.

40

CUADRO A-2

COLOMBIA- RESUMEN DEL SISTEMA NACIONAL DE EVALUACIÓN

* En algunas entidades territoriales se realizó, adicionalmente, la evaluación de los grados 3 y 7.

COLOMBIA

Las pruebas SABER son muestrales, están re-feridas a criterios y evalúan el rendimientoacadémico de acuerdo a una escala predefini-da de tres niveles de desempeño de compleji-dad creciente para cada asignatura y año eva-luados. Las pruebas se complementan concuestionarios de contexto que permiten elanálisis de factores escolares y extraescolaresasociados al rendimiento académico (caracte-rísticas de escuela, maestro, alumno y fami-

lia). Los Exámenes de Estado se aplican cen-salmente a todos los aspirantes a la educa-ción superior. Las pruebas miden el alcancede conocimientos en las áreas curriculares deformación general, y también permiten la eva-luación de conocimientos en profundidad paraalgunas disciplinas, según los requisitos de in-greso de los diferentes programas de educa-ción superior. Se evalúan también conocimien-tos en lenguas ext ra jeras y formacióninterdisciplinaria (específicamente, medio am-biente y violencia y sociedad).

41

CUADRO A-3

HONDURAS- RESUMEN DEL SISTEMA NACIONAL DE EVALUACIÓN

* Prueba fue parte de componente V del Proyecto PEEP (Eficiencia de la Educación Primaria)

HONDURAS

Las pruebas aplicadas por la UMCE son mues-trales a nivel nacional, referidas a criterios y ba-sadas principalmente en un modelo de respues-ta de opción múltiple. En el área de lenguaje,además, se evalúa redacción escrita y lecturaoral. Las pruebas son complementadas concuestionarios a alumnos, padres de familia, do-centes y directores de centros, para el estudioposterior de factores asociados al rendimiento.Se estudian variables de NES y otras variablesintraescolares (incluyendo un modelo de medi-

ción de eficacia escolar). Los equipos técnicoshan encontrado dificultades para establecer co-rrelaciones confiables entre esas variables y elrendimiento académico, aunque la incorporaciónde un modelo de análisis jerárquico lineal (HLM)a partir de 2002 ha permitido aumentar la con-fiabilidad y validez de las correlaciones. Ademásdel programa regular de evaluación en los gra-dos y áreas mencionadas, la UMCE presta susservicios para la medición de rendimiento aca-démico como indicador de impacto de algunosprogramas específicos financiados por agenciasde cooperación internacional.

42

CUADRO A-4

PERÚ- RESUMEN DEL SISTEMA NACIONAL DE EVALUACIÓN

* Aplicado solamente a grados 4 y 6.

PERÚ

Las primeras aplicaciones se realizaron conpruebas referidas a normas, pero actualmentese aplican instrumentos con referencia a crite-rios. Las pruebas son muestrales, incluyen íte-mes de opción múltiple y de respuestas abier-tas, y han sido aplicadas en español, quechua yaymara. Junto con las pruebas se aplican cues-

tionarios de contexto para el estudio posteriorde factores asociados al rendimiento. Se estu-dian variables escolares (Ej. Insumos pedagógi-cos, características de escuelas y profesores,actitudes hacia las asignaturas y hacia las len-guas originarias, tareas en el hogar), y extraes-colares (principalmente género, NES, lenguamaterna, localización urbana o rural, administra-ción pública o privada, y región geográfica).

43

CUADRO A-5

URUGUAY- RESUMEN DEL SISTEMA NACIONAL DE EVALUACIÓN

URUGUAY

Se han realizado operativos censales y muestra-les. Las pruebas incluyen ítemes de opción múlti-ple y también preguntas para el desarrollo derespuesta abierta. Junto a las pruebas se aplicancuestionarios de contexto socioeducativo a do-centes, directores, alumnos y familias para el es-

tudio de factores asociados al rendimiento. Seanalizan variables escolares (Ej. Infraestructura yequipamiento, dotación de recursos humanos,experiencia docente, gestión, concepciones pe-dagógicas), así como variables extraescolares(Ej. Condiciones de la vivienda, composición dela familia, bienes materiales y culturales, niveleseducativos y ocupacionales de los padres).

DOCUMENTOS



El Programa de Promoción de la Reforma Educativa enAmérica Latina y el Caribe es un proyecto conjunto delDiálogo Interamericano, con sede en Washington, y laCorporación de Investigaciones para el Desarrollo, consede en Santiago de Chile.

Desde su creación en 1995, el PREAL ha tenido comoobjetivo central contribuir a mejorar la calidad y equidadde la educación en la región mediante la promoción dedebates informados sobre temas de política educacional yreforma educativa, la identificación y difusión de buenasprácticas y la evaluación y monitoreo del progresoeducativo.

La ejecución de las actividades se realiza a través deCentros Asociados de Investigación y Políticas Públicasen diversos países de la región y comprenden larealización de estudios, la organización de debates y lapromoción de diálogos públicos sobre temas de políticaeducacional y reforma educativa.

Las actividades del PREAL son posibles gracias al apoyode la United States Agency for International Development(USAID), el Banco Interamericano de Desarrollo (BID),la International Association for the Evaluation ofEducational Achievement (IEA), GE Foundation, TheTinker Foundation, entre otros.

Inter-American Dialogue • 1211 Connecticut Ave. N.W. Suite 510Washington, D.C. 20036 U.S.A. • Tel: (202) 822-9002Fax: (202)822-9553 • E-mail: [email protected]: www.thedialogue.org & www.preal.org

CINDE • Santa Magdalena 75, Piso 10 • Oficina 1002 • ProvidenciaSantiago, Chile • Tel: (56-2) 334-4302

Fax: (56-2) 334-4303 • E-mail: [email protected]: www.preal.org

documentos - inter-american dialoguearchive.thedialogue.org/publicationfiles/preal 38-spanish.pdf2....

Documents