METAS EDUCATIVAS 2021LA EDUCACIÓN QUE QUEREMOS PARA LA GENERACIÓN DE LOS BICENTENARIOS

SEMINARIO IBEROAMERICANO DE EVALUACIÓN DE LOS NIVELES DE ALFABETISMO DE PERSONAS

JÓVENES Y ADULTASNOVIEMBRE 23 – 25 DE 2010

ASUNCIÓN - PARAGUAY

Guillermo A. Casasbuenas DíazDirector de Proyectos Nacionales

Organización de Estados Iberoamericanos Bogotá - Colombia

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

El objetivo general de la evaluación de los Programas de Alfabetización,Educación Básica Primaria y Formación para el Trabajo de Jóvenes y Adultoses analizar y valorar el impacto social en las condiciones de vida de losbeneficiarios finales.

Los Programas de Alfabetización evaluados han contemplado la valoraciónde las dimensiones personal y social de los beneficiarios finales, una vezculminan el Ciclo Lectivo Especial Integrado I correspondiente a los gradoscomprendidos entre primero a tercero de primaria.

Los proyectos de evaluación del Programa se llevan a cabo, en el marco delos Convenios de Cooperación suscritos entre el Ministerio de EducaciónNacional, AECID y la OEI, pero siempre referidos a la evaluación de la políticapública.

Entender el seguimiento y la evaluación como un sistema de producción deinformación útil para la toma de decisiones, en tiempo real y a futuro.

PRESENTACIÓN

ASPECTOS GENERALES

EVALUACION DE POLÍTICA PUBLICApor su naturaleza es fundamental el abordaje de la discusión

conceptual en la que por lo menos, se tenga en cuenta:

• Quién formula? Estructura técnica de la formulación? Quién financia?

Estructura y contexto de la formulación

• A que responde? Quiénes intervienen? Intereses Nacionales, regionales, locales

Objetivos e intereses de gobierno –actores

• Aprender - comprender - justificar- planear tomar decisiones.

Qué se pretende al evaluar política pública

• Es claro quién es el beneficiario final? Es claro el tipo de beneficio que se pretende?

El beneficiario de la política pública

• Cantidad de beneficiados vs calidad de beneficiarios

Política pública y satisfacción y/o bienestar personal, comunitario,

social

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

METODOLOGÍA DE MONITOREO SEGUIMIENTO Y EVALUACIÓN

Pilares fundamentales:

CONCEPTO INTEGRALIDAD

PROCESO DE EJECUCIÓN

UTILIDAD MISMA DEL PROCESO

Un proyecto es entendido como

un conjunto integrado de

múltiples acciones en aras de un objetivo

general.

La evaluación se inicia desde el

mismo momento en que se inician las actividades

del proyecto y no exclusivamente al

final de la intervención.

Por lo tanto una vez se definen criterios,

variables y se conforman

indicadores de línea base para el

seguimiento, es posible comenzar a

comprender también impactos sobre esos mismos indicadores

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

HISTORIA

1. Seguimiento y Evaluación Programa de Alfabetización – AECID

PRESENTACIÓN

AECID I

2008

AECID II

2009

AECID III

2010

Los programas de alfabetización por si solos generan un impacto positivo en los beneficiarios.

Los programas de alfabetización mejoran las competencias cognitivas, actitudinalesy axiológicas de los beneficiarios, desarrollando en ellos habilidades para la toma de decisiones.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

HISTORIA

1. Seguimiento y Evaluación Programa de Alfabetización – AECID

PRESENTACIÓN

Instrumentos

Metodología

Indicadores de Línea de Base e Indicadores específicos para medir impacto

AECID IIEncuesta Observación en campo

AECID IIIEncuesta EntrevistaObservación en campo

Indicadores de medición de la dimensión cognitiva y actitudinal y axiológica

Medición de impactos en la toma de decisiones en una línea de tiempo (corto y mediano plazo)

AECID IEncuesta Entrevista Semi –EstructuradaObservación etnográficaGrupos Focales

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

HISTORIA

2. Evaluación de Impacto del Programa Nacional de AlfabetizaciónPeriodo evaluado: 2007 - 2008

PRESENTACIÓN

Instrumentos

Metodología Indicadores de medición de la dimensión cognitiva y actitudinal y axiológica

Encuesta - Entrevista Semi –Estructurada- Grupos Focales

Ejes evaluados

Institucional – Administrativo – Político – Socio – educativo

SEGUIMIENTO, MONITOREO, CONTROL Y EVALUACIÓN

LINEA DE TIEMPO DEL PROYECTO

SEGUIMIENTO, MONITOREO, CONTROL Y EVALUACIÓN

TRABAJO DE CAMPO-GRUPO INTERDISCIPLINARIO-

TRA

NSV

ERSA

LID

AD

ACOMPAÑAMIENTO BENEFICIARIO

CO

NST

RU

CC

IÓN

LÍN

EA B

ASE

MATRIZ DE INDICADORES

INICIO FIN

INFO

RM

AC

IÓN

EN

TIE

MP

O R

EAL

RESULTADOS DE LA EVALUACIÓN

TOMA DE DECISIONES

FASES DE EJECUCIÓN DEL PROYECTO

MONITOREO DE INDICADORES

EVA

LUA

CIÓ

N D

E IM

PAC

TO

METODOLOGÍA DE EVALUACIÓN DEL PROGRAMA DE ALFABETIZACIÓN, EDUCACIÓN BÁSICA PRIMARIA PARA JÓVENES Y ADULTOS (CICLO I Y II)

INSTITUCIONAL

ADMINISTRATIVO

POLÍTICO

SOCIO-EDUCATIVO

EJES / PASOS

Valorar el sentido de apropiación que el Programa ha generado en los actores institucionales involucrados en todo el proceso.

Indagar sobre los procesos y actos administrativos que se desarrollan para apoyar la educación a adultos

Identificar si el Programa cumple con el objetivo principal de garantizar que cada beneficiario adquiera las competencias académicas y sociales requeridas para ejercer sus derechos y cumplir con sus deberes.

Conocer el seguimiento y acompañamiento que se realiza al Programa desde el Nivel Central, Secretarías de Educación e Instituciones Educativas, verificando su mapa de procesos.

OBJETIVOS PLANTEADOS

POBLACIÓN OBJETIVO

Secretarios de Educación, Encargados del Programa de Adultos de las Secretarías y Rectores de las Inst. Educativas

Nivel Central, Secretarios de Educación, Encargados del Programa de Adultos de las Secretarías y Rectores de las Inst. Educativas

Secretarios de Educación, Encargados del Programa de Adultos de las Secretarías

Beneficiarios y Docentes

FOCALIZACIÓN

Criterios tenidos en cuenta para la selección de las regiones a intervenir:

Certificación de la Entidad Territorial.Tasa de Analfabetismo departamentalMayor número de personas alfabetizadasMayoría de tiempo aplicando el programaCompromisos y dificultades de la Entidad Territorial Adopción de los tres o cuatro modelos que existían a lo largo de su desarrollo.

PASOS DE LA EVALUACIÓN (PARTE I)

METODOLOGÍA DE EVALUACIÓN DEL PROGRAMA DE ALFABETIZACIÓN, EDUCACIÓN BÁSICA PRIMARIA PARA JÓVENES Y ADULTOS (CICLO I Y II)

INSTITUCIONAL

ADMINISTRATIVO

POLÍTICO

SOCIO-EDUCATIVO

EJES / PASOSSISTEMATIZACIÓN

Y ANÁLISIS

Documento de Análisis y Conclusiones de los ejes Institucional, Administrativo y Político del Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.

Documento de Análisis del eje Socio Educativo del Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.

CONCLUSIONES Y RECOMENDACIONES

PASOS DE LA EVALUACIÓN (PARTE II)

Documento Final de Conclusiones y Recomendaciones al Programa Nacional de Alfabetización y Educación Básica Primaria de Jóvenes y Adultos.

Documento Final de Metodologías de Alfabetización Utilizadas en Colombia y Evaluación de Impacto Social de Programas de Alfabetización de Jóvenes y Adultos en América Latina.

METODOLOGÍA DE EVALUACIÓN

Realización del Mapa de Procesos para entender el funcionamiento del Programa en todas sus etapas Elaboración de ficha técnica para facilitar el análisis de la información (Transformación de variables cualitativas a cuantitativas)Aproximación a la metodología del Marco Lógico (Análisis de involucrados y Árbol de Problemas) para la posterior realización de recomendaciones.

Identificación de variables e indicadores dentro de dos dimensiones: Cognitiva, y Actitudinal y axiológica. (F. técnica)Aproximación a la metodología del Marco Lógico para la posterior realización de recomendaciones.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

¿Cómo funciona?

A partir del concepto deInteligencia de la información, laversión web del Sistema deAdministración de Información(SAI) permite a los usuarios de laOEI integrar la visualización de lasactividades de análisis delcomportamiento de losbeneficiarios de programas deAlfabetización, en un espaciointeractivo con funcionesdiseñadas a la medida de susnecesidades.

SISTEMA DE ADMINISTRACIÓN DE INFORMACIÓN: LA GESTIÓN DEL CONOCIMIENTO EN EL MARCO DE LA

EVALUACION DE LOS PROGRAMAS DE ALFABETIZACIÓN

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

ACTIVIDADES DEL SISTEMA DE ADMINISTRACIÓN DE INFORMACIÓN

El sistema permitirá a los usuarios (de acuerdo con su perfil y permisos):IndexarPublicarBuscarCompararMedirCuantificarAnalizarAdministrar RecursosHacer seguimientoGenerar indicadoresAlmacenar informaciónTomar decisionesCompartir archivos

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

MONITOREO, SEGUIMIENTO Y CONTROL DE INDICADORESSe podrá hacer seguimiento individual a cada uno de los beneficiarios de losprogramas y generar comparativos por zona, edad, rango, fecha, área delconocimiento y demás indicadores configurados por la línea de base.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

LAS EVALUACIONES DE LOS PROGRAMAS DE ALFABETIZACIÓN HAN PERMITIDO:

Identificar problemas centrales que afectan la operatividad del Programa enlos Ejes Administrativo, Político, Institucional y Socio – Educativo.

Evidenciar efectos positivos en los beneficiarios del Programa.

Brindar la oportunidad de transformar las debilidades del Programa enOportunidades para Mejorar.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

IMPORTANCIA DE LA EVALUACIÓN DE LOS PROGRAMAS DE ALFABETIZACIÓN

La experiencia acumulada en la evaluación de los programas de alfabetización,confirma que éstos siempre producen cambios en los participantes directos eindirectos.

Su aplicación impacta en la conducta, las motivaciones, la voluntad y laparticipación, entre otras. Por tanto, aún cuando no es posible determinarclaramente el impacto social, al no haber establecido una línea base desde elinicio, si es posible afirmar que se han producido cambios positivos en losbeneficiarios.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

PROBLEMA CENTRAL IDENTIFICADO EN LA EVALUACIÓN

“ En la implementación de los Programas deAlfabetización ha prevalecido la cobertura sobrela calidad. Es decir, que se ha atendido en mayormedida al cumplimiento de las metas de jóvenesy adultos alfabetizados, prestando poca atencióna los resultados que permitan un proceso deformación para los beneficiarios del Programaque les brinde las herramientas necesarias paratener una mejor calidad de vida. ”

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

LOS RESULTADOS DE LA EVALUACIÓN EN LA CALIDAD : CASO DE ESTUDIO

“El aprendizaje de los beneficiarios del Programa Nacional de Alfabetización”

ÁREA DE COMUNICACIÓN Y LENGUAJE

Los resultados de las pruebas expresan la incapacidad de aproximadamente del 56% de los beneficiarios para exponer de la forma más elemental, hechos de su vida cotidiana. Prueba de ello son los textos escritos por los beneficiarios en la evaluación aplicada.

PENSAMIENTO MATEMÁTICO

En el área de pensamiento matemático, el análisis de las pruebas de conocimiento aplicadas a los beneficiarios del Programa muestran que el 40% de ellos fueron promovidos al siguiente Ciclo de formación sin contar con las competencias básicas, que les permita explicar y predecir situaciones presentes en el mundo de la naturaleza, en lo económico y en lo social.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

AMBIENTE Y PRODUCCIÓN

El 50% de los beneficiarios no lograron el nivel de aprendizaje definido para elCiclo en esta área, lo cual repercute en las pocas habilidades adquiridas parael cuidado del medio ambiente, que es fundamental para hacer que susactividades económicas contribuyan a que su desarrollo social sea sustentable.

CIENCIAS SOCIALES

El 50% de los beneficiarios al terminar el curso no logró comprender sucontexto en términos políticos, razón por la cual no entiende las rutas deatención de las Instituciones del Estado ni el objeto fin de los Programas deatención integral para personas en estado de vulnerabilidad social.

LOS RESULTADOS DE LA EVALUACIÓN EN LA CALIDAD : CASO DE ESTUDIO

“El aprendizaje de los beneficiarios del Programa Nacional de Alfabetización”

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

ESTRUCTURA DE ACTORES ESTRATÉGICOS:Análisis de Involucrados

MINISTERIO

OPERADOR

ENTIDAD TERRITORIAL

INSTITUCIÓN EDUCATIVA

DOCENTES

BENEFICIARIOS

IDENTIFICACIÓN DE ACTORES

IDENTIFICACIÓN DE INTERESES MANIFIESTOS

IDENTIFICACIÓN DE INTERESES

OCULTOS

IDENTIFICACIÓN DE RECURSOS

MAPEO POLÍTICO

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

LOS RETOS DE LOS PROGRAMAS DE ALFABETIZACIÓN FRENTE A LAS EVALUACIONES:

“Factores clave para convertir los problemas identificados en oportunidades”

Identificar los involucrados en los procesos de toma de decisiones.

Reconocer los factores que el tomador de decisiones puede controlar acerca del problema.

Reconocer los factores del problema en los que el tomador de decisiones no puede influir.

Valorar las limitaciones que existen en los factores controlables e incontrolables del problema.

Tomar la decisión que permita mejorar la situación problema.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

LECCIONES APRENDIDAS DE LAS EVALUACIONES DE LOS PROGRAMAS DE ALFABETIZACIÓN

COBERTURA

CALIDAD

PERTINENCIA

EFICIENCIA

Para contribuir al impacto positivo de los

Programas de Alfabetización, se debe

hacer Monitoreo, Seguimiento, Control y

Evaluación teniendo en cuenta el ciclo de la

política pública educativa.

Seminario Iberoamericano de Evaluación de los niveles de Alfabetismo de personas Jóvenes y Adultas.

GRACIASwww.oei.org.co