diniece guÍa para evaluaciÓn de programas en educaciÓn

7/28/2019 DiNIECE GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN

1/30

PARA EVALUACIN

dePROGRAMAS

EN EDUCACIN

GUA

Doumtos d la Dniece


2/30


3/30

AUTORIDADES

Presidenta de la Nacin

Dra. Cristina FernnDez De KirChner

Ministro de Educacin

ProF. Juan Carlos teDesCo

Secretario de Educacin

ProF. alberto sileoni

Secretario de Polticas Universitarias

Dr. alberto Dibbern

Subsecretaria deEquidad y Calidad

ProF. susana MontalDo

Subsecretario dePlaneamiento Educativo

liC. osvalDo Devries

Subsecretario de Coordinacin Administrativa

arq. Daniel iglesias

Secretario General delConsejo Federal de Educacin

ProF. DoMingo De Cara

Directora Ejecutiva delInstituto Nacional de Educacin

ProF. Mara rosa alManDoz

Directora Ejecutiva del Instituto Nacionalde Formacin Docente

ProF. Mara ins abrile De vollMer

Directora Nacional de Inormacin yEvaluacin de la Calidad Educativa

lc. Marta KisilevsKY


4/30

Elaboracin:rea de Investigacin / Coordinadora: Liliana PascualMagdalena Chiara

Relaciones Institucionales y Comunicaciones:Agustina Lpez

Diseo y Diagramacin:Karina ActisJuan Pablo RodrguezCoralia Vignau


5/30

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

NDICE

Presentacin............................................................................................................5

1. Pd mp ConCePtos..............................................................7Qu se entiende por evaluacin?.....................................................................7

Cul es la dierencia con el monitoreo?............................................................8

Qu se entiende por programa? Cmo se relaciona programay poltica?......................................................................................................8

Cules son los componentes de un programa?................................................9

Cules son las unciones de la evaluacin de programas?................................9

Quines son los actores a considerar en una evaluacin?...............................10

Con relacin a este captulo, tenga en cuenta que ..........................................10

Bajando a la prctica ......................................................................................11

Para seguir indagando ....................................................................................11

2. Dc Diseo d ed e........................12

Evaluacin y ciclo de vida de los programas: cundo evaluar?........................12

La denicin de las PREGUNTAS: momento clave en el diseode un estudio evaluativo..................................................................................12

Una vez denidas las preguntas, cules son las decisiones a tomarpara disear un estudio evaluativo?.................................................................13

Cules son los tipos posibles de evaluacin de programas?............................14

Con relacin a este captulo, tenga en cuenta que .........................................16

Bajando a la prctica ......................................................................................16

Para seguir indagando ....................................................................................16

3. l ec Diez ...........................................................................17 Fase 1: Conormacin del equipo evaluador....................................................17

Fase 2: Reconstruccin de las coordenadas del programa a evaluar.................17Fase : Identicacin de los actores e involucrados..........................................18

Fase 4: Recorte y Descripcin del Problema Focal ............................................18 Fase 5: Denicin de las preguntas y enunciacin de los objetivos...................19 Fase 6: Operacionalizando las preguntas para avanzar en la indagacin..........20 Fase 7: Relevamiento de datos........................................................................21

Fase 8: Anlisis de los datos ............................................................................22 Fase 9: Elaboracin del inorme.......................................................................23 Fase 10: Devolucin de los resultados .............................................................25ed e d p DinieCe m .......................26


6/30


7/30

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 5

1 En las reerencias bibliogr-

cas se consignan las evaluacio-nes realizadas por la DiNIECEen los ltimos aos cuyasrefexiones se recuperan en estedocumento.

PRESENTACIN

La evaluacin de programas ha experimentadoun importante crecimiento en las ltimas dcadasen el campo del desarrollo territorial y econmico,as como en salud, asistencia social y educacin.

Estos avances se basan en el supuesto de que losestudios evaluativos pueden contribuir de manerasostenida con el proceso de mejora continua de laspolticas pblicas, tanto en su diseo como en suimplementacin, haciendo de este modo ms eec-tivas las intervenciones pblicas.

A la complejidad propia del diseo e implemen-tacin de polticas orientadas a los servicios socialesuniversales, la poltica educativa suma algunas par-ticularidades (su institucionalidad, la naturaleza de

sus contenidos bsicos y los actores que la sostienen,entre otros) que le coneren atributos particulares alos procesos que se suceden en torno al ciclo dela intervencin pblica. En este contexto complejo,la disponibilidad de inormacin conable y vlidaresulta de vital importancia para mejorar la oportu-nidad y pertinencia de la toma de decisiones.

Dado el inters del Ministerio de Educacin de laNacin por promover el desarrollo y ortalecimientode capacidad estatal en torno a la generacin, uso yrefexin sobre la inormacin en los distintos nive-les del sistema educativo nacional; y respondiendo

a los requerimientos realizados por distintas juris-dicciones, la DINIECE pone a disposicin de las ins-tituciones provinciales este documento que buscapasar en limpio una metodologa de evaluacinde programas en educacin.

La misma ha sido elaborada recuperando desa-rrollos adaptados a los requerimientos de la polticaeducativa y sistematizando distintas metodologasaplicadas por la DINIECE en evaluaciones a escalanacional realizadas en los ltimos aos.1

Se advierte al lector que no encontrar aqu unmanual de evaluacin de programas y menos anun estado del arte al respecto. La literatura existen-

te es vasta y sera imposible sistematizarla en tanpocas pginas. Sin pretensin de sustituir aquellalectura, este documento pasa revista a un conjuntode consideraciones conceptuales, metodolgicas ytcnicas que -- a juicio del equipo de la DINIECE-- pueden ser de utilidad para quienes desde los ni-veles provinciales deseen avanzar en el diseo e im-plementacin de estudios evaluativos de programasen educacin.

Esta gua es una herramienta que busca orientar

a los equipos de evaluacin en el diseo y ejecucinde estudios evaluativos. Para ello, se organiza ten-diendo a responder las siguientes preguntas:

n Cules son los conceptos bsicos relativos ala evaluacin y al mundo de los programas?

n Cules son las alternativas disponibles enmodelos de evaluacin? Cules los criterios paraseleccionar el modelo ms adecuado en un contex-to concreto?

n Cules son las ases que atraviesa un proce-so de evaluacin? Cules sus propsitos, alcance yoperaciones?

Si bien este documento pone el oco en losprogramas en tanto unidades de evaluacin, nolos considera como mbitos aislados del conjuntode la poltica educativa. Esta decisin supone re-conocer que el programa en accin se articulacon otras intervenciones que constituyen la polti-ca educativa.

Este documento est organizado en tres partes.Una primera parte, pasa en limpio un conjunto deconceptos que ayudan a comprender qu se entien-de por evaluacin y cules son las dierencias con elmonitoreo, la especicidad de los programas y surelacin con la poltica pblica, los componentes de

un programa, las unciones de la evaluacin y susactores. En una segunda parte, se pasa revista a lasdecisiones crticas que tienen lugar en torno al dise-o de estudios evaluativos situando a la evaluacinen el ciclo de vida de los programas, la denicin delas preguntas y las decisiones clave que determinanla adopcin del modelo a adoptar; el apartado ter-mina con una muy sinttica presentacin de los mo-delos posibles y sus atributos principales. La terceraparte, dene los propsitos, alcance y operacionesde cada ase.

Cada apartado naliza con una recapitulacin

de las ideas centrales y, dados los propsitos de estedocumento, con consideraciones prcticas paraorientar a los evaluadores en el diseo y ejecucinde estudios evaluativos.


8/30


9/30


Qu se entiende porevaluacin?

Evaluar consiste en determinar el valor o mritode algo. En consecuencia, implica alguna identi-cacin de criterios y estndares relevantes y la rea-lizacin de un anlisis adecuado a ellos. Tal comoseala Mokate (2000), la evaluacin aplicada a lagerencia de acciones pblicas requiere de la espe-cicacin y concertacin de expectativas, criteriosy/o estndares y su aplicacin a la valoracin de lasiniciativas.

Uno de los aspectos conceptualmente ms po-tentes para entrar a esta cuestin es que la evalua-cin reconoce que el plan de accin que un progra-ma se propone es una hiptesis de trabajo.

Desde esta perspectiva, la evaluacin recons-truye las relaciones causales esperadas en clave deactividades productos objetivos intermedios(eectos) objetivo nal (impacto).

As, el diseo de la evaluacin (y las actividadesque compromete) tiene que apuntar a poner en elcentro del anlisis alproblema ocalal cual el pro-grama busca resolver (paliar o modicar) y recons-truir los cambios en aquellos actores que (supone

esa hiptesis de trabajo que es el programa) incidende manera ms decisiva en la modicacin (progre-siva) del problema ocal.

La evaluacin debe ser concebida como un pro-ceso de aprendizaje de la gestin. Sin embargo, esnecesario dar cuenta de ciertas condiciones paraque ello suceda, a saber:

n Un primer tema es el que reere a quinesson los sujetos de la evaluacin.

n Un segundo aspecto reere a las uncionesque cumplir la evaluacin.

n Un tercer aspecto a considerar es el manejo

oportuno de los fujos de inormacin (queresultan de la evaluacin); la misma deberser relevante y acorde a los intereses de losactores y a sus posibilidades de transorma-cin de la realidad.

A dierencia de otras valoraciones que se suce-den en la vida cotidiana y en la gestin, la evalua-cin supone la aplicacin sistemtica y explcita deciertos procedimientos regidos por los principios dela conabilidad y validez.

1. PASANDO EN LIMPIO LOS CONCEPTOS

La evaluacin implica una refexin, esto es,tomar distancia de la accin para tomar stacomo objeto de anlisis, para revisar ques lo que se est proponiendo o qu se esthaciendo o qu se ha hecho, analizar las carac-tersticas de las metodologas de intervencinplanteadas o desplegadas, y determinar si laorientacin es eectivamente hacia la direccio-nalidad deseable, aclarando cules escollos ycules acilidades se presentan y cules logros

se esperan y/o se han obtenido.

Nirenberg (2008)

Por ejemplo, el diseo de la evaluacin deun programa orientado a mejorar la retencinde alumnos en los primeros aos de la escuelabsica, deber explicitar cules son los actores(operacionalizados en variables) que suponeinciden ms decisivamente en ese problema yvalorar el desempeo de esas variables sobre

las cuales el programa busca intervenir (orma-cin docente, organizacin escolar, recursosdidcticos, becas, entre otros).


10/30

8 GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Cul es la diferenciacon el monitoreo?

El monitoreo de programas se ha dierencia-do de la evaluacin en tanto ste hace un segui-

miento de las acciones de la iniciativa que se evalay los productos de dichas acciones; busca detectarde manera oportuna deciencias en el proceso deejecucin para hacer ajustes en la gestin. Su mar-co de reerencia es el plan de actividades y, en con-secuencia, analiza la ejecucin de las actividades enrelacin a dicho plan.

El monitoreo hace un seguimiento de la ejecu-cin de actividades, la asignacin de los productos yel modo y cantidad como son usados los recursos.

La evaluacin, tal como se la ha denido, seextiende ms all que el monitoreo porque recono-

ce que el plan de accin; tal como seala Mokate(2000), constituye una hiptesis con respecto al ca-mino que puede conducir al logro de los objetivos. Laevaluacin busca comprobar que el camino elegidoeectivamente est conduciendo a las mejoras en lascondiciones de vida que se buscaban promover.

Como puede advertirse, la ormulacin de laspreguntas dene el tipo de evaluacin y los proce-dimientos a adoptar.

Qu se entiende porprograma? Cmose relaciona programay poltica?

El objeto de una evaluacin es un programa oproyecto que se propone con el n de mejorar ymodicar distintos actores que hacen a un uncio-namiento insatisactorio de la educacin y sus ins-tituciones.

Programa y proyecto son conceptos rela-cionados que aluden a distintos niveles de organiza-cin en la cascada de la planicacin. En amboscasos, se trata de acciones que se orientan a objeti-vos denidos conorme un determinado diagnsticode una situacin o problema. En adelante, haremosreerencia de manera genrica a los programas.

Ahora bien, a lo largo de su ciclo de vida, los pro-gramas no se mantienen en estado puro; ya quecuando se ponen en marcha, se relacionan con otrosprogramas, o con otras ormas de organizacin.

La relacin de los programas educativos conla poltica educativa en los distintos niveles (na-cional, provincial o departamental) depende de lascaractersticas que asumen los procesos de ges-tin, las condiciones del contexto y las capacida-des estatales.

Este ltimo aspecto resulta clave en tanto lascapacidades disponibles colaborarn con el mo-

delado del programa como respuesta a lascuestiones problematizadas en cada nivel.

Elmonitoreo se dirige a las preguntas siguientes:i) en qu medida cumple la iniciativa las actividades

especicadas en su programacin?ii) qu coincidencia se presenta entre la cantidad ycalidad de los servicios o actividades esperados y los quese estn generando?iii) en qu medida est la iniciativa llegando a los bene-ciarios apropiados?iv) los recursos del programa se utilizan de maneraapropiada? yv) cules son las satisacciones y las insatisacciones dediversos involucrados con respecto al desenlace de lainiciativa?

Mokate, 2000

La evaluacin, entonces, propone responder lassiguientes preguntas, entre otras:i) en qu medida cumple la iniciativa los objetivos quejusticaba su existencia?. En qu medida cumple dichosobjetivos con la calidad esperada, en los tiempos y luga-res esperados?ii) cumple los objetivos de manera eciente?, equitati-va?, sostenible?.iii) qu eectos (positivos y/o negativos) se generan,dierentes a los que se refejan en los objetivos?iv) hay determinadas circunstancias o caractersticasentre las poblaciones objetivo que acilitan (o dicultan)

el logro de los objetivos?v) cules caractersticas de la gestin acilitan (o dicul-tan) el logro de los objetivos?

Mokate, 2000

Proyecto:Es una empresa planicada consistente en unconjunto de actividades interrelacionadas ycoordinadas con el n de alcanzar objetivosespeccos dentro de los lmites de un presu-puesto y un periodo de tiempo dados.

Programa:Se constituye por un conjunto de proyectosque persiguen los mismos objetivos. Establecelas prioridades de la intervencin, identicandoy ordenando los proyectos, deniendo el mar-co institucional y asignando los recursos que sevan a utilizar.

ONU (1984)

El concepto de gestin permite estable-cer conexiones entre el concepto de polticaeducativa y de programa ya que cuando sehabla de gestin de la poltica educativa,se est hablando (tambin) de programas en

acto.


11/30


Cules son los componentesde un programa?

As denido, un programa supone la existenciade ciertos componentes que expresan decisiones de

los actores gubernamentales sobre el POR QU,QU, el COMO, el CUANDO, el CON QUy el PARA QU, en parte, de una determinada in-tervencin pblica en educativa.

n Implica recortar un PROBLEMA FOCAL y laindagacin en los actores que inciden decisi-vamente en el mismo. Este anlisis supone laexistencia de un DIAGNSTICO (ms o me-nos participativo) de cul es la estructura y di-nmica de la problemtica en torno a la cualse propone intervenir y que justica, adems,la necesidad de intervencin.

n Supone la adscripcin o construccin de unadeterminada TEORA DEL CAMBIO del pro-blema ocal sobre el cual pretende intervenir.

n Como resultado de la identicacin del pro-blema ocal, el anlisis diagnstico y la expli-citacin (o no) de la teora del cambio quesostiene al programa, es necesario que estnplanteados un conjunto de OBJETIVOS queorienten la accin, expresando su POBLA-CIN OBJETIVO.

n Para alcanzar estos objetivos, el programadisea un conjunto de ACTIVIDADES a las

que se les asignan RECURSOS, previstos enel presupuesto del programa o bien aquellosregulares de la institucin en la cual el pro-grama va a desarrollarse.

n Los objetivos buscan alcanzar un conjuntode RESULTADOS que preguran la situacinobjetivo que se quiere alcanzar una vez na-lizado el programa, as como la COBERTURAque espera alcanzar.

Cabe destacar que estos componentes suelenestar presentes de manera explcita en los documen-

tos de los programas, aunque con niveles desigualesde coherencia interna. Sin embargo, el equipo deevaluacin puede encontrarse en algn caso con unconjunto de intervenciones denominadas por susresponsables como programa pero que no ten-gan explicitados la totalidad de estos componentes,o bien, los mismos padezcan de ciertas inconsisten-cias internas.

Esta situacin enrenta al equipo evaluador a latarea de reconstruir (recuperando la visin de suspromotores a travs de entrevistas y documentos)el objeto a evaluar, esto es, el problema ocal, eldiagnstico de partida, sus objetivos implcitos y su

poblacin objetivo, actividades principales y, proba-blemente, sus recursos.2 En estas circunstancias, setrata de una tarea inicial que har posible -- poste-riormente -- el diseo del estudio evaluativo.

Componentes de un programa:

Problema Focal.

Diagnstico. Teora del cambio. Objetivos. Poblacin objetivo. Actividades, Recursos. Cobertura. Resultados.

Cules son las funcionesde la evaluacin de programas?

La evaluacin tiene como uncin principal la deTOMAR DECISIONES en torno a una determinada

intervencin.Las unciones de los estudios evaluativos son

diversas; la literatura (Fernndez Ballesteros, 1997)seala cuatro posibles a saber:

n Conocer acerca de las actuaciones sobreel programa: Auxiliar en la toma de decisio-nes sobre el objeto a evaluar para eliminar laintervencin, sustituirla por una alternativa omejorarla.

n Justifcar las decisiones ya emprendidas.n Fundamentar un gasto presupuestario:

Sustentar la ejecucin presupuestaria con in-ormacin adicional reerida a los objetivosprevistos y sus logros.

n Contrastar teoras: A pesar de las dieren-cias que existen entre la investigacin acad-mica y los estudios evaluativos, es posible queuna evaluacin sea solicitada con la nalidadde contrastar las hiptesis que sustentaron eldiseo del programa.

Dadas estas unciones posibles, el equipo eva-luador deber indagar PARA QU ha sido encarga-da la evaluacin, esto es, cules son sus propsitos

tanto explcitos como implcitos.

2 En algunos casos, los recursostienen distintos orgenes (presu-puestarios y no presupuestariosy de dierentes organismos) demodo que la tarea de la evalua-cin ser tambin reconstruirlosen su origen, institucionalidadde gestin y magnitud.


12/30


Quines son los actores aconsiderar en una evaluacin?

En su diseo, el equipo evaluador tiene que pres-tar suma atencin a los actores de la evaluacin.

En cada uno de los niveles en que un programadespliega su implementacin, sus procesos y resul-tados (xitos y racasos) dependen de los actoresque intervienen.

El desarrollo de un estudio evaluativo requiere dedar cuenta de los distintos niveles en que los actoresintervienen. Desde esta perspectiva, podra congu-rarse dos grupos de actores de la gestin, a saber:

n Actores directamente comprometidoscon el desarrollo del programa: equiporesponsable (poltico y tcnico) y contrapar-tes provinciales, departamentales y en losestablecimientos.

n Actores cuyas tomas de posicin y aportesinciden en el desarrollo del programa: seadesde sus aportes como desde la capacidadde veto que puedan tener (responsables delas reas regulares de los ministerios seannacionales o provinciales --, responsables delas instancias subnacionales vinculadas, legis-ladores, actores escolares, entre otros).

La identicacin de los niveles de anlisis resul-ta central para identicar los actores que, en cada

nivel, se encuentran en uno y otro grupo.Ahora bien, por qu es importante identicar a

los actores de la implementacin de un programa?

n Porque los actores acilitan u obstaculizan eldesarrollo de un programa conorme la con-vergencia o divergencia de las orientacionesdel programa respecto de sus intereses.

n Porque las visiones acerca del problema queellos tienen tendr incidencia directa o indi-recta en la reorientacin del programa.

n Porque cada uno de ellos tiene (por uera delprograma) ciertos mandatos institucionales.

n Porque, ms all de los recursos que un pro-grama tiene para llevar adelante las activi-dades previstas, estos se combinan en cadanivel con recursos de otro tipo aportados porlos actores que participan directa o indirecta-mente.

Es necesario reconstruir los recursos, visiones, in-tereses y mandatos para comprender y explicar lasorientaciones y caminos que un programa asumeen su implementacin. Asimismo, es importanteidenticar los actores con los que se analizarn losresultados de la evaluacin para contribuir con eldesarrollo de capacidad estatal.

C c cp, c

n Evaluar un programa es determinar su valor en relacin a ciertos criterios y estndares deseables.n La evaluacin supone una refexin que toma distancia del programa y su implementacin, a

travs de la aplicacin de procedimientos sistemticos que respondan a los criterios de la con-abilidad y validez.

n A dierencia de la evaluacin, el monitoreo hace un seguimiento de las acciones de lainiciativa que se evala y los productos de dichas acciones.

n En su implementacin, los programas se convierten en poltica educativa y la trama de interven-ciones constituye su contexto.

n El diseo de un estudio evaluativo tiene que tener en cuenta los distintos componentes de unprograma: problema ocal, diagnstico, teora del cambio, objetivos, actividades y recursos.

n La uncin principal de un estudio evaluativo es tomar decisiones en torno a una determinada

intervencin.n Los actores contribuyen con la implementacin de un programa educativo desde sus intereses,visiones acerca del problema, mandatos institucionales y aporte de recursos.

ac:Aquellas ormas concretas, ya sea orga-

nizaciones o individuos, que ejercen algn tipode incidencia en el proceso de gestin de unprograma.

Atributos de los actores: Intereses. Visiones sobre el problema. Mandatos. Recursos.


13/30


bjd pcc

n Todo estudio evaluativo debe ser pensado, desde su diseo, como proceso de aprendizaje ins-titucional.

n Es imprescindible explicitar los procedimientos a adoptar para undamentar la validez de losresultados.

n El mbito de anlisis de un estudio evaluativo debe recuperar el contexto de lapoltica en el quedicho programa tiene lugar.

n Si los componentes de un programa no resultan del todo claros o explcitos, la tarea inicial delevaluador consistir en reconstruir las coordenadas bsicas del programa.

n El equipo evaluador deber desentraar para qu ha sido encargada la evaluacin para po-der identicar las preguntas que resulten social e institucionalmente relevantes para la posteriortoma de decisiones.

n La identicacin de los actores es clave para dar cuenta de la complejidad de la implementacinal momento de responder a las preguntas que el estudio se plantea y para proponer espaciosde participacin desde los cuales analizar crticamente los resultados.

P dd

Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales,educativos y de salud, Ed. Sntesis, Madrid

Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerenciasocial. Notas de Clase. INDES/ BID. www.indes.iadb.org

Niremberg.O. (2007) Modelos para la evaluacin de polticas: insumos para una mejora de lagestin. En: Chiara, M. y Di Virgilio, M. M. Gestin de la Poltica Social: Conceptos y herramien-tas. Co-ediciones UNGS, Buenos Aires. En prensa.


14/30


15/30


n Lectura de peridicos locales los que puedenser un emergente de la agenda pblica en laque se inscribirn los resultados del estudioevaluativo.

En consecuencia, la denicin de las preguntasde un estudio evaluativo es un proceso de cons-truccin que pone en dilogo las motivaciones dela gestin con los avances en el campo acadmico.Se trata de un primer momento en el proceso deconstruccin del objeto de la evaluacin.

Las preguntas irn orientando la seleccin de laestrategia de investigacin que se considere msadecuada para darles respuesta.

Una vez definidas laspreguntas, cules sonlas decisiones a tomar paradisear un estudio evaluativo?

Una vez ormuladas las preguntas, resta tomar

un conjunto de decisiones que van a denir quTIPO de EVALUACIN se va a adoptar y, en con-secuencia, cul ser la METODOLOGA del estudioevaluativo.

Se trata de decisiones dierentes en tanto la pri-mera (tipo de evaluacin) tiene que ver con el mo-mento en que se planica el estudio y sus propsi-tos, mientras que la segunda (metodologa) reereal modo como van a aportarse y analizarse los datosnecesarios.:

n Momento del programa en que se desarrollala evaluacin:w Previo al inicio del programa.w A medio camino de su implementacin.w Finalizando una primera etapa.w Finalizado el programa.

n Propsitos:w Promover ajustes en su diseo o abonar al

desarrollo de alternativas de intervencin.w Conocer la cobertura de un programa.w Conocer los puntos uertes y dbiles de

su administracin y gestin.w Valorar los cambios que el programa est

produciendo.w Justicar una alternativa de inversin res-

pecto de otra para un mismo objetivo.

Se trata de dar cuenta -- en la metodologa deevaluacin -- de la complejidad de los procesos degestin del programa y de la orma que incide en lamodicacin del problema ocal.

Dadas estas consideraciones, el empleo de tc-

nicas cuantitativas o cualitativas es una decisinposterior que depender del momento en que seplantee la evaluacin y de sus propsitos; en snte-sis, la metodologa depende de la naturaleza de laspreguntas que se espera responder con los resulta-dos del estudio evaluativo.

La triangulacin de aproximaciones cualitativas ycuantitativas brinda pistas para poder dar cuenta dela complejidad que estn expresando las preguntasde un estudio evaluativo.

P p p ec d ccpcy d d d pm:

n Cules son el grado y distribucin de los problemas a los que se dirige el programa?n Se ha diseado el programa de acuerdo con los objetivos inicialmente perseguidos? Es lgico

y racional?n Cules son las tensiones en torno a la denicin del problema que da origen al programa que

han tenido lugar en el momento de su diseo?n Cul es la teora del cambio que sustenta el programa?

Adaptado de Ballart, 1997: 78


16/30


Cules son los tipos posiblesde evaluacin de programas?

Son muy dierentes los criterios que permiten es-tablecer los tipos de evaluacin y, en consecuencia,guiar la decisin acerca de cul es el ms adecuado.

Dado el carcter no exhaustivo de este docu-mento, se presenta aqu una de las clasicacionesposibles que pueden ser tiles a los eectos de cru-zar los criterios anteriormente aludidos (momentoen que se encuentra el programa y propsitos de laevaluacin).

Esta clasicacin propuesta por Xavier Ballart(1992) recupera cuatro tipos dierentes de evalua-

cin, a saber:

. ec d ConCePtualizaCiny d Diseo d pm:

n Intenta proporcionar inormacin sobre:w el problema del que se ocupa o debera

ocupar el programa;w el proceso de ormulacin y diseo del

programa; yw la racionalidad intrnseca del mismo pro-

grama; es decir, hasta qu punto el dise-o sirve a sus objetivos.

n Sin serlo, abreva y dialoga con los resultadosde las investigaciones acadmicas relativas alproblema del que se ocupa el programa y so-bre las polticas y programas orientados a suresolucin.

. ec d iMPleMentaCind pm:

n Busca aportar una valoracin sistemticaacerca de:w la cobertura del programa, es decir, hasta

qu punto el programa est alcanzando ala poblacin o el rea a los que se dirige;w la orma en que el programa se admi-

nistra, tanto respecto de la utilizacin de

los recursos de que dispone como de losservicios eectivamente distribuidos y suoportunidad; y

w los actores institucionales que acilitan uobstaculizan los procesos de gestin enrelacin al logro de los objetivos.

n Requiere de asumir un abordaje tanto cuanti-tativo como cualitativo y hace uso de uentesprimarias y secundarias.

n Apelan a distintas tcnicas para recolectar in-

ormacin: encuestas, entrevistas en proun-didad y grupos ocales.

c. ec d eFiCaCia iMPaCtod pm:

n Examina en qu medida el programa produ-ce un cambio en la direccin deseada.

n El anlisis de impacto supone la existencia deun conjunto de objetivos operacionales y questos son indicativos del xito o del racasodel programa. Puede armarse que ste hauncionado correctamente si consigue algncambio en la situacin descripta por esos ob-jetivos.

n El principal problema de la evaluacin de im-pacto es separar los eectos del programa delos denominados eectos externos al pro-grama, con la nalidad de determinar hastaqu punto el programa es responsable de loscambios observados durante y despus de supuesta en prctica.

n Esto se consigue por dierentes diseos:

w Diseos experimentales:

Son los ms potentes desde el punto devista metodolgico ya que utilizan gruposexperimentales o grupos de control. Elpoder del mtodo reside en que se asig-

P p p ec d mpmc d Pm:

n Hasta qu punto el programa est alcanzando la poblacin especca o el rea a la que sedirige?

n En qu medida el esuerzo de la intervencin se est llevando a cabo como se especic en eldiseo original?

n Cules son los actores institucionales que acilitan los procesos de gestin en relacin al logrode los objetivos y cules los obstaculizan?



17/30


nan aleatoriamente a los individuos acada uno de los grupos (experimental con programa -- y de control sin progra-ma--); esta operacin asegura la iguala-cin de ambos grupos en todas las dems

variables que podran estar infuyendo enel resultado nal.

w Diseos cuasi-experimentales:La implementacin de un verdadero ex-perimento resulta dicil tanto en la ormacomo se administran los programas comoporque la asignacin aleatoria de perso-nas a grupos experimentales resulta dicilde sostener en un estado de derecho.Por esta razn se adoptan mtodos queconorman un grupo experimental y otro decontrol sin requerir distribucin aleatoria. A

pesar de esta limitacin, mantienen algunasde las ventajas de los experimentos.Las alternativas a adoptar dependen delmomento en que el evaluador toma con-tacto con la evaluacin.

w Diseos no experimentales:Se utilizan en aquellos casos en que lapoblacin no puede ser comparada congrupos testigo o control para descartarlos eectos exteriores no atribuibles alproyecto.

La disponibilidad de una lnea de base acilita lamedicin de los cambios producidos en el transcur-so del desarrollo del programa.

d. ec d eFiCienCiad pm:

n El impacto de un programa deber tambinser evaluado por sus costos ya que podra

suceder que estn producindose unos re-sultados que sean escasos considerando loscostos en que ha incurrido.

n Esto supone incluir el anlisis costo-eectivi-dad dentro del mbito de la evaluacin. Sinembargo, estos anlisis requieren estudiosde impacto en tanto suponen conocer losbenecios eectivamente causados por elprograma.

n En los programas en educacin la dicultadpara adoptar este tipo de modelos tiene quever con que no todos los outputs o inputs pue-

den ser valorables en trminos monetarios.

l d b:Permite conocer el valor de los indicadores

al momento de iniciarse las acciones previstasen un programa, es decir, denir el punto departida del proceso de cambio. Si bien sueletener un carcter dominantemente cuantitati-vo, recurre tambin a inormacin cualitativa.Apela a uentes secundarias (registros regu-lares, censos, encuestas, etc) o bien uentesprimarias (producidas ad hoc).

P p p ec d fcc mpc d Pm:

n Ha sido el programa eectivo para alcanzar sus objetivos iniciales?n Se pueden explicar los resultados del programa como consecuencia de un proceso alternativo

que no incluya al programa mismo?n Cul es la magnitud de los cambios alcanzados?n A qu actores aparecen asociados?


P p p ec d fcc d pm:

n Cules son los costos y benecios de distribuir los servicios a los participantes de un programa?n Supone el programa en concreto un uso dierente de los recursos en comparacin con otros

alternativos?

Ballart, 1997: 78


18/30


19/30


Habiendo recorrido un conjunto de considera-ciones conceptuales y metodolgicas, se presentaaqu una secuencia posible para ordenar el procesode trabajo del equipo a cargo de la evaluacin deun programa.

Se advierte que estas operaciones suponen lasdeniciones conceptuales y metodolgicas previas.

Las ases son las siguientes:

n F 1: Conormacin del equipo evaluador.n F 2: Reconstruccin de las coordenadas

del programa a evaluar.n F 3: Identicacin de los actores o involu-

crados.n F 4: Recorte y descripcin del Problema

Focal.n F 5: Denicin de las preguntas y enun-

ciacin de los objetivos.n F 6: Operacionalizacin de las preguntas

para avanzar en la indagacin.n F 7: Relevamiento de los datos.n F 8: Anlisis de datos.n F 9: Elaboracin del inorme.n F 10: Devolucin de los resultados.

FASE 1:

CONFORMACIN DEL EQUIPO EVALUADOR

n La conormacin del equipo evaluador es elmomento undacional del proceso evaluati-vo. Sin embargo, debe advertirse que la mis-ma debera realizarse en dos momentos.w En un primer momento, se deber denir

un equipo pequeo para ocuparse del di-seo del proyecto.

w En un segundo momento y recin cuandoel perl del proyecto est denido, ter-minar de quedar conormado el equipocon la enunciacin de los perles y tiem-pos de incorporacin.

FASE 2:

RECONSTRUCCIN DE LAS COORDENADASDEL PROGRAMA A EVALUAR

PROPSITO:

Identicar los componentes bsicos que or-ganizan la intervencin del programa, estoes: problema ocal, diagnstico de partida,

objetivos implcitos, poblacin objetivo, acti-vidades principales y recursos.

DESARROLLO:n En aquellos casos en que el programa ha

sido objeto de una cuidadosa ormulacinno es necesario avanzar en el desarrollo deesta ase.

n Sin embargo, es recuente que los progra-mas (en particular aquellos que no cuentancon nanciamiento internacional y que hanido creciendo en sus recursos por mediode decisiones incrementales) sean dbilesen su ormulacin inicial (expresada en suormalizacin a nivel de documentos) peroprobablemente uertes en las relacionesinstitucionales y polticas que asumen en laprctica.

n En esos casos, se hace imprescindible estareconstruccin a los eectos de evaluar losacuerdos de accin alcanzados y, en muchoscasos, las inversiones, para no correr el ries-go de evaluar (exclusivamente) las decisionesiniciales ormalizadas en los documentos ins-titucionales undacionales perdiendo de vista

decisiones posteriores que los ueron consti-tuyendo y ampliando.

n Se apela en estos casos a entrevistas enproundidad, al relevamiento documen-tal y hemerogrfco desde cuya triangula-cin se reconstruya:w El contexto de surgimiento del programa.w Los debates que rodearon la decisin de

su creacin.w La formalizacin institucional que le dio

sustento.

Reconstruir las coordenadas bsicas delprograma a evaluar:

w problema ocal,w diagnstico de partida,w objetivos implcitos y poblacin objetivo,w actividades principales yw recursos.

n Esta descripcin debe ormar parte del pri-mer captulo de todo estudio evaluativo demodo de hacer explcito el objeto que se estevaluando.

n

Se trata de una descripcin breve (sin proble-matizacin) que permite caracterizar el obje-to a evaluar.

3. LA EVALUACIN EN DIEZ FASES


20/30


FASE 3:

IDENTIFICACIN DE LOS ACTORESE INVOLUCRADOS

PROPSITO: Conocer la trama de los actores y sus relacio-nes en el marco de las cuales se procesarony procesan las decisiones comprendidas en eldiseo, la implementacin y posterior re-de-nicin del programa en cuestin.

DESARROLLO:n Esta reconstruccin alcanza a aquellos acto-

res que estn comprometidos con la gestindel programa (unidad u organismo a cargo yotros organismos) en cada uno de los nivelesjurisdiccionales (nacional, provincial, depar-

tamental y escolar).n Asimismo, supone identicar y reconstruir la

trama hacia aquellos actores que, si bien noestn a cargo del diseo e implementacindel programa, sus perspectivas y visiones sonimportantes en tanto tienen capacidad de re-denicin del mismo.

n La denicin de actores ya reerida asume aormas concretas, organizaciones o indivi-duos, que ejercen algn tipo de incidencia enel proceso de gestin de un programa.

n Cabe destacar que se trata de una primera

identicacin ya que en el transcurso delestudio pueden surgir otros actores cuyaperspectiva sea relevante conocer y que noueron identicados en este momento inicial.En ese caso, se analizar su pertinencia enrelacin al diseo original.

n Cabe destacar que la decisin de incorporaro excluir la perspectiva de algn actor delanlisis puede tener consecuencias en los re-sultados nales, por lo cual debe ser tomadade manera undada y explcita en el procesode la investigacin.

n La nmina de actores coneccionada servirpara:w Coneccionar la lista de personas a entre-

vistar.w Construir los espacios de refexin y diu-

sin en torno a los resultados del estudio.

FASE 4:

RECORTE Y DESCRIPCIN DELPROBLEMA FOCAL

PROPSITO: Reconstruir las condiciones de surgimientodel programa

Delimitar y describir el problema ocal sobreel cual interviene el programa y el conjuntode actores que incide en su existencia.

Reconstruir la/s hiptesis explicativas o redcausal de actores que, se supone, inciden de

manera decisiva en su existencia.

DESARROLLO:n Se trata de hacer un anlisis retrospectivo

que reconstruya las condiciones de surgi-miento del programa. Se busca comprender-- ms all de sus objetivos -- la cuestin dela agenda de gobierno a la que el programaapunt a resolver o modicar.

n En el marco de este anlisis, adquiere rele-vancia la perspectiva de los distintos actoresque ueron identicados en el momento ini-

cial.n La reconstruccin de las condiciones de sur-gimiento del programa, implica considerarlos siguientes aspectos:w Contexto de surgimiento y puesta en

marcha.w Insercin en el contexto de las polticas

pblicas.w Posicin respecto de las otras polticas

para el sector especco.w Polticas y estrategias antecedentes.w Actores implicados y opciones adoptadas

y descartadas.n La identicacin del problema ocal supone

determinar el ncleo problemtico en tornoal cual se orienta el programa y, en uncindel cual, se estructurar el anlisis del estudioevaluativo.

n El recorte riguroso del problema ocal se lo-gra identicando un conjunto de descripto-res que delimiten sus ronteras. Los descrip-tores son enunciados que hacen reerenciaa situaciones cotejables que maniestan ycorroboran la existencia del problema ocal,especicando dimensiones del mismo.

n Posteriormente, se apunta a reconstruir las re-des causales, incorporando otros problemas yrelaciones a los eectos de ampliar el anlisisde los actores que inciden en su desempeo.

n La reconstruccin de las hiptesis o teoradel cambio que sustenta el programa resultaundamental, tanto para su posible revisincomo para la identicacin de las preguntasque orientarn el estudio evaluativo.

n Para esta reconstruccin, el equipo evalua-dor deber conocer el estado del arteacerca de los distintos marcos explicativosdel problema ocal para poder situar la teo-ra del cambio que sustenta el programa enun contexto ms general de la produccinacadmica.


21/30


FASE 5:

DEFINICIN DE LAS PREGUNTASY ENUNCIACIN DE LOS OBJETIVOS

PROPSITO: Formular los interrogantes a responder desdela indagacin del estudio evaluativo.

Operacionalizar en objetivos generales y es-peccos los interrogantes que orientan laindagacin.

DESARROLLO:n Tomando como punto de partida las coorde-

nadas del programa, la identicacin de losactores y la descripcin del problema ocal(y las hiptesis causales que lo sustentan), elequipo evaluador deber ormular un con-

junto de preguntas que orienten la indaga-cin del estudio y la posterior refexin.

n Los interrogantes debern ser:w Pertinentes en relacin al objeto a evaluar,

o sea, el programa.w Relevantes en relacin a las necesida-

des sociales e institucionales que ledan origen.

w Factibles de ser respondidos con los re-cursos y el tiempo disponible.

n Tal como ya se present , se trata de un mo-mento de sntesis entre las necesidades y

motivaciones que originaron el estudio, el

estado del arte respecto de la problemticaen que se inscribe el estudio, la lectura del

momento en que la evaluacin tiene lugar yla mirada de otros actores involucrados direc-ta o indirectamente.

n Las preguntas pueden reerir a:w La conceptualizacin y el diseo.w La implementacin.w Los resultados y/o el impacto.

n Formuladas las preguntas, se avanzar en laormulacin de los objetivos generales y es-peccos del estudio.

n El objetivo general describe lo ms precisa-mente posible el conocimiento que se esperaobtener respondiendo a la pregunta del estu-dio evaluativo.

n Se enuncian con verbos innitivos.n Los objetivos especcos operacionalizan di-

mensiones del objetivo general y se ormulande modo tal de acilitar la organizacin delestudio.

n A medida que se avanza en el diseo delestudio evaluativo, se podr volver a los ob-jetivos para ajustarlos y precisarlos en rela-cin a las deniciones que se hayan tomado.Cuanto ms precisos sean los objetivos, mscil ser la tarea para orientar el trabajo del

equipo evaluador.

u jmp d Preguntas d ec d Piie:

n Conceptualizacin y el diseoCul es el problema que da lugar a la creacin del programa?Cul es la teora del cambio que supone el programa?Cules son las razones por las cuales se adopta este diseo institucional?

n ImplementacinCules ueron las estrategias adoptadas para llevar a cabo los cambios propuestos por el pro-

grama en cada uno de los niveles?Cules son las modalidades de gestin del PIIE en el nivel provincial?Cmo han incidido las dierentes matrices institucionales y la capacidad estatal en el desarrollodel programa en cada jurisdiccin?Cules han sido los modos tpicos de constitucin de los equipos tcnicos provinciales en tantodispositivos de articulacin entre la gestin nacional, la gestin provincial y las escuelas?

n ImpactoCules han sido los resultados de las intervenciones desarrolladas por el programa en el nivelde las escuelas?Cules son las valoraciones de los actores y las transormaciones de las prcticas en el trabajodocente? Cules son las valoraciones de los actores respecto del impacto en las condiciones deenseanza de las dierentes lneas de accin del PIIE?Cmo se expresan en prcticas locales de enseanza los principios de conanza, transmisin e

igualdad que motorizan el diseo de las estrategias del Programa?

Evaluacin PIIE, DINIECE, 2007


22/30


FASE 6:

OPERACIONALIZANDO LAS PREGUNTASPARA AVANZAR EN LA INDAGACIN

PROPSITO: Operacionalizar los objetivos especcos de

para disear los instrumentos de recoleccin

de datos y las matrices de anlisis de inor-macin.

DESARROLLO:n Una vez planteadas las preguntas, es conve-

niente ir avanzando en las siguientes preci-siones a los eectos de poder ajustar la deni-cin de los objetivos generales y especcos:w Recorte temporal: Reere al periodo

que ser objeto de la observacin y enuncin del cual se analizarn las seriesde tiempo de los datos.

w

Nivel de Anlisis: Alude al o los nivelesen que se indagar la respuesta a los inte-rrogantes. Nacional? Provincial? Distri-tal o departamental? Establecimiento?

w Unidad de Anlisis: Congura la uni-dad de relevamiento del dato. Funciona-rio, responsable del programa, tcnico?Ministro provincial, responsable provin-cial del programa? Directivo, alumno,establecimiento?

w Universo: Reere al marco emprico ge-neral acerca del cual se espera que el estu-dio hable. Las acciones del programaen las escuelas? Las prcticas adminis-trativas del programa a nivel nacional?

w Operaciones: Las operaciones son lasmaniestaciones que se registran en laspersonas y organizaciones que han recibi-do el programa y que, se supone, expre-san sus eectos.

n Una vez operacionalizadas las preguntas,es necesario avanzar en la denicin de lasvariables, los indicadores y las uentes dedatos as como las tcnicas a utilizar en laindagacin:w Las variables son las caractersticas, atri-

ejmp d oj g y epcfc d ed e Piie:

Objetivo generalAnalizar los aspectos crticos y las potencialidades del PIIE del MECyT de la Nacin para orta-

lecer las condiciones de enseanza en las escuelas primarias que atienden a los sectores msvulnerables.

Objetivos especfcos

OE1. Sistematizar y analizar las principales estrategias implementadas por el Nivel Central parael desarrollo del PIIE en las provincias.

OE2. Analizar comparativamente el alcance de las acciones desarrolladas por el programa enuna muestra representativa de escuelas a nivel nacional bajo programa y una muestra represen-tativa de escuelas no PIIE con caractersticas similares a las escuelas bajo programa, en relacina un conjunto de variables pertinentes.

OE3. Analizar las modalidades particulares de gestin del PIIE en el nivel provincial, inda-

gando en los atributos de las distintas matrices institucionales desde y sobre las cuales elprograma se implementa.

OE4. Reconstruir los modos tpicos de construccin / conguracin de los equipos tcnicosprovinciales como dispositivo de articulacin entre la gestin nacional, la gestin provincial ylas escuelas.

OE 5. Comprender las potencialidades y limitaciones de las diversas conormaciones de losequipos provinciales y sus transormaciones a lo largo de la historia del programa, para dina-mizar el uso de los recursos materiales y simblicos que el programa pone a disposicin enel nivel de las escuelas.

Evaluacin PIIE, DINIECE, 2007


23/30


butos, cualidades o elementos de unaunidad de anlisis que pueden ser medi-das adoptando valores dierentes en cadacaso. Las variables describen los hechos,enmenos y realidades sociales, propias

de las acciones llevadas a cabo dentro deun programa.

w Los indicadores son aquellos descripto-res que expresan de manera directa mo-dicaciones sustantivas en la variable. De-ben ser: especcos (quin o qu seest midiendo), observables y/o medibles,apropiados, actibles, vlidos y deben in-cluir un componente cronolgico.

w Las uentes de datos pueden ser prima-rias o secundarias. Los datos primariosson aquellos que el investigador obtienede manera directa de la realidad y queson relevados por sus propios instrumen-

tos; mientras que los datos secundariosson registros escritos que proceden delcontacto con la prctica pero que ueronseleccionados y procesados por otros in-vestigadores o por la propia institucin.

n Es deseable que todas estas deniciones (su-madas a la grilla de recursos y cronograma deactividades y productos) ormen parte del do-cumento del proyecto del estudio evaluativo.

Md d dc d Cd d Pyc d ed e:

n Justicacin y contexto de la evaluacin: Recapitula evaluaciones previas, as como las motiva-ciones que dieron lugar a la evaluacin.

n El objeto de la evaluacin: Describe el programa en sus coordenadas bsicas.

n Los objetivos, aspectos conceptuales y metodolgicos.- Objetivos Generales y Especcos.- Marco conceptual.- Modelo de evaluacin adoptado.- Universo.- Niveles de anlisis.

- Unidades de anlisis.- Variables.- Diseo muestral o criterios de seleccin de los casos.

n Cronograma.

n Recursos.

n Anexos:- Instrumentos de recoleccin de datos.- Marcos muestrales o criterios de seleccin de los casos.

Tomado del Estudio Evaluativo PIIE, 2007

FASE 7:

RELEVAMIENTO DE DATOS

PROPSITO: Aplicar los instrumentos de relevamiento

(encuestas, grupos ocales y/o entrevistas enproundidad) conorme las unidades de an-lisis denidas en el proyecto y el marco mues-tral denido o los casos seleccionados.

Relevar los datos secundarios (presupuesta-rios, inormes de avance y nales, documen-tos internos, estadstica educativa) conormelas variables identicadas en el proyecto.

DESARROLLO:n La duracin, modalidad de organizacin y

magnitud del trabajo de campo dependerde las caractersticas del proyecto.

n Se trata de un momento dierenciado del res-to del proceso.

n Dado que en s mismo supone una interven-cin en el mbito institucional (en el nivel

macro institucional o en el nivel del estableci-miento), requiere de una rigurosa y, a la vez,cuidadosa tarea de parte de la Coordinacindel estudio. Si bien esta uncin puede estar a


24/30


cargo de un equipo dierenciado, debe man-tener un dilogo permanente con el equipoa cargo del proyecto por dos razones:w la vigilancia del principio de validezen re-

lacin a lo que se busca medir;w el cuidado acerca de la relacin institucio-

nalcon los organismos y establecimientosescolares.

n Las tcnicas de relevamiento de la datos pri-marios son:w Encuesta: es un conjunto de preguntas

normalizadas dirigidas a una muestrarepresentativa de la poblacin o institu-ciones, con el n de conocer estados deopinin o hechos especcos.

w Grupo ocal: es una reunin con moda-lidad de entrevista grupal abierta y estruc-

turada, en donde se procura que un gru-po de personas seleccionadas discutan yelaboren, desde la experiencia personal,las cuestiones en torno a los determinan-tes y condicionantes de la salud.

w Entrevista en proundidad: intenta co-nocer las percepciones de la poblacinsobre una determinada problemtica.Consiste en una entrevista abierta se-miestructurada por temas que no nece-sariamente han de seguir una secuenciapreviamente jada.

FASE 8:

ANLISIS DE LOS DATOS

PROPSITO: Sistematizar los datos relevados y volver a las

preguntas para reconstruir una imagen de larealidad capaz de responderlas.

DESARROLLO:n En el anlisis de los datos hay que tener bien

presentes las preguntas que orientan la in-vestigacin.n En lo posible, se elaborarn matrices de anli-

sis que permitan ormalizar el procesamientode los datos. Dichas matrices debern resca-tar tanto los niveles de anlisis como los cri-terios para seleccionar los casos o segmentarla muestra, segn corresponda.

n En el anlisis hay que considerar que cadadato habla de distintas cosas:w Las encuestas pueden estar relevando

hechos pero siempre en clave de la me-moria o reconstruccin siempre subjetiva

de los/las entrevistados.w Las entrevistas en proundidad reeren

a interpretaciones sobre los hechos, a re-presentaciones que elaboran los actores.Son signicativos como parte de la mira-da de los actores (tal como han sido selec-cionados como unidad de anlisis).

w Los grupos ocales dan cuenta de la mi-rada colectiva, las convergencias y las di-vergencias en relacin a un conjunto deejes o cuestiones. No se trata de rescatarslo los acuerdos del conjunto de perso-

nas que participan sino tambin aquellosnudos en torno a los cuales se producendivergencias signicativas.

w La estadstica educativa permite elabo-rar indicadores a travs de los cuales sepuede monitorear el rumbo y alcance delos cambios generados por el programa.Los registros regulares son: RelevamientoAnual, Censo Docente y Operativos Na-cionales de Calidad Educativa.

w Los documentos de los programas einormacin presupuestaria (registrosde bases de datos, inormes de avance y

nales, inormes provinciales, registros deprogramacin y ejecucin presupuestaria)son emergentes de los procesos adminis-trativos de los programas. Son de sumautilidad para el anlisis y hablan acercade los procesos poltico-institucionalesormales, administrativos y econmico--nancieros.

w Los programas en educacin cuentan,adems, con una uente de ormidablepotencial que son los cuadernos esco-lares, los documentos institucionales

y los registros otogrfcos realizadosbajo un protocolo unicado.n La triangulacin en el anlisis de datos

cuantitativos y cualitativos tiene un enormepotencial para la reconstruccin de los signi-cados de los procesos, adems de su mag-nitud y tendencias.


25/30


FASE 9:

ELABORACIN DEL INFORME

PROPSITO: Sistematizar los resultados del estudio para

responder a las preguntas planteadas origi-nalmente.

DESARROLLO:n Una vez realizado el primer anlisis de los

datos, el equipo evaluador deber avanzaren la elaboracin de una primera versin dendice del inorme para que el anlisis de los

datos vaya convergiendo en la elaboracinde documentos de trabajo que constituyan,posteriormente, los captulos del mismo.

n La primera versin del ndice del inorme seorganiza segn la estructura de los objetivosespeccos de modo tal que cada captuloo apartado del inorme responda a las pre-guntas.

n La primera versin del ndice debe ser analiza-da con el equipo de gestin promotor o soli-citante de la evaluacin a los eectos de vigilarque la propuesta siga ajustndose conormelos requerimientos e interrogantes que le die-ron origen al estudio.

n En tanto los estudios evaluativos cuentan conun periodo corto de realizacin, es deseableque el/la responsable de la Coordinacinpueda distribuir entre los participantes delequipo responsabilidades para la redaccinprimaria de los documentos de trabajo, para

luego quedar bajo la responsabilidad de unequipo ms reducido su redaccin nal.n La elaboracin de versiones preliminares pero

ormalizadas es til para dar lugar a la lecturade parte de los actores involucrados hacien-do posible la recuperacin -- en el anlisis --de su perspectiva acerca de la reconstruccinde la realidad que el inorme devuelve.

ejmp d M d a p Ccc d c:

La caracterizacin de los actores es un momento clave en el anlisis de los datos. Se propone acontinuacin una Matriz de Actores e Involucrados que permite reconstruir el conocimiento e inte-

rs que tienen en el programa, los confictos potenciales con el programa y las virtudes que en lreconocen, los recursos que movilizan (reere a los recursos materiales y simblicos que cada actorest dispuesto y tiene la posibilidad de comprometer en la accin o contra ella) y los mandatos (res-ponsabilidad organizacional) que tiene cada actor en relacin a l.

Matriz de Actores e Involucrados

Actores /involucrados

Conocimiento e intersenel programa

Confictospotenciales

Virtudesdel programa

Recursos Mandatos

Ministro

ConsejoProvincial

ReerentePrograma A

Programa B

Equipo Tcnico

Supervisores

Tomado del Estudio Evaluat ivo PIIE, 2007.


26/30


ejmp d dc d im F ed e:

1. Fundamentacin del estudio.

2. Objetivos y metodologa.3. La propuesta de regularizacin del 2do ciclo del nivel primario en la provincia

de Mendoza.

4. Contexto del proyecto de extraedad

5. Origen del proyecto y antecedentes.

6. Principales caractersticas del proyecto y de su implementacin.

7. Posiciones respecto de las modicaciones realizadas y pendientes en trminos de normativa.

8. Recursos materiales y recursos humanos.

9. Seguimiento y Evaluacin del Proyecto.

10. Valoraciones de los entrevistados sobre el desarrollo del Proyecto.

11. Seleccin de los establecimientos para el proyecto extraedad.

12. Participacin de directivos y de supervisores en la implementacin del Proyecto.

13. Organizacin y uncionamiento de los ncleos.

14. Seleccin de grados y tamao de los ncleos.

15. Criterios y procedimientos de seleccin de los maestros de los ncleos.Principales caractersticas de los docentes.

16. El trabajo docente en los ncleos.

17. Instancias de articulacin entre el trabajo en los ncleos y en los grados.

18. Participacin de otros docentes: relaciones entre los maestros de las escuelas con ncleosy colaboraciones entre establecimientos.

19. Materiales y documentos de apoyo para docentes.

20. Los alumnos de los ncleos: criterios y procedimientos de seleccin.

21. Criterios de promocin de los alumnos de los ncleos.

22. El proyecto extraedad y la articulacin entre ciclos.

23. Conclusiones y recomendaciones.

Bibliograa y uentes citadas

Tomado del Estudio Evaluativo PROMER, Mendoza


27/30


FASE 10:

DEVOLUCIN DE LOS RESULTADOS

PROPSITO:

Analizar --en conjunto con los actores de lagestin del programa-- los resultados del es-tudio evaluativo.

Recuperar en el anlisis la perspectiva de losgestores en los distintos niveles.

Identicar nudos crticos en torno a los cua-les producir recomendaciones.

DESARROLLO:n Los espacios de trabajo podrn asumir dis-

tintas modalidades que oscilarn, conorme

las posibilidades y la disposicin del equiporesponsable de la gestin, entre la reuninde trabajo y el taller participativo.w La reunin de trabajo es un espacio de

encuentro con los responsables (polticosy tcnicos) de la gestin del programa.

w El taller participativo es un espacio de arti-culacin de actores sociales y gubernamen-tales orientado a poner en dilogo los re-sultados con las visiones y perspectivas quetienen desde su particular punto de vista.

P dd

Cohen, E. y Franco, R. (1988); Evaluacin de Proyectos Sociales, ILPES/ONU CIDES/OEA GELColeccin Estudios Polticos y Sociales1ra. Ed. Buenos Aires.

Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales,educativos y de salud, Ed. Sntesis, Madrid

Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerenciasocial. Notas de Clase. INDES/ BID. www.indes.iadb.org

Sotelo Maciel, A. J. (1997) Anlisis PROBES. Un mtodo para el anlisis situacional y la ormula-cin de estrategias, ESTS-UNLP, La Plata.

Saut, R. y otros (2005) Manual de metodologa. Construccin del marco terico, ormulacinde los objetivos y eleccin de la metodologa. Biblioteca Virtual CLACSO.


28/30


ESTUDIOS EVALUATIVOS REALIZADOSPOR DINIECE EN EL LTIMO AO:

DINIECE (2007/8) Estudio Evaluativo ProgramaIntegral de Igualdad Educativa (Coord. Gluz, N. y

Chiara, M.)

Vol. I. La puesta en marcha e implementacindel programa y su contexto (2007)

Vol. II. El alcance de las acciones PIIE en lasescuelas desde la perspectiva de los actoresinstitucionales (2007)

Vol. III. Anlisis de la apropiacin jurisdiccio-nal del programa y la conormacin y dinmi-ca de trabajo de los equipos jurisdiccionales.(2007)

Vol. IV. Modos de apropiacin del programadesde un conjunto de instituciones escolaresseleccionadas. (2008)

Vol. V. Anlisis de las dimensiones pedag-gico-didcticas, los modos de apropiacininstitucional del programa y su incidencia enlas prcticas de enseanza (Augustovsky, G).(2008)

DINIECE (2008) La implementacin del Progra-ma Nacional de Becas Estudiantiles en la Provincia

de Buenos Aires: Aportes para las polticas orienta-das al cumplimiento de la obligatoriedad del nivelsecundario (Sinisi, L.y Montesinos, M. P).

DINIECE (2007) Proyecto de investigacin cuali-tativa en torno a la implementacin del ProgramaTodos a estudiar: Un estudio de casos sobre el es-pacio puente

DINIECE (2008) Poltica de regularizacin de lastrayectorias escolares en el segundo ciclo del nivelde enseanza primario de la provincia de MendozaInorme Final(Otero, M. P. y Padawer, A.) Proyecto

de Mejoramiento de la Educacin Rural (PROMER)Prstamo BIRF 7353-AR Seguimiento y EvaluacinEstudio Especial.

DINIECE (2008) Proyecto de Mejoramiento de laEducacin Rural (PROMER) Prstamo BIRF 7353-ARSeguimiento y Evaluacin Estudio Especial. (Otero,M. P. y Padawer, A.) Proyecto de Mejoramiento dela Educacin Rural (PROMER) Prstamo BIRF 7353-AR Seguimiento y Evaluacin Estudio Especial.


29/30



30/30

diniece guÍa para evaluaciÓn de programas en educaciÓn

Documents