evaluación de impacto: un reto ineludible para los
TRANSCRIPT
boletín cinterfor
183
No. 150, setiembre-diciembre de 2000
EvaluaciónEvaluaciónEvaluaciónEvaluaciónEvaluaciónde impacto:de impacto:de impacto:de impacto:de impacto:un reto ineludibleun reto ineludibleun reto ineludibleun reto ineludibleun reto ineludiblepara los programaspara los programaspara los programaspara los programaspara los programasde capacitaciónde capacitaciónde capacitaciónde capacitaciónde capacitaciónjuveniljuveniljuveniljuveniljuvenil
Ernesto AbdalaErnesto AbdalaErnesto AbdalaErnesto AbdalaErnesto Abdala
IntroducciónIntroducciónIntroducciónIntroducciónIntroducción
La necesidad de la evaluaciónLa necesidad de la evaluaciónLa necesidad de la evaluaciónLa necesidad de la evaluaciónLa necesidad de la evaluaciónEn la búsqueda de laEn la búsqueda de laEn la búsqueda de laEn la búsqueda de laEn la búsqueda de la“transparencia”“transparencia”“transparencia”“transparencia”“transparencia”
Hoy se puede constatar que elmundo ha cambiado, y con él, la canti-dad y calidad de las competencias, ha-bilidades y destrezas básicas, educati-vas, actitudinales y comportamentalesque son necesarias para acceder a unempleo, y que, por regla general, estánausentes en los mecanismos de socia-lización de los adolescentes y jóvenespobres, quienes, además, carecen deredes sociales de apoyo e inserción. Ladetección de esta realidad hace másurgente la evaluación lúcida y objeti-va de lo hecho hasta ahora en las acti-vidades dirigidas a adolescentes (espe-cialmente mujeres) carenciados y es-tigmatizados.
En la región, se han desarrolladomúltiples iniciativas de capacitación-inserción laboral para jóvenes en unamplio abanico de modalidades hetero-géneas, desde las elaboradas por lasIFP (Instituciones de Formación Profe-sional), hasta los programas del tipoChile Joven. El conocimiento interacti-vo y la posible articulación de ambosmodelos colaborarían a esclarecer par-te de los interrogantes planteados enlas evaluaciones y los seguimientos deestos programas1 .
En un momento de ajuste econó-mico y de reafirmación de los derechosplenos de la sociedad civil, se tornaimprescindible la puesta en marcha demecanismos de “rendición de cuentas”,que consoliden una cultura de evalua-ción de las acciones implementadasen las áreas de educación, formacióny capacitación, tratando de renovar
El presente artículo aborda el tema dela evaluación del impacto de los pro-gramas de capacitación laboral de jó-venes. Aquí se consideran las diver-sas dimensiones que deben ser con-sideradas al evaluar este tipo de pro-grama y se presentan alternativasmetodológicas para el diseño de estecomponente, imprescindible a la vezque polémico, de los programas decapacitación laboral juvenil. ErnestoAbdala es consultor de Cinterfor/OITen temas de formación profesional yjuventud.
boletín cinterfor
184
las vías de inversión en capital hu-mano.
En la discusión de « qué es lo pú-blico y qué es lo privado », varios au-tores (Gallart, Ramírez, Ibarrola) sos-tienen que « público » enmarca laspolíticas que favorecen a toda la so-ciedad en defensa del bien común. Eneste camino, aconsejan que el Estadosea el único responsable de normali-zar reglas claras de juego en el diseñoglobal y el desarrollo de los programas.La información a los responsables delas decisiones, a partir de evaluacio-nes de buena calidad, cobra destacadamagnitud a la hora de dar a luz a estemarco regulatorio2 .
En ese sentido, la evaluación deimpacto evita el riesgo de que los pro-gramas arranquen siempre de cero pre-cariamente, sin recoger ninguna expe-riencia anterior, algunas de décadas. Setrata, además, de crear mecanismos derendición de cuentas3 .
La evaluación de impacto en unproceso de “rendición de cuentas” atoda la sociedad, permite:
- registrar y analizar todas las ex-periencias, positivas y negativas,mediante la comparación en elgrupo control, sistematizándolas;
- evaluar el contexto socioeconómi-co y político en que se da la expe-riencia;
- identificar los actores involucra-dos y su peso específico en losresultados;
- estudiar la articulación interinsti-tucional y público/privado;
- ofrecer estudios de costo-benefi-cio;
- concertar aportes de los técnicosen gestión, mediante la difusión dela información proveniente de laevaluación y su posterior discu-sión entre todos los responsablesde la gestión;
- informar de forma clara y objeti-va a los responsables de la tomade decisiones sobre la marcha delos programas; esta retroalimenta-ción promueve el reforzamientoinstitucional; y
- seleccionar qué acciones brindanmayor “valor agregado” a los jó-venes, a las familias y a la socie-dad en su conjunto.
1. Evaluación de impacto:1. Evaluación de impacto:1. Evaluación de impacto:1. Evaluación de impacto:1. Evaluación de impacto:un reto ineludible para los pro-un reto ineludible para los pro-un reto ineludible para los pro-un reto ineludible para los pro-un reto ineludible para los pro-gramas de capacitación juvenilgramas de capacitación juvenilgramas de capacitación juvenilgramas de capacitación juvenilgramas de capacitación juvenil
Evaluar constituye un proceso sis-temático, metódico y neutral que haceposible el conocimiento de los efectosde un programa, relacionándolos conlas metas propuestas y los recursosmovilizados (JACINTO Y GA-LLART)4. Asimismo, y siguiendo aSTUFFLEBEAM5, se podría decir quela evaluación es un proceso que facilitala identificación, la recolección y lainterpretación de informaciones útilesa los encargados de tomar decisionesy a los responsables de la ejecución ygestión de los programas.
boletín cinterfor
185
Desde los primeros intentos deevaluar los programas de educación yde capacitación, los procedimientosevaluatorios han ido creciendo en com-plejidad metodológica. Asimismo, hanido ganando espacios y relevancia has-ta volverse imprescindibles en todoproyecto que desee conocer el funcio-namiento y los resultados de su accio-nar en forma clara y transparente. Unproceso de este tipo facilita la contun-dencia de la experiencia para la retroa-limentación y los replanteos, o comoantecedente para otros emprendi-mientos.
Al concepto original deStufflebeam, SCRIVEN6 agregó dosseñalamientos:
1- La evaluación debe enriquecersecon juicios de valor que adjetivenel curso del programa, remarcandosi la sociedad, el programa y losjóvenes se beneficiaron con lasacciones empresariales.
2- Agregar una evaluación sin refe-rencia estricta a los objetivos, yaque pueden aparecer hechos im-previstos y el evaluador está obli-gado a evaluar todo y estar muyalerta respecto a lo que vaya sur-giendo.
Bajo la denominación de evalua-ción de impacto se entiende el procesoevaluatorio orientado a medir los re-sultados de las intervenciones, en can-tidad, calidad y extensión, según lasreglas preestablecidas.
Durante décadas, la idea predomi-nante fue “evaluar es medir”, conside-rando únicamente las dimensiones eindicadores cuantitativos. Actualmen-te, la evaluación de impacto es valo-rada como un proceso amplio y glo-bal, que agrega técnicas cualitativas alabordaje cuantitativo.
La medida de los resultados, ca-racterística principal de la evaluaciónde impacto, permite comparar el gra-do de realización alcanzado con el gra-do de realización deseado. Compara,de esta forma, la planeación con el re-sultado de la ejecución.
La evaluación de impacto abarcatodos los efectos secundarios a laplaneación y a la ejecución: específi-cos y globales; buscados (según losobjetivos) o no; positivos, negativos oneutros; directos o indirectos (la pues-ta en marcha del programa puede ge-nerar, por sí misma, efectos sobre losdirectamente involucrados, pero tam-bién al nivel de la sociedad toda).
La evaluación de estas dimensio-nes implica reforzar el concepto deproceso, con categorías concatenadas:
- coherencia: articulación de los dis-positivos utilizados con los obje-tivos del programa;
- adecuación: relación de los obje-tivos del programa con los recur-sos disponibles;
boletín cinterfor
186
- imputabilidad: delimitación de losresultados logrados atribuibles es-pecíficamente a los dispositivosmontados;
- eficiencia: comparación de los re-sultados con los recursos (costo-beneficios). (Ver cuadro 1).
1.1 Tipos de evaluación1.1 Tipos de evaluación1.1 Tipos de evaluación1.1 Tipos de evaluación1.1 Tipos de evaluación
Según la estructuración y el enfo-que elegido, los procesos evaluatoriospueden clasificarse en: pseudoevalua-ciones, evaluaciones verdaderas cuan-titativas puras (cuasiexperimentales yexperimentales) y evaluaciones verda-deras mixtas o cuanticualitativas.
La objetividad y la independenciadel evaluador en su trabajo hacen a laprimera división entre pseudoevalua-ciones y evaluaciones verdaderas7 .
La metodología y las herramien-tas empleadas dan lugar a la bifurca-ción dentro de las evaluaciones verda-deras: presencia de grupo de control yuso de dispositivos cuantitativos y/ocualitativos. (Ver cuadro 2).
Actualmente, las “evaluacionesverdaderas” son las evaluaciones ho-lísticas cuanti-cualitativas, que contex-tualizan la planeación y la ejecuciónen el panorama macro socioeconómi-co, operacional y laboral.
Las evaluaciones deben insertar-se en un proceso dinámico de cambios,evitando los estudios dirigidos y rígi-dos. Se recomiendan investigacionesintegrales, que interrelacionen todoslos componentes y actores del progra-ma, y que tomen en cuenta las cuestio-nes de valor y mérito.
Cuadro 1:Cuadro 1:Cuadro 1:Cuadro 1:Cuadro 1: Proceso de la evaluación de impactoProceso de la evaluación de impactoProceso de la evaluación de impactoProceso de la evaluación de impactoProceso de la evaluación de impacto
RECURSOS
Adecuación Criterios Eficienciade asignación
OBJETIVOS DISPOSITIVOS RESULTADOS IMPACTOS
Coherencia Imputabilidad
Fuente: Freyssinet, citado por Jacinto y Gallart. La evaluación de programas de capacitación de jóvenesdesempleados, 1998.
boletín cinterfor
187
Cuadro 2: Enfoques de la evaluaciónCuadro 2: Enfoques de la evaluaciónCuadro 2: Enfoques de la evaluaciónCuadro 2: Enfoques de la evaluaciónCuadro 2: Enfoques de la evaluación
Pseudoevaluaciones Se cumple el proceso evaluatorio, pero con fuerte inje-rencia de alguna de las partes comprometidas con el pro-yecto y que presiona para que aparezcan resultadospreestablecidos.El evaluador no actúa neutralmente.
EvaluacionesExperimentalesy Cuasiexperimentales
Son evaluaciones exclusivamente cuantitativas. Este di-seño exige que se constituya un grupo de control. Se mideel impacto por comparación estadística entre el grupo decontrol y el grupo beneficiario de las acciones del progra-ma.Se mide el incremento del bienestar de los beneficiarios,según empleo (empleabilidad, inserción laboral posterior,tipo de trabajo, satisfacción laboral) ingresos y ciudada-nía. Asimismo, puede medirse focalización, deserción, re-tención y cobertura.
Evaluaciones VerdaderasMixtas Cuanticualitativas
El abordaje mixto permite obtener los datos señalados enel grupo anterior y agrega el aporte cualitativo.Entre estos:• cambios actitudinales;• cambios psicosociales;• autoestima;• empleabilidad; y• necesidad y satisfacción con el programa
Puede medirse también el impacto sobre los restantes ac-tores (capacitadores, empresarios, informantes claves dela población, gobierno).
Se utilizan los estudios de casos, las observaciones, lasentrevistas en profundidad.
El aporte mixto ayuda a entender mejor por qué unos pro-gramas son exitosos y otros fracasan.
Fuente: Elaboración propia.
La complejidad de los diseños ex-perimentales puros se basa en granmedida en la identificación y persis-tencia de un grupo de “control” con
iguales atributos al grupo “participan-te” (edad, raza, género, rol en la fami-lia, instrucción, antecedentes labora-les).
boletín cinterfor
188
Los diseños cuasi-experimentalescon grupos de control, padecen seriosproblemas a los efectos de dar cabalcuenta de los impactos reales de lasintervenciones evaluadas. Estos cues-tionamientos han sido largamente abor-dados en la literatura especializada, yhacen referencia básicamente a la posi-ble espuriedad de las relaciones causa-les sugeridas por los resultados de inves-tigaciones basadas en estas metodologías.
1.2 Ciclo de la vida ¿Cuándo se1.2 Ciclo de la vida ¿Cuándo se1.2 Ciclo de la vida ¿Cuándo se1.2 Ciclo de la vida ¿Cuándo se1.2 Ciclo de la vida ¿Cuándo serealiza la evaluación?realiza la evaluación?realiza la evaluación?realiza la evaluación?realiza la evaluación?
El ciclo de la vida del programaabre las distintas posibilidades parahacer la evaluación. (Ver cuadro 3).
Al tratar la evaluación de impac-to, indicaremos su momento en Post yExpost, mientras que la evaluación deseguimiento del programa correspon-de a Exante e Intra.
Varios autores, entre ellos ClaudiaJACINTO (1998), plantean que «eva-luación de impacto » no implica me-dir en el resultado solamente al finalde la ejecución: la evaluación deberíaser idealmente un proceso continuo ypermanente. La continuidad actuaríacomo efecto dinamizador y enriquece-dor, toda vez que la evaluación se com-prenda como un proceso de intercam-bio educativo de todos los involucradosen el programa que retroalimenta los
EXANTE Se efectúa antes del inicio de la ejecución.Se evalúan el contexto socioeconómico e institucional; los pro-blemas identificados; las necesidades detectadas; la poblaciónobjetivo; los insumos; las estrategias de acción.
INTRA Se desarrolla durante la ejecución del programa.Se evalúan las actividades del proceso mientras estas se estándesarrollando, identificando los aciertos, los errores, las difi-cultades.
POST Se corresponde con la finalización inmediata de la ejecucióndel proyecto, detectando, registrando y analizando los resulta-dos tempranos.
EXPOST Se realiza tiempo después (meses o años) de concluida la eje-cución. Evalúa los resultados mediatos y alejados, consolida-dos en el tiempo.
Cuadro 3: Momentos de realización de la evaluaciónCuadro 3: Momentos de realización de la evaluaciónCuadro 3: Momentos de realización de la evaluaciónCuadro 3: Momentos de realización de la evaluaciónCuadro 3: Momentos de realización de la evaluación
boletín cinterfor
189
ajustes necesarios para mejorar sobrela marcha.
1.3 Proceso Técnico1.3 Proceso Técnico1.3 Proceso Técnico1.3 Proceso Técnico1.3 Proceso Técnico
Antes del inicio del proceso deevaluación, se deben tener presenteslos siguientes señalamientos:
- Es necesario “saber lo que se de-sea saber” sobre el programa yacordarlo entre todas las partesinvolucradas (autoridades nacio-nales y regionales, responsablesdel programa, ejecutores, empre-sarios y agentes sociales), a fin deque los encargados de laplaneación y de la ejecución de laevaluación conozcan de antema-no la cantidad y la calidad de lainformación que se desea recopi-lar, la profundidad del análisis ala que serán sometidos los datos yla difusión y el uso que se dará alos resultados. El acuerdo pro-puesto evita las falsas expectati-vas. Al respecto, MONREALZIA,J. expresa que «desde nuestro pun-to de vista la evaluación exige,dentro de unos principios básicosde objetividad y neutralidad, unacuerdo previo entre los distintosagentes implicados sobre el con-tenido y el alcance de la misma.Interesa tanto el grado de satisfac-ción de los propios gestores de laspolíticas o el de sus propulsores,siempre que los procesos estable-cidos proporcionen informaciónque apunten hacia líneas de mejo-rar en futuras programaciones »8 .
- Es imprescindible la mayor clari-dad en la definición de cada etapapara evitar la confusión metodo-lógica y la falta de sistematizaciónque impide medir el impacto real.
- Se debe buscar la menor comple-jidad posible para que la evalua-ción tenga un costo accesible.
- Finalmente, dada la enorme com-plejidad de los factores en juego,no existen modelos ideales deplaneación ni de prácticas de eva-luación: existen guías, marcos,lineamientos que se deben adap-tar a cada programa
Varios autores se han referido aeste punto. RAMÍREZ, J. expresa:« La realidad de la práctica de losprogramas representa en buena me-dida un desafío en términos del dise-ño de estrategias de evaluación. Es-tas deben dar cuenta de la compleji-dad que conlleva la adecuada evalua-ción de estas intervenciones a partirde la multiplicidad de dimensionesinvolucradas. La capitación de losbeneficiarios de los programas impli-ca un conjunto de instancias, con suscorrespondientes efectos en términosde selección dentro de la poblaciónfocalizada. Esto impone dificultadesy un conjunto de restricciones encuanto a los diseños de evaluación aaplicar, si es que ese se pretende lo-grar desentrañar relaciones causalessolidamente fundadas a partir de lainformación procesada ». GRUBBseñala que los diferentes tipos de pro-
boletín cinterfor
190
gramas dan cuenta de la variabilidadde la metodología empleada, ponien-do como ejemplo, el programa CETAde 1970. JACINTO y GALLARTapuntan: «las estrategias puestas enjuego siempre serán una forma deaproximación a la realidad»; y elCIDEC: «En términos generales, elproceso de evaluación debe diseñar-se, organizarse y aplicarse de formaadaptada a los rasgos específicos delprograma a evaluar y su contextoorganizacional y socioeconómico».
Durante la configuración del pro-ceso técnico de la evaluación, se de-ben recorrer cinco etapas básicas:
1) toma de decisión respecto al cum-plimiento de la evaluación y suestructuración;
2) constitución del marco de referen-cia;
3) selección de evaluadores y planea-ción de la evaluación (incluyendocostos, organigrama y cronogra-ma);
4) implementación y gestión; y5) difusión de resultados.
1.3.1 Toma de decisión y1.3.1 Toma de decisión y1.3.1 Toma de decisión y1.3.1 Toma de decisión y1.3.1 Toma de decisión yestructuración organizativaestructuración organizativaestructuración organizativaestructuración organizativaestructuración organizativa
En esta etapa, se lleva a cabo elacuerdo citado previamente entre losdiferentes actores y su compromiso conla evaluación, clarificando las respon-sabilidades y las orientaciones del pro-ceso.
1.3.2 Constitución del marco de1.3.2 Constitución del marco de1.3.2 Constitución del marco de1.3.2 Constitución del marco de1.3.2 Constitución del marco dereferenciareferenciareferenciareferenciareferencia
Los términos de referencia quedan origen al marco-guía del proceso,incluyen un resumen del programa decapacitación y su implementación, asícomo del contenido de la evaluaciónque se propone (metodología, organi-grama, costos, beneficiarios, cronogra-ma).
1.3.3 Selección de evaluadores y1.3.3 Selección de evaluadores y1.3.3 Selección de evaluadores y1.3.3 Selección de evaluadores y1.3.3 Selección de evaluadores yplaneación de la evaluaciónplaneación de la evaluaciónplaneación de la evaluaciónplaneación de la evaluaciónplaneación de la evaluación
La evaluación depende del prin-cipal responsable del programa que esel decisor político y el diseñador. Elevaluador debe estar calificado y librede presiones en su tarea. Es convenien-te validar la formación de evaluadores,sensibilizándolos para la tarea de co-nocer el know how del programa. Pue-de tratarse de técnicos externos espe-cializados o de responsables internosde la gestión (intermedia o de base) quese capacitan en las herramientas de laevaluación de impacto. RAMÍREZGUERRERO señala que « La disponi-bilidad de técnicos con una adecuadapreparación profesional en materia deevaluación constituye una dificultadpara el logro de mejores resultados. Noobstante lo anterior, cabe señalar elimportante aporte que este terreno hasignificado la cooperación técnicabrindada fundamentalmente por partede los organismos internacionales. Enclave prospectiva, la dinamización del
boletín cinterfor
191
papel de los ámbitos académicos de laRegión –vía un mayor relacionamientode los mismos con los organismos delos responsables de los programas esun camino que, a partir de algunas ex-periencias ensayadas, abre perspecti-vas para interesantes actividades decomplementación institucional»9. Elgrupo de CIDEC, ya citado, por su par-te expresa: «La calidad de la evalua-ción depende, en buena medida, de tresfactores: la capacidad del grupo de pi-lotaje para especificar adecuadamentesus necesidades y expectativas en tor-no a la evaluación, la designación deun equipo de evaluadores cualificadoy el establecimiento de una comunica-ción fluida entre el grupo de pilotaje ylos evaluadores ».
Finalmente, la evaluación partici-pativa y las autoevaluaciones periódi-cas involucrarán a todos los actores.
La evaluación se dirige:
• a la población objetivo (jóvenesbeneficiarios);
• al gobierno;• a los empresarios que aportan la
empresa para la pasantía;• a las ECAS (Entidades de Capa-
citación Adjudicatarias);• a la población local donde se in-
serta el programa (informantesclaves); y
• a la población general, si así seacuerda en el marco previo a laevaluación.
La planeación se efectiviza me-diante la caracterización de las fasesdel ciclo del programa de evaluación,con sus tiempos correspondientes enun cronograma-guía.
Debe, además, recoger los crite-rios del acuerdo-marco generado a par-tir de la decisión de realizar la evalua-ción, incluidos en los términos de re-ferencia, y transformarlos en los sub-programas a ser evaluados (organigra-ma) y en las dimensiones e indicadoresa medir, junto a la selección de las he-rramientas a utilizar (este punto seráampliado posteriormente al presentarlos modelos técnicos de evaluación).GALLART indica que « La evaluaciónexige no sólo definir los objetivos delos programas en términos mensura-bles y alcanzables, sino que tiene quetener en cuenta las condiciones de in-greso de los capacitados, sus antece-dentes familiares, educativos y ocupa-cionales. Más aun, es conveniente quelos resultados sean observados en elmediado plazo y en varios momentosen el tiempo, para poder analizar suimpacto en las trayectorias de los indi-viduos »10.
1.3.4 Implementación y gestión1.3.4 Implementación y gestión1.3.4 Implementación y gestión1.3.4 Implementación y gestión1.3.4 Implementación y gestión
La etapa de implementación debeestar anclada en una serie de requisi-tos que, junto a la convicción por par-te de todos los involucrados de que laevaluación es una instancia de apren-dizaje para todos los actores sociales,
boletín cinterfor
192
permiten gestionar una evaluación debuena calidad que genere conclusionestransparentes. Ellos son:
- la evaluación debe ajustarse a lostérminos de referencia;
- el diseño metodológico debe serapropiado para el tipo de progra-ma implicado, según los objetivospropuestos;
- las herramientas para la recolec-ción de datos deben asegurar queestos sean confiables; y
- los sistemas de análisis propues-tos deben ser los adecuados parala metodología utilizada.
1.3.4.1 Modelos teóricos para la1.3.4.1 Modelos teóricos para la1.3.4.1 Modelos teóricos para la1.3.4.1 Modelos teóricos para la1.3.4.1 Modelos teóricos para laimplementación de la evaluaciónimplementación de la evaluaciónimplementación de la evaluaciónimplementación de la evaluaciónimplementación de la evaluaciónde impacto (modelo CIPP yde impacto (modelo CIPP yde impacto (modelo CIPP yde impacto (modelo CIPP yde impacto (modelo CIPP ymodelo de evaluaciónmodelo de evaluaciónmodelo de evaluaciónmodelo de evaluaciónmodelo de evaluaciónrespondente)respondente)respondente)respondente)respondente)
Modelo CIPP (propuesto porSTUFFLEBEAM y SHINKFIELD)
Este modelo organiza el procesode la implementación según cuatro di-mensiones y sus correlaciones. (Vercuadros 4 y 5).
Contexto
Esta dimensión se nutre de losdatos globales socioeconómicos ysociolaborales nacionales y locales,con énfasis especial en las políticas deempleo para jóvenes.
Input (Insumos)
Identifica y valora los recursosdisponibles (humanos, materiales y fi-nancieros) antes del programa: los ob-jetivos y las estrategias planteadas se-gún los recursos disponibles, las estra-tegias implementadas, los recursosasignados y utilizados, el soportenormativo y las intervenciones rea-lizadas.
Proceso
Incluye la interrelación dinámicaentre las estructuras del programa y losdiversos actores, generando un siste-ma vincular: “medio ambiente del pro-grama”. Se evalúa especialmente portécnicas cualitativas.
Producto (resultados e impactosen relación con los objetivos)
Los productos (indicadores) sepueden caracterizar según:
- eficacia: medida de los logros enun tiempo determinado;
- eficiencia: medida de los logros enun tiempo determinado, según losrecursos utilizados;
- cobertura: proporción entre losjóvenes que accedieron al progra-ma y el total de jóvenes caren-ciados y en situación de desem-pleo;
boletín cinterfor
193
- pertinencia: grado de satisfacciónde las necesidades específicas delos jóvenes beneficiarios;
- adecuación: correlación entre losobjetivos y los recursos disponi-bles;
- coherencia: grado de correspon-dencia entre los objetivos y losdispositivos; e
- imputabilidad: medida de causa-lidad o de fuerte asociación entrelos dispositivos y los resultados.
En cada una de las cuatro etapasde la evaluación correspondientes a
Cuadro 4: Niveles y etapas de la evaluaciónCuadro 4: Niveles y etapas de la evaluaciónCuadro 4: Niveles y etapas de la evaluaciónCuadro 4: Niveles y etapas de la evaluaciónCuadro 4: Niveles y etapas de la evaluaciónen los cuatro componentes del CIPPen los cuatro componentes del CIPPen los cuatro componentes del CIPPen los cuatro componentes del CIPPen los cuatro componentes del CIPP
Niveles de decisión Etapas de evaluación
C Decisiones de Programa Objetivos.Evaluación de Contenidoso Contexto.
I Decisiones de Planeación Procedimientos planeados.Evaluación de entrada,Input, Insumos.
P Decisiones de Implementación Procedimientos efectuados,reales.Evaluación de Proceso.
P Decisiones de Relevamiento Resultados.Evaluación de Productoso Impactos.
Fuente: Elaboración propia.
cada nivel de decisión (que se acabande presentar) se recogen y analizandatos específicos. (Ver cuadro 5).
El modelo CIPP desentraña el en-tretejido y las interrelaciones de la to-talidad de los componentes, en unenfoque sistémico, con adecuacionespermanentes. Su representación en elespacio podría corresponder a una ima-gen espiralada de complejidad y per-feccionamiento crecientes, en los quetodas las dimensiones se concatenanposibilitando la readecuación de cadaetapa del programa. (Ver cuadro 6).
boletín cinterfor
194
Cuadro 5: Etapas de la evaluación y datos respectivosCuadro 5: Etapas de la evaluación y datos respectivosCuadro 5: Etapas de la evaluación y datos respectivosCuadro 5: Etapas de la evaluación y datos respectivosCuadro 5: Etapas de la evaluación y datos respectivos
Etapas de la evaluación Datos a recoger y analizar
Evaluación de Contenidoso de ContextoC
Datos globales que proporcionanlos fundamentos para los objetivosdel programa:• indicadores socioeconómicos;• indicadores sociolaborales; y• políticas de capacitación y
empleo para jóvenes.
IEvaluación de Input oInsumos
Datos que proporcionan el funda-mento para la elección del modode utilización de los recursos dis-ponibles para lograr los objetivosplanteados (humanos, materiales,financieros).
PEvaluación de Proceso Datos de la marcha del programa.
Registro de la relación entre lo pro-gramado y lo real.Datos sobre la interacción de to-dos los actores involucrados y losroles desempeñados. Dinámica degrupo del proyecto (decisores, ges-tores, beneficiarios, población).
PEvaluación de Productos oImpacto
Datos sobre logros reales y su re-lación en los objetivos del progra-ma. ImpactoLos logros alcanzados se miden enlos beneficiarios, decisores (go-bierno), empresarios, ejecutores,población.
Fuente: elaboración propia.
boletín cinterfor
195
Modelo evaluativo respondente ocentrado en el cliente
TYLER (citado en CIDEC)11 se-ñaló reiteradamente que los programasencargados de la evaluación están obli-gados a comparar los objetivos desea-dos y los resultados observados, alcan-zados. A este concepto, STAKE, en1967, crea el llamado modelo respon-dente, de la figura (countenance) ocliente, ahondando en el aporte deTyler y remarcando la necesidad devalorar contexto, antecedentes, efectossecundarios, y opiniones de múltiplesactores interesados en el programa. Por
otra parte, considera especialmenteútiles la evaluación interna y lasautoevaluaciones. La estructura fun-cional del modelo “basado en el clien-te” está representado por Stake en for-ma de reloj, a la vez que muestra cómocada paso desencadena el siguientemediante el uso de las técnicas cuali-tativas: la observación detenida y lasentrevistas abiertas, privilegiando elvínculo y la empatía.
1.3.5 Difusión de resultados1.3.5 Difusión de resultados1.3.5 Difusión de resultados1.3.5 Difusión de resultados1.3.5 Difusión de resultados
La diseminación de las conclusio-nes de la evaluación, en relación con
Cuadro 6: Modelo CIPP - Interrelación de las etapas de la evaluaciónCuadro 6: Modelo CIPP - Interrelación de las etapas de la evaluaciónCuadro 6: Modelo CIPP - Interrelación de las etapas de la evaluaciónCuadro 6: Modelo CIPP - Interrelación de las etapas de la evaluaciónCuadro 6: Modelo CIPP - Interrelación de las etapas de la evaluación
Contexto Identificación de un problema
Formulación de objetivos
Valoración de los Insumos disponibles
Estrategias para la acción
Proceso de implementación
Productos Procedimientos empleados oResultados(Impacto)
FUENTE: Elaboración propia.
boletín cinterfor
196
su extensión, alcance y profundidad,debe ser acordada al inicio del proce-so tal como ya fue señalado. Este acuer-do es el sostén de la confidencialidad,que junto a la transparencia, son dosexigencias básicas de toda difusión.Resguardando la confidencialidad, elinforme final completo está dirigido alas instancias centrales de decisión yresponsables últimos de la puesta enmarcha de la evaluación.
Todos los restantes informes seadecuarán en cantidad y calidad de lainformación según aprobación del gru-po central.
En cuanto a la transparencia sedebe tratar de preservar la objetividad,volcar en el informe todas las conclu-siones y juicios de mérito y valor ba-sados en evidencias claras y sin reto-ques: se debe tener especial cuidado
que el informe derive de los hallazgosde la evaluación.
El informe final incluye la presen-tación de los datos, su análisis e inter-pretación, las conclusiones, las reco-mendaciones y los anexos con biblio-grafía.
El informe final es un documentoque presenta en forma sistemática, or-denada e integral, los hallazgos y sudiscusión, por comparación con otrasevaluaciones o consulta bibliográfica,lo que aporta significado a los datosobtenidos.
1.4 Variables de la evaluación de1.4 Variables de la evaluación de1.4 Variables de la evaluación de1.4 Variables de la evaluación de1.4 Variables de la evaluación deimpactoimpactoimpactoimpactoimpacto
La representación del mecanismometodológico de la evaluación de impac-to se podría esquematizar como sigue:
INPUT OUTPUTPRODUCTOS PROGRAMA PRODUCTOS EFECTOS IMPACTOVARIABLES VARIABLES
DE ENTRADA DE SALIDA
El impacto se mide sobre:
1. Los jóvenes: según incremento delbienestar compuesto por empleo,ingresos y rol ciudadano. Se con-sideran muy relevantes, además,el valor logrado en competencias
básicas, técnicas (“saberes”) ypsicosociales.
2. El gobierno: según la promulga-ción o generación de definicionesen políticas cristalinas en forma-ción, capacitación y empleo, acor-des a las condiciones sociales.
boletín cinterfor
197
Estas definiciones incluyen legis-lación, oficinas públicas especia-lizadas, interés en préstamos in-ternacionales y normas de calidadde los cursos.
3. Los empresarios: según valora-ción del compromiso y la partici-pación en la creación de organis-mos bi o tripartitos de consulta;producción de normas de calidad(la orientación de la pasantía se-gún la demanda y el mercado detrabajo, el nivel técnico, la evalua-ción interna de la pasantía) y elgrado de reclutamiento de los be-neficiarios como mano de obra enla empresa.
4. Las ECAS (Entidades de Capaci-tación Adjudicatarias): según sus-tentabilidad (antecedentes en otrasejecuciones); nivel de calidad (se-gún nuevos currículos, evaluacióninterna, formación docente); articu-laciones verticales y horizontales.
1.5 Proceso de la medida del1.5 Proceso de la medida del1.5 Proceso de la medida del1.5 Proceso de la medida del1.5 Proceso de la medida delimpactoimpactoimpactoimpactoimpacto
Sobre la base de los modelos teó-ricos presentados (CIPP y responden-te), el cuadro siguiente muestra el pro-ceso sistemático que concatena la me-dida del impacto del programa parajóvenes.
Cuadro 7: Variables de impactoCuadro 7: Variables de impactoCuadro 7: Variables de impactoCuadro 7: Variables de impactoCuadro 7: Variables de impacto
Medidas a la entrada y a la salida
BENEFICIARIOS GOBIERNO EMPRESARIOS ECAS
BienestarSegún:1) Empleo, integra-
do por: inserciónlaboral, satisfac-ción laboral, ex-periencia laboralanterior, y tipo detrabajo.
2) Ingresos.3) Rol ciudadano.4) Competencias:
- básicas,- técnicas, y- psicosociales
1) Legislación.2) Normas de cali-
dad de los cursos3) Políticas de ca-
pacitación y deapoyo a présta-mos internacio-nales
4) Oficinas públi-cas especializa-das.
1) Compromiso yparticipación enla creación de or-ganismos bi o tripartitos de con-sulta.
2) Normas de cali-dad, según perti-nencia (por ade-cuación a la de-manda) y evalua-ción interna.
3) Reclutamiento yretención de jó-venes.
1) Sustentabilidaden el tiempo (Ins-titucionalidad)
2) Nivel de calidadsegún:- nuevos currícu-los, - evaluación in-terna,- formación ycalificación do-cente, y- pertinencia delcurso
3) Articulaciones- horizontales- verticales
Fuente: Elaboración propia.
boletín cinterfor
198
Cuadro 8: Proceso de la medida del impactoCuadro 8: Proceso de la medida del impactoCuadro 8: Proceso de la medida del impactoCuadro 8: Proceso de la medida del impactoCuadro 8: Proceso de la medida del impacto
PASO DESCRIPCIÓN PRODUCTO
Primer Paso
Identificar el valor de lasvariables al inicio del pro-grama
Dimensionar los otros acto-res del programa de forma-ción
Dimensionar el contexto delprograma
Segundo Paso
Identificar el valor de lasvariables
Al finalizar el programa yun año después de finaliza-do
1.a Variables Objetivo delPrograma en los jóvenesdesfavorecidos:1. bienestar dado por: em-
pleo, ingresos, ciudada-nía;
2. competencias generales,técnicas y psicosociales.
1.b- El Estado- Los ejecutores (ECAS)- Los empresarios
1.c Variables socioeconómi-cas, variables sociolaborales,el empleo («el mundo deltrabajo»).
- En gobierno,- en empresarios,- en ECAs,- en los jóvenes beneficia-
rios y en el grupo de con-trol.
1) Bienestar:- empleo,- ingresos,- ciudadanía.2)- Competencias generales,- competencias técnicas, y- competencias psicoso-
ciales
1.a ¿Qué se va a modificar?Dimensiones y variables deinicio de los jóvenes bene-ficiarios y del grupo de con-trol.
1.b ¿Con quiénes?Dimensiones y variables delos otros actores del progra-ma de formación.
1.c ¿En qué contexto?Dimensiones y variables decontexto del programa deformación.
2.c ¿Cómo se va a modifi-car?Dimensiones y variables delprograma de formación
Dimensiones y variables fi-nales.
- Informe de análisis de da-tos cuantitativos.
- Informe descriptivo dedatos cualitativos.
boletín cinterfor
199
Tercer paso
Comparar las variables ini-ciales con las variables fina-les
Cuarto Paso
Interpretar (presentar ydiscutir) los datos obtenidos
Recolección de datos cuan-titativos y cualitativos:
- diseño cuantitativo congrupo de control mide elimpacto debido a la in-tervención (competen-cias e inserción laboralen los jóvenes), censos,encuestas, tests;
- diseño cualitativo: entre-vista en profundidad,análisis documental, ob-servación;
- mixto.
Datos cuantitativos (estudiosanalíticos) utilizando la va-riación porcentual; median-te el mecanismo de compa-rar la población beneficiariacon un grupo de control.
Datos cualitativos (estudiosdescriptivos yexploratorios).A su vez , la descripción fe-nomenológica del programay todos sus actores, aporta lavisión socio antropológicaen profundidad
Datos sobre impacto,logros, dificultades y fallas
El informe debe ser claro ytransparente.Los resultados deben ser ve-races y apoyarse en bases só-lidas.La difusión de los resultadosse enmarca en las bases acor-dadas antes del inicio de laevaluación.
- Informe de análisis de datoscuantitativos.
- Informe descriptivo de datoscualitativos.
Resultados – Impacto.Recomendaciones.Informe final.
Fuente: Elaboración propia.
boletín cinterfor
200
1.5.1 Medida del impacto sobre1.5.1 Medida del impacto sobre1.5.1 Medida del impacto sobre1.5.1 Medida del impacto sobre1.5.1 Medida del impacto sobrelos beneficiarioslos beneficiarioslos beneficiarioslos beneficiarioslos beneficiarios
La variable bienestar es una va-riable compleja constituida por las va-riables empleo, ingresos y ciudada-nía. En su base de sustentación semide, además, la adquisición de com-petencias básicas, técnicas y psico-sociales.
Ejemplo de una de las variablesque componen la variable complejabienestar.
Variable “empleo”.
La variable empleo se constituyepor los cuatro indicadores siguientes:inserción laboral; satisfacción laboral;aplicación de competencias y experien-cia laboral y valoración de la calidaddel trabajo según necesidades y expec-tativas, teniendo en cuenta: protecciónsanitaria, seguridad social, estabilidad,horario, remuneración, posibilidad derecalificación.
Momento de la medición
Esta variable y sus indicadores semiden: antes del inicio del programa,cuando este finaliza y al año o “años”de finalizado. Se mide tanto en el gru-po de beneficiarios como en el grupode control. Asimismo, se puede mediral beneficiario consigo mismo.
Tipos de datos para la medida delimpacto sobre la variable “empleo”
Se presentan las valoraciones cuan-titativas y cualitativas y sus variacionescomparadas de los beneficiarios con elgrupo de control o consigo mismos.
1.5.1.1 Proceso cuantitativo de medicióndel impacto en beneficiarios
El impacto se mide según la dife-rencia porcentual que existe en lasmedidas del grupo de beneficiarios ydel grupo de control. Se presenta lafórmula del calculo de impacto comomedida cuantitativa:
Medida del impactoen diferencia porcentual =
valor del indicador en elgrupo de beneficiarios
valor del indicador en elgrupo de control
valor del indicador en el grupo de control
Ejemplo: medida del impacto so-bre la “variable inserción laboral”(indicador de la “variable empleo”) en
“tal momento” (al finalizar o años de fi-nalizado), según diferencias porcentua-les en egresados y en grupo de control.
boletín cinterfor
201
1.5.1.2 Proceso cualitativo de1.5.1.2 Proceso cualitativo de1.5.1.2 Proceso cualitativo de1.5.1.2 Proceso cualitativo de1.5.1.2 Proceso cualitativo demedición del impacto en benefi-medición del impacto en benefi-medición del impacto en benefi-medición del impacto en benefi-medición del impacto en benefi-ciariosciariosciariosciariosciarios
Para configurar la base de la me-dida del impacto, además de la com-paración con el grupo de control, esposible implementarla solamente sobrelos beneficiarios, en tres momentosdistintos del ciclo vital del programa:antes del inicio, al finalizar, o añosdespués de finalizado.
Se elige al azar un grupo de jóve-nes inscritos para el programa de for-mación, y se aplican métodos cualita-tivos: observaciones y entrevistasabiertas, semiestructuradas, relevandolas competencias globales, técnicas ypsicosociales, y comparando las mo-dificaciones constatadas, según per-
cepciones del grupo y el registro delobservador.
La descripción fenomenológica,propia de la instancia cualitativa, debeabarcar:
En la variable empleo:
- competencias generales para laempleabilidad;
- inserción laboral, que incluye el“clima” en la obtención de pues-tos de trabajo;
- tiempo de búsqueda;- calidad de la búsqueda (selectivi-
dad, uso de redes, entrevistas);- acompañamiento en la búsqueda;- motivaciones laborales;- actitud hacia el trabajo (cultura del
trabajo);
Cuadro 9: Medida del impacto sobre la “variable inserción laboral”Cuadro 9: Medida del impacto sobre la “variable inserción laboral”Cuadro 9: Medida del impacto sobre la “variable inserción laboral”Cuadro 9: Medida del impacto sobre la “variable inserción laboral”Cuadro 9: Medida del impacto sobre la “variable inserción laboral”
Nombre de la variable
Egresados Grupo de Control Diferencia porcentual Impacto
Número de jóvenesPorcentaje
Número de jóvenesPorcentaje
%Egresados – %Control =Impacto % Control
Fuente: Elaboración propia.
Valor global
Discriminado por:- sexo,- edad,- estado civil,- necesidades básicas,- nivel de instrucción,- historia laboral.
boletín cinterfor
202
- responsabilidad;- eficiencia; y- puntualidad.
En las competencias psicosociales(características actitudinales y compor-tamentales)
Indicadores:- autoestima;- creatividad;- elaboración de proyectos;- inserción social;- ámbitos de los procesos de socia-
lización (la familia, la calle, lospares, las institucio nes, otras);
- participación activa en grupos so-ciales, artísticos, religiosos, depor-tivos, barriales, culturales, etc;
- incremento de los espacios sociales;- creación de nuevas redes sociales
(con otros jóvenes, con institucio-nes, servicios, lugares de trabajo);
- interés en la educación en general;- interés en el aprendizaje perma-
nente;- reinserción en el sistema educativo;- contención interna;- expectativas y necesidades;- frustración, pasividad, posterga-
ción, depresión, violencia;- adicciones;- exclusión; y- estigma.
Finalmente, las variables de im-pacto en el grupo de jóvenes se discri-minan por edad, sexo, nivel de instruc-ción, necesidades básicas insatisfechasy experiencia laboral anterior (pormencionar solo algunas de las varia-
bles que pueden ser relevantes paraeste caso), facilitando el análisis y laidentificación retroalimentadora de enqué grupos se obtienen los mejoresimpactos.
1.5.2 Medida del impacto sobre1.5.2 Medida del impacto sobre1.5.2 Medida del impacto sobre1.5.2 Medida del impacto sobre1.5.2 Medida del impacto sobreel gobiernoel gobiernoel gobiernoel gobiernoel gobierno
El impacto sobre el gobierno seevalúa a través de la consulta de fuen-tes secundarias y por los datos recogi-dos mediante una entrevista en profun-didad, que revelan sobre la creación,la supresión y el reforzamiento de:
1. políticas de trabajo juvenil;2. ámbitos integrados de educación
y trabajo;3. normas nacionales de seguimien-
to, monitorización y evaluación delos programas de capacitación ju-venil;
4. instituciones especializadas en se-guimiento, monitorización y eva-luación de educación y trabajo ju-veniles;
5. políticas compensatorias en for-mación y capacitación para jóve-nes carenciados y desempleados;
6. interés político hacia préstamosinternacionales dirigidos a refor-zar los programas de capacitaciónjuvenil;
7. normas nacionales de capacitaciónofertada; y
8. articulación intrasectorial de losorganismos gubernamentales deeducación y trabajo con los deeconomía y finanzas y de seguri-dad social.
boletín cinterfor
203
A partir de las fuentes (entrevistas ainformantes calificados, observaciones,revisión de documentos públicos), seconstata, a un año de finalizado el pro-yecto (y por comparación con el inicio yla finalización), los resultados obtenidos.
1.5.3 Medida del impacto sobre1.5.3 Medida del impacto sobre1.5.3 Medida del impacto sobre1.5.3 Medida del impacto sobre1.5.3 Medida del impacto sobrelos empresarioslos empresarioslos empresarioslos empresarioslos empresarios
La medición del impacto del pro-grama sobre las empresas de pasantíamedido al final y uno o dos años des-pués de su terminación, implica la de-tección del mejoramiento de una seriede variables, tanto cualitativas comocuantitativas, según la percepción dela mayoría de los empresarios. Entreaquellas se pueden mencionar:
- institucionalidad: reforzamientoinstitucional según nuevas estra-tegias;
- sustentabilidad en el tiempo (pre-cariedad);
- redes: articulaciones horizontalescon otros servicios productivos,empresas y capacitadores (ONGs,sindicatos, IFPs), y verticales conlas oficinas públicas especializa-das en formación y capacitaciónde jóvenes y con instancias cen-trales del programa;
- pertinencia: orientación de la pa-santía según los nichos ocupacio-nales;
- reclutamiento y retención de be-neficiarios; y
- nivel de calidad.
Cuadro 10: Medida del impacto sobre los empresariosCuadro 10: Medida del impacto sobre los empresariosCuadro 10: Medida del impacto sobre los empresariosCuadro 10: Medida del impacto sobre los empresariosCuadro 10: Medida del impacto sobre los empresarios
Variables (al final, de uno a varios años después)
- CREACIÓN DE ORGANISMO BI O TRIPARTITO DECONSULTA
- PARTICIPACIÓN DE LA EMPRESA EN ESE ORGA-NISMO
- PERTINENCIA (Nivel de Calidad):Relación de la capacitación con los requerimientos de lospuestos de trabajo en la empresa
EVALUACIÓN INTERNA:- existencia de evaluaciones internas de las pasantías en lasempresas
- SUSTENTABILIDAD EN EL TIEMPO Y ARTICULACIONES
- NORMAS DE CALIDAD
RECLUTAMIENTO Y RETENCION DE JÓVENES:Porcentaje de los trabajadores actuales de la empresaegresados del programa.Relación entre la cantidad de pasantes recibidos por laempresa y cuántos permanecieron en ella al año y variosaños después de finalizado el programa.
Fuente: Elaboración propia.
Sí No
Reclutamiento Retención% %
boletín cinterfor
204
1.5.4 Medida del impacto sobre1.5.4 Medida del impacto sobre1.5.4 Medida del impacto sobre1.5.4 Medida del impacto sobre1.5.4 Medida del impacto sobrelas ECAslas ECAslas ECAslas ECAslas ECAs
Las variables a investigar paramedir el impacto en las entidades decapacitación son especialmente dos,que tienen que ver con la empleabilidadde los beneficiarios y la pertinencia delcurso teórico-práctico. El impacto, quesobre ambos actores tuvo el desarrollodel programa, se articula con el objeti-vo principal (inserción laboral de losjóvenes). Las visiones modificadas deempresarios y ejecutores en cuanto ala empleabilidad y a la pertinencia re-
troalimentan nuevos emprendimientos(formativos y laborales).
Por otra parte, resulta muy adecuadoindagar la actuación, a través de entrevistasen profundidad, que, como piezas clave, lescorrespondió a las ECAs en la capacitación.Estas instituciones resultan informantesmuy calificados por su contacto cercano ala población objetivo. ¿Cómo se evalúana sí mismas como capacitadores? ¿Cómoson evaluadas por otros informantes ca-lificados (autoridades del programa, es-pecialistas en empleo y capacitación dejóvenes, líderes comunitarios)?
Cuadro 11: Medida del impacto sobre las ECASCuadro 11: Medida del impacto sobre las ECASCuadro 11: Medida del impacto sobre las ECASCuadro 11: Medida del impacto sobre las ECASCuadro 11: Medida del impacto sobre las ECAS
Variables (al final, luego de uno o varios años)
INSTITUCIONALIDAD:Creación de asociaciones de entidades capacitadoras.
INSTITUCIONALIDAD:Antecedentes en otras ejecuciones del programa. Continui-dad como ejecutores.
NIVEL DE CALIDAD:Cambios o elaboración de nuevos currículos.
NIVEL DE CALIDAD:Se realizan evaluaciones internas.
NIVEL DE CALIDAD:Se realizan cursos de perfeccionamiento en la calificacióntécnica, docente y pedagógica de los ejecutores.
NIVEL DE CALIDAD:Pertinencia del curso orientado según:- nichos ocupacionales,- perfil de la población objetivo.
ARTICULACIÓN CON:- empresarios, instancias centrales y locales.Existencia de articulaciones:- horizontales con otras ECAS, con las empresas encarga-das de las pasantías, con la población local;- verticales con las oficinas públicas especializadas en for-mación y capacitación de jóvenes;- con las instancias centrales del programa.
Fuente: Elaboración propia.
Sí No
boletín cinterfor
205
1.5.5 El contexto1.5.5 El contexto1.5.5 El contexto1.5.5 El contexto1.5.5 El contextosocioeconómico y laboralsocioeconómico y laboralsocioeconómico y laboralsocioeconómico y laboralsocioeconómico y laboral
Además de las variables que sus-tentan la medición del impacto, se debeestudiar otras que se integran a la eva-luación final u operativa, y que tienenque ver con dos instancias que se rela-cionan estrechamente con el sustentode los efectos del proyecto, tal comose señaló en la presentación del mode-lo CIPP: contexto, insumos, proceso(programa implementado) y producto(resultados).
La contextualización socioeconó-mica y sociolaboral del momento so-cial12 en que se llevó a cabo el progra-ma es esencial ya que, como se ha se-ñalado reiteradamente, el impacto va-ria según las condiciones sociales vi-gentes. En este sentido, se sostiene quegran parte del éxito del programa Chi-le Joven (pionero en la capacitacióncompensatoria desde la demanda) sebasó en una fuerte institucionalizacióndurante una época de franca expansiónde la economía y de sostenido creci-miento del empleo. A este respecto Ra-mírez señala: «Los propios responsablesdel programa Chile Joven señalan al con-texto de crecimiento que exhibe la eco-nomía chilena como un factor clave enel logro de los éxitos adjudicados al pro-grama. Si se consideran las metas cuan-titativas que se plantean los proyectosconsiderados, la capacidad de absorciónefectiva de los jóvenes por parte de lasempresas instaladas resulta al menoscuestionable, visto el patrón de creci-miento sin creación de empleo”13 .
Variables socioeconómicas
Se señalan las cifras macro nacio-nales, regionales o locales a tener encuenta para el contexto en que se an-cló el programa:
- tasa de crecimiento según PBI porhabitante;
- nivel de productividad y de com-petitividad;
- inversiones públicas y privadas;- niveles de inflación;- desregulación del sistema financiero;- carga impositiva;- índice de desarrollo humano
(CEPAL);- redistribución interna;- niveles de pobreza;- niveles de marginación;- tasa de escolarización;- segmentación social;- índice GINI de desigualdad social;- programas de protección social.
Variable sociolaborales
1. El empleo: el mundo del trabajo
El empleo no se mide como im-pacto de las acciones (relación decausalidad muy difícil de conseguir),sino como contexto.
2. Políticas de empleo:
- lineamientos generales;- orientación de las políticas de em-
pleo;- ¿existe orientación en el nuevo pa-
radigma social? Definición de po-líticas compensatorias;
boletín cinterfor
206
- estímulos a la creación de empleo:• ayuda al empleo,• apoyo a la contratación,• contratos de interacción so-
cial;- reforma del mercado laboral;- políticas de reconversión;- políticas dirigidas especialmente
al empleo juvenil.
3. Tipología del empleo según sectori-zaciones:
- relación empleo público/empleoprivado;
- relación empleo urbano/empleorural;
- relación empleo global/empleo ju-venil;
- relación empleo formal/empleo in-formal;
- peso del sector moderno, productivo.
4. Caracterización del empleo, segúnotras variables independientes:
- sexo;- género;- edad;- lugar de residencia (urbana, rural,
suburbana y por zonas en estasáreas);
- migración externa e interna;- raza;- tipo de familia;- nivel socioeconómico;- nivel de instrucción formal (indi-
vidual y familiar);- formación y capacitación informa-
les;- historia laboral anterior.
5. Caracterización de los nuevos pues-tos de trabajo según:
- productividad:- estabilidad, temporalidad;- seguridad (salud ocupacional);- higiene;- beneficios sociales;- remuneración.
6. Caracterización de los nichos ocu-pacionales y detección de la demandareal para las distintas ocupaciones.
1.5.6 El programa implementado.1.5.6 El programa implementado.1.5.6 El programa implementado.1.5.6 El programa implementado.1.5.6 El programa implementado.Identificación de las variablesIdentificación de las variablesIdentificación de las variablesIdentificación de las variablesIdentificación de las variablesoperativasoperativasoperativasoperativasoperativas
Estas dimensiones se relacionanestrechamente con los efectos produ-cidos por la puesta en marcha del pro-grama. Tal como sucede para el con-texto socioeconómico y laboral, si losdatos no están disponibles, se puedenexplorar por entrevistas en profundi-dad a informantes claves. Serán pre-sentadas en dos grupos: evaluación delcurso y del modelo operativo.
1.5.6.1 Variables de evaluación1.5.6.1 Variables de evaluación1.5.6.1 Variables de evaluación1.5.6.1 Variables de evaluación1.5.6.1 Variables de evaluacióndel cursodel cursodel cursodel cursodel curso
El curso se puede ponderar en suejecución según los criterios de efica-cia, pertinencia, eficiencia, viabilidad,cobertura e integralidad.
• Eficacia (relación de los objetivosestablecidos con los logros obte-nidos sin valorar los costos).
boletín cinterfor
207
• Pertinencia:- orientación según la demanda
(según nichos ocupacionales);- orientación según el perfil de
la población focalizada (utili-dad para la población);
- articulación teórico-práctica;- peso de la práctica respecto a
la teoría;- porcentaje de retención (quié-
nes completaron el curso: per-fil).
• Eficiencia (relación de los objeti-vos establecidos con los logros ob-tenidos, según costos): análisiscosto/beneficio. Según los costos,se valora el desempeño académi-co de los jóvenes:
- formación sociolaboral para el“mundo del trabajo” (acompa-ñamiento, datos del mercadolaboral, preparación para en-trevistas); y
- la eficiencia en el mercado detrabajo: desempeño laboral,cargo ocupado, calidad del tra-bajo.
• Viabilidad: permanencia en eltiempo de los efectos positivos(Expost).
• Cobertura: relación entre benefi-ciarios y el total de la poblaciónobjetivo.
• Integralidad: capacitación poliva-lente compensatoria de déficit einteractiva14 .
1.5.6.2 Variables de evaluación1.5.6.2 Variables de evaluación1.5.6.2 Variables de evaluación1.5.6.2 Variables de evaluación1.5.6.2 Variables de evaluacióndel modelo operativodel modelo operativodel modelo operativodel modelo operativodel modelo operativo
El complejo modelo operativo delos programas de formación y capaci-tación para jóvenes implica la concor-dancia de una serie de condiciones paraasegurar los logros de los objetivos.Entre ellas, se destacan: instituciona-lidad, focalización.
Institucionalidad
La estrategia global de los nuevosprogramas de formación y capacitaciónse asienta en una centralización nor-mativa en manos del Estado y una des-centralización ejecutiva, a la que ac-cede el ámbito privado mediante licita-ciones públicas.
El fortalecimiento institucional,junto al replanteo y reevaluación de laciudadanía, aparecen como medidaspropiciatorias de la sostenibilidad delprograma.
La estrategia de diseño presuponeuna vinculación al principal organismopúblico responsable de las políticas decapacitación del país, dependiente delMinisterio (o Secretaría) de Trabajo ySeguridad Social, junto a otras instan-cias centrales que orientan la inversiónsocial (Ministerio de Economía o Pla-nificación) y las políticas educativas(Ministerio de Educación y/o Cultura).
Focalización:
- relación entre el perfil de la po-blación objetivo proyectada en la
boletín cinterfor
208
planeación del programa y el per-fil de los jóvenes inscritos y egre-sados;
- adecuación de los cursos a las ne-cesidades y expectativas de la po-blación potencialmente beneficia-ria, en lo que hace a diseño, abor-daje pedagógico, horario y dura-ción, componente teórico y prác-tico, y el lugar donde se dictan;
- detección de “deslizamiento” ha-cia otras poblaciones;
- mecanismo usado para la focali-zación (censos, encuestas de ho-gares, encuestas de empleos);
- personal encargado de la focaliza-ción (identificación y selección delos beneficiarios);
- participación de organizacionessociales en los criterios de foca-lización;
- autofocalización;- incentivos, bECAs, subsidios, viá-
ticos, certificación;- difusión por organismos centrales
del programa: oferentes, empresa-rios, redes sociales, barriales, fa-miliares por pares15 .
A este respecto, señalan CASTROy VERDISCO que los proyectos en tér-minos de la calidad de la formaciónofrecida y de los mecanismos defocalización utilizados, concluyendo,en síntesis, que los dos proyectos « jo-ven » son fuertes en su focalización,pero débiles en su calidad, mientrasque los cursos patrocinados porPLANFOR tienden a ser de buena ca-lidad pero débiles en la focalización.Las fortalezas de focalización del mo-
delo « joven » son atribuidas por losautores a los mecanismos de mercadoy de incentivos que fundamentan suestructura institucional, y que les exi-gen un enfoque orientado a la deman-da (demand driven), mientras que lasdebilidades de PLANFOR en este mis-mo frente se explican por la subsisten-cia de fuertes rezagos del enfoqueorientado a la oferta (supply driven)que afectan al conjunto de institucio-nes del modelo IFP latinoamericano.
Articulaciones
Articulaciones interinstitucionales(entre lo público y lo privado).
Articulaciones verticales entre:
- las instancias centrales y las peri-féricas: grupo central de decisióny ejecutores; y
- las instituciones educativas forma-les y ejecutores.
Articulaciones horizontales:
- intersectorial (trabajo, educación,bienestar social);
- entre capacitadores de diferentesproyectos;
- entre losdocentes encargados de lateoría y los de la pasantía en la em-presa;
- entre las empresas responsables depasantías;
- entre el ejecutor y los sistemas deinformación del mercado de tra-bajo, colocación, orientación vo-cacional y asesoría en gestión ad-ministrativa;
boletín cinterfor
209
- entre todos los actores del progra-ma y la sociedad civil (promoción,difusión).
Diseño
El diseño se inserta en la concep-ción del nuevo modelo de capacitacióny formación en el paradigma emergentedel trabajo, con agilidad para enfren-tar los cambios imprevistos. El Esta-do, como elemento unificador e inclu-sivo de todos ciudadanos, es el respon-sable general del programa, quedandoen sus manos el diseño global y opera-cional, la convocatoria y la selecciónde los capacitadores, el apoyo técnicoy docente, el monitoreo y la evalua-ción de la ejecución, y el financia-miento. Se autonomiza y descentrali-za la ejecución.
1.6 Universo y Muestras1.6 Universo y Muestras1.6 Universo y Muestras1.6 Universo y Muestras1.6 Universo y Muestras
Se presenta la metodología decada uno de ellos.
1.6.1 Universo de Beneficiarios1.6.1 Universo de Beneficiarios1.6.1 Universo de Beneficiarios1.6.1 Universo de Beneficiarios1.6.1 Universo de Beneficiarios
Está constituido por todos los jó-venes que egresaron del curso de ca-pacitación.
1.6.2 Muestras1.6.2 Muestras1.6.2 Muestras1.6.2 Muestras1.6.2 Muestras
La muestra es el grupo en que serealiza el estudio. Facilita profundizaren las variables a menor costo y enmenor tiempo, otorgando un mayorcontrol sobre ellas.
Para poder generalizar los resul-tados alcanzados a partir del estudiode la muestra a todo el universo, elladebe ser representativa de esa pobla-ción. Para eso:
1) debe reunir los caracteres funda-mentales que existen en el univer-so en relación con la variable aestudiar; y
2) el tamaño de la muestra debe serproporcional al tamaño del univer-so: a mayor tamaño de población,menor porcentaje relativo requie-re la muestra, siempre que la va-riabilidad de la variable no seaexcesiva.
La muestra debe tener un tamañotal que posibilite la extrapolación desus resultados al total del universo,proporcionando estimaciones razona-blemente confiables.
Debe, asimismo, estar configura-da de forma que permita controlar delmodo más riguroso posible las múlti-ples variables que se relacionan con lainserción laboral juvenil.
Este diseño facilita el aislamientode los efectos de las condiciones ma-croeconómicas sobre el empleo de losjóvenes, ya que al hacer comparablesel grupo de beneficiarios y el grupo decontrol, identifica el peso relativo enla modificación de la inserción laboralatribuible al programa. El control delas múltiples variables relacionadas alempleo será posible en la medida que
boletín cinterfor
210
las muestras (del grupo de beneficia-rios y del grupo de control) sean com-parables entre sí y sean representati-vas de los universos respectivos. Paraeste fin, se aplica un diseño aleatorioestratificado, según las siguientes va-riables de estratificación: edad, sexo,nivel socioeconómico, nivel de instruc-ción y experiencia laboral para cadacaso, volviéndolos comparables.
1.6.3 Configuración del grupo de1.6.3 Configuración del grupo de1.6.3 Configuración del grupo de1.6.3 Configuración del grupo de1.6.3 Configuración del grupo decontrolcontrolcontrolcontrolcontrol
La configuración del grupo decontrol implica el tránsito por una se-rie de opciones, planteándose dudas enlos diversos pasos metodológicos, queestán enmarcados en los aspectos yatratados (citas de varios autores a lanecesidad y a la dificultad de esta eta-pa).
Se han estudiado y aplicado diver-sos mecanismos para seleccionar dosgrupos de jóvenes con característicasequivalentes (edad, sexo, nivel de ins-trucción, historia laboral, NBI), sien-do uno beneficiario del programa y elotro «testigo» no beneficiario (mues-tra de beneficiarios y muestra de con-trol).
Para el diseño del grupo de con-trol, se proponen dos metodologías:
1) se selecciona como controlesaquellos jóvenes inscritos en elprograma, pero que no se presen-taron al curso. El grupo de con-trol es representativo del univer-
so de jóvenes no participantes yaque su selección se cumple al azardentro del total de inscritos: aban-donan por razones personales(muestreo aleatorio); y
2) se toma aleatoriamente una sub-muestra de la muestra de benefi-ciarios. A partir del lugar de resi-dencia de cada integrante de estasubmuestra, se abre un empadro-namiento de vecinos de la mismamanzana, en el supuesto de que lavecindad homogeniza el NBI y losefectos de la difusión local delprograma.
En ambos métodos de selección,con el objetivo de preservar las equi-valencias, se entrevista a los posiblescandidatos a integrar el grupo de con-trol (con entrevistas estructuradas y porentrevistadores adiestrados) relevandolos datos básicos: edad, sexo, nivel deinstrucción, satisfacción de las nece-sidades básicas, estado civil, historialaboral anterior, etc. Para reforzar lacomparabilidad (y aislar al máximo losefectos extra-programa) se aplica unmecanismo de filtro: para ingresar ypermanecer en el grupo de control, eljoven no debe haber recibido ningunacapacitación laboral, ni concurrido aninguna institución educativa formaldurante el periodo de implementacióndel programa.
1.7 Herramientas de evaluación1.7 Herramientas de evaluación1.7 Herramientas de evaluación1.7 Herramientas de evaluación1.7 Herramientas de evaluaciónde impacto: ¿cómo se mide?de impacto: ¿cómo se mide?de impacto: ¿cómo se mide?de impacto: ¿cómo se mide?de impacto: ¿cómo se mide?
La selección de las herramientasde evaluación es la llave de una buena
boletín cinterfor
211
sistematización de los datos, eslabónprevio a una clara metodología y unanálisis apropiado que garantice la con-tundencia de las conclusiones aplica-bles al proceso retroalimentador. Laselección debe tener en cuenta losacuerdos institucionales, los objetivosplanteados, los recursos y el tiempodisponibles, recordando que no existeun modelo único ni en la teoría ni enla práctica de la evaluación.
La flexibilidad del diseño buscael aterrizaje particularizado al progra-ma a medir. Pasar de la teoría a la prác-tica implica definir la situación de par-tida y hacer identificables todos losefectos surgidos durante el proceso deformación (directos e indirectos; de-seados o indeseados; previstos e im-previstos).
A grandes rasgos, se configurandos tipos de evaluaciones: externa einterna.
La externa se corresponde con lamedición de las competencias de losjóvenes y de los costos/beneficios delprograma. La evaluación interna im-plica introducirse dentro del procesoprogramático, valorando los cursosteóricos y prácticos, así como los cam-bios producidos en los restantes acto-res.
En ambas (interna y externa) selleva a cabo una medición de entraday otra de salida. Las técnicas emplea-das abordan un enfoque cuantitativo,cualitativo o mixto.
1.7.1 Herramientas de la meto-1.7.1 Herramientas de la meto-1.7.1 Herramientas de la meto-1.7.1 Herramientas de la meto-1.7.1 Herramientas de la meto-dología cuantitativadología cuantitativadología cuantitativadología cuantitativadología cuantitativa
Desde la década de los setenta, secomenzaron a utilizar en Estados Uni-dos para evaluar los programas de edu-cación y capacitación, estudios cuan-titativos cuasi experimentales y expe-rimentales verdaderos. Grubb15 señalaque en los estudios cuasi experimen-tales, aparecen tres efectos de confu-sión a la hora de medir:
- Los efectos en la selección (la ele-gibilidad). Los programas puedenseleccionar los individuos conproblemas para emplearse: bajonivel de instrucción, historia labo-ral pobre, comportamientos inade-cuados, escasa motivación, droga-dictos, violentos (efecto negativode la selección). La variabilidaden el modo de selección es tanvasta que enturbia la medición delimpacto (tanto a favor como encontra), haciendo dudosas las con-clusiones si no existe un verdade-ro grupo de control. Abundandoen el efecto de la eligibilidad, sedebe considerar siempre que lascaracterísticas de los candidatos alprograma varían según la tasa dedesempleo; cuando el desempleocae, los jóvenes más preparadosencuentran trabajo y entonces, losprogramas de formación debenesforzarse mucho para reclutar yreclutan a los jóvenes menos ca-pacitados. Si, por el contrario, eldesempleo es alto, los jóvenes máscapacitados se inscriben en el pro-
boletín cinterfor
212
grama. Por tanto, es virtualmenteimposible construir un grupo con-trol que sea comparable a los be-neficiarios, excepto bajo condicio-nes experimentales, ya que exis-ten demasiados factores adminis-trativos, económicos y personalesque afectan la composición de losprogramas de formación.
- Los efectos de la maduración. Losjóvenes beneficiarios pueden ad-quirir competencias globales, téc-nicas, incrementar su conocimien-to del mercado laboral, modificarsu perfil psicosocial, abandonaradicciones y actitudes violentaspor el simple paso del tiempo, yaque se van transformando en adul-tos. Estas transformaciones pue-den mejorar la empleabilidad.
- Los efectos de la “regresión a lamedia”. Entre los beneficiariosdel programa pueden haber jóve-nes desempleados transitoriamen-te (por causas coyunturales) y quese inscriben en el curso para in-crementar su capacitación. Laempleabilidad posterior no es, portanto, atribuible solo al programa.
GRUBB concluye que los méto-dos verdaderamente experimentaleseliminan los tres tipos de efectos, alconstituirse un grupo testigo o controlque sufre los mismos efectos, de modoque toda diferencia en el empleo deljoven beneficiario después del progra-ma de capacitación puede atribuirse alprograma más que a otras causas.
La evaluación experimentalexpost es imprescindible para medir elimpacto de las competencias, realmen-te incorporadas y duraderas. Seguir losdos grupos (beneficiarios y control)luego de varios años permite eliminarla variable de confusión aportada porel tiempo (efecto de maduración).
1.7.2 Herramientas de la meto-1.7.2 Herramientas de la meto-1.7.2 Herramientas de la meto-1.7.2 Herramientas de la meto-1.7.2 Herramientas de la meto-dología cualitativadología cualitativadología cualitativadología cualitativadología cualitativa
Al grupo de la metodología cuali-tativa pertenecen los estudios de casoo etnográficos, con enfoque socioan-tropológico, gracias al uso de entre-vistas abiertas en profundidad, de aná-lisis de documentos y de observacio-nes. En BERGER y LUCKMAN16, elaporte de las técnicas cualitativas secentra en la perspectiva exploratoria dela fenomenología de la vida cotidianay de las experiencias vividas.
En la evaluación de los programasde formación, estas técnicas dan pro-fundidad a la comprensión de los da-tos cuantitativos, proveyendo mejoresinsights sobre los “por qué” de la tra-yectoria seguida más allá de la planea-ción inicial, al girar en torno a los senti-mientos, las impresiones y las interpre-taciones personales de todos y cadauno de los involucrados.
1.7.3 Metodología mixta1.7.3 Metodología mixta1.7.3 Metodología mixta1.7.3 Metodología mixta1.7.3 Metodología mixta
Los estudios cualitativos puedenproveer explicaciones profundas para
boletín cinterfor
213
los hallazgos de los estudios cuantita-tivos. Permiten realizar una descrip-ción exhaustiva de la capacitación, unaevaluación de la implementación de loscursos (según pertinencia, relevanciay otros), una valoración de las empre-sas, y plantear nuevas hipótesis y va-riables, es decir, aportan la visión cer-cana al programa.
Los estudios cuantitativos son losúnicos que pueden medir el impactosobre la empleabilidad (empleo y sutipología: búsqueda) y sobre algunasde las competencias técnicas de losbeneficiarios.
La evaluación mixta favorece lapotenciación de los resultados, ya quelas técnicas cualitativas permiten pro-fundizar los datos de las fuentes esta-dísticas y generar una retroalimenta-ción de calidad.
RAMÍREZ sostiene que «Resultarecomendable intentar complementarla información a partir de investigacio-nes que, recurriendo a técnicas de in-vestigación cualitativas, busquenaproximarse a la construcción de « co-nexiones de sentido » que permitancontrastar las evidencias derivadas dela información obtenidas a través derelevamientos de base estadística. Poresa vía se enriquecería la interpretaciónque las evaluaciones permiten, lo queredundará en un mejor ajuste de laoperativa de los programas. Así, ele-mentos como intereses de los jóvenes–parcialmente estudiados en encuestasde satisfacción con los programas-, sus
percepciones en relación con la edu-cación y su predisposición a recibirformación posterior, podrían ser incor-porados más afinadamente a la plani-ficación de las acciones a desarrollar».En este mismo sentido, aconsejan lametodología mixta JACINTO yGALLART.
Algunas reflexiones finalesAlgunas reflexiones finalesAlgunas reflexiones finalesAlgunas reflexiones finalesAlgunas reflexiones finales
- La problemática del desempleo ju-venil constituye un desafío prio-ritario para las organizaciones so-ciales y un punto obligado en lasagendas políticas en todo el mun-do, incluidos los países centrales.
- La finalidad primordial de la OITes promover oportunidades paraque los hombres y mujeres pue-dan conseguir un trabajo decenteen condiciones de libertad, equi-dad, seguridad y dignidad huma-nas, siendo el trabajo decente lameta inclusiva para los jóvenes enel reto del aprendizaje de por vida.Para ello la OIT trabaja conjunta-mente con la comunidad interna-cional, el mundo de los negociosy del trabajo, en torno a la proble-mática económica y laboral conuna proyección pública.
- La política de liberalización eco-nómica ha trastocado las relacio-nes entre el Estado, el mundo deltrabajo y el ámbito empresarial17.En este contexto, y desde diver-sos ámbitos, públicos y privados,se enfatiza la imperiosa necesidadde buscar nuevos arreglos socia-les en procura de soluciones al
boletín cinterfor
214
desempleo juvenil. El incrementodel trabajo decente es un reto mun-dial en la creación de redes políti-cas novedosas, habida cuenta dela viabilidad actual en torno a lapropuesta, ya que se está vivien-do una época de fuerte reafirma-ción democrática, con incremen-to del rol ciudadano, contextuali-zada en un marco de ajuste eco-nómico. Ambos fenómenos (de-mocratización plena y ajuste eco-nómico) conllevan la exigencia deuna cultura de “rendición de cuen-tas”, dirigida a toda la sociedadcivil, y de implementación de nor-mas de calidad y excelencia en lasacciones que se emprendan. Estecontexto general es aplicable a losprogramas dirigidos a los jóvenes,para mejor invertir en capital hu-mano a largo plazo.
- En ese sentido, la evaluación deimpacto (si es objetiva, neutral,sistemática y dinámica) brinda la
retroalimentación para enriquecery ajustar las programaciones fu-turas. Se transforma así en un retoineludible para todo proyecto quese asuma con responsabilidad, efi-ciencia y ética.
- La promoción de un diálogo so-cial con fuertes alianzas en la so-ciedad civil puede transformarseen un instrumento de la legislacióny la política sobre empleo. El com-promiso es de todos, en un nuevoacuerdo social. La mundializaciónposibilita que todos los ciudada-nos sean “actores en potencial”.La búsqueda de acciones y progra-mas que eleven la calidad de vidajuvenil resulta altamente relevan-te dado que el desempleo trae apa-rejado obstáculos en la inserciónsocial, con riesgo cierto de exclu-sión, que conllevan a sociedadessegmentadas con descaecimientoen los valores enriquecedores deuna democracia plena.♦
REFERENCIAS BIBLIOGRÁFICASABDALA, E. Manual de evaluación de impacto. Medellín, 2001.ABDALA, E. Experiencias de capacitación laboral de jóvenes en América Latina. Ultima década.
Viña del Mar, CIDPA, n.14, 2001.ABDALA, E.; CARBALLO, S., DE LOS CAMPOS, H. Diagnóstico socioeconómico y cultural de la
mujer afro uruguaya. Montevideo: Mundo Afro, 2000.BERGER, P.; LUCKMANN, T. La construcción social de la realidad. Buenos Aires, 1995.CASTRO, C. De Moura; VERDISCO, A. Training unemployed youth in America latina: Same old
sad story. Presentado a la Mesa Redonda The integration of youth into working life, II Congreso Internationalsobre Educación Técnica y Vocacional, SEUL, 1999.
CIDEC. Organización y diseño de los procesos de evaluación. Donostía, San Sebastián, 1999.Cinterfor/OIT. Juventud, educación y empleo. Montevideo, 1998.Cinterfor/OIT. Boletín técnico interamericano de formación profesional: Jóvenes, formación y
empleabilidad. Montevideo, n. 139-140, 1997.GALLART, M.A. El desafío de la formación para el trabajo de los jóvenes en situación de pobreza:
el caso argentino. En: Gallart, M.A. (Coord.) Formación, pobreza y exclusión: los programas para jóvenes.Montevideo: Cinterfor/OIT, 2000.
boletín cinterfor
215
GALLART, M.A. Educación media y técnica en América Latina: balance y perspectivas. En: Gallart,M.A.; Bertoncello, R. Cuestiones actuales de la formación. Montevideo: Cinterfor/OIT, 1997. Papeles dela Oficina Técnica, 2
GRUBB, W.N. Evaluating job training programmes in the United States: evidence and explanations.Ginebra: OIT, 1995.
IBARROLA, M. DE. Educación básica y competencias laborales. Bogotá, 1998.JACINTO, C. ¿Qué es la calidad en la formación para el trabajo de jóvenes de sectores de pobreza?
Un análisis desde las estrategias de intervención. En: Jacinto, C.; Gallart, M.A. (Coord.) Por una segundaoportunidad: la formación para el trabajo de jóvenes vulnerables. Montevideo: Cinterfor/OIT, 1998.
JACINTO, C.; GALLART, M.A. La evaluación de programas de capacitación de jóvenes desempleados:una ilustración en los países del Cono Sur. París: UNESCO, 1998.
JACINTO, C.; LASIDA, J.; RUÉTALO, J.; BERRUTTI, E. Formación para el trabajo con jóvenes desectores de pobreza en América Latina. ¿Qué desafíos y qué estrategias? En: JACINTO, C.; GALLART,M.A. (Coord.) Por una segunda oportunidad: la formación para el trabajo de jóvenes vulnerables. Monte-video: Cinterfor/OIT, 1998.
OIT. Informe sobre el empleo en el mundo 1998-1999. Empleabilidad y mundialización: papel fun-damental de la formación. Ginebra, 1999.
RAMÍREZ, J. Los programas de capacitación laboral del modelo Chile Joven en América Latina: unaagenda pendiente para el seguimiento. En: Jacinto, C.; Gallart, M.A. (Coord.) Por una segunda oportuni-dad: la formación para el trabajo de jóvenes vulnerables. Montevideo:Cinterfor/OIT, 1998.
RAMÍREZ, J. La formación de transición: modelo conceptual para una estrategias de intervencióncontra el desempleo juvenil de tipo estructural. En: Juventud, educación y empleo. Montevideo: Cinterfor/OIT, 1998.
SCRIVEN, M. Evaluation theasurus. London: Sage, 1994.STUFFLEBEAM, D. Educational evaluation and decision making-itasca, Peacock, 1971.VILLAGRÁN, A; OPERTTI, R.; ABDALA, E. Estudio sobre condiciones sociolaborales de niñas,
niños y adolescentes. Montevideo: UNICEF, 1998.
NOTAS1 CASTRO, C. De Moura; VERDISCO, A. Training unemployed youth in America Latina: same old
sad story. Presentado en la Mesa Redonda The integration of youth into working life del II Congreso inter-nacional sobre educación técnica y vocacional, Seul, 1999.
2 Lo público y lo privado en la formación del trabajo, Seminario, Bogotá, 1998.3 CASTRO y VERDISCO, 1999; RAMÍREZ, 1999.4 JACINTO, C.; GALLART, M.A. La evaluación de programas de capacitación de jóvenes
desempleados: una ilustración en los países del Cono sur. París: UNESCO, 1998.5 STUFFLEBEAM, D. Educational evaluation and decision making-itasca. Peacock, 1971.6 SCRIVEN, M. Evaluation theasurus. London: Sage , 1994.7 En relación con la historia de las evaluaciones en los programas de capacitación laboral, GRUBB
marca un hito en la aplicación de la metodología cuantitativa en Comprehensive Employment and TrainingAct (CETA) de 1973, continuado por Job Training Programmes Act (JTPA) de 1983, ambos en EstadosUnidos.
8 Incluido en Centro de Investigación y Documentación sobre problemas de la Economía, el Empleoy las Calificaciones Profesionales (CIDEC): Organización y diseño de los procesos de evaluación. Donostía,San Sebastián, 1999.
9 RAMÍREZ, J. Los programas de capacitación laboral del modelo Chile Joven en América Latina.Una agenda pendiente para el seguimiento. En: JACINTO, C.; GALLART, M..A. (Coord.) Por una se-gunda oportunidad: la formación para el trabajo de jóvenes vulnerables. Montevideo: Cinterfor/OIT,1998.
10 GALLART, M.A. Educación media y técnica en América Latina: balance y perspectivas. En:GALLART, M.A.; BERTONCELLO, R. Cuestiones actuales de la Formación. Montevideo: Cinterfor/OIT, 1997. Papeles de la Oficina técnica, 2.
11 En el cuaderno del CIDEC se señala: « Para Stake, los evaluadores son buscadores de la verdad,pero algunos se toman su papel demasiado en serio, puesto que existen muy pocas verdades objetivas en la
boletín cinterfor
216
evaluación, si es que existe alguna. En cambio señala que existen realidades múltiples, lo cual quiere decirque la verdad, reside en los ojos del observador. ».
12 Estas variables no son medidas por el evaluador. Se utilizan las fuentes oficiales, para los datosinternacionales, regionales o locales (fuentes gubernamentales, censos, encuestas de hogares, organismosinternacionales, CEPAL, BID, Banco Mundial, UNESCO, OIT, PNUD, etc.).
13 RAMÍREZ, J. La formación de transición: modelo conceptual para una estrategias de interven-ción contra el desempleo juvenil de tipo estructural. En: Juventud, educación y empleo. Montevideo:Cinterfor/OIT, 1998.
14 Jacinto pone de relieve la atención centrada en las necesidades y expectativas de la poblaciónobjetivo, como base de la « integralidad ». JACINTO, C. ¿Qué es la calidad en la formación para el trabajode jóvenes de sectores de pobreza? Un análisis desde las estrategias de intervención. En: JACINTO, C.;GALLART, M.A. (Coord.) Por una segunda oportunidad: la formación para el trabajo de jóvenes vulne-rables. Montevideo : Cinterfor/OIT, 1998.
15 GRUBB, W.N. Evaluating job training programmes in the United States: evidence andexplanations. Ginebra: OIT, 1995.
16 BERGER, P.; LUCKMANN, T. La construcción social de la realidad. Buenos Aires, 1995.17 OIT. Informe sobre el empleo en el mundo 1998-1999. Eempleabilidad y mundialización:
papel fundamental de la formación. Ginebra, 1999.