evaluación de impacto contrafactual en castilla-la mancha

Unión Europea

Carlos Miguel Sánchez. Unidad Fondo Social Europeo Ángel Jiménez Rojas. Unidad Estadística. Consejería de Economía, Empresas y Empleo Junta Comunidades de Castilla-La Mancha

Bruselas, 12 noviembre de 2015

Evaluación de Impacto Contrafactual en Castilla-La Mancha (España) Conferencia sobre los resultados de los proyectos piloto de evaluación de impacto contrafactual del FSE, cofinanciados por la Comisión Europea - DG Empleo, Asuntos Social e Inclusión

Unión Europea

Evaluación de Impacto contrafactual en Castilla-La Mancha (España)

Índice

1. Introducción

2. Objetivo General de la Evaluación de Impacto Contrafactual

3. Intervención evaluada

4. Métodos usados

5. Fuentes de datos

6. Resultados de la evaluación

7. Obstáculos y limitaciones en la implementación

8. Lecciones aprendidas

9. Implicaciones políticas

Unión Europea


Organismo Intermedio del Programa Operativo Fondo Social Europeo 2007-2013

Viceconsejería de Empleo y Relaciones Labores.

[ CCI: PO2007ES051PO002 ]

CONSEJERÍA DE ECONOMÍA EMPRESAS Y EMPLEO DE CASTILLA-LA MANCHA

Delegadas las competencias de evaluación del Programa Operativo del FSE 2007-2013

Promueve y presenta el proyecto evaluador contrafactual en la convocatoria VP/2013/005

1. introducción.

Unión Europea


Castilla-La Mancha en datos [CONTEXTO]

Región EU afectada por desempleo, especialmente en colectivo juvenil;

Total paro general C-LM: 28,5% (2012) y paro juvenil 55,21% (2012);

Tasa abandono escolar temprano 31,6% (2011); un 5 puntos más que España (26,5%) y 17,5

puntos más que EU-27 (14,1%);

PRIORIDAD FSE C-LM JÓVENES DESEMPLEADOS EN CASTILLA-LA MANCHA

Unión Europea


2. Objetivo General

Conocer la efectividad de algunas intervenciones públicas de formación de personas desempleadas, en particular entre las personas jóvenes menores de 25 años (tasa de paro muy elevadas).

EVALUACIÓN DE IMPACTO CONTRAFACTUAL:

¿Qué hubiera sucedido en ausencia de la intervención pública?

Evaluar si la formación aumenta las oportunidades laborales, comparando la situación de las personas jóvenes < 25 años

participantes con la de las personas de las mismas características que no participaron en ninguna acción formativa.

Unión Europea


2. Objetivo General II

Medir el impacto neto de cada una de las dos modalidades citadas de formación para el empleo, entendido como mejora de la empleabilidad alcanzada por los participantes en términos de número, tiempo de ocupación y calidad de empleo/s logrado/s tras la realización de su acción…:

El periodo temporal de evaluación sería en el transcurso de 18 meses posteriores a al finalización de las acciones.

Unión Europea


Operación 2.66.7 del PO FSE 2007 - 2013 Cursos de formación para

desempleados.

Que son: Constituyen cursos “clásicos”, basados en el desarrollo docente de un

programa de contenidos orientados hacia una ocupación u actividad profesional

específica.

Objetivos: Mejora de las cualificaciones y de la formación de las personas

desempleadas de la región, a través de acciones formativas directamente vinculadas

con las necesidades del mercado de trabajo.

Destinatarios: Trabajadores desempleados inscritos como demandantes de empleo en

una oficina de empleo de Castilla-La Mancha.

Entidades promotoras: Red de Centros de Formación Profesional para el Empleo de

Castilla-La Mancha.

2. Intervenciones evaluadas I

Unión Europea


3. Intervenciones evaluadas II

Operación 2.66.8 del PO FSE 2007 - 2013: “Talleres de Especialización

Profesional para desempleados”:

En que consisten: Proyectos formativos en los que el aprendizaje y la cualificación se

alternan con un trabajo productivo en actividades de utilidad pública o social que permita la

inserción a través de la profesionalización y la adquisición de experiencia.

Objetivos: Inserción y reinserción laboral de personas alejadas del mercado laboral, a través

de intervenciones que combinan formación y empleo, llevadas a cabo por entidades locales o

sin ánimo de lucro.

Destinatarios: Personas desempleadas sin límite de edad de los municipios

subvencionables.

Entidades promotoras: Pueden ser Ayuntamientos o asociaciones sin ánimo de lucro. Estas

entidades formalizan con los alumnos un contrato a tiempo parcial (25 horas semanales),

mientras que la duración de la formación es de como mínimo 10 horas semanales

Unión Europea


Intervenciones evaluadas (2)

CRITERIOS DE DELIMITACIÓN DEL UNIVERSO DE EVALUACIÓN:

Desempleados: personas que fueran desempleadas en el momento de acceder a la realización del curso de formación.

Edad: personas que dispusieran de 25 años o menos en el momento de acceder a la realización del curso de formación.

Año de realización de las acciones: personas que han concluido la participación en los cursos de formación entre el 1 de Enero de 2009 y el 31 de Diciembre de 2011.

Finalización: se seleccionan solo los participantes para los que consta que han finalizado la formación.

Unión Europea


4. Métodos usados

Propensity Score Matching – para crear un grupo de control que sea lo más parecido posible al grupo de tratamiento sin sesgos en la información.

Difference-in-differences – para valorar el impacto neto obtenido sobre el grupo de personas participantes y el grupo de control.

El proceso de trabajo llevado a cabo ha combinado 2 metodologías cuasi-experimentales de evaluación de impacto contrafactual:

Unión Europea


Métodos usados (2)

Método matching

Trata de utilizar la información disponible de partida sobre participantes y no participantes para articular los grupos de control entre los individuos que no se benefician del programa.

El método busca, para cada una de las personas que componen la muestra de las personas participantes (que se denominan como “tratados”), una pareja o match que sea lo más parecida posible (“controles”).

Es condición necesaria la disponibilidad de información previa suficiente de las variables o factores que, por un lado, pueden haber determinado el proceso por el que las personas han decidido participar en el programa, así como, por otro, pueden tener efectos sobre el valor final del outcome o resultado tras el paso por el programa.

Unión Europea


Criterios de selección de controles

Unión Europea


Unión Europea


Métodos usados (3)

Difference-in-differences

Permite eliminar algunas de las fuentes del sesgo de selección que la existencia de factores inobservables puede provocar en la selección de los controles.

El impacto se estima como la diferencia entre el outcome de los participantes después de su paso por la acción o programa (YT t+1) y el valor de este outcome para este mismo colectivo en ausencia del programa (Y0). La medida del impacto puede expresarse en términos analíticos como la «diferencia de diferencias:

(YT, t+1 - YT, t) - (YC, t+1 – YC, t)

;donde YT, t y YT, t+1 son las medias del outcome para las personas participantes antes y después de la política, mientras que YC, t y YC, t+1 las medias de los no participantes (controles).

Unión Europea


5. Fuentes de datos

Ha sido la fuente de información a la hora de evaluar el impacto, al poder consultar los itinerarios de la vida laboral de las personas participantes y de los controles.

1. Sistema FOCO- Aplicación informática de gestión y seguimiento de la formación profesional para el empleo [Junta Comunidades de Castilla-La Mancha]:

2. Sistema de Información de los Servicios Públicos de Empleo (SISPE) [Ministerio de Empleo y Seguridad Social]:

3. Sistema de Información Laboral de la Seguridad Social (entidades externas) – e-SIL [Ministerio de Empleo y Seguridad Social]:

Consulta de los directorios de participantes en las dos actuaciones formativas objeto de evaluación.

Consulta de los directorios del grupo de control (personas desempleadas inscritas en las Oficinas de Empleo que no hayan participado en acciones de formación).

Fuente básica a la hora de hacer el proceso estadístico de “Propensity Score Matching”.

Para completar la información de partida, no siendo empleada la información obtenida para la producción de ningún indicador de impacto contrafactual.

+ ENCUESTAS:

Unión Europea


En la OP 2.66.7 impacto positivo sobre los participante en comparación con el grupo de control:


Indicador 1.1. Han tenido empleo en los 18 meses

0,683 0,563

0,120

0

0,2

0,4

0,6

0,8

Participante Control Diferencia

Resultado superiores en la obtención de empleo: 2/3 de los participantes <25 años encontraron trabajo, mientras que en los NO-participantes esta proporción resulta 12 puntos inferior.

Resultado superiores en la duración de la actividad laboral: Los participantes trabajaron de media 36 días más que los NO-participantes.

Indicador 1.2. Total días trabajados dentro de los

18 meses

114,432

78,329

36,103

0

50

100

150


Unión Europea


En la OP 2.66.7 impacto positivo sobre los participante en comparación con el grupo de control:


Indicador 1.3. Total días trabajados en el contrato

de mayor duración dentro de los 18 meses

Resultados superiores en la duración de la actividad laboral: Los participantes trabajaron de media 28 días más que los NO-participantes en el contrato de mayor duración del período analizado.

84,417

56,115

28,302

0

50

100


Unión Europea


Se aprecian menores niveles de precariedad y un mayor nivel o categoría de los puestos de trabajo logrados por los participantes en la OP 2.66.7 en relación con los controles

Resultados de la evaluación (2)

Número medio de días de permanencia medio por contrato superior en los participantes: +22,5 días.

Los participantes alcanzan un mayor número de contratos : +0,38.

Indicador 2.1. Número medio de días de permanencia

en cada contrato dentro de los 18 meses

64,202

41,641

22,560

0

50

100


Indicador 2.2. Número total de contratos dentro de los

18 meses

1,955 1,569

0,386

0

1

2

3


Unión Europea


Se aprecian menores niveles de precariedad y un mayor nivel o categoría de los puestos de trabajo logrados por los participantes en la OP 2.66.7 en relación con los controles

Resultados de la evaluación (2)

Los participantes alcanzan una mayor categoría laboral: +0,43.

Indicador 3.1. Grupo de cotización de mayor

categoría alcanzado en los 18 meses.

2,913 2,482

0,432

0

1

2

3

4


Los participantes alcanzan una mayor categoría laboral en el contrato de mayor duración: +0,37.

2,656 2,281

0,375

0

1

2

3



categoría alcanzado en el contrato de mayor

duración dentro de los 18 meses.

Unión Europea


Se advierten resultados desfavorables que cuestionan el impacto de la formación en los participantes de la OP 2.66.8 - TEPRO

Indicador 1.1. Han tenido empleo en los 18 meses

0,537 0,610

-0,073 -0,2

0

0,2

0,4

0,6

0,8


Indicador 1.2. Total días trabajados dentro de los

18 meses

76,150

112,099

-35,948 -50

0

50

100

150


Unión Europea



Indicador 2.1. Número medio de días de

permanencia en cada contrato dentro de los 18

meses

Indicador 2.2. Número total de contratos dentro de

los 18 meses

37,735

57,651

-19,916 -50

0

50

100


1,264

3,093

-1,829 -3

-2

-1

0

1

2

3

4


Unión Europea




categoría alcanzado en los 18 meses


categoría alcanzado en el contrato de mayor

duración dentro de los 18 meses

1,886 2,269

-0,383 -1

0

1

2

3


1,509

1,955

-0,446 -1

0

1

2

3


Unión Europea


7 Obstáculos y limitaciones en la implementación I

Demora en la contratación de un equipo de evaluadores con experiencia en la materia, debido a problemas burocráticos en la apertura del presupuesto.

Problemas para la obtención del grupo de control y acceso a la información de la vida laboral. Imposibilidad inicial de acceder al fichero de datos del sistema de la Seguridad Social (fuente de información más consistente a la hora de evaluar el impacto). Necesidad de autorización expresa para el grupo de control mediante encuesta. Consulta individual.

La obtención de las muestras de participantes y controles a partir de los sistemas de información disponibles en la Administración ha requerido un plazo de tiempo superior al previsto.

Unión Europea


Obtención de un universo de análisis inferior al previsto: necesidad de filtrar diversas variables asociados al perfil necesario cambios en el proceso de en cuestación planificado.

Utilización de varias fuentes (Sispe, foco, TSFGSS…) incongruencia entre los distintos ficheros.

Imposibilidad de disponer de información de otro tipo de variables no observables, como puede ser la actitud hacia al empleo, y en especial en las actuaciones orientadas hacia las actuaciones destinadas a grupos con un mayor riesgo de exclusión social, existiendo criterios de difícil selección en el grupo de control (P. e. Prioridad de acceso de las mujeres victima de violencia de género, percepción de subsidios posteriores, informe favorables de los servicios sociales.…etc.)

7 Obstáculos y limitaciones en la implementación II.

Unión Europea


8. Lecciones aprendidas I

Posibilidad de utilizar metodologías distintas de evaluación para medir el impacto de las

actuaciones puesta en macha.

Necesidad de una planificación previa sobre:

Intervenciones a evaluar

Métodos de evaluación.

Selección de grupos de participantes y controles.

Fuentes fiables a utilizar.

Necesidad de contar con personal especializado en materia de evaluación.

Estudio de variables seleccionables.

Proceso de feed back, se ha abierto un marco de reflexión sobre la pertinencia y eficacia de las

medidas, sobretodo en relación con los futuros programas mixtos de empleo y formación, en

concreto, en relación con las áreas de los cursos y actividades que se desarrollan y su vínculo con

las demandas del mercado de trabajo.

Unión Europea


Se constata la necesidad de sustentar la evaluación en las fuentes administrativas como vía

fundamental de obtención de información para este tipo de evaluaciones. Se subraya la utilidad

fundamental y el potencial de la Vida Laboral como fuente de información consistente para centrar

la mirada en una batería de indicadores de impacto básicos. ( posibilidad de consultas masivas)

Se advierten limitaciones notables de los procesos de encuestación como fuente de generación de información consistente sobre itinerarios laborales.

• Si bien la encuestación puede resultar adecuada como herramientas de acompañamiento

La pertinencia de aprovechar el camino recorrido en el proyecto como inversión para posteriores evaluaciones longitudinales basadas exclusivamente en fuentes administrativas

Necesidad de contextualizar los resultados, no únicamente en el ámbito puramente de empleo, ( dimensión social integración socio laboral , mantenimiento de zonas escasamente pobladas, valoracion de los criterios no observables.…etc)

8. Lecciones aprendidas II

Unión Europea


Interés y una voluntad por dar continuidad a las evaluaciones de impacto en el

futuro.

Participación directa en los Grupo de Gestión del proyecto.

Mayor sensibilización de las oportunidades y ventajas que representan las

evaluaciones de impacto, en especial las de carácter contrafactual.

La experiencia adquirida va a ser fundamental para desarrollar un sistema de

seguimiento y control de las operaciones cofinanciadas por el FSE 2014-2020,

adaptando las bases de datos administrativas a los requisitos y necesidades de

este tipo de evaluaciones.

9. Implicaciones políticas

Unión Europea


GRACIAS POR VUESTRA ATENCIÓN

Carlos Miguel Sánchez Angel Jimenez Rojas. Consejería de Economía, Empresas y Empleo Junta de Comunidades de Castilla-La Mancha

evaluación de impacto contrafactual en castilla-la mancha

Documents