midiendo el impacto de diferentes intervenciones de …...•borderlands, ft4all y progresa -...

Midiendo el impactode diferentesintervenciones de mercado y modelos de negocios

Carolina González

c.gonzalez@cgiar.org

Junio 6, 2018Brasilia, Brasil

Contenido

• Borderlands, FT4All y Progresa

- Objetivos

- Métodos

- Resultados

• Lecciones aprendidas

Impact Evaluation – Approaches (quantitative)

Quasi experimental design:

• Cross sectional data – one time (no baseline) Propensity Score Matching (PSM)

• Panel data – 2-3 times (PSM+ differences-in-differences) :l

Experimental design:

• Randomized controlled trials (RCT) .

Borderlands Coffee Project - CRSDiana Lopera, Martha del Rio, Paula Rivas, Alex Buritica, Wytse Vellema,

Mark Lundy, Fernando Rodriguez Camayo and Carolina Gonzalez (CIAT)

Objetivos…incrementar los ingresos cafeteros, generación

de empleo, diversificar las fuentes de alimentación e ingresos y aumentar la resiliencia de los hogares

cafeteros de Colombia y Ecuador

Figura 1. Area de estudio: 1.300 productores de café

Principales resultados esperados

Aumento de la productividad;

Mejora de la calidad;

Certificación;

Nuevas opciones de mercados;

Diversificación de las fuentes de

ingresos;

Fortalecimiento de las

organizaciones locales;

Neil Palmer

• Modelos de negocios inclusivos y sostenibles(LINK methodology, value chain analysis)

http://ciat-library.ciat.cgiar.org/articulos_ciat/Metodologia_LINK.pdf

CIAT - Intervenciones

Borderlands IMPACT EVALUATION

Datos de Panel (2012 – 2016)

Tratamiento y control

Marco Conceptual

Vellema, W.

Evaluación: línea base– línea final(2012-2016) - Colombia

Resultados :LíneaBase(2012)

• Value Chain:

Principales resultados: línea final (2016)

Modelo de Regresión de Diferencia en Diferencias para Cadena de Valor de

Café controlando por Covariables

Modelo de Regresión de Diferencia en Diferencias para Cadena de Vida

diversificados controlando por Covariables

% cantidad de café con certificación

Indice cafetero (conocimiento y buenasprácticas)

Indice activos agrícolas

Negativos: Disponibilidad de alimentos, índice de activos no agrícolas

No efectos

- Ingresos no cafeteros

- Rendimientos*

- HDDS

Conclusiones

Science to cultivate change

Midiendo el impacto de la certificación“FT4All” en pequenos productores y

trabajadoresMartha Del Río, Claudia Rosty, Diana Cordoba, Annelien

Gansemans, Juri Ishimoto, Stefania Sellitti, Mark Lundy and Carolina Gonzalez

Contexto

• Comercio justo se ha limitado a cooperativas

• En 2011, Fair Trade USA anunció un Nuevo esquema de certificación que incluía pequeños productores y trabajadores de haciendas

• Evaluamos los pilotos de este nuevos esquema en Brasil and Nicaragua (trabajadores), y Perú y Honduras (pequeños productores).

• Nivel micro: Evaluar el impacto en términos de desarrollo económico y social, y la gestión ambiental en pequeños caficultores independientes y trabajadores de haciendas.

• A nivel meso: Analizar los procesos de empoderamiento organizacional y cambios a lo largo del tiempo en pequeños caficultores independientes y trabajadores de fincas grandes.

Objetivos de la evaluación

Colecta de Datos

Diseno muestral

Sitios

Sitios

Health service Contracts

Resultados:LB Nicaragua(2014)

Nicaragua

• 190 farm workers (only treatment group)

Honduras

• 95 household (only treatment group)

Peru

• 119 household (only treatment group)

• Este ciclo buscaba obtener información sobre cómo iba desarrollándose la implementación, además de empezar a identificar cambios en los grupos de tratamiento.

Segundo Ciclo: Monitoreo

Tercer Ciclo– Evaluación final: Brasil

Evaluación final: Brasil

https://cgspace.cgiar.org/handle/10568/77154

Evaluación – Variables de resultados

(Trabajadores)

DIMENSION INDICATORS VARIABLES # VARS

EDUCATION Accessibility to educationPeople’s perception of accessibility; subsidies to education.

3

Enrollment ratio% of kids from 6 to 14 who are enrolled in school.

HEALTHAccessibility to healthcare

Distance from the closest hospital; people’sperception of accessibility; subsidies to healthcare.

3

FOOD SECURITYLatin American and Caribbean scale of foodsecurity (ELSCA)

15

STANDARD OF LIVINGPer capita income (on farm income)

1

AssetsNicaragua and Brazil: house quality, meansof transport, non-productive assets.Nicaragua only: animals for production.

16

SATISFACTION

Satisfaction with life, satisfaction with house(in Brazil) and foodquality (in Nicaragua).

2

Indice de Bienestar

Indice de Empoderamiento

DIMENSION VARIABLES # VARS

POLITICAL INVOLVEMENTPeople’s perception of involvement in political life and decisions at community, regional and national level.

3

WORKING TIME Number of hours worked. 1

CONTRACTS % of people in the household with a long-term contract. 1

WORK ENVIRONMENTStability at work, opportunity to change job position, goodlevel of communication in the farm.

3

TRAININGAnnualy hours of training, people’s perception of accessibilityto training.

2

FINANCIAL SERVICESAccess to saving and credit services; % of people whoreceived the needed credit.

2

ORGANIZATIONISM% of workers involved in associational life (whether on farm or in the community).

5

Score matching

OUTCOME (i) (ii) (iii) (iv) (v)

OLS OLS ATT ATT Γ

WELFARE 0.42*** 0.47*** 0.54*** 0.48*** 1.6

(0.112) (0.14) (0.13) (0.12)

Education 1.63*** 2.2*** 2.36*** 1.95*** 1.5

(0.571) (0.71) (0.64) (0.59)

Health 0.385*** 0.28*** 0.35*** 0.04*** 1

(0.059) (0.063) (0.063) (0.06)

Food security 0.087 -0.0014 0.13 0.087 1.1

(0.086) (0.105) (0.095) (0.088)

Standards of living 0.159 0.01 0.092 0.12*** 1 (0.032) (0.03) (0.036) (0.033)

(of which)

Per capita income 0.037 -0.065 -0.16* -0.062 1.9

(0.083) (0.068) (0.094) (0.086)

Assets 0.201*** 0.03 0.18 0.18 1.9

(0.033) (0.035) (0.037) (0.036)

House ownership (1=yes, 2=no) 0.28*** 0.069*** 0.26*** 0.24 1.7 (0.04) (0.045) (0.046) (0.042)

Satisfaction -0.144** -0.141* -0.16 -0.05 1.3

(0.072) (0.087) (0.1) (0.09)

EMPOWERMENT 0.064 0.13*** 0.08* 0.098** 1

(0.043) (0.05) (0.04) (0.04)

Political integration 0.072 0.086 0.04 0.069 1

(0.062) (0.072) (0.07) (0.065)

Involvement in organizations 0.024 0.026 0.021 0.014 8.7

(0.03) (0.032) (0.034) (0.032)

Training 0.23 0.12* 0.29*** 0.26*** 1.1

(0.067) (0.066) (0.074) (0.069)

Contracts 0.0036 -0.003 -0.055 0.057 1.8

(0.042) (0.019) (0.047) (0.042)

Daily working hours 0.13 0.605** 0.37 0.37 4.2

(0.28) (0.304) (0.28) (0.27)

Access to financial services 0.072*** 0.064** 0.082*** 0.068*** 2.9

(0.023) (0.03) (0.026) (0.023)

Working environment -0.084** 0.021 -0.19** -0.097 1.4

(0.065) (0.08) (0.072) (0.067)

Covariates No Yes - - -

Observations 625 625 625 625

Brasil (Bienestar)

Evaluación de Impacto:

No hay diferencias estadísticamentesignificativas en Bienestar, Educación, modo de vida. Es positivo el cambio en Salud (distancia al

centro de salud y subsidio).Cambio positivo en las condiciones de vida

por el aumento de capital y mejoras en la vivienda.

Brasil (Empoderamiento)

Evaluación de Impacto:

No hay diferencias estadísticamentesignificativas en Empoderamiento y Accesode Servicios FinancierosEs positivo el cambio en Participación en la

vida comunitaria, participación enorganizaciones, horas de entrenamiento(distancia al centro de salud y subsidio).Disminución de las horas trabajadas.

Inversión del premio: Brasil

The Fair Trade Premium fue usado en:• Remodelar la guardería “Creche Lar de Maria” localizada

en Conceição do Rio Verde, incrementando su capacidadde 103 a 153 puestos.

• Aumentar el número de computadores que pueden teneracceso los trabajadores en la hacienda Rio Verde para capacitaciones los sábados.

• Mejora de equipos en el hospital São Vicente de Paula enCampos Gerais .

http://blog.ciat.cgiar.org/testing-fair-trade-for-all-in-brazil/

Resultados de evaluación de impacto proyecto PROGRESA en Nicaragua

Juliana Pinillos, Ricardo Labarta y Carolina Gonzalez

j.Pinillos@cgiar.org r.labarta@cgiar.org c.Gonzalez@cgiar.org

• PROGRESA implementado 2013-16 bajo liderazgo de CRS

• Proyecto buscaba:

• Aumentar productividad agrícola en 3 cadenas de valor a través de insumos mejorados, infraestructura productiva mayor conocimiento tecnológico y gerenciamiento de fincas

• Ampliar ventas de productores a través de fortalecimiento de productividad y calidad de producto, mejores practicas de manejo y mejor poscosecha

Implementado en 5 departamentos de Nicaragua y se enfocó en cadenas de frijol, frutas y verduras y productos lácteos y cárnicos

CIAT lideró evaluación de impacto de esta ultima cadena de valor

Antecedentes y objetivos del estudio

• En 2013 se entrevistaron 550 productores ganaderos: 336 potenciales beneficiarios y 214 del grupo de control

• Por diversas dificultades en la implementación, se perdieron 48.2% de los beneficiarios potenciales encuestados

• Al momento de la LF no se pudieron re-entrevistar al 39.3% de los productores del grupo de control

• 14 productores del grupo de control en LB se convirtieron en beneficiarios y 65 potenciales beneficiarios terminaron como controles.

• En LF se entrevistaron 286 beneficiarios y 224 controles, pero los productores con información tanto de LB como LF sólo fueron 174 tratados y 130 controles

Implementación de la colecta de datos

• Se inicia con un análisis univariado de diferencia de medias de indicadores claves (5 capitales)

• Luego estimar impactos atribuibles a PROGRESA modelo DiD: Compara cambios en indicadores de beneficiarios entre LB y LF con cambios en indicadores de controles entre LB y LF

• Indicadores de Impacto: productividad de leche, alimentos insuficientes, MAHFP, HDDS

• Principal desafío Atrición: perdida de tratados y controles en LF

• Identificar factores que pueden haber influenciado la salida de beneficiarios del proyecto y no participación de controles en LF.

• No controlar atrición puede sesgar las estimaciones de impacto positiva o negativamente

Metodología de implementación

Resultados de la evaluación: Pruebas de comparación de medias de indicadores claves

Resultados comparación medias 5 capitalesTabla 5. Pruebas de medias para tratados y controles

Línea base Línea final

Control Tratados Diff Control Tratados Diff

Área propia (manzanas) 33.152 44.296 11.144*** 35.792 42.178 6.386

Proporción área con pastos 0.547 0.581 0.033 0.506 0.624 0.118***

Propor. prácticas mejorada 0.035 0.035 -0.001 0.013 0.008 -0.005

Total de vacas secas 3.636 3.616 -0.019 5.400 5.420 0.020

Total de vacas paridas 5.023 7.029 2.005** 6.020 7.697 1.678**

Camioneta 0.146 0.098 -0.048 0.185 0.137 -0.048

Bodega 0.485 0.483 -0.002 0.414 0.491 0.077

Silo para pastos 0.054 0.075 0.021 0.039 0.231 0.192***

Corral para ganado mayor 0.508 0.575 0.067 0.469 0.609 0.141**

Pichingas 0.477 0.540 0.063 0.208 0.427 0.219***

Picadora de pastos 0.223 0.241 0.018 0.223 0.433 0.210***

Alimentos insuficientes 0.318 0.325 0.008 0.069 0.063 -0.005

MAHFP (meses) 11.279 11.110 -0.169 11.872 11.861 -0.011

HDDS 8.046 7.556 -0.480** 7.458 7.525 0.068

Prob. debajo de la LP (%) 34.193 35.057 0.864 28.569 25.266 -3.304

Prob. debajo de la LI (%) 6.385 6.897 0.512 5.438 4.351 -1.087

Litros de leche/vaca/ día 3.425 3.018 -0.407 2.732 3.138 0.406

Nota: *: Significativa al 10%; **: Significativa al 5%; ***: Significativa al 1%.

• Se prefirió usar modelo DiD con muestra restringida (304 con datos de LB y LF) antes que usar modelo de corte transversal con solo datos de LF y 505 productores.

• Se usaron 3 especificaciones de modelos DiD para verificar robustez de especificaciones

• Modelo 1: DiD simple, sin controlar por factores adicionales

• Modelo 2: DID controlando por una serie de factores pre-existentes que puede condicionar impactos observados

• Modelo 3: DiD usando emparejamiento para controlar factores inobservables que afectaron la decisión de participar en Progresa (el modelo mas restrictivo)

Consideraciones en el análisis

Resultados DiD (n=304 productores)

DiD para Litros de leche por vaca por día

(1) (2) (3)

Diff-in-diff (impacto) 0.877** 0.831** 1.359***

(0.393) (0.394) (0.389)

Efectos fijos departamento NO SI SI

Media controles LB 3.239 2.664 3.254

Media tratados LB 2.755 2.369 2.732

Diff LB (T-C) -0.483 -0.296 -0.522

Media controles LF 2.722 2.145 2.432

Media tratados LF 3.115 2.680 3.270

Diff LF (T-C) 0.393 0.535 0.837

Observaciones 522 501 445

Kernel - - Epanechnikov

Soporte común - - SI

R-cuadrado 0.010 0.010 -

. *** p<0.01, ** p<0.05, * p<0.1

Resultados DiD (n=304 productores)

MAHFP HDDS

(1) (2) (3) (1) (2) (3)

Diff-in-diff (impacto) 0.158 0.185 0.355** 0.547* 0.547* 0.443

(0.162) (0.165) (0.166) (0.309) (0.303) (0.389)

Efectos fijos departamento NO SI SI NO SI SI

Media controles LB 11.28 11.28 11.42 8.046 8.226 7.958

Media tratados LB 11.11 11.05 11.05 7.566 7.652 7.543

Diff LB (T-C) -0.169 -0.225 -0.378 -0.480 -0.573 -0.415

Media controles LF 11.87 11.88 11.89 7.458 7.634 7.439

Media tratados LF 11.86 11.84 11.87 7.525 7.607 7.467

Diff LF (T-C) 0.0110 0.0404 -0.0233 0.0677 0.0266 0.0286

Observaciones 576 555 522 579 557 522

Kernel - - Epanechnikov - - Epanechnikov

Soporte común - - SI - - SI

R-cuadrado 0.107 0.176 - 0.014 0.134 -

• El análisis de impacto nos muestra que:

PROGRESA mejoro significativamente el capital humano de los participantes a través de diversas capacitaciones

Consistentemente diversos modelos de regresión muestran que PROGRESA incremento la productividad de leche/vaca/día entre 0.8 y 1.4 litros/vaca/día

PROGRESA también generó mejora en los meses de aprovisionamiento en 0.35 meses

Hay una tendencia de mejora en la diversidad dietética, pero el modelo mas robusto no apoya esto

Conclusiones del estudio

• El estudio muestra un nivel de atrición muy importante en el estudio y la necesidad de controlar mejor este problema (todavía por solucionar)

• Hay ciertos indicios que en algunas zonas/socios que los beneficiarios menos exitosos o limitaciones salieron del proyecto y varios controles con mejores indicadores de productividad y medios de vida también (se necesita un mejor análisis)

• Futuras investigaciones (en curso) revisaran el tema de la atrición y darán una mejor idea de los impactos de PROGRESA

Conclusiones del estudio

• Identificación de las intervenciones• Suceso del proyecto vs Buena evaluación

(muestreo: contaminación)• Sesgos (selección)• Tiempos • Atrición

Lecciones aprendidas - Desafíos

Obrigada!!