Subsecretara de Seguimiento y EvaluacinDocumentos conceptuales N 2MetodologasDE EVALUACIN DE IMPACTO3INDICERESUMEN EJECUTIVO ...................................................................................................................................... 5I.Introduccin .......................................................................................................................................................6II.Formulacin de los problemas en la evaluacin ................................................................................... 8III.Cmo podemos estimar los parmetros de impacto? ....................................................................... 9 IV.Mtodos para construir el contrafctico ................................................................................................... 10 V.Elementos para tomar en cuenta en una evaluacin de impacto ..................................................27VI.Conclusiones ......................................................................................................................................................28Bibliografa ........................................................................................................................................................... 29 1. Ph.D. en Economa, Profesor de Economa de la Educacin, Universidad de Amsterdam, Blasiusstraat 34/2, 1091 CS Amsterdam, +31 (0)64254231. ElaboradoporlaSubsecretaradeSeguimientoyEvaluacindelaSecretaraNacionalde Planifcacin y Desarrollo, sobre la base del informe del consultor Hessel Oosterbeek1. 45RESUMEN EJECUTIVOLasinstitucionespblicasy,enespecial,laSubsecretaradeSeguimientoyEvaluacinde SENPLADES requiere contar con herramientas que permitan realizar el seguimiento y la evaluacin de programas y proyectos ejecutados por las diferentes instituciones que forman parte del Estado, y determinar el cambio en el buen vivir de la poblacin que genera la inversin pblica.Elimpactodelosproyectosoprogramaspuedeserdeterminadoatravsdemtodos exclusivamentecuantitativos(experimentalesycuasi-experimentales)queexigenconstruirun grupodecontrol,tareaarduaycompleja.Lacomparacinestadsticaentreelgrupodecontrol y el grupo benefciario de las acciones del proyecto o programa permite identifcar, cuantifcar y evaluar la conveniencia y efcacia de la inversin pblica. Sin embargo, al momento de utilizar esta metodologa, es importante considerar sus limitaciones, como el hecho de no tomar en cuenta el contexto en el que se realizan las intervenciones, los problemas tcnicos y ticos en la seleccin del grupo de control y el elevado costo requerido para la aplicacin. En este contexto se presenta el siguiente documento que busca proporcionar una gua para realizar evaluaciones de impacto. En el captulo 1 se hace una introduccin referente a la metodologa de evaluacin de impacto.En el captulo 2, se plantea la formulacin de los problemas en la evaluacin deimpacto,demaneraformal.Elsiguientecaptulorespondealapregunta: Cmopodemos estimar los parmetros paramedir el impacto?En el captulo 4, se describen los dos grupos de mtodos que permiten disear el contrafctico: mtodos experimentales y cuasi - experimentales. El captulo 5 brinda una descripcin de los elementos necesarios que se deben tomar en cuenta para realizar una evaluacin de impacto. Finalmente, se presentan las conclusiones. 6I. IntroduccinLa evaluacin de proyectos, programas y/o polticas pblicas se aplica con la fnalidad de valorar la utilidad y los benefcios generados por la intervencin pblica mediante la aplicacin de una serie demetodologas, que son aplicadas con objetivos distintos y permiten establecer conclusiones quebuscanmejorareldesempeodelasinstituciones;mejorarlaefcaciayefcienciadelas intervenciones; que haya transparencia en la asignacin y uso de recursos; y determinar el impacto en el buen vivir de la poblacin. La evaluacin de impacto es una de estas metodologas. Tiene por debilidad el alto costo, debido allevantamientodelalneabasey,comoprincipalcuestionamiento,elaspectotico,porel hechoderequerirungrupodecontrol,conformadoporpersonasdesimilarescaractersticasa las atendidas por el proyecto, pero que no recibirn sus benefcios. Adems, llega a establecer el impacto fnal de la intervencin pero no hace un anlisis de los factores que permitieron conseguir tales impactos. Laprincipalfortalezadelametodologaes,encambio,larobustezconlaqueidentifcalos impactos fnales de unaintervencin en las variables de inters, que constituyen el fn del proyecto, programa o poltica.A continuacin,se describe la metodologa.La evaluacin de impacto mide los cambios del buen vivir generados por una intervencin en un grupo de benefciarios; esto implica que se evala el grado al que se logran cumplir los objetivos propuestos en la intervencin. Los impactos se expresan a travs de las variables de resultado de la intervencin. Es decir, evala los resultados de un programa especfco sobre el grupo benefciario, conrelacinaungrupodepersonasdesimilarescaractersticasquenorecibenelbenefcio (contrafactual). Cualquier anlisis y evaluacin de programas que no utiliza grupos de comparacin (contrafcticos), se ha comprobado que no es satisfactorio. Entrminosgenerales,serequierecumplircondosobjetivoscrucialesalmomentodeevaluar unprograma:elprimeroeslograraislarelefectodelaintervencin,yelsegundoescrearun contrafactual que responde a la pregunta: Qu hubiera sucedido si no se intervena? Por lo tanto, presenta la situacin sin intervencin del programa.De esta manera, se logra comparar entre el grupo que recibe el tratamiento con el contrafctico o grupo de control. Existen dos momentos en los cuales se puede evaluar: * Ex ante: se trata de simular la implementacin: Qu pasara si? * Ex post: se evala una vez ocurrida la intervencin.La evaluacin ex post no signifca que deba empezar despus de que el programa termine, o una vez iniciado.Las evaluaciones ex - post que entregan mejores resultados son aquellas que fueron diseadas ex ante, por lo general, simultneamente con el programa.Paraevaluarelimpactoserequierendatosdeunoomsindicadoresderesultado.Elindicador seleccionado depende de lo que se quiera medir y de los objetivos que se haya propuesto alcanzar a travs de la intervencin. 7Porejemplo,enelcasodeunprogramaqueentreguetransferenciasmonetariasalasfamilias mspobresconlacondicindequeestasllevenasusniosyniasalasescuelasyacentros de salud para controles peridicos (inversiones en recursos humanos), por ejemplo, el programa PROGRESAenMxicolosindicadoresrelevantesseranelniveldepobrezadeesoshogares,la escolaridady elestado de salud de los nios y nias de los hogares benefciados (indicadores que interpretan el nivel de pobreza).As mismo, se requiere algn mtodo que permita inferir el grupo de comparacin o contrafactual. Estoesintrnsecamentenoobservable,yaqueesfsicamenteimposibleobservaraunamisma personaendosestadosdelanaturaleza(porunlado,participandoenelprograma,ylamisma persona sin participar en el programa).Las evaluaciones ex ante se llevan a cabo de dos maneras: aritmticamente o estructuralmente.Aritmticas:Abasedelosdatosrecogidosenlalneadebase,sepodransimularloscambios esperadosenlasvariablesdeinters,ascomolosefectosenlapoblacinbenefciaria.Cabe resaltarque,estemtodonoincluyemodelosdecomportamientoynoesmuyconfable,pero nos da una idea de los posibles efectos de la futura intervencin.Estructurales:Permitenanalizarloscambiosenloscomportamientosdeloshogares,yaque incluyen modelos y ecuaciones simultneas que simulan dichos comportamientos.8II. Formulacin de los problemas en la evaluacin2 El problema esencial, como se mencion anteriormente, es que no es posible observar a la misma persona en dos estados de la naturaleza al mismo tiempo. Ladescripcinformaldelproblemaescomosigue:serecolectalainformacindeunindicador deresultadoYiparacadaunidadienunamuestradetamaon.Porejemplo:Yipuedeserel ingreso del hogar i normalizado por una lnea de pobreza especfca de cada hogar (que refeje las diferencias en los precios que enfrentan en cada diferente localidad y en el tamao y composicin de cada hogar).Algunas de las unidades de la muestra reciben el programa y otras no; una variable dicotmica toma el valor Di=1 para las unidades que reciben el programa y Di=0 para las que no lo reciben.Se defne la variable YiT si la unidad i recibe el programa (T se usa por tratamiento) y YiC (C es por contrafactual) si el hogar no recibi el programa.La ganancia individual del programa est dada por Gi = YiT + YiC.Tambin se recolecta informacin de un vector de covariables para los resultados (variables de control), Xi, que incluye la unidad como un elemento.El mtodo ms comn para controlar por covariables asume que el resultado es lineal en el control de los parmetros, dando lo siguiente:YiT = Xi T + iT(i=1,.n) (0.1)YiC = Xi C + iC (i=1,.n) (0.2)Se asume que los trminos de error satisfacen E(i | Xi) = 0. Existen dos parmetros que se utilizan ampliamente que son efecto promedio de tratamiento (average treatement efect (ATE)), E(Gi), yefectopromediodetratamientoenlostratados(averagetreatementefectonthetreated (ATET)), E(Gi | Di = 1). El ATE condicional es: E(Gi|Xi) = Xi (T C)(1)Mientras que el ATET condicionado es:E(Gi|Xi, Di=1) = Xi (T C) + E( iT iC| Xi, Di=1) (2)Como est claramente reconocido en la literatura, el problema esencial es que al estimar (1) y (2), (0.1) y (0.2) no son estimables, ya que no es posible saber los resultados de un participante en el contrafactual(YiCcuandoDi=1)nienelresultadocontrafactualbajotratamiento(YiTcuando Di=0).Para tratar de resolver este problema, se supone que se estima (0.1) en una sub-muestra para la cual Di=1 mientras que (0.2) se estima en el resto de la muestra.El modelo estimable es entonces:YiT = Xi T + iTsi Di=1 (3.1)YiC = Xi C + iCsi Di=0 (3.2)2. La mayor parte del texto fue tomado de Martin Ravallion Evaluating Anti-Poverty Programs9Se puede estimar una regresin simple (switching) para los resultados observables medidos en una muestra colectiva.Yi = DiYiT + (1-Di)YiC = Xi C + Xi(T C)Di + i (i=1,.n)(4)en donde el trmino de error es:i = Di(iT iC) + iC(5)Los impactos entonces van a estar refejados en los coefcientes de Di en la ecuacin (4).Existe un caso especial que es muy utilizado en la prctica; consiste en la especifcacin del efecto comn, en el que todos, excepto los interceptos y los vectores de los parmetros C y T, se asumen que no varan con el tratamiento y por lo tanto se referen a las ecuaciones (0.1) y (0.2).(Generalmente, este supuesto es impuesto sin ninguna justifcacin obvia, ms all del hecho de que uno puede inmediatamenteverelimpactopromediodelresultadodeunaregresinestndar).Entonces la ecuacin (4) termina siendo una regresin de resultados de participacin y de las variables de control:Yi = (T C)Di + XiC + i (6)en donde 0T 0C son los interceptos de las ecuaciones (0.1) y (0.2).III. Cmo estimar los parmetros para medir el impacto?Elmtododemnimoscuadradosordinarios(MCO)queseaplicaalasecuaciones(3.1)y(3.2), daestimadoresconsistentesdelosparmetrosdeimpactoenlaecuacin(1)sinoexistesesgo de seleccin en X, es decir que E(iT iC| Xi, Di=1) = 0; o equivalentemente, que los resultados de la media condicional no dependan del tratamiento, E(YiC|Xi,Di=1) = E(YiC|Xi,Di=0).Entonces se dice que la ubicacin del programa la asignacin a las unidades de (3.1) y (3.2) es exgena. Un requerimiento quizs ms estricto es que los resultados son independientes del tratamiento condicionalenX.Aestosedenomina exogeneidadenlaliteratura.Enestecaso,eltrmino deerrorquesedefneenlaecuacin(5)desapareceenlasexpectativasdadoslosregresores, asegurndosedequelosMCOdenestimadoresconsistentesbajolascondicionesestndares. Tambin ATE y ATET se vuelven idnticos.El sesgo de una intervencin viene dado por la siguiente diferencia: E(YiC|Xi,Di=1) E(YiC|Xi,Di=0), tal que la diferencia de la media de los resultados entre los participantes y no participantes est dada por la siguiente identidad:E(YiT|Xi,Di=1) = E(YiC|Xi,Di=0) = ATET + SESGOdonde ATET=E(YiT|Xi,Di=1) = E(YiC|Xi,Di=1)Unamaneraparaasegurarexogeneidadesaleatorizarlaentregadelbenefcio,estemtodose denominaevaluacinexperimental.Encontraste,enunaevaluacinno-experimental(tambin llamadaestudiodeobservacinocuasi-experimental)elprogramaescolocadoconun propsito o fn (o sea, no aleatorio).Esto ocurre comnmente en estudios de pobreza, ya que se lo coloca con relacin a las caractersticas observables, por ejemplo, el nmero de dependientes en un hogar en reas pobres.Adems, puede existir una seleccin por parte de los participantes, como el hecho que algunos deciden no participar a pesar de que son elegibles, de manera que el proceso de tipo auto-orientado caracteriza a los programas antipobreza.10IV. Mtodos para construir el contrafcticoExisten dos tipos de diseos de evaluaciones de impacto:1. Mtodos Experimentales;2. Mtodos Cuasi experimentales.4.1 Mtodos ExperimentalesUnodelosmtodosexperimentaleseslaaleotrizacinpordoblediferenciaodiferenciaen diferencias, que se considera el ms exacto y ms seguro.4.1.1 Mtodos de Doble Diferencia o diferencias en diferenciasEnprimerlugar,sedebealeatoriamentesortearquinrecibeeltratamientoyquinno,de unaformabalanceada.Ensegundainstancia,sedebelevantarlalneadebasepreviaala intervencin.Eneltiempo0(inicial),esdecir,elmomentoprevioalaintervencin,seesperara que las caractersticas de los benefciarios (grupo de tratamiento) y los no benefciarios (grupo de control) sean iguales, dicho de otra manera que: YT0 = YC0.En tercer lugar viene la intervencin, se debe asegurar que sta ocurra DESPUS de la toma de la lnea de base. Finalmente, se espera un tiempo, que depender de la lgica del programa, y se realiza la siguiente toma de datos (lnea de seguimiento). En esta segunda toma se espera que exista ya una diferencia entre YT1 YC1. Si existiera una diferencia, se dice que existe un impacto en el grupo de tratamiento debido a la intervencin.Existen dos supuestos bsicos para el estimador de doble diferencia:i)Elsesgoporseleccinesseparableynovaraeneltiempo,detalmaneraquedesapareceal tomar las diferencias a travs del tiempo.ii) Los resultados en el perodo inicial no son contaminados por las expectativas que se generan por la futura implementacin del programa. Bajo estos supuestos, el estimador de doble diferencia se lo puede conceptualizar como el impacto de la diferencia simple del segundo perodo menos la diferencia simple de la lnea de base3 .La diferencia en diferencia requiere de una comparacin entre el grupo de tratamiento y control antes del programa y una segunda diferencia entre el grupo de tratamiento y control despus del programa, de tal manera que:

YT1 YC1--YT0 YC0______________YT-YCImpacto irrebatible YT1 YT0 = YT YC1 YC0 = YC YT YC = EfectoEl diseo de diferencias en diferencias es muy til para solucionar posibles sesgos en un experimento social donde existe algn tipo de cumplimiento selectivo u otra distorsinal momento de realizar la asignacin aleatoria.Esta metodologa es la ms robusta, exacta, confable y segura ya que no presenta sesgo. 3. Existe un ejemplo interesante realizado en Indonesia por Dulfo (2001) que estima el impacto en la escolaridad y en el ingreso al construir escuelas.11Por otra parte, se suele considerar un problema tico el benefciar a un grupo con una intervencin y a otro no, ya que, muchas veces, sta afecta de forma determinante la calidad de vida, inclusive la misma vida de las personas, como es el caso de los programas que ayudan a la disminucin o erradicacindeladesnutricininfantil.Sinembargo,enalgunoscasossepuedeacumularlos benefcios, y recibirlos juntos en momentos posteriores a la realizacin de la evaluacin de impacto; esto es factible con programas que implican transferencias de dinero y no con programas como elmencionadoanteriormente.Adems,lametodologadescritaanteriormentepuedetambin traer problemas polticos.Este tipo de anlisis en muchos casos resulta muy costoso y, adems, pueden darse casos de contaminacin por la posibilidad de movilizacin. 4.1.2Mtododediferenciasenrdenesmsaltos:seguimientode ex participantes4 En muchos casos no es posible conseguir informacin antes de la intervencin o informacin de lnea de base.En varias ocasiones, por requerimientos urgentes, no es posible retrasar la operacin hasta lograr obtener una toma en la lnea de base. A pesar de estos problemas, an sin levantar lalneadebasesepuedeidentifcarelimpacto,observandolosresultadosdelosparticipantes en la ausencia del programa despus de la intervencin, en lugar de hacerlo antes. Una vez que serealizaladiferenciaendiferencias,sedebeconsiderarque,enestecaso,elprogramayaest operativo en el perodo 1.El alcance de la metodologa de identifcacin surge del hecho de que algunos participantes en el perodo 1 se salen del programa, por lo tanto, existe un estimador que es la diferencia entre las dobles diferencias entre los que se quedan y los que se retiran.DDD=[E(G2|D2=1,D1=1)E(G2|D2=0.d1=1)]-[E(G1|D2=1,D1=1) E(G1|D2=0,D1=1)] La primera parte es la ganancia neta de continuar participando en el programa, que est dada por ladiferenciaentrelagananciadeparticiparenelperiodo2ylagananciadequienesdejaronel programa. Si nicamente interesan las ganancias marginales de la participacin, se debe tomar en cuenta la primera parte de la ecuacin; la seleccin para entrar al programa en el inicio no es un problema.Se debe considerar que existen algunas ganancias para los que dejan el programa, ya que E(G2|D2=0, D1=1) 0.Se puede pensar, por ejemplo, que quizs los participantes aprendieron algo durante ese tiempo.La segunda parte del trmino se refere al sesgo por seleccin que surge del efecto de las ganancias en el perodo 1 y de la participacin en el perodo 2.Latriplediferenciaidentifcalasgananciasdelosparticipantesenelperiodo2,osea E(G2|D2=1,D1=1), si cumple con las siguientes condiciones:i)No hay sesgo de seleccin en cuanto a quin deja el programa.ii) No hay ganancias en los no participantes.Un tercer cuestionario permite realizar una prueba de que estas dos condiciones se mantengan.4.1.3 Evaluacin de programas antipobrezaExisten dos tipos de problemas que confunden los esfuerzos para identifcar un impacto. El primero es el sesgo por seleccin, que puede surgir de variables observables o de variables no observables. El segundo es la existencia de efectos que se desbordan hacia otras variables (efectos spillover), que confunden los efectos que pueden atribuirse a los impactos del programa a susparticipantes directos.4. El texto se tom principalmente del documento de Martin Ravallion: Evaluating Anti-Poverty Programs. Development Research Group, World Bank. WPS3625, Junio 2005.124.1.4 Seleccin de observablesLas ecuaciones (3) y (4) tratan con la seleccin de observables de una manera especial, en el sentido dequeloscontrolesentranenunaformalinealconrespectoalosparmetros.Estesupuesto ad hoc es difcilmente justifcable por otro argumento, excepto conveniencia computacional. En evaluaciones cuasi-experimentales de programas antipobreza, es difcil asegurar que las variables observables estn balanceadas entre los dos sets de observaciones. Para entender este problema, se puede suponer que la colocacin est determinada por proxy-meantest,locualescomnmenteusadoenpasessubdesarrolladosparadefniraquindar losbenefciosdelprogramaantipobreza.Estoasignaunacalifcacinatodoslospotenciales participantes en funcin de variables o caractersticas observables como, por ejemplo, el caso de Ecuador, que utiliza el ndice Selben para defnir a quien benefciar.En ciertos casos, se determina a los benefciaros del programa solamente si se encuentran por debajo o por encima de estos ndices onivelescrticos,determinadossegnelpresupuestodisponible.Conun100%deaceptacin, noexistenintervalosdelacalifcacinparaquesepuedanobservartantoparticipantescomo no participantes en una muestra de cualquier tamao. Este ejemplo se conoce como fracaso en apoyo comn en la literatura de evaluacin.Comosemencionanteriormente,elproblemaesesencialmentesencillo:cmoseinfereel contrafactual para los participantes con relacin a no participantes, quienes no tienen las mismas caractersticas en comn, como est sintetizado en el puntaje del test de medias proxy? Si se quiere inferir un impacto promedio para aquellos que reciben el programa, entonces se debe dar mucha importancia a la validez del diseo de cualquier grupo de comparacin.Afortunadamente, en la prctica, existe siempre un grado de reas grises en la aplicacin de cualquier test proxy y existe coberturaincompletadequienesinclusopasanestaprueba.Adems,nosenecesitaconocer elimpactodetodoelgrupodetratamiento.Porejemplo,puedeexistirunapolticaquedesee incrementarelpresupuestovariandoelpuntajedelndicequedeterminaquinrecibeonoel programa, en este caso se pueden enfocar los impactos alrededor de este puntaje, esto se llama hacer un diseo de discontinuidad. Setendraquetruncarlamuestradenoparticipantesparaasegurarlavalidezdelgrupode comparacin, mas all de la inefciencia al recolectar la informacin innecesaria, esto en general no es una preocupacin.Ms preocupante es que una submuestra no aleatoria de participantes tendraqueserdescartadaporfaltadesufcienciasimilardeloscomparativos.Estoseala unintercambioentredosfuentesdesesgo.Porunlado,setienelanecesidaddeasegurar comparabilidad en trminos de caractersticas iniciales.Y, por otro lado, se crea un posible sesgo muestral por inferencias sobre el impacto, hasta el punto en que se tienen que descartar unidades de tratamiento para obtener comparabilidad. 4.1.5 Resolver el sesgo por seleccinUnapreocupacincomnenevaluacionescuasi-experimentalesessielprocesodeseleccin para la evaluacin de un programa se captura adecuadamente por las variables de control X.Esta preocupacinnosepuedeseparardelproblemadelacolocacinnoaleatoriacondicionadaa observables.No se puede juzgar si la endogeneidad de la colocacin es un supuesto plausible sin primero establecer si se realiz adecuadamente la heterogeneidad de las observables.13Por ejemplo, pensemos en el caso en el que se decida identifcar los determinantes de participacin enelmercadolaboralconrelacinalsueldodemujeresquetrabajanenelmercadolaboral.Lo quesequiereesinterpretarollegaraconclusionessobrelosdeterminantesdelossalariosde todas las mujeres. La diferencia entre trabajadores y no trabajadores determina si existe sesgo por seleccin.Si se supone que se escoge una submuestra aleatoria de la poblacin, y la submuestra tieneatributossimilaresalosdelgrupodelosquenotrabajan,noexisteningunaraznpara suponer que hay un sesgo por seleccin al examinar nicamente las mujeres que estn trabajando. Esoesporquealrealizarunaseleccinaleatoria,lascaractersticas(tantoobservablescomono observables)delamuestradetrabajadorascapturanunpocodetodaslascaractersticasdela poblacin. Suponiendo que no hubo una seleccin aleatoria y, en consecuencia, hay un potencial riesgo de que sean distintas las caractersticas de las trabajadoras y no trabajadoras, el sesgo por seleccin de la muestra ocurre cuando algn componente de la decisin de trabajar es relevante al proceso de determinacin de salarios.En otras palabras, cuando alguno de los determinantes de la decisin de trabajar esta infuyendo tambin en el salario.Cuando la relacin entre la decisin de trabajar y el sueldo es puramente a travs de variables observables, se puede controlar esto al incluir las variables apropiadas en la ecuacin del salario.Por lo tanto, no surgir sesgo por seleccin en el caso de que existan solo diferencias observables.Si en lugar de pensar en variables observables, se consideran variables no observables que afecten la decisin de trabajar, estas variables estn correlacionadas con las caractersticas no observables que afectan el salario y, por lo tanto, crearn una relacin entre la decisin de trabajar y el proceso quedeterminalossalarios.Entonces,controlarsoloporvariablesobservablesnoessufciente. Silascaractersticasnoobservablesestncorrelacionadasconlasobservables,alnoincluirun estimado de estas variables no observables se genera un sesgo que surge por la seleccin5.Comosedijoanteriormente,aligualquemuchosprogramaspblicos,laparticipacinen intervencionesdirectasquecombatenlapobrezacasinuncaesaleatoria.Esteesunproblema si existen algunas variables que conjuntamente infuyen en los resultados, y la colocacin de los programas no es observable para el evaluador.En este caso, no se puede atribuir al programa las diferencias observables de los resultados medidos entre las unidades que reciben el programa y las que no (condicionadas por las variables de control X).Las diferencias en medias condicionadas queseobservanenlosdatospodranserelresultadodelhechodequelosparticipantesdel programa fueron seleccionados a propsito por un proceso que no es posible observar del todo. Cuando la aceptacin al programa est en las manos del individuo, tiene que existir una presuncin razonable de que la seleccin del programa depende de las ganancias que este le brinde.Entrminosdelaformulacinclsicadelproblemadelaevaluacinmencionada,sepuede suponerquelosparticipantestienenatributoslatentesquerindenresultadosmsaltosquelos no participantes (para una de las variables X).Entonces, el trmino de error en la ecuacin (3.1) estara centrado en el lado derecho, relacionado con los no participantes (3.2).El trmino de error en la ecuacin (4) no puede desaparecer en expectativa y el MCO nos dar estimadores sesgados e inconsistentes.Se debe recordar que el sesgo en la media del estimador de impacto condicional esladiferenciaenlasmediascontrafactuales,E(YiT|Xi,Di=1)=E(YiC|Xi,Di=0).Nuevamentese debe enfatizar que el grado de preocupacin de esta forma de sesgo de seleccin en la prctica no puede separarse de la pregunta anterior sobre cun bien se controla la heterogeneidad observable. Existen ejemplos que se enfocan a sesgos en estimadores de impacto no experimentales en ciertos 5. Para un mayor detalle de la seccin de sesgo por seleccin propuesta por James Heckman (1979)referirse al paper de Francis Vella:Estimating Mo-dels with simple Selection Bias: A Survey.The Journal of Human Resources, Vol.33, No.1 (1998 de donde se tom parte del texto adems de Ravallion, Martin en su paper, Evaluating Anti-Poverty Programs14casosespecfcos.Enalgunosestudiossehanencontradograndessesgosenmtodoscuasi- experimentales cuando se comparan a mtodos de evaluacin aleatorizados.No obstante, no se pueden rechazar los mtodos cuasi - experimentales en algunas aplicaciones de ciertos estudios; lo importante es mejorar los datos y la metodologa que se necesitan para conocer si los programas sirvenycumplensusobjetivos.Sinembargo,algunosdelosmtodoscuasi-experimentales mscomunescomocomparacionesdecortetransversaldeparticipantesynoparticipanteso comparaciones refexivas de los resultados de los participantes a lo largo del tiempo pueden dar resultados severamente sesgados cuando la informacin disponible da controles inadecuados de heterogeneidad.Existen varias formas para corregir este problema, sin embargo, las metodologas ms comunes son dos. La primera consiste en el mtodo de mxima verosimilitud por el supuesto de la distribucin deloserrores.Lasegundasecaracterizaporunprocedimientoendosetapasqueeliminael supuestodequeloserroresnosoncero.Elusodelametodologademximaverosimilitudes pococomn,porloquenicamentesedefnelaestimacinendosetapasenparticulardeun modelo parametrizado.El modelo de sesgo por seleccin tiene la siguiente forma:i)Yi*=Xi+ i i=1.Nii)di* = Zi + vi i=1,.Niii)di=1si di*>0 y di=0 si no lo esiv)Yi = Yi** didonde Yi* es la variable latente endgena con su parte observable Yi; di* es la variable latente con la funcin di.Las ecuaciones iii) y iv) refejan si la variable dependiente principal es observable y si las relaciones entre di y di* y Yi y Yi* respectivamente,Xi y Zi, son vectores exgenos de variables de control.La ecuacin de inters sobre la submuestra n que corresponden a di=1 v)Yi =Xi + i i=1.NSe debe recordar que la estimacin de MCO da estimaciones sesgadas de porque E[i|Zi, di=1]0. LaestrategiaentoncespropuestaporHeckman(1976,1979)estratardecorregirestomediante lainclusindeuntrminodecorreccinquetomaencuentaE[i|Zi,di=1].Paraempleareste mtodo, se debe tomar la expectativa condicional de la ecuacinv) E[Yi|Zi, di=1] = Xi + E[i|Zi, di=1];i=1.NUsando el supuesto i) y la frmula de la expectativa condicional de una variable aleatoria truncada, se ve que:E[i|Zi, di=1] =v (Zi)v2 (Zi)endonde()y()sonlasfuncionesdedistribucinacumuladayladensidaddeprobabilidad deladistribucinnormalestandarizada.Eltrminoentrecorchetesseconocecomolarazn inversa de Mills (el inverso de Mills ratio).Se utiliza el modelo probit para estimar los parmetros desconocidos y .En la primera etapa se estima sobre el total de las N observaciones por el mtodo de mximo verosimilitud (con probit) y luego se construye el estimado de la razn inversa deMills.Seestimanconsistentementelosparmetrosutilizandoel MCOdelasnobservaciones { }15que reportan valores para Yi e incluyen la razn inversa de Mills, en este caso i, como un regresor adicional en la ecuacin v):vi)Yi =Xi + i + i i=1.NCon MCO se obtienen estimadores consistentes de y de , esto se conoce como el estimador de la fusin de control.Es importante incluir variables adicionales en el vector Z en la primera etapa para identifcar los estimadores de la segunda etapa.

4.1.6 Desbordamientos (Spillovers) en no participantes6

Eliminar el sesgo por seleccin no asegura que los impactos se pueden identifcar. La formulacin clsicadelproblemadeevaluacinasumequesolamenteeltratamientoenlaunidadipuede afectarlosresultadosenesaunidad.Luegoseasumequesepuedeobservaralgrupodeno participantes (control) y que estos no han sido afectados en ningn sentido por el programa en cuestin.Estosepuedehacerunavezqueelprogramaestoperando(generandoundiseo dediferenciasimple)osepuedehacerparalosparticipantesantesdelprograma(dandouna comparacinrefexiva).Cuandosehacenambascosas,seestutilizandounmtododedoble diferencia.Bajoesascondiciones,seinferenimpactosalcompararaaquellosquehandejado el programa con quienes se han mantenido.Sin embargo, en todos estos casos se asume que se puede observar el estado de los no participantes de una manera no contaminada por el programa.Estesupuestopuedeserproblemticoalrealizarevaluacionesdeimpactodeprogramasanti pobreza.Porejemplo,seevalaunprogramadondeelGobiernosecomprometeadartrabajo aquiendeseetrabajar,porunsueldoestipulado,demanerauniversal,esdecir,seentregael benefcioatodoaquelquelodesee.Todoslosparticipantesenelprograma,obtienencomo benefcio el sueldo, el mismo que se considera bajo en un contexto especfco.La universalidad deaccesosignifcaquebajoesteesquemasepuedebrindarunseguroefectivoparacombatir elriesgo.Elqueunapersonarequierauntrabajocuyaremuneracinesbaja,podrapensarse automticamente como un programaque est dirigido a las personas ms pobres.Entonces, este tipo de programas dirigidos a ciertos grupos poblacionales tendran bien defnidos quines son los participantes y quines no. En un primer momento, puede parecer apropiado el recolectar la informacin de los dos grupos y comparar los indicadores de resultado de estos como una manera de identifcar el impacto (posiblemente despus de corregir cualquier heterogeneidad observada).Sinembargo,eldiseodeevaluacinclsicapuededarunresultadoseveramente sesgado. Las ganancias de dicho programa se esparcen en el mercado laboral privado e ignoran elefectodedesbordamiento(spillover)queestotieneyporlotantosubestimanlosbenefcios. Ciertamente, si la garanta de empleo es efectiva, entonces el esquema establecer un umbral ms bajopara toda la distribucin de salarios, ya que ningn trabajador aceptar un empleo que no sea el del programa a un sueldo menor que el del programa ya que siempre puede unirse a este. Inclusosiseescogeungrupodecomparacinperfectodenoparticipantes,sepuedeconcluir queelesquemanotieneimpacto,yaquelossalariossonlosmismosparaparticipantesyno participantes, y esto no capturara las ventajas del programa en lo absoluto. Los efectos de spillovers pueden surgir tambin por intervencin del gobierno. Generalmente, no es muy claro si los recursos que se transferen a los participantes realmente fnancian al proyecto 6.LamayorpartedeltextofuetomadodeMartinRavallion EvaluatingAnti-PovertyProgramsendondeseencuentraunadescripcinenmayor detalle sobre spillovers en no participantes.16identifcado. Hasta cierto grado, toda la ayuda externa puede ser intercambiable. Se puede verifcar mediante supervisin que el subproyecto propuesto fue en efecto completado, perono se puede descartar la posibilidad de que no lo fue.Participantes y lderes locales naturalmente trataran de llevar a cabo la mejor opcin de desarrollo que consideren, a pesar de que sea algo que pensaban hacer de todas maneras con los recursos disponibles.Entonces existe otro gasto que en realidad esta siendo fnanciado por esta ayuda.De igual manera, no hay que descartar la posibilidad de que localidades que no participen, sean benefciadas por una reasignacin de gasto pblico realizada por autoridades locales, de tal manera que disminuyan el impacto de participar en el programa.Losefectosdelosdesbordamientos(spillovers)puedensubestimarlosimpactosrealesdel programa.Sinembargo,elsesgotambinpuedeorientarseenlaotradireccin;porejemplo, si el Gobierno desea demostrar el impacto de un proyecto antipobreza y decide aadir mayores recursos externos enfocados en localidades donde est el proyecto.La diferencia de resultados delosparticipantesydelgrupodecontrolestarasobredimensionandoelimpactodelaayuda externa.4.1.7 Informacin necesaria7Estclaroquelainformacininadecuadaeimperfectayaceenelcentrodelproblemadela evaluacin.Cuandoserealizaunaevaluacindeimpacto,esimportanteconocerlamayor cantidaddedetallestantoadministrativoscomoinstitucionalessobreelprograma;informacin queprovienedelamismaadministracindelprograma.Paraevaluacionesnoexperimentales, esta informacin es clave para disear un cuestionario que recolecte la informacin correcta para controlar el proceso de seleccin. El conocimiento del contexto del programa y las caractersticas del diseo pueden ayudar para manejar la seleccin en cuanto a las caractersticas no observables, Laelaboracindeevaluacionescuasiexperimentalesparaprogramasantipobrezapueden demandar grandes requerimientos de informacin.Las fuentes de informacin utilizadas pueden incluirtantoentrevistasformalescomoinformalesonoestructuradasconlosparticipantesdel programa,aligualqueinformacincuantitativademuestrasrepresentativas.Sinembargo,es extremadamentedifcilrealizarpreguntascontrafactualesenentrevistasogruposfocales;por ejemplo,tratardepreguntaraalguienqueseencuentraparticipandoenunprogramasocial losiguiente: quharasinohubieserecibidoayudadelprograma?Hablarconparticipantes delprogramapuedesermuyvalioso,peroespocoprobablequeproveaninformacincreble por s solo.Se requiere adems informacin de indicadores de resultado y variables explicativas relevantes.Lainformacinderesultadosysusdeterminantes,incluyendolaparticipacinenelprograma proviene de las encuestas.La unidad de observacin puede ser individual, de hogar, de un rea geogrfcaodealgunainstitucin(escuela,clnica,etc.)dependiendodeltipodeprograma.La informacindeencuestaspuedesercomplementadaconinformacindelprograma(talcomo labasededatosprovenientedelmonitoreodelprograma)oconinformacindelugar(bases dedatosdeanlisisgeogrfcos).Unapreocupacinquepuedesurgireslacomparabilidad oconsistenciadediferentesfuentesdeinformacin,particularmentelasutilizadasparala observacin a los participantes y no participantes.Diferencias en el diseo de los instrumentos para los cuestionarios pueden implicar diferencias signifcativas en las medidas de resultados, de tal manera que sesguen el anlisis del verdadero impacto8 . 7. La mayor parte del texto fue tomado de Martin Ravallio Evaluating Anti-Poverty Programs.8.Paraverotrasexperiencias,referirseaanlisisrealizadosporP.Shultz(2004)sobreelprogramaPROGRESAdeMxico,quedabatransferencias monetariasafamiliaspobres.Lascondicionesquedebancumplireran:tenerahijosenescuelas,asistiracentrosdesaludytomarsuplementos nutricionales. Este estudio realiz una colocacin aleatoria del programa para obtener un grupo de control o contrafctico. Otro ejemplo es el estudio de Newman et al. (2002) de un programa del Banco Mundial para Bolivia.174.1.8 Comparaciones de diferencias simples con asignacin aleatoriaUn experimento social busca aleatorizar la colocacin del programa, de tal manera que las unidades (en un conjunto defnido) tengan la misma oportunidad ex ante de recibir el programa. Todas lascaractersticas(observablesynoobservables)antesdelaintervencinsonidnticamente distribuidas entre las unidades que reciben el programa y las que no lo reciben.Por implicacin, lasdiferenciasenlasmediasdelosresultadosexpostentrelosdosgrupossonatribuiblesal programa.Laaleatorizacingarantizaquenoexistesesgoporseleccinalestimar(3.1)y(3.2) oequivalentementelaecuacindeltrminodeerror(4)esortogonalalosregresores.Losno participantes son entonces un grupo vlido de control para identifcar el contrafactual, y ATE es estimado consistentemente (no paramtricamente) por las diferencias entre las medias muestrales de YiT y YiC (incluyendo las submuestras con los valores dados de Xi).Sinembargo,apesardequelosdiseosaleatoriosseranidealesparaidentifcarelimpacto, puedensurgirvariosproblemasenlaprcticacomomencionamosenlaseccindemtodos experimentales: polticos, ticos, etc.4.2 Mtodos cuasi - experimentales9Esta metodologa intenta replicar el mtodo experimental.Existen variostipos que se detallan a continuacin.4.2.1 Mtodo de Grupos Emparejados (Propensity score matching)Esunametodologaquecorrigeporsesgodeseleccinalrealizarlasestimaciones.Aplicauna probabilidad predicha a un grupo de miembros (tratamiento vs. control) basndose en predictores observables, en general obtenidos por una regresin logstica para crear un grupo contrafctico. Trata de emparejar entre los que tienen probabilidades casi iguales, o sea, entre los ms parecidos. Estemtodoseleccionaelgrupodecomparacinconrelacinalasprobabilidadespredichas departicipacin(llamadas propensityscores).Generanunefectodetratamientopromedioo ATE;sinembargo,tieneunproblema,yesquenicamenteemparejantomandoencuentalas caractersticasobservables,peropuedenexistircaractersticasnoobservablesquesesguenlos resultados.Paracomprenderlametodologasedebeentenderloscriteriosdeasignacindel programa.Comosemencionanteriormente,alosparticipantesyalosnoparticipantesseles empareja con base en sus caractersticas similares (propensity score), P(Zi) = E(Di|Zi) (0