1

ANEXO VI.

Informe final del diseño metodológico correspondiente a la

ejecución.

El presente apartado, tiene el propósito de hacer una descripción de la actualización del

diseño metodológico,misma que complementa al descrito en el segundo entregablerealizado

y entregado a FONAES previamente como parte de laEvaluación Específica de Costo-

Beneficio (EECB) para el Programa del Fondo Nacional de Apoyos para Empresas en

Solidaridad (FONAES - 2009).

Introducción.

El análisis de la efectividad de un apoyo se define como la medición de resultados obtenidos

por la intervención de una política o programa especifico en una situación real y concreta.

Para lo cual se realiza una comparación de los costos de un proyecto con los beneficios

resultantes, para lo cual se emplean elementos del análisis Costo-Efectividad y de un análisis

Costo-Beneficio, ello con el fin de tomar en consideración los beneficios que sí sea posible

expresar monetariamente y los que no tienen dicha expresión. En éste sentido, se analizan

los costos y beneficios generados por los apoyos para abrir o ampliar negocios (AAAN). El

análisis comprende el levantamiento de una línea basal de los beneficiarios de FONAES en

2009 y los resultados obtenidos por éstos en el ejercicio fiscal 2011. El universo de análisis

es de 5,600 beneficiarios en 32 estados de la República mexicana. En el caso de los

negocios que recibieron Apoyo para Abrir un Negocio la línea basal, correspondiente a 2009,

previamente a recibir el apoyo, será igual a cero, mientras que para los negocios que

recibieron Apoyo para Ampliar un Negocio, la línea basal se hará a partir de la reconstrucción

de información sobre el número de empleados, montos de ingresos, de ventas y costos

correspondientes a 2009, previamente a recibir el apoyo. En la evaluación no se consideraun

2

grupo de control, sino una línea basal sobre los documentos presentados por los

beneficiarios para obtener el apoyo.

La Evaluación Específica de Costo-Beneficio(EECB) se realiza considerando tres aspectos:

a) Una evaluación operacional sustentada en los objetivos iniciales, indicadores y metas

establecidas en el marco del otorgamiento de los AAAN.

b) Una evaluación de método reflexivo ex post, utilizando la información de los resultados

pre y post intervención del Programa en los beneficiarios.

c) Un análisis de los costos de operación y subsidios otorgados por FONAES.

La evaluación operacional se realiza comparando los indicadores de costos y resultados

(ocupaciones generadas y preservadas, monto de ventas, ingresos) existentes en los

registros de cada uno de los negocios apoyados seleccionados en la muestra. Dichos

indicadores se consideran como el escenario estimado en 2009 y se comparan con los

resultados medidos en 2011 para las mismas variables.

La evaluación reflexiva se realiza comparando los indicadores reales de costos y resultados

que las empresas tenían en 2009, previamente a recibir el apoyo, y se comparan con sus

resultados en 2011. El análisis realizado a la información en gabinete sobre los costos de

FONAES permiten construir matrices de costos.Las matrices de costos permiten calcular los

costos unitarios por unidad de servicio (CUP) en cantidad o en valor, lo cual proporciona un

indicador de eficiencia operacional. Para FONAES la unidad de servicios se mide

alternativamente por número de empresas apoyadas, por número de ocupaciones generadas

en las empresas apoyadas y por número de ocupaciones preservadas, mientras que para las

empresas apoyadas la unidad de servicio es el volumen y el valor de sus servicios y/o

productos. Lo anterior se muestra con base en matrices de Costo-Efectividad.

La consideración de la efectividad con base en los objetivos propuestos y los alcanzados

permite realizar la evaluación operacional, con base en la transformación de las matricese

3

incorporando los beneficios reales en lugar de los estimados se obtiene la evaluación

reflexiva.La identificación de costos de FONAES se determina de acuerdo con la información

proporcionada por el Programa. La identificación de las cuentas de gasto corriente total y por

entidad federativa permite construir los siguientes indicadores de Costo:

1. Costo total / subsidio

2. Costo total por apoyo / subsidio por apoyo

3. Costo variable / subsidio

4. Costo variable por apoyo /subsidio por apoyo

5. Costo fijo / subsidio

6. Costo fijo por apoyo / subsidio por apoyo

7. Costo marginal por apoyo

Los resultados del análisis, permitirán:

a) El análisis de costos medios y marginales por apoyo.

b) El análisis del costo por negocio apoyado por representación federal

c) El análisis de los costos unitarios de operación (gasto corriente / subsidio)

En cuanto a los costos y beneficios de las empresas que recibieron apoyos del Programa,

estos se determinan para el año 2009 y el año 2011 con base en los instrumentos del

levantamiento de campo. Los costos y beneficios, estimados en los formatos de evaluación

técnica y financiera, se recogerán en las oficinas estatales utilizando información de los

expedientes de los negocios apoyados. La información que se obtiene del trabajo de campo

es:

4

a) La utilidad de operación registrada para los años evaluados, entendiendo por ésta los

ingresos obtenidos por el negocio menos los costos de operación en que incurrió.

b) La relación Costo-Beneficio de la operación para los años evaluados.

c) La obtención del número de empleos creados durante la operación de la empresa en

los años evaluados.

d) La obtención del número de empleos preservados durante la operación de la empresa

en los años evaluados.

e) La obtención del total de las remuneraciones generada a través de los nuevos

empleos creados durante el periodo de operación de la empresa.

f) La obtención del total de remuneraciones generadas a través de los empleos

preservados por la empresa durante el periodo de operación.

El análisis permite:

a) La medición del porcentaje de los negocios que en los años de operación evaluados

tuvieron relaciones Costo-Beneficio positivas.

b) La medición del porcentaje de los negocios que en el periodo incrementaron su razón

Costo-Beneficio.

c) La medición del número de ocupaciones creadas y preservadas.

d) La medición del total de remuneraciones generadas a través de las ocupaciones

creadas y preservadas.

Análisis longitudinal: Modelo estructural de línea base para evaluar los resultados en

los negocios apoyados por FONAES.

5

La medición del efecto del programa FONAES sobre los negocios apoyados, se realiza a

través de un conjunto de indicadores de resultados (los cuales son variables aproximadas o

proxy de los indicadores de desempeño)con base en un modelo estructural longitudinal de

dos momentos en el tiempo, ex-ante (línea basal) y ex-post cuando han pasado dos años

desde que recibió el apoyo. El diseño del modelo estructural longitudinal de línea base tiene

tres objetivos: 1) estimar el efecto que tiene el programa FONAES AAAN en el desempeño

de los proyectos productivos en el periodo analizado (2009-2011), 2) identificar el efecto del

apoyo AFNE en los negocios apoyados con AAAN, y 3) explicar la variabilidad de los efectos

del programa de acuerdo a una serie de características y condiciones empresariales e

institucionales que se pueden agrupar en factores externos e internos al desempeño

empresarial.1

El tipo de evaluación para medir los efectos del programa FONAES sobre los negocios

apoyados, es lo que se conoce en la literatura especializada como un método reflexivo,

diferente del método experimental o cuasi-experimental que define a las evaluaciones de

impacto.En éste sentido, el programa FONAES pretende provocar un cambio en el

comportamiento de los negocios, por lo que en un marco analítico ex post del apoyo, los

resultados esperados por la intervención del programa son los incrementos en indicadores

como la generación y preservación del empleo, los ingresos y el Costo-Beneficio de los

negocios, además de las ocupaciones.

En general existen dos metodologías analíticas para determinar el grado de asociación y/o

causalidad entre la variable de intervención –el financiamiento recibido- y el cambio

observado en los sujetos de la intervención –eneste caso los negocios- que recibieron

financiamiento. La primera, más eficiente y con mayor poder explicativo, considera un grupo

de comparación o control (sin intervención) y un grupo de tratamiento (con intervención). La

idea es comparar los resultados obtenidos por ambos grupos para un determinado conjunto

1Ver numeral III.C de este documento: Análisis Econométrico.

6

de indicadores y establecer si los cambios observados en las variables dependientes se

explican como resultado de la intervención. A esto se le denomina evaluación de impacto con

diseño cuasi-experimental. En este esquema, el reto es encontrar un grupo de comparación

o control apropiado para la una evaluación de impacto.

La segunda metodología analítica se conoce como evaluacióncon línea base, se utiliza

cuando no se tiene un diseño con grupos de control. El resultado de las variables

dependientes se obtiene de comparar la situación de los sujetos de la intervención antes y

después de la intervención del Programa. La figura 1 muestra este tipo de evaluación se

tienen dos puntos de observaciones de una intervención: por ejemplo, el ingreso pre-

intervención (Y0) y el ingreso post-intervención (Y2), con lo que uno puede suponer que el

efecto del programa es Y2 - Y0. Con esta metodología existe un sesgo de sobre-estimación,

que se deriva al suponer que el efecto real es Y2 - Y1; donde Y1 es el ingreso del grupo

control, que se identifica por la línea punteada. En la literatura, a la metodología de

evaluación con línea base se le conoce como un método reflexivo de resultado (Banco

Mundial, 2010).

FIGURA 1

EVALUACIÓN DE RESULTADOS CON LÍNEA BASE

7

t0 t1

Y1

Y0

Ind

icad

or d

e Re

sult

ado Y2

Evaluación usando comparación antes-y-después

Contrafactual Participantes

¿Impacto?

Fuente: Elaborado con base al Handbook de evaluaciones de impacto, Banco Mundial (2010).

En el caso particular de la evaluación de costo beneficio, los resultados de los indicadores

seleccionados (ocupaciones, ingreso, ventas ycosto-beneficio de los negocios), que se

obtienen para dos momentos: de los datos observados en los negocios en 2009, antes de la

intervención –que se utiliza como resultado de control o contrafactual— y los observados en

2011. No obstante que no es el método cuantitativo idóneo para atribuir los resultados de los

indicadores a la intervención del Programa, en ausencia de grupos de control (como es el

caso de FONAES) el mecanismo de serie de tiempo ayuda para hacer una reflexión sobre la

dirección del resultado más que sobre la magnitud del mismo.

La estrategia para especificar la metodología de evaluación de resultado considera que la

evaluación de resultados es sobre los negocios, lo cual tiene como consecuencias

indicadores, variables e instrumentos de medición específica y diferente a los que se

consideran en las evaluaciones con beneficiarios. En tal sentido, los elementos de discusión

del enfoque de negocios importantes para la metodología de evaluación, son:

8

1. Marco conceptual que especifica la relación del FONAES, con los efectos en

indicadores de desempeño de las empresas como son ventas, empleo y Costo-

Beneficio de los negocios apoyados.

2. Identificación de los indicadores consistentes con los objetivos del programa FONAES.

3. Diseño de los instrumentos de medición quese incluirán en las encuestas.

La evaluación de resultados consistente considera que la metodología se construye

considerando por lo menos dos factores relevantes:

a) El marco analítico donde se precisa el objetivo y los supuestos que se van a utilizar

para la evaluación.

b) El método de estimación de los resultados.

El marco analítico tiene como objetivo principal evaluar el resultado promedio del programa

FONAES en los indicadores de ventas, empleo, ocupaciones y Costo-Beneficio de los

negocios apoyados. Los supuestos que sirven de base para el análisis son:

a) La unidad de análisis son los negocios apoyados y no los individuos que los integran,

b) Los negocios no tienen más de un apoyo del programa a la vez;

c) La evaluación es ex-post a la aplicación del programa, lo que se toma en cuenta para

definir las características de los negocios en la línea base de comparación.

La figura 2 muestra las partes del marco analítico para la evaluación de resultado en las

ventas, empleo, ocupaciones y utilidades de los negocios. El momento de la evaluación se

define como (t=1) y el de la línea base de comparación (t=0). El año del levantamiento de la

encuesta es el momento de la evaluación (2011 o t=1) mientras que el año de la asignación

del apoyo como la línea base (2009 o t=0). Los indicadores de resultados se ordenan con

una variable cualitativa (D), que toma el valor de uno cuando el momento es de la evaluación

y de cero cuando es la línea base. Finalmente, los indicadores de resultados se identifican

por las variables Yt=1 y Yt=0, en los momentos de evaluación y línea base.

9

FIGURA 2:

MARCO ANALÍTICO DE LA EVALUACIÓN DE RESULTADO CON LÍNEA BASE

Fuente: Elaborado con base al Handbook de evaluaciones de impacto, Banco Mundial (2010).

Un contrafactual alternativo puede ser la comparación entre los resultados de los

participantes pre- y post- intervención del programa. Es decir, se puede comparar los

resultados ex post de los beneficiarios contra sus propios resultados antes de la intervención,

ya sea que provengan de encuestas comparables previas a la introducción del programa o,

en ausencia de un diseño de evaluación adecuado, con datos retrospectivos. Por tanto,

como se muestra en la Figura 1, se cuenta con dos puntos de observaciones para los

beneficiarios de una intervención: el resultado preintervención (Y0) y el resultado

postintervención (Y2); entonces, el efecto del programa podría ser estimado como (Y2 - Y0).

La literatura refiere a esta aproximación, como el método reflexivo de impacto, donde los

resultados de los participantes antes de la intervención fungen como resultados de

comparación o control. Sin embargo, es necesario tener en cuenta que probablemente el

método no ofrece estimados realistas de los efectos del programa. Ciertamente las series de

tiempo, como herramienta para mejorar la ruta de estimación del contrafactual, permiten

alcanzar mejores conclusiones; no obstante, no son concluyentes alrededor de los efectos

del programa. Observando la Figura 1, se puede ver, por ejemplo, que el impacto podría ser

(Y2 - Y1). De hecho, como método de diferencia simple, no sería una evaluación precisa

Programa FONAES

Reglas, objetivos y apoyos del programa

NegociosAnálisis ex post momento t =1

NegociosLínea base o contrafactual

momento t =0

Indicadores de apoyo o tratamiento (Cualitativo)

D = 1, cuando t=1

Indicadores de apoyo o tratamiento (no existente)

D = 0 , cuando t=0

Indicadores de resultados en los negocios, en el

momento t=1

Yt=1

Indicadores de resultados en los negocios, en el

momento t=0

Yt=0

10

porque otros factores (fuera del programa) pueden haber cambiado durante el período. A

menos que se lleven a cabo con suficiente detalle, las comparaciones reflexivas no pueden

distinguir entre los efectos del programa y otros efectos externos, lo que compromete la

fiabilidad de los resultados.

Las comparaciones reflexivas son útiles en la evaluación de las intervenciones de cobertura

total –v. gr. todo el país-, tales como las políticas y programas en los que participa toda la

población y no hay margen para un grupo de control. Incluso cuando el programa no es tan

de gran alcance, si los resultados de los participantes son observados durante varios años,

los cambios estructurales en los resultados podría ser la prueba del impacto. Sin embargo,

aun cuando el programa no es tan grande, con suficientes observaciones a través del tiempo,

la aplicación de metodologías para identificar cambios estructurales en las series tiempo de

resultados de los participantes, representan una herramienta útil para la identificación de los

impactos (Ravallion 2008: pp. 3816)2. Es en el sentido de esto último que, la selección del

método de evaluación –método reflexivo-, conlleva a la instrumentación de un Modelo

estructural longitudinal de línea base, para evaluar los resultados en los negocios apoyados

por el programa FONAES.

La descripción anterior permite plantear la técnica adecuada para la estimación de los

resultados atribuidos a los apoyos de FONAES. En éste sentido, el marco analítico anterior

se analiza aplicando el método de primeras diferencias temporal o con línea base en el

tiempo, (también conocido como longitudinal) en un modelo estructural. En los modelos

econométricos estructurales se considera un conjunto de causas g(Dm, PSk, X) en la

explicación de resultado, donde tal conjunto g(..) es resultado de los enfoques teóricos

relevantes, la estrategia experimental o cuasi-experimental que se utilice (Heckman y

2Ravallion, Martin. ( 2008). ―Evaluating Anti-povertyPrograms‖, in Handbook of DevelopmentEconomics, vol. 4,

ed. T. Paul Schultz and John Strauss, 3787–846. Amsterdam: North-Holland. [Part 13: Programevaluation: Methods and Applications].

11

Vytlacil, 2007)3, los supuestos de comportamiento y características de los negocios en el

momento de la evaluación y la línea base. Con el modelo estructural se puede medir el

efecto y las causas de la variabilidad de los efectos entre los negocios, con el objetivo de

garantizar que los apoyos son factores causales de tal variabilidad en los indicadores

productivos y de empleo de los negocios entre los momentos de evaluación y la línea base.

El modelo estructural es una especificación econométrica, donde la unidad de análisis son

los negocios en los momentos ex-post (t=1) y de la línea base (t=0) y la evaluación de

resultado es por la participación del programa FONAES.

De acuerdo a los puntos anteriores, es la variable donde se ordenan los resultados para

cada uno de los negocios en los momentos t=1 y t=0.

[1] = 0+ + +

En la ecuación 1 se presentan dos factores que explican la variabilidad de los resultados

entre negocios: la variable binaria que identifica la asignación o el monto del apoyo FONAES

(Di), y un conjunto de variables exógenas , que definen a los factores internos y externos

del desempeño de los negocios, antes y después del apoyo asignado por

FONAES.FONAESdel programa FONAES, (Di) y un conjunto de variables exógenas Cabe

aclarar que la sobreestimación de impacto se corrige cuando se consideran en la evaluación

grupos control, que no es el caso en este tipo de evaluación. El modelo se aplica a los

diferentes tipos de negocios, por tanto se tendrá una medición para cada tipo de apoyo. En

las variables X se consideran las aportaciones de los socios, así como todos los factores

internos y externos a los negocios.

3Heckman y Vytlacil (2007).Econometric Evaluation of social programs, part I: Causal models, structuralmodels

and econometricpolicyevaluation, en Handbook of Econometrics, Volume 6B capitulo 70.

12

La ecuación 1 se puede condicionar para analizar los resultados de efecto promedio de

impacto que considera una línea base, que se deriva de restar los valores promedio

esperado o las esperanzas de los negocios en el momento de la asignación del apoyo (t=1),

con respecto al momento previo a la asignación del apoyo (t=0), que como se observa en el

resultado de la ecuación 2 es el parámetro de la variable binaria o del monto del apoyo (D).

[2] ∆ , = ( =1, =1)− ( =0, =0)=

En la especificación del modelo (1) se hace uso de un enfoque teórico mixto, bajo el cual se

eligen determinantes externos e internos del desempeño de la empresa (ver sección III.C

Análisis Econométrico del documento Informe Final).