estudio y metodologÍa para la definiciÓn y mediciÓn de ...€¦ · en general, la metodología...
TRANSCRIPT
ESTUDIO Y METODOLOGIacuteA PARA
LA DEFINICIOacuteN Y MEDICIOacuteN DE
INDICADORES DE IMPACTO PARA
PROYECTOS DE INVESTIGACION
E INNOVACIOacuteN AGRIacuteCOLA
Gustavo Sain [Email address]
Diciembre 2016
1 Antecedentes 4
11 Objetivos del trabajo 4
12 Plan de trabajo Resultados y actividades previstas 4
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO 6
21 Definicioacuten de conceptos baacutesicos 7
22 Alcance del anaacutelisis 9
221 El Tamantildeo o dimensioacuten del Proyecto 9
222 El alcance temporal 9
223 La naturaleza del bien afectado 11
224 Valores de los Indicadores e Impactos 12
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados 15
23 Valorizacioacuten 16
231 Bienes privados 16
232 Bienes puacuteblicos valorizables 17
233 Bienes puacuteblicos no valorizables 20
3 La base de datos de FONTAGR0 22
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto 30
41 Bienes Valorizables 30
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico 30
5 Pertinencia de las metodologiacuteas existente 34
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO 34
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados
por el FONTAGRO 35
61 Etapas en la evaluacioacuten 35
7 Reflexiones finales 37
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso
de calificacioacuten de Proyectos del FONTAGRO 39
Iacutendice de Tablas
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del
bien 11
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18
Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22
Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
23
Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24
Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24
Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25
Tabla 12 Valores de la variable componente en la base de datos 26
Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
29
Tabla 14 Referencias y Programas para el ABC 30
Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33
Iacutendice de Figuras
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7
Figura 2 Esquema del impacto directo e indirecto de un Resultado 16
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39
1 Antecedentes
11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de
faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e
innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0
Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos
1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de
investigacioacuten e innovacioacuten agriacutecola
2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de
proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por
F0NTAGR0
3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales
rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten
12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados
Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido
A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto
de los proyectos de FONTAGRO y queacute indicadores se necesitan
A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y
analizar su pertinencia para evaluar el impacto de los proyectos
A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el
anaacutelisis del impacto de los proyectos del FONTAGRO
A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos
de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0
Resultado 2 Propuesta metodoloacutegica identificada y validada
A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los
principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo
A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones
A 24 Elaborar la propuesta final incorporando recomendaciones
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
1 Antecedentes 4
11 Objetivos del trabajo 4
12 Plan de trabajo Resultados y actividades previstas 4
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO 6
21 Definicioacuten de conceptos baacutesicos 7
22 Alcance del anaacutelisis 9
221 El Tamantildeo o dimensioacuten del Proyecto 9
222 El alcance temporal 9
223 La naturaleza del bien afectado 11
224 Valores de los Indicadores e Impactos 12
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados 15
23 Valorizacioacuten 16
231 Bienes privados 16
232 Bienes puacuteblicos valorizables 17
233 Bienes puacuteblicos no valorizables 20
3 La base de datos de FONTAGR0 22
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto 30
41 Bienes Valorizables 30
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico 30
5 Pertinencia de las metodologiacuteas existente 34
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO 34
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados
por el FONTAGRO 35
61 Etapas en la evaluacioacuten 35
7 Reflexiones finales 37
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso
de calificacioacuten de Proyectos del FONTAGRO 39
Iacutendice de Tablas
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del
bien 11
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18
Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22
Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
23
Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24
Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24
Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25
Tabla 12 Valores de la variable componente en la base de datos 26
Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
29
Tabla 14 Referencias y Programas para el ABC 30
Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33
Iacutendice de Figuras
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7
Figura 2 Esquema del impacto directo e indirecto de un Resultado 16
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39
1 Antecedentes
11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de
faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e
innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0
Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos
1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de
investigacioacuten e innovacioacuten agriacutecola
2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de
proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por
F0NTAGR0
3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales
rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten
12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados
Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido
A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto
de los proyectos de FONTAGRO y queacute indicadores se necesitan
A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y
analizar su pertinencia para evaluar el impacto de los proyectos
A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el
anaacutelisis del impacto de los proyectos del FONTAGRO
A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos
de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0
Resultado 2 Propuesta metodoloacutegica identificada y validada
A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los
principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo
A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones
A 24 Elaborar la propuesta final incorporando recomendaciones
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Iacutendice de Tablas
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del
bien 11
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos 12
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC 16
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales 18
Tabla 7 Valores de la variable Aacuterea de Investigacioacuten en la base de datos 22
Tabla 8 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
23
Tabla 9 Valores de la importancia del tipo de investigacioacuten en los Proyectos 24
Tabla 10 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos 24
Tabla 11 Valores del Tipo de Desarrollo encarado por el Proyecto 25
Tabla 12 Valores de la variable componente en la base de datos 26
Tabla 13 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
29
Tabla 14 Referencias y Programas para el ABC 30
Tabla 15 Herramientas de Caacutelculo del ABC en Excel 33
Iacutendice de Figuras
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7
Figura 2 Esquema del impacto directo e indirecto de un Resultado 16
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39
1 Antecedentes
11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de
faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e
innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0
Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos
1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de
investigacioacuten e innovacioacuten agriacutecola
2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de
proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por
F0NTAGR0
3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales
rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten
12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados
Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido
A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto
de los proyectos de FONTAGRO y queacute indicadores se necesitan
A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y
analizar su pertinencia para evaluar el impacto de los proyectos
A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el
anaacutelisis del impacto de los proyectos del FONTAGRO
A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos
de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0
Resultado 2 Propuesta metodoloacutegica identificada y validada
A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los
principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo
A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones
A 24 Elaborar la propuesta final incorporando recomendaciones
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Iacutendice de Figuras
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto 7
Figura 2 Esquema del impacto directo e indirecto de un Resultado 16
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos 26
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO 39
1 Antecedentes
11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de
faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e
innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0
Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos
1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de
investigacioacuten e innovacioacuten agriacutecola
2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de
proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por
F0NTAGR0
3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales
rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten
12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados
Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido
A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto
de los proyectos de FONTAGRO y queacute indicadores se necesitan
A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y
analizar su pertinencia para evaluar el impacto de los proyectos
A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el
anaacutelisis del impacto de los proyectos del FONTAGRO
A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos
de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0
Resultado 2 Propuesta metodoloacutegica identificada y validada
A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los
principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo
A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones
A 24 Elaborar la propuesta final incorporando recomendaciones
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
1 Antecedentes
11 Objetivos del trabajo El objetivo general del trabajo es el de desarrollar una metodologiacutea simple fidedigna y de
faacutecil implementacioacuten para la medicioacuten del impacto de proyectos de investigacioacuten e
innovacioacuten agriacutecola incluyendo los co-financiados por FONTAGR0
Para cumplir con este objetivo se plantean 4 objetivos especiacuteficos
1 Documentar el estado del arte sobre la evaluacioacuten de impacto de proyectos de
investigacioacuten e innovacioacuten agriacutecola
2 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar impactos de
proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por
F0NTAGR0
3 Seleccionar los indicadores claves para medir impacto y validarlos con los principales
rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
4 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten
12 Plan de trabajo Resultados y actividades previstas El trabajo considera 2 grandes resultados
Resultado 1 Marco de anaacutelisis del impacto de los proyectos definido
A11 Definir los conceptos baacutesicos para el marco de anaacutelisis para la evaluacioacuten del impacto
de los proyectos de FONTAGRO y queacute indicadores se necesitan
A12 Revisar la base de datos de FONTAGR0 conteniendo los indicadores de los proyectos y
analizar su pertinencia para evaluar el impacto de los proyectos
A13 Revisar la literatura pertinente sobre las posibles metodologiacuteas apropiadas para el
anaacutelisis del impacto de los proyectos del FONTAGRO
A13 Valorar la pertinencia de utilizar las diferentes metodologiacuteas para evaluar los impactos
de proyectos de investigacioacuten e innovacioacuten agriacutecola incluyendo los apoyados por F0NTAGR0
Resultado 2 Propuesta metodoloacutegica identificada y validada
A21 Recomendar la metodologiacutea maacutes apropiada para la evaluacioacuten de impacto de los
proyectos de investigacioacuten e innovacioacuten y seleccionar indicadores claves y validarlos con los
principales rubros agropecuarios en al menos dos paiacuteses miembros de FONTAGRO
A22 Realizar un benchmarking de otros casos similares y extraer las lecciones del mismo
A23 Presentar la propuesta en Taller con expertos y extraer recomendaciones
A 24 Elaborar la propuesta final incorporando recomendaciones
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
A25 Colaborar en la validacioacuten de la metodologiacutea en al menos dos paiacuteses miembros de
FONTAGRO
A26 Elaborar informe final y presentacioacuten para IICA directivos de FONTAGRO
coordinadores de proyectos y especialistas en monitoreo y seguimiento
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
2 Marco de anaacutelisis del impacto de los proyectos financiados por el FONTAGRO
En general la metodologiacutea para medir el impacto de la investigacioacuten ha usado uno de dos
enfoques el de los excedentes econoacutemicos o el de la funcioacuten de produccioacuten (University of
Minnesota 1981) Para este trabajo se adopta el primer enfoque y en particular el del
Anaacutelisis de Beneficio Costo (ABC) El ABC es una herramienta relativamente simple pero
muy robusta y flexible que permite incorporar varias dimensiones en el anaacutelisis y que
consiste en comparar el Valor Presente del flujo incremental de Beneficios que devenga el
uso de los resultados con Valor Presente del flujo incremental de los Costos de generar y
difundir los resultados El anaacutelisis es consistente con modelos maacutes complejos de
maximizacioacuten de beneficios dinaacutemicos pero es maacutes sencillo de estimar y de conceptualizar
Otro elemento que el anaacutelisis toma en cuenta es la dimensioacuten temporal Nos solo se
reconoce que el proceso de generacioacuten y difusioacuten toma tiempo sino tambieacuten que las
consecuencias econoacutemicas de la adopcioacuten del conocimiento en cualquier forma tienen
consecuencias presentes y futuras (largo plazo) Finalmente otro aspecto que es
relativamente faacutecil de tomar en cuenta en el anaacutelisis de costo beneficio es la variabilidad
inherente en los sistemas agropecuarios y el nivel de incertidumbre que existe en la
informacioacuten que se usa para realizar la evaluacioacuten Por estas razones una gran parte de los
estudios de medicioacuten de impacto de la Investigacioacuten e Innovacioacuten Agropecuaria (IampIA) usan
como marco analiacutetico el Anaacutelisis de Beneficio Costo (ABC)
Es importante aquiacute diferenciar los conceptos de Impacto de la inversioacuten y Eficiencia de la
Inversioacuten El primero de ellos se refiere a la magnitud de los cambios provocados por el
Proyecto mientras que el segundo se refiere al coacutemo o a que costo se obtuvo dicho
impacto Que o cual indicador es el apropiado depende de los objetivos del trabajo La
eficiencia o rentabilidad al ser una medida relativa a los costos no dice mucho por si sola
de la magnitud del impacto una alta eficiencia (rentabilidad) puede obtenerse con un
impacto pequentildeo si los costos son miacutenimos
En este caso el intereacutes parece estar maacutes en evaluar es el Impacto es decir los cambios es
decir los Beneficios en la poblacioacuten objetivo resultantes del uso de los resultados del
Proyecto y NO la eficiencia de la inversioacuten medida por la relacioacuten BC ya que no se
consideran los costos para obtener dichos beneficios Esta decisioacuten se justifica por la
complejidad de estimar los costos reales de alcanzar los impactos1 Es difiacutecil obtener la
informacioacuten de costos cuando el esfuerzo es compartido por un Plataforma de instituciones
1 Los proyectos de FONTAGRO tienen un monto de financiamiento compuesto de dos partes
1) El financiamiento del FONTAGRO
2) El financiamiento de contrapartida de los paiacuteses
La suma de ambos es una medida de la inversioacuten (costo) necesario para obtener los resultados y podriacutea usarse
esta cifra en conjunto con los beneficios esperados para estimar la rentabilidad o eficiencia Ex Ante de la
inversioacuten Sin embargo hay que tener en cuenta que estos costos de contrapartida son muchas veces estimados
con el fin de participar en el plataforma y no necesariamente se corresponden con aquellos necesarios para
obtener los resultados
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
nacionales yo privadas en diferentes paiacuteses a veces acompantildeados de instituciones
regionales yo internacionales ademaacutes del apoyo del FONTAGRO Adicionalmente existe la
dificultad de obtener informacioacuten sobre los costos de difundir los resultados en la poblacioacuten
objetivo actividad que usualmente corre por cuenta de otras instituciones puacuteblicas y
privadas sobre cuyos costos es difiacutecil obtener informacioacuten2
La metodologiacutea del ABC debe responder a tres preguntas
bull iquestQueacute costos y beneficios deben ser incluidos en el anaacutelisis
bull iquestCoacutemo van a ser evaluados los costos y los beneficios incluidos en el anaacutelisis
bull iquestCuaacutel seraacute la longitud de tiempo y a queacute tasa de intereacutes seraacuten descontadas las
consecuencias (beneficios y costos) futuras para obtener el valor presente
21 Definicioacuten de conceptos baacutesicos
Antes de definir el marco de anaacutelisis es necesario dejar establecidos algunas definiciones de
conceptos claves Dado que lo que se busca es definir una metodologiacutea sencilla para evaluar
el Impacto de los Resultados de los Proyectos apoyados por el FONTAGRO se debe
entonces establecer que se entiende por Resultado del Proyecto y que se entiende por
Impacto del Proyecto ya que cada uno de ellos tiene indicadores especiacuteficos diferentes
entre siacute Con este propoacutesito la figura siguiente muestra de forma esquemaacutetica el Ciclo de
Vida de un Proyecto financiado por el FONTAGRO
Figura 1 Ciclo de Vida de un Proyecto y la Evaluacioacuten del Impacto
2 Aunque en muchos casos los costos de transferencia pueden ser estimados (de hecho en la uacuteltima modificacioacuten
del Manual de operacioacuten se pide desglosar el rubro de capacitacioacuten y gestioacuten del conocimiento y diseminacioacuten)
sin embargo el hecho de que la diseminacioacuten ocurre despueacutes de finalizado el Proyecto agrega una dificultad
adicional a su estimacioacuten en teacuterminos reales
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Con este esquema en vista y para los fines de este trabajo se definen
Proyecto Sistema o modo de organizar la investigacioacuten que consta de un ciclo de vida de
cuatro etapas DisentildeoPreparacioacuten ndash Ejecucioacuten de Actividades ndash FinalizacioacutenResultados ndash
DifusioacutenExtensioacuten3 ndash AdopcioacutenImpacto
Resultados del Proyecto El concepto se refiere a los Productos que se obtienen de la
ejecucioacuten de las Actividades previstas en el Proyecto Los Resultados se obtienen o
producen durante la vida del Proyecto usualmente a su finalizacioacuten En general los
Resultados resuelven los objetivos especiacuteficos del Proyecto y proveen informacioacuten uacutetil para
la evaluacioacuten (tema tratado maacutes adelante)
Impacto de los Resultados del Proyecto El concepto se refiere a los cambios en ciertas
caracteriacutesticas especiacuteficas (indicadores) de la Poblacioacuten Objetivo producidos por el uso de
los Resultados del Proyecto
Poblacioacuten Objetivo El concepto se refiere al conjunto de actores que se beneficiaran por
el uso de los resultados del Proyecto y a los cuales estos estaban dirigidos Tambieacuten
3 La dinaacutemica de estas Etapas no debe tomarse de forma muy estricta Muchas veces existe Extensioacuten en la
etapa de Ejecucioacuten particularmente en aquellos proyectos colaborativos donde un sub conjunto de la poblacioacuten
objetivo participa en la elaboracioacuten y ejecucioacuten del proyecto Maacutes auacuten algunas veces ambas etapas coinciden
como es el caso de Proyectos de extensioacuten donde la Ejecucioacuten significa Extensioacuten Lo importante es que todas
las etapas esteacuten presentes y se ejecuten de forma correcta
Disentildeo y Preparacioacuten
Descripcioacuten de la Liacutenea de Basebull Seleccioacuten de
indicadores de impacto
bull Medicioacuten del Valor Inicial de los Indicadores(Io)
Difusioacuten adopcioacutende Resultados
Descripcioacuten de la liacutenea Finalbull Medicioacuten del
Valor Final de los Indicadores (It)
Antildeos
Poblacioacuten Objetivo antes de
la Intervencioacuten
Poblacioacuten Objetivo despueacutes
de la Intervencioacuten
Evaluacioacuten Ex ndashAnte del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Ejecucioacuten de las Actividades
Evaluacioacuten Ex ndash Post del Impacto de usar los Resultados por la Poblacioacuten Objetivo
Finalizacioacuten Obtencioacuten de Resultados
PresentacioacutenEvaluacioacutenAprobacioacuten
Seguimiento por ReportesAprobacioacutenReporte FinalEficacia
Subconjunto de la Poblacioacuten Objetivo que es afectada por el Proyecto
Evaluacioacuten Ex ndashAnte Ampliada del Impacto Potencial de usar los Resultados por la Poblacioacuten Objetivo
Evaluacioacuten aleatoria
cada 5 antildeos FONTAGRO
CONSORCIOPAISES
CONSORCIOPAISES
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
denominados como Beneficiarios Finales Es importante tener perfectamente identificada
la poblacioacuten objetivo desde el inicio para tener una apreciacioacuten del impacto potencial Se
debe requerir
Es decir que para que los Resultados del Proyecto tengan impacto se necesita que se
conozcan (difundan) en la Poblacioacuten Objetivo para que sean evaluados y eventualmente
adoptados (apropiacioacuten social)
Grupo Control Segmento del sub conjunto de la Poblacioacuten No -Atendida que cumple con
dos condiciones
a Sus elementos son parte de la Poblacioacuten Objetivo y
b Su uacutenica diferencia con respecto al grupo de beneficiarios es que no usa el Resultado
del Proyecto
Indicador Por indicador se entiende un valor que representa o resume determinadas
caracteriacutesticas de un sistema especiacutefico Un indicador puede ser absoluto como el
rendimiento de un cultivo determinado o relativo como la eficiencia teacutecnica en donde se
expresa el rendimiento obtenido respecto a un rendimiento maacuteximo potencial
22 Alcance del anaacutelisis Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto el alcance del
anaacutelisis debe considerar tres grandes aspectos 1) La dimensioacuten o tamantildeo del proyecto 2)
el aspecto temporal y 3) La naturaleza del bien afectado por la intervencioacuten
221 El Tamantildeo o dimensioacuten del Proyecto
Desde el punto de vista de la metodologiacutea para la evaluacioacuten del impacto se debe reconocer
dos tipos de proyectos de acuerdo a la magnitud de su impacto en el mercado del bien
afectado4 Proyecto pequentildeo o marginal y Proyecto grande o No Marginal5
Proyecto pequentildeo o marginal El concepto se refiere a aquellos proyectos cuyo impacto en
la poblacioacuten objetivo tiene una magnitud tal que NO afecta el precio del bien afectado por
la intervencioacuten del Proyecto
Proyecto grande o No Marginal El concepto se refiere a aquellos proyectos cuyo impacto
en la poblacioacuten objetivo tiene una magnitud tal que SI afecta el precio del bien afectado por
la intervencioacuten del Proyecto
222 El alcance temporal
El alcance temporal del anaacutelisis considera la ubicacioacuten del anaacutelisis del impacto en el ciclo de
vida del Proyecto A este respecto el anaacutelisis del impacto puede ser Ex ndash Ante o Ex Post
4 El concepto se aplica a bienes privados por lo que se refiere al recio del mercado 5 Esta clasificacioacuten se encuentra de forma expliacutecita o impliacutecita en la literatura sobre la evaluacioacuten del impacto
de la investigacioacuten agropecuaria Veacutease por ejemplo el trabajo pionero de la Universidad de Minnesota (1981)
el libro de Alston et al 1995) o las otras referencias que se listan en la Seccioacuten 3 de este reporte
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
dependiendo de momento en el ciclo de vida del proyecto en el cual se estaacute realizando la
evaluacioacuten La Figura anterior ilustra estos conceptos
Evaluacioacuten Ex - Ante La evaluacioacuten se realiza antes de la ejecucioacuten del Proyecto Los
resultadosbeneficios no se observan se predicen Existe un grado de incertidumbre Este
tipo de evaluacioacuten usualmente se realiza con el objetivo de establecer prioridades de
inversioacuten entre diferentes proyectos de investigacioacuten y desarrollo de nuevas praacutecticas En
estos casos interesa conocer no soacutelo el indicador econoacutemico de la rentabilidad sino tambieacuten
el riesgo asociado a la incertidumbre en alcanzar el resultado previsto
Evaluacioacuten Ex Post La evaluacioacuten se realiza despueacutes de terminado el proyecto y que los
resultados han sido adoptados por la poblacioacuten objetivo Los beneficios son observables
En este caso la evaluacioacuten se realiza para conocer los impactos de la inversioacuten realizada en
la generacioacuten yo difusioacuten de la innovacioacuten6 que se evaluacutea Esta informacioacuten es de suma
utilidad para los gerentes para justificar las actividades de investigacioacuten a su cargo La
difusioacuten de los resultados de la evaluacioacuten sirve ademaacutes para aumentar la proyeccioacuten social
de la institucioacuten que generoacute la innovacioacuten
Es importante entonces recalcar que la evaluacioacuten ex ndash post del impacto de los resultados
de los Proyectos requiere que una vez finalizado el Proyecto y alcanzados los Resultados
transcurra el tiempo suficiente para que estos resultados se difundan y conozcan por la
poblacioacuten objetivo o beneficiarios finales del Proyecto Muchas veces en caso de resultados
no solo implica transferir conocimiento sino tambieacuten capacidades por lo que este tiempo
puede ser considerable y depende del tipo de tecnologiacutea o conocimiento que se estaacute
transfiriendo
Evaluacioacuten Ex ndash Ante Ampliado Existe un caso intermedio cuando la evaluacioacuten se realiza
al finalizar el Proyecto y donde se conoce de forma experimental los efectos de los
tratamientos sobre un subconjunto de la Poblacioacuten Objetivo (Colaboradores vecinos
observadores) En este caso se trata de un tipo de evaluacioacuten Ex Ante ampliado con
informacioacuten sobre los efectos potenciales de los tratamientos sobre la poblacioacuten objetivo
y de ahiacute su nombre
Este uacuteltimo es el caso de los Proyectos financiados por el FONTAGRO la evaluacioacuten deberiacutea
transcurrir al final del periodo de financiamiento del Proyecto momento en los cuales se
han obtenido los Resultados y no se ha comenzado con su difusioacuten en la Poblacioacuten Objetivo
por lo cual se trata de una evaluacioacuten ex - ante ampliada del Impacto Potencial de los
Resultados
6 Noacutetese que al ser la praacutectica difundida y adoptada por los productores se transforma en una innovacioacuten
tecnoloacutegica
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
223 La naturaleza del bien afectado
La naturaleza del bien tiene consecuencias para la seleccioacuten de los indicadores para la
valorizacioacuten de las consecuencias de usar los Resultados por parte de la poblacioacuten objetivo
y se distinguen tres casos 1) Bienes Privados por definicioacuten valorizables a precio de
mercado 2) Bienes Puacuteblicos Valorizables de forma indirecta a traveacutes de precios sombra y
3) Bienes Puacuteblicos NO valorizables7
Bienes Privados Para este trabajo el concepto se refiere a aquellos bienes para los cuales
existe un mercado donde se establece un precio que se puede tomar como referencia para
establecer el valor de una unidad del bien Ejemplos de este tipo de bienes lo representan
los cereales la carne las frutas el pan etc
Bienes Puacuteblicos Valorizables Para este trabajo el concepto se refiere a aquellos bienes para
los cuales NO existe un mercado donde se establece un precio que se puede tomar como
referencia para establecer el valor de una unidad del bien pero SI es posible recurrir a
medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad ganada o
peacuterdida del bien Ejemplo de este tipo de bienes lo representa la erosioacuten del suelo la
contaminacioacuten del suelo del agua y del ambiente (reduccioacuten de la emisioacuten de gases de
efecto invernadero) entre otros
Bienes Puacuteblicos NO Valorizables Para este trabajo el concepto se refiere a aquellos bienes
para los cuales NO existe un mercado donde se establece un precio que se puede tomar
como referencia para establecer el valor de una unidad del bien ni tampoco es posible
recurrir a medios indirectos para obtener el valor que la sociedad le pondriacutea a una unidad
ganada o peacuterdida del bien Ejemplos de estos bienes puede ser la capacitacioacuten o la nutricioacuten
cuyos impactos fiacutesicos son susceptibles de ser medidos pero es difiacutecil ponerle un valor
monetario
Esta distincioacuten da lugar a las denominadas dimensiones de la evaluacioacuten Usualmente se
reconocen cinco dimensiones Econoacutemica Ambiental Social Institucional y de
Capacitacioacuten8 Cuando sea pertinente se hace mencioacuten a esta clasificacioacuten Por ahora la
Tabla siguiente muestra los diferentes tipos de evaluacioacuten del impacto de acuerdo con estos
tres criterios
Tabla 1 Tipos de evaluacioacuten de acuerdo al momento tamantildeo del proyecto y naturaleza del bien
Proyecto Bien afectado Indicador del
Tamantildeo del Impacto
Momento de la evaluacioacuten
Tipo de evaluacioacuten Naturaleza Valor
Marginal Ex Ante Marginal Ex Ante Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
7 Existe toda una literatura para definir los tipos de bienes de acuerdo a su naturaleza a la cual el lector se puede
referir En el caso de los bienes puacuteblicos tambieacuten se incluyen los denominados semi puacuteblicos La distincioacuten
entre valorizables y no valorizables es relativa y solo una convencioacuten de trabajo tal como se explica en el texto 8 Veacutease por ejemplo Ardila et al 1998
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Puacuteblico No Valorizable Cualitativo
Ex Post Marginal Ex Post
Privado Valorizable Precio Mercado
Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
NO marginal
Ex Ante
Privado Valorizable Precio Mercado
No Marginal Ex Ante Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
Ex Post
Privado Valorizable Precio Mercado
No Marginal Ex Post Puacuteblico Valorizable Precio Social
Puacuteblico No Valorizable Cualitativo
224 Valores de los Indicadores e Impactos
Tomando en cuenta la dimensioacuten temporal (inicial y final) y la cualidad de una unidad de la
poblacioacuten objetivo de ser usar el Resultado (intervenido por proyecto) o de No usar el
Resultado (No intervenido control o testigo) la Tabla siguiente muestra las alternativas
para medir el impacto del proyecto sobre el valor de los indicadores buscados
Tabla 2 Indicadores de acuerdo a la poblacioacuten y al momento en que son medidos
Poblacioacuten Objetivo Relaciones uacutetiles
Momento Atendida = Valor del indicador en la poblacioacuten atendida
No Atendida = Valor del indicador en la poblacioacuten control
Antes = Valor del indicador antes del Proyecto (valores iniciales)
1198830119860 1198830
119873 119860 = (1198830119860 minus 1198830
119873) 1198830119873frasl
Despueacutes = Valor del indicador despueacutes de terminado el Proyecto (
119883119879119860 119883119879
119873 119861 = (119883119879119860 minus 119883119879
119873) 119883119879119873frasl
Relaciones uacutetiles 119862 = (119883119879119860 minus 1198830
119860) 1198830119860frasl 119863 = (119883119879
119873 minus 1198830119873) 1198830
119873frasl 119864 = 119862 minus 119863
Donde
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo base (antes de comenzar el proyecto)
= Indicador en la unidad de anaacutelisis NO intervenida (testigo) en el periodo base (antes de comenzar el proyecto)
0
AX
0
NX
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Este conjunto de indicadores se denomina comuacutenmente establecimiento de la liacutenea de base o valores iniciales
= Indicador en la unidad de anaacutelisis intervenida o afectada por el proyecto en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten
= Indicador en la unidad de anaacutelisis NO intervenida en el periodo final despueacutes de la finalizacioacuten del proyecto de intervencioacuten Con estas alternativas se pueden obtener las siguientes cinco relaciones relevantes para la evaluacioacuten del impacto del proyecto
A = Mide la diferencia inicial relativa del indicador entre la poblacioacuten objetivo del Proyecto y la poblacioacuten testigo Importante para corregir los valores que se toman posteriormente Muchas veces es un indicador de la magnitud del problema que el proyecto intenta solucionar
B = Mide la diferencia relativa final despueacutes de finalizado el proyecto entre la poblacioacuten atendida y aquella que no lo fue Uacutetil para hacer comparaciones del tipo ldquocon y sin proyectordquo
C = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo afectado por el proyecto
D = Mide el cambio bruto relativo a la liacutenea base del indicador en el grupo no afectado por el proyecto Importante para identificar la influencia de factores exoacutegenos al proyecto que afectan el desempentildeo del indicador E = (C ndash D) Progreso Neto del Proyecto relativo a la liacutenea base y al progreso del testigo Esta tasa de progreso es neta de efectos externos que actuacutean sobre la variable de intereacutes Tambieacuten se
podriacutea estimar como la relacioacuten CD si esta es 1 quiere decir que todo el progreso registrado es independiente del proyecto a menos que haya un fuerte efecto de desborde (spillover) entre el Proyecto y el Testigo
Ejemplo
El Proyecto difundioacute una variedad mejorada de maiacutez en una regioacuten determinada con el
objetivo de aumentar el rendimiento Despueacutes de 3 antildeos de difusioacuten de la variedad el equipo
identificoacute al rendimiento de maiacutez en tha (Y) como el indicador relevante del impacto del
proyecto Los resultados fueron
Momento Poblacioacuten Objetivo
Relaciones Atendida No Atendida
Antes 15 tha 23 tha A = -35
Despueacutes 30 tha 30 tha B = 0
Relaciones C =100 D = 30 E = 70
Los resultados alcanzados se interpretan de la forma siguiente
A = Al inicio del periacuteodo de anaacutelisis la poblacioacuten atendida tiene un rendimiento 35 inferior al control
A
TX
N
TX
0 0 0( ) A N NX X Xminus
( ) A N N
T T TX X Xminus
0 0( ) A A A
TX X Xminus
0 0( ) N N N
TX X Xminus
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
B = Al final del periacuteodo de anaacutelisis la poblacioacuten afectada por el proyecto tiene un rendimiento similar a la no afectada C = Al final del periacuteodo los agricultores atendidos duplicaron sus rendimientos D = Al final del periacuteodo los agricultores no atendidos aumentaron sus rendimientos en 30 E = Al final del periacuteodo del aumento del 100 en los agricultores atendidos 30 se debe a factores externos y 70 es atribuible al Proyecto
El anaacutelisis economeacutetrico de la doble diferencia requiere estimar la siguiente funcioacuten
Y = 0 + 1D1 + 2D2 + 3 D1D2 + Otros factores afectando a Y + u
Y = Indicador (por ejemplo rendimiento)
D1 = 1 para observaciones al momento de la evaluacioacuten (despueacutes de finalizado el Proyecto)
= 0 para observaciones en la line base
D2 = 1 para observaciones de adoptadores
= 0 para observaciones de NO adoptadores
El paraacutemetro de intereacutes es 3 que representa el impacto neto del proyecto (Celda K en la
Tabla) El modelo ignora el efecto de desborde que podriacutea existir entre ambas poblaciones
y por lo tanto subestima el impacto si estos desbordes son positivos
La estimacioacuten se hace usando datos obtenidos mediante un muestreo aleatorio de la
poblacioacuten de adoptadores y no adoptadores (seccioacuten cruzada) y una serie de tiempo (inicio
del proyecto y despueacutes de finalizado el proyecto)
La Tabla siguiente ilustra las relaciones entre los paraacutemetros estimados
Adoptador No Adoptador Diferencia
Antes β0 + β1 β0 (β1) = ldquoArdquo
Despueacutes β0 + β1 + β2 + β3 β0 + β2 (β0 + β3) = ldquoBrdquo
Diferencia (β2 + β3) = ldquoCrdquo (β2) = ldquoDrdquo (β3) = ldquoErdquo
El problema surge con consideraciones de sobre que sub conjunto o segmento de la
poblacioacuten objetivo medir el indicador y de coacutemo asociar los cambios observados al
Resultado del Proyecto El denominado problema del contrafactual surge del hecho de que
una vez que la unidad (finca empresa) decide usar (adoptar) el Resultado se convierte en
el segmento tratado de la poblacioacuten objetivo y desaparece la posibilidad de tener la misma
unidad no tratada de manera que no es posible observar el resultado que hubiera mostrado
la unidad si no hubiera adoptado el Resultado
Ya que no es factible en la praacutectica algo similar se realiza mediante la identificacioacuten de
grupos de comparacioacuten no participantes mdash ideacutentica en todos los sentidos al grupo que
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
recibe la intervencioacuten salvo que los grupos de comparacioacuten no reciben la intervencioacuten Hay
dos formas de conseguirlo a traveacutes de los llamados meacutetodos Experimentales o Cuasi
Experimentales y de los meacutetodos No Experimentales (Tabla) No se va a profundizar en
estos meacutetodos ya que su aplicacioacuten requiere de praacutecticas economeacutetricas algunas veces
complejas por lo que se cae fuera del alcance de este trabajo Los lectores interesados
pueden recurrir a las referencias citadas en la Tabla de la Seccioacuten 3 en particular el libro
de Alston et al 1995 o el trabajo de la Universidad de Buenos Aires (2014) son muy uacutetiles
Meacutetodo Descripcioacuten
Experimental
Al inicio del Proyecto se asigna al azar las unidades de la Poblacioacuten Objetivo que usaran el Resultado (Tratados) y los que No lo usaran (Control) Se usa en medicina Difiacutecil de implementar en el contexto de la investigacioacuten agropecuaria
No Experimental
Doble Diferencia Es la que se presenta en la Tabla Anterior Popular Se puede estimar por regresioacuten usando datos de panel
Variables instrumentales Cuando intervienen caracteriacutesticas observables o no observables que afectan al impacto estas son incorporadas en la regresioacuten para ser tenidas en cuenta
Propensity Score Meacutetodo que trata de encontrar unidades que no usan el Resultado similares a aquellas que si han adoptado El uso de este meacutetodo ha sido denominado como cuasi experimental ya que el uso del propensity score hace que el grupo control sea estadiacutesticamente equivalente al grupo tratado
Regresioacuten Discontinua Este meacutetodo tambieacuten cuasi experimental se usa cuando es posible identificar un claro corte en la variable de intereacutes entre el grupo tratado y no tratado Mediante una variable auxiliar en la regresioacuten se busca identificar la diferencia entre ambos grupos
225 Medicioacuten de las consecuencias fiacutesicas de los Resultados
Las consecuencias del uso de los resultados de un Proyecto son muacuteltiples e incluyen no solo
aquellas resultantes de los cambios en el sistema de produccioacuten (cambios en productividad
en costos o en calidad del producto) sino tambieacuten los cambios indirectos resultantes de
cambios en la calidad de los recursos naturales del ecosistema lo que conlleva a una
reduccioacuten en la produccioacuten de externalidades negativas como la contaminacioacuten del suelo y
agua y la peacuterdida de biodiversidad y despueacutes de pasado un tiempo el aumento en la calidad
del recursoambiente se refleja en el sistema de produccioacuten (productividad costos o
calidad)
La Figura 3 ilustra el concepto de forma esquemaacutetica La introduccioacuten de un Tratamiento
resultante del Proyecto en el sistema de produccioacuten produce un impacto directo sobre el
rendimiento representado por ΔYΔT en la Figura y un impacto indirecto a traveacutes del
mejoramiento de la calidad del recurso ΔSΔT y del impacto de esta mejora en el
rendimiento representado por ΔYΔS Todos estos impactos son condicionados por las
condiciones agroclimaacuteticas fuera del control del productor
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Figura 2 Esquema del impacto directo e indirecto de un Resultado
En cuanto a la informacioacuten necesaria para estimar los cambios fiacutesicos producidos por la
incorporacioacuten del Resultado en el sistema hay que distinguir entre la evaluacioacuten ex ante y
la ex post
Tabla 3 Tipo de evaluacioacuten e informacioacuten necesaria para caracterizar las praacutecticas ASAC
Tipo de evaluacioacuten
Hay Difusioacutenuso
Informacioacuten para descripcioacuten de praacutecticas y sus consecuencias
Ex - Ante NO9
En este caso la descripcioacuten de los resultados se hace en el presente mientras que la descripcioacutenmedicioacuten de sus impactos es
prospectiva es decir proyectada al futuro y se basa en datos experimentales y consulta a expertos
Ex -Post SI
En este caso los resultados ya han sido difundidos por lo que su descripcioacuten se realiza en un tiempo pasado mientras que sus
impactos pueden ser medidos en el presente a traveacutes de encuestas a grupos de adoptadores y de no adoptadores
23 Valorizacioacuten
231 Bienes privados
La valorizacioacuten de los bienes privados se obtiene directamente mediante la ponderacioacuten del
impacto fiacutesico por el precio del bien para obtener los Beneficios Brutos del uso del bien
Dado que el uso de los resultados se extenderaacute durante un cierto nuacutemero de antildeos se debe
estimar el flujo de Beneficios Brutos a lo largo del periodo en que se estima el resultado
este en uso (ciclo de vida de la tecnologiacutea)
9 Puede haber un uso de la tecnologiacutea por aquellos productores que participan y posibles vecinos que copian el
tratamiento
Rendimiento(Y)
Calidad recurso(S)
Condiciones agroclimaacuteticas
Uso Resultado
(T)
Y S
S T
Y T
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Una vez determinado el flujo incremental de Beneficios Brutos la informacioacuten se resume en
el Valuar Actual (VA) indicador que estima cuaacutento vale hoy el flujo de beneficios futuros
estimado a una cierta tasa de descuento ldquorrdquo que representa el costo de capital maacutes una
prima por el riesgo de cambiar la praacutectica para el productor10
119881119860 = sum∆119861119861119905
(1+119903)119905119905=119879119905=1
232 Bienes puacuteblicos valorizables
El Valor de los Bienes Puacuteblicos Valorizables se estima mediante la ponderacioacuten del cambio
en fiacutesico como consecuencia del uso de los Resultados (∆S) por el precio sombra (Ps) de
dicho efecto (Horwarth y Farber 2002)
119881119861119875 = Δ119878 lowast 119875119904
Donde VBP es el valor del bien puacuteblico ΔS es el cambio en la bien puacuteblico como
consecuencia del uso del resultado del Proyecto y Ps es el precio sombra que expresa la
contribucioacuten marginal del efecto externo al bienestar social expresado en unidades
monetarias Mientras que la identificacioacuten de los cambios fiacutesicos (ΔS) es una cuestioacuten
empiacuterica su valorizacioacuten requiere de la obtencioacuten del precio sombra (Ps) a traveacutes de los
diferentes meacutetodos desarrollados con este propoacutesito basados en la economiacutea del bienestar
La Tabla siguiente muestra las principales caracteriacutesticas de las cuatro grandes categoriacuteas
de teacutecnicas desarrolladas para valorizar los efectos sobre los bienes puacuteblicos La aplicacioacuten
de cada una de ellas depende del tipo de bien puacuteblico que se esteacute evaluando y de la
disponibilidad de recursos econoacutemicos humanos y de tiempo por parte del usuario de la
metodologiacutea
10 La tasa de descuento a usar debe reflejar el costo de oportunidad del capital En general en proyectos de
intereacutes social esta tasa de descuento refleja el costo del capital para el paiacutes o sociedad en general
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Tabla 4 Principales metodologiacuteas para la evaluacioacuten de las externalidades ambientales
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Meacutetodo de mercado
convencional
Dosis - Respuesta
Asocia un nivel de externalidad con un cambio en un producto que pueda valorizarse a precios de mercados o precios sombra o de oportunidad
Es raacutepido y relativamente faacutecil de usar si existen estimaciones previas En caso de no haberlas la mayor dificultad del meacutetodo es el de estimar la relacioacuten fiacutesica entre la externalidad y (dosis) y la produccioacuten o productividad (respuesta) Anaacutelisis de regresioacuten muacuteltiple es comuacutenmente usada con este propoacutesito
Costo de reposicioacuten
Estima el costo de reparar o reponer el dantildeo causado por la externalidad y toma este costo como el valor de su reparacioacuten
Tambieacuten raacutepido de usar si existen estimaciones previas Si no se debe estimar el costo del dantildeo provocado por la externalidad y estimar el costo de reparacioacuten necesario para ponerlo en el estado inicial
Meacutetodo de la funcioacuten de produccioacuten Costo de viaje
Estima el costo de viajar para disfrutar de la externalidad
Muy usado para valuar caracteriacutesticas de sitios recreativos Su estimacioacuten usa meacutetodos economeacutetricos complicados (modelos de eleccioacuten discreta) en donde se entrevista a la poblacioacuten de visitantes al parque o sitio recreacional fuente de las externalidades y se intenta relacionar el costo del viaje con las caracteriacutesticas del sitio y las caracteriacutesticas de las familias
Gastos en sustitutos Estima los gastos en sustitutos por el cambio provocado por la externalidad
Muy poco usado ya que se limita a casos donde las familias gastan dinero para mitigar los dantildeos ambientales por ejemplo gastos para aplacar el ruido Se entrevista a familias afectadas por la externalidad y se estima el gasto realizado para aplacar la externalidad Es costoso por la cantidad de entrevistas a realizar
Meacutetodo de los Precios hedoacutenicos
Precios hedoacutenicos Estima los precios impliacutecitos en los atributos de la externalidad que son valorados en el mercado
Usados en el anaacutelisis de las causas de adopcioacuten de praacutecticas particularmente de variedades mejoradas Es complicado ya que usa regresioacuten muacuteltiple para estimar el precio impliacutecito de las caracteriacutesticas de la externalidad Usado para determinar el valor de las caracteriacutesticas de la externalidad para la comunidad beneficiaria Su costo variacutea dependiendo de cuaacuten grande sea la poblacioacuten de beneficiarios
Premio salarial por riesgo
Estima el valor del premio a pagar por compensacioacuten por riesgos laborales en tareas peligrosas para la salud
Solo se usa en casos laborales
Meacutetodos Experimentales
Valuacioacuten contingente
Estima las preferencias y disposicioacuten a pagar por la externalidad
Se le pregunta directamente a la gente cuanto estariacutea dispuesto a pagar por conservar o reponer un ambiente especifico que puede ser o ha sido afectado por una externalidad Complicado de usar debido a varios sesgos que se han identificado en su aplicacioacuten y los altos costos implicados en levantar la informacioacuten
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
Categoriacutea Enfoque Descripcioacuten Caracteriacutesticas Ventajas y desventajas
Ranking Estima el orden de las preferencias por diferentes niveles de la externalidad
Similar al anterior
Fuente Elaborada con base en Pearce (1993) y Azqueta Oyarzun (1994)11
11 Pearce DW 1993 Economic Values and the Natural World The MIT Press Cambridge Massachusetts
Azqueta Oyarzun D 1994 Valoracioacuten Econoacutemica de la Calidad Ambiental McGraw-HillInteramericana de Espantildea
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
20
En este trabajo se propone usar el meacutetodo de la dosis ndash respuesta o el del costo de
reposicioacuten como mecanismo para obtener el precio sombra de valor del bien
233 Bienes puacuteblicos no valorizables
Cuando la valorizacioacuten de los bienes puacuteblicos se hace demasiado difiacutecil sino imposible
entonces se debe recurrir a meacutetodos alternativos para medir los beneficios 12
Una alternativa es expresar los Beneficios en teacuterminos de unidades fiacutesicas (Q) como por
ejemplo No de productores capacitados y expresarlos en teacuterminos de la Relacioacuten Costo
por unidad de producto (Costo Efectividad del Proyecto) Este no es un anaacutelisis del impacto
sino de la eficiencia para alcanzar dicho impacto el resultado es uacutetil para fines de
comparacioacuten y de esa manera ordenar Proyectos13 de acuerdo con su costo efectividad
119888 = 119862119876
Donde c= costo por unidad C = Costo del Proyecto Q = Aumento de Producto esperado del
Proyecto
Usualmente se tiene de forma Ex ndash Ante el presupuesto del Proyecto con cuyo valor se
puede estimar la efectividad del costo de forma Ex ndashAnte
La Evaluacioacuten cualitativa del impacto usando una escala nominal es otra alternativa para
usar en casos de este tipo de bienes Una escala ampliamente usada y aceptada en la
literatura es la escala de Liekert basada en 5 valores para medir actitudes o
predisposiciones Los pasos a seguir para la elaboracioacuten de la escala son
1 Definicioacuten nominal de la variable a medir Ejemplo La Capacitacioacuten del Proyecto
estaacute dirigida a reducir el Nivel de Empleo
2 Medicioacuten de la variable Dos formas principales dependiendo del nivel de
conocimiento previo
i Sin informacioacuten previa Se levanta informacioacuten sobre la percepcioacuten de la
magnitud del cambio del resultado (la Capacitacioacuten) sobre el nivel de empleo en
la comunidad a traveacutes e una escala como la siguiente
Indicador Valor de la escala
12 Existen algunos paquetes que realizan un anaacutelisis cualitativo complejo del impacto ex post con escalas
nominales ponderadas por factores que realzan la importancia de cada uno de ellos En el caso de los factores
ambientales un buen ejemplo de este tipo de paquetes es el AMBITEC elaborado por EMBRAPA Fue usado
en la uacuteltima evaluacioacuten de los Proyectos de FONTAGRO (veacutease Sain G J E Sepuacutelveda J Ardila N Chalabi
P Henriacutequez y H Li Pun 2014 Contribucioacuten de FONTAGRO al Desarrollo Econoacutemico de Ameacuterica Latina y
El Caribe Documentacioacuten y evidencias de los Resultados en Proyectos Colaborativos 13 Los proyectos a ser comparados deben tener el mismo producto
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
21
Concepto Muy negativo Negativo Sin cambio Positivo Muy positivo
Valor -2 -1 0 1 2
ii Con informacioacuten previa Existe un conocimiento previo que se expresa en forma
de proposicioacuten (presuncioacuten de impacto de los resultados del proyecto) que se
somete a consideracioacuten Por ejemplo Cuan de acuerdo estaacute con la siguiente
proposicioacuten ldquo El Resultado del Proyecto causoacute un impacto muy positivo sobre el
nivel de empleo en la Comunidadrdquo
Indicador Grado de acuerdo
Concepto Totalmente en desacuerdo
Desacuerdo Indiferente Parcialmente de acuerdo
Totalmente de acuerdo
Valor 1 2 3 4 5
Existen meacutetodos para traducir escalas nominales en indicadores cuantitativos pero siempre
se basan en recabar las opiniones o percepciones de los ldquoexpertosrdquo acerca del fenoacutemeno
en cuestioacuten
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
22
3 La base de datos de FONTAGR0 Antes de comenzar el anaacutelisis de la base de datos y sus indicadores respecto al anaacutelisis de
los impactos se debe establecer que dicha base de datos NO se elabora con el objetivo del
anaacutelisis del impacto sino con un objetivo maacutes general de caracterizar los Proyectos
aprobados por el FONTAGRO Para el anaacutelisis se toma el concepto de que una base de datos
contiene los objetos (unidades = Proyecto) del anaacutelisis en las filas y las variables que
caracterizan dichas unidades en las columnas Idealmente cada fila deberiacutea representar
una unidad de anaacutelisis diferente
La base de datos del FONTAGRO almacena informacioacuten relevante de 74 Proyectos
financiados por el FONTAGRO entre el antildeo 1998 y el 201014 Nueve variables fueron
incorporadas en la base de datos para caracterizar los Proyectos i) Aacuterea de Investigacioacuten ii)
Tipo de Investigacioacuten iii) Tipo de Innovacioacuten iv) Tipo de Desarrollo v) Componente vi)
Indicador vii) Unidad viii) Valor Antes ix) Valor Despueacutes 15
A continuacioacuten se analiza cada uno de ellas en teacuterminos de su relevancia o pertinencia para
la evaluacioacuten del impacto
i) Aacuterea de Investigacioacuten
Esta caracteriacutestica se refiere al objeto de atencioacuten del Proyecto es decir a la principal
actividad de la economiacutea sobre la cual se enfoca el Proyecto Toma una gran diversidad de
valores que se listan en la Tabla siguiente
Tabla 5 Valores de la variable Aacuterea de Investigacioacuten en la base de datos
Aceite de Palma Frijol Cambio Climaacutetico - Maiacutez y Frijol
Pasturas
Acuicultura Frutales Andinos Exoacuteticos
Cambio Climaacutetico - Papa Plaacutetano
Agricultura Familiar - Productos Orgaacutenicos
Frutas Amazoacutenicas Cambio Climaacutetico - Papa y Trigo
Recursos Naturales - Agua
Aguacate Frutas Tropicales Cambio Climaacutetico - Poliacuteticas Sistema de Informacioacuten
Alfalfa Ganaderiacutea y Forestacioacuten
Camote Smilax ssp
Arroz Ganaderiacutea y Recursos Forrajeros
Cebada Solanaacuteceas
Arroz y Frijol Guayaba Estudios Socioeconoacutemicos - Agricultura Familiar
Tomate
Banano Inocuidad Alimentaria
Estudios Socioeconoacutemicos - Cereales oleaginosas y otros
Trigo
Banano y Plaacutetano Lulo y Mora Estudios Socioeconoacutemicos - Pobreza y Ambiente
Yuca
Bioinsumos Maiacutez Forestacioacuten - Nothofagus Mico insecticidas
14 El anaacutelisis se realiza sobre la base de datos del FONTAGRO obtenida mediante la descarga de la base en
formato de Valores Separados por Coma y luego leiacuteda con Excel Como resultado se obtiene una plantilla con
9 columnas (variables) y 1665 observaciones 15 En la actualidad se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la
poliacutetica de gestioacuten de conocimiento y comunicacioacuten vigente
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
23
Biacuteo -insumos - Plaacutetano y Hortiacutecolas
Maiacutez y Frijol Cambio Climaacutetico - Cafeacute Papa
Buenas Praacutecticas Agriacutecolas
Maiacutez Frijol Chile Yuca
Cambio Climaacutetico - Ganaderiacutea Papaya
Cafeacute Manzano Cambio Climaacutetico - Ganaderiacutea y Forestacioacuten
En relacioacuten a su pertinencia a la evaluacioacuten de impacto estos valores o categoriacuteas pueden
agruparse de acuerdo con su naturaleza en dos grandes clases y ambas conteniendo algunas
subcategoriacuteas como sigue
bull Aacutembito Privado
o Cultivos
o Ganaderiacutea
o Sistemas Productivos
bull Aacutembito Puacuteblico Semipuacuteblico
o Recursos Naturales Clima y Ambiente
o Informacioacuten socioeconoacutemica y otra naturaleza
Dentro de estas grandes categoriacuteas y subcategoriacuteas podriacutean distinguirse algunas sub ndash sub
-categoriacuteas como en el caso de cultivos anuales y perennes y la ganaderiacutea de carne y de
leche pero por ahora no se requiere esta distincioacuten
Agrupados de esta forma los valores en la base de datos que se resumen en la Tabla
siguiente muestran una total predominancia de Proyectos en el aacutembito privado enfocados
en cultivos ya sea anuales o perennes como frutales Los proyectos forestales se incluyeron
en la categoriacutea de recursos naturales
Tabla 6 Naturaleza de los bienes afectados por los Proyectos financiados por FONTAGRO
Aacutembito
Privado 82
Cultivos 74
Ganaderiacutea 6
Sistema agro productivo 3
Puacuteblico Semipuacuteblico 18
RRNN Clima y Ambiente 14
Informacioacuten capacitacioacuten 4
100
ii) Tipo de Investigacioacuten
Esta caracteriacutestica identifica que tipo de investigacioacuten se ejecutoacute en el Proyecto Se
distinguen tres de los valores adjudicados a esta caracteriacutestica que responden a la
naturaleza y uso de los Resultados a ser obtenidos y son mutuamente excluyentes ldquoBaacutesicardquo
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
24
(se refiere a investigacioacuten dirigida a generar nuevo conocimiento (denominada de
laboratorio ya que usualmente este tipo de investigacioacuten se lleva a cabo en ese aacutembito)
Aplicada (se pasa al ensayo de parcela) y Adaptativa (se pasa a proyectos piloto con
productores) Adicionalmente se agrega una cuarta categoriacutea Investigacioacuten Estrateacutegica
cuando las resultados de la investigacioacuten afecta a todo un paiacutes regioacuten como los estudios
socioeconoacutemicos sociales etc) categoriacutea que responde maacutes a la dimensioacuten geograacutefica del
Proyecto que de los resultados en si y que no es excluyente con lo que se introduce
ambiguumledad en la clasificacioacuten Por ejemplo una investigacioacuten Aplicada o Baacutesica puede ser
Estrateacutegica o no de acuerdo al aacutembito geograacutefico que aplique16
Los valores en la base de datos que se muestran en la Tabla siguiente ilustran la
predominancia de la investigacioacuten baacutesica posiblemente centrada en el mejoramiento
geneacutetico de cultivos y animales
Tabla 7 Valores de la importancia del tipo de investigacioacuten en los Proyectos
Tipo de investigacioacuten
Adaptativa 6
Aplicada 6
Baacutesica 82
Estrateacutegica 6
En general este tipo de variable se usa para el anaacutelisis de las causas de la variabilidad entre
Proyectos del impacto y no tanto para estimar el impacto en siacute mismo
iii) Tipo de Innovacioacuten
Esta variable se refiere a la naturaleza del cambio en la poblacioacuten objetivo inducido por los
resultados del Proyecto17 Se reconocen tres valores de acuerdo a la naturaleza del aacutembito
donde se produce la adopcioacuten del Resultado Institucional Organizacional Tecnoloacutegica
predominando en la base de datos la innovacioacuten tecnoloacutegica sobre los otros dos tipos de
cambios por lo que estas categoriacuteas podriacutean subsumirse en una
Tabla 8 Valores de la importancia del tipo de innovacioacuten impliacutecito en los Proyectos
Tipo de innovacioacuten
Institucional 1
Organizacional 4
Tecnoloacutegica 95
16 Ademaacutes de la dificultad de que puede cambiar de paiacutes en paiacutes Es decir una misma investigacioacuten pude ser
estrateacutegica para un paiacutes pero no serlo en otro 17 Esta definicioacuten es consistente con aquella aceptada por FONTAGRO y aprobada por el CD que define
innovacioacuten cuando el beneficio alcanza a la sociedad ya que para que haya beneficio tiene que haber adopcioacuten
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
25
iv) Tipo de Desarrollo
En este caso la variable se refiere a la naturaleza del Problema ndash Solucioacuten que el Proyecto
intenta solucionar En la base de datos se reconocen 10 valores18 para esta variable siendo
los maacutes importantes el mejoramiento geneacutetico baacutesico y el manejo integrado de plagas
(Tabla)
Tabla 9 Valores del Tipo de Desarrollo encarado por el Proyecto
Tipo de Desarrollo
Manejo Integrado de Plagas 236
Geneacutetica Baacutesica 216
Cadena de Valor 163
Practicas Agronoacutemicas 141
Resistencia a Plagas y Enfermedades 135
Meacutetodo de Diagnoacutestico 54
Manejo de Postcosecha 35
Resistencia a Plagas y EnfermedadesTolerancia a sequia
10
Sistema de Informacioacuten (Desarrollo) 10
Tolerancia a sequia 01
Estas categoriacuteas podriacutean subsumirse en cinco cuatro considerando las diferencias en
estreses bioacuteticos y abioacuteticos y un quinto considerando los efectos fuera de la funcioacuten de
produccioacuten de la unidad productiva
1 Mejoramiento geneacutetico (productividad resistencia tolerancia)
2 Sequia
3 MIP
4 Manejo
5 Cadena de Valor ndash Sistema de informacioacuten
Esta variable al igual que la anterior no tiene demasiada importancia para el disentildeo de la
metodologiacutea para la evaluacioacuten del impacto
v) Componente
Se trata de una variable auxiliar que sirve para categorizar agrupar la gran
infinidaddiversidad de indicadores que tienen los proyectos Por ejemplo si un usuario
estaacute interesado en conocer los indicadores de ldquoFortalecimiento de Capacidadesrdquo de uno
varios o todos los proyectos selecciona en la base de datos en la columna campo de dato
ldquoComponenterdquo la opcioacuten ldquoFortalecimiento de Capacidadesrdquo y alliacute obtendraacute todos los
18 Se tiene previsto modificarajustar esta categorizacioacuten de los proyectos de acuerdo a la poliacutetica de gestioacuten de
conocimiento y comunicacioacuten
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
26
indicadores de los proyectos en ese componente Similares buacutesquedas pueden aplicarse a
otras categoriacuteas dentro de las opciones ldquocomponenterdquo Se reconocen 7 categoriacuteas
predominando la categoriacutea Proyecto con maacutes del 40 y Produccioacuten con casi el 30 (Tabla)
Tabla 10 Valores de la variable componente en la base de datos
Proyecto 43
Produccioacuten 28
Fortalecimiento de Capacidades 13
Recursos Geneacuteticos 8
Socioeconoacutemico 5
Industrial 3
Ambiental 02
Al igual que las dos anteriores la variable no tiene demasiada importancia para el disentildeo
de la metodologiacutea para la evaluacioacuten del impacto
vi) Indicador Detalle
Esta variable se refiere al nombre de los indicadores identificados para caracterizar el
Proyecto En total se identificaron maacutes de 700 indicadores con diferentes nombres en los
74 proyectos de la base de datos Estos indicadores se distribuyen en los proyectos a razoacuten
de una media de 22 indicadores por Proyecto y una moda de 16 La Figura siguiente muestra
la distribucioacuten de frecuencias del nuacutemero de indicadores por proyecto
Figura 3 Frecuencia del nuacutemero de indicadores por proyecto en la base de datos
Un anaacutelisis del listado de indicadores propuesto muestra que algunos de estos indicadores
se refieren a Caracteriacutesticas de los proyectos mientras que otros se refieren a actividades
realizadas y otros a sus Resultados yo Impactos Los indicadores de caracteriacutesticas del
5
37
15
11
31 2
0
5
10
15
20
25
30
35
40
1 a 10 11 a 20 21 a 30 31 a 40 41 a 50 51 a 60 mas de 60
Frecuencia absoluta
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
27
Proyecto pueden ser uacutetiles para explicar las causas de una cierta distribucioacuten de los
impactos de los proyectos es decir porque algunos proyectos tienen un mayor impacto que
otros Por otro lado los impactos de los proyectos se relacionan con las caracteriacutesticas de
los Resultados y de la Poblacioacuten Objetivo por lo que una primera tarea a realizar es
identificar ambos grupos en el conjunto de indicadores
A continuacioacuten se presentan dos ejemplos de Proyectos sus indicadores y su clasificacioacuten
Ejemplo 1 Proyecto Desarrollo de tecnologiacuteas para el manejo integrado de la fusariosis de la
espiga de trigo
N Indicadores en la base de datos Indicador de
1 Aumento del ingreso Impacto
2 Cantidad de cruzas realizadas para incorporar resistencia - Argentina Actividad
3 Cantidad de cruzas realizadas para incorporar resistencia - Uruguay Actividad
4 Cantidad de cultivares antiguos con alta resistencia tipo II a Fusarium - Argentina Resultado
5 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Argentina
Resultado
6 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Paraguay
Resultado
7 Cantidad de cultivares comerciales con alta resistencia tipo II a Fusarium - Uruguay Resultado 8 Cantidad de genotipos analizados Resultado 9 Cantidad de liacuteneas avanzadas con alta resistencia a FET - Argentina Resultado 10 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Paraguay Resultado 11 Cantidad de liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 12 Cantidad de liacuteneas avanzadas en vivero con resistencia a FET Resultado 13 Cantidad de liacuteneas avanzadas y variedades con bajos coeficientes de infeccioacuten Resultado 14 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - CIMMYT Resultado 15 Cantidad de nuevas liacuteneas avanzadas con alta resistencia tipo II a FET - Uruguay Resultado 16 Cantidad de trigos ancestrales con baja infeccioacuten Resultado 17 Plataforma Caracteriacutestica
18 Estado Caracteriacutestica 19 Fondo BID Caracteriacutestica 20 Fuentes de resistencia a fusariosis Actividad
21 Organismo Ejecutor Caracteriacutestica
22 Paiacutes ejecutor Caracteriacutestica
23 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 1999 Resultado 24 Porcentaje de infeccioacuten tipo II en trigos sinteacuteticos - Meacutexico 2000 Resultado 25 PresentacionesSeminariosTalleres Actividad
26 Publicaciones Resultado
27 Reduccioacuten de costos directos ResultadoImpacto
28 Reduccioacuten del uso de agroquiacutemicos ImpactoImpacto
29 Seleccioacuten de variedades Actividad
30 Teacutecnicos y profesionales capacitados Resultado
31 Titulo Simple Caracteriacutestica
32 Total Caracteriacutestica
Ejemplo 2 Evaluacioacuten de los cambios en la productividad del agua frente a diferentes escenarios
climaacuteticos en distintas regiones del Cono Sur
N Indicadores en la base de datos Indicador de
1 Cantidad de accesiones testeados Actividad
2 Cantidad de Hiacutebridos testeados Actividad
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
28
N Indicadores en la base de datos Indicador de
3 Cantidad de racimos Actividad Cartillas elaboradas Actividad Plataforma Actividad
Cuencas caracterizadas y modeladas Actividad
Estado Caracteriacutestica
Estrategias de riego deficitario (Bolivia) Resultado
Estrategias de riego deficitario (Olivo Algodoacuten Soja Maiacutez) Resultado
Fondo BID Caracteriacutestica Fondo Fontagro Caracteriacutestica Funciones de produccioacuten obtenidas Resultado
Modelos de crecimiento de cultivos validados Resultado
Organismo Ejecutor Caracteriacutestica
Otras Agencias Caracteriacutestica
Paiacutes ejecutor Caracteriacutestica
Peso del racimo Resultado
PresentacionesSeminariosTalleres Actividad
Produccioacuten Total por cosecha ResultadoImpacto Productividad del Agua en Aceite de Olivo (San Juan Argentina) ResultadoImpacto Productividad del Agua en Algodoacuten (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileEl Abra) ResultadoImpacto Productividad del agua en Cerezos (Cachapoal ChileLa Compania) ResultadoImpacto Productividad del Agua en Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Productividad del Agua en Soja (Santiago del Estero Argentina) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileFlame Seedless) ResultadoImpacto Productividad del agua en Vid de Mesa (Aconcagua ChileThompson Seedless) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileEl Penion) ResultadoImpacto Productividad del agua en Vid de mesa (Limari ChileNueva Aurora) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileChilecito) ResultadoImpacto Productividad del agua en Vid Pisquera (Limari ChileLa Chimba) ResultadoImpacto Productores capacitados ResultadoImpacto Publicaciones ResultadoImpacto Rinde de aceite de oliva (Uruguay) ResultadoImpacto Rinde de Aceite de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Aceite de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Aceituna ResultadoImpacto Rinde de Algodoacuten ResultadoImpacto Rinde de Algodoacuten (Argentina) ResultadoImpacto Rinde de forraje ResultadoImpacto Rinde de Maiacutez ResultadoImpacto Rinde de Olivo (Juniacuten Mendoza Argentina) ResultadoImpacto Rinde de Olivo (San Juan Argentina) ResultadoImpacto Rinde de Papa ResultadoImpacto Rinde de Papa (Bolivia) ResultadoImpacto Rinde de Papa (Uruguay) ResultadoImpacto Rinde de Soja (Argentina) ResultadoImpacto Rinde de Tomate ResultadoImpacto Rinde de Tomate (Bolivia) ResultadoImpacto Rinde de Uva (Bolivia) ResultadoImpacto Superficie regada con nueva programacioacuten (Juniacuten Mendoza) ResultadoImpacto Teacutecnicos y profesionales capacitados Resultado
Nota La clasificacioacuten de un indicador como de ResultadoImpacto se refiere al hecho de que el
indicador puede ser de Resultado o Impacto dependiendo del momento en que es medido sobre la
Poblacioacuten Objetivo (veacutease la Figura 1 para mejor referencia)
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
29
vii) Unidad
La variable se refiere a la unidad en que se mide el indicador respectivo La base de datos tiene 1655
entradas de los diferentes indicadores incluyendo algunas categoriacuteas sin indicador y muchas otras
que tienen diferentes nombres pero que tienen un mismo significado por ejemplo ldquokgrdquo y ldquokgrdquo se
registran como dos indicadores diferentes La Tabla siguiente lista las categoriacuteas en la base de datos
ordenadas por la frecuencia con que se repiten en la base de datos Se puede observar que
predominan unidades relacionadas con valores absolutos de produccioacuten (cantidad de unidades)
ingresosbeneficios (unidades) y de productividad (Rendimiento Unidades producidasUnidad de
recursos relacionados con indicadores de Resultados e Impacto
Tabla 11 Listado de las unidades de indicadores usadas en la base de datos del FONTAGRO
Unidad Frecuencia Unidad Frecuencia
Sin unidad 510 Ac Laacutectico 1
cant 502 parasitismo 1
$ 270 caracoles 1
97 (0-100) 1
cm 36 aantildeo 1
u$sha 35 cantm2 1
cant 25 cc 1
kgha 24 Cj 1
tha 16 cm3 1
dias 13 Degrees Brix 1
ha 12 gcabdia 1
kgm3 12 j10000 1
kg 10 Kcal 1
mm 9 Kcalg 1
gr 6 kg MSha 1
kgarbol 5 kgarbolanio 1
tnha 5 KgLtr 1
g 4 kgf 1
gtZ17 (Primera) 4 Mgha 1
u$s 4 miligr100g 1
kgplanta 3 nanio 1
mg100g 3 Prom Mensual 1
sino 3 qqha 1
u$sanio 3 rollosha 1
u$sunidad 3 Secuencias 1
grm 2 thaanio 1
kghl 2 u$scapitaanio 1
mg100ml 2 u$sg 1
minutos 2 unidades 1
ppm 2 TOTAL 1655
R2 2
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
30
viii) Valor Antes
La variable se refiere al valor del indicador al inicio del Proyecto (Liacutenea de base) Existen
valores para algunos de los indicadores relacionados con la productividad (rendimiento)
ix) Valor Despueacutes
La variable se refiere al valor del indicador despueacutes de finalizado el Proyecto Existen valores
para algunos de los indicadores relacionados con la productividad (rendimiento)
La informacioacuten sobre los proyectos en la base de datos se inicia una vez que los proyectos
son aprobados e inician ejecucioacuten y se completa con la informacioacuten que se provee en el
reporte final como tal la informacioacuten sobre los valores de antes y despueacutes de los
indicadores se refieren a valores antes y despueacutes de la ejecucioacuten del proyecto y reflejan los
valores de los Resultados alcanzados en el proyecto Estos resultados muchas veces se
realizan en campos de productores colaboradores por lo que pueden considerarse como
indicadores del impacto potencial de los Resultados sobre la Poblacioacuten Objetivo
4 Revisioacuten de las metodologiacuteasherramientas para el anaacutelisis del impacto La bibliografiacutea sobre la evaluacioacuten del impacto en general y de la investigacioacuten en particular
es amplia y se expande cada diacutea maacutes por lo que en esta seccioacuten se presenta una revisioacuten de
las referencias que se consideran claves en la literatura en el sentido que presentan
revisiones de los meacutetodos usados hasta el momento de su publicacioacuten
41 Bienes Valorizables Habiendo adoptado la decisioacuten de adoptar el ABC como marco conceptual para el anaacutelisis
del impacto de los proyectos financiados por el FONTAGRO el paso siguiente para la revisioacuten
de la bibliografiacutea es distinguir entre el anaacutelisis Marginal y No Marginal
411 Proyectos No Marginales El anaacutelisis del Excedente Econoacutemico
En el caso del anaacutelisis del impacto No Marginal es decir cuando el precio del bien afectado
cambia por efecto del Proyecto el anaacutelisis incorpora el concepto de excedentes econoacutemicos
(del productor y consumidor) cuyo valor depende de las elasticidades de oferta y demanda
del bien afectado y su estimacioacuten requiere de caacutelculos algunas veces complejos
Afortunadamente existe una profusa literatura y Manuales acerca de su estimacioacuten y
algunos paquetes de computacioacuten que automatizan los caacutelculos con la informacioacuten
requerida al usuario La Tabla siguiente presenta algunos de los materiales de referencia
sobre la metodologiacutea y sobre los paquetes de coacutemputo usados en el aacutembito de la
investigacioacuten agropecuaria
Tabla 12 Referencias y Programas para el ABC
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
31
Referencias Caracteriacutesticas
Alston J M G WNorton and P G Pardey 1995 Science Under Scarcity Principles and Practice for Agricultural Research Evaluation and Oriority Setting Ithaca NY Cornell University Press
Presenta los principios y praacutectica de meacutetodos de evaluacioacuten econoacutemica ex-post y ex ante y su uso en el establecimiento de prioridades de investigacioacuten Se revisan una amplia gama de enfoques sintetizada y evaluada utilizando un marco conceptual unificador Teacutecnico requiere conocimientos de economiacutea economiacutea agriacutecola y alguacuten manejo de las matemaacuteticas
Masters WA B Coulibaly D Sanogo M Sidibeacute and A Williams 1996 The Economic Impact of Agricultural Research A Praacutectical Guide Department of Agricultural Economics Purdue University West Lafayette IN E-mail MastersAgEconPurdueedu
Una guiacutea que ofrece un resumen sucinto de las herramientas necesarias para llevar a cabo estudios de impacto permitiendo a los investigadores cuantificar los beneficios econoacutemicos y costos de su trabajo Tres ejercicios usando los conceptos explicados en el texto y basados en una hoja de caacutelculo ayudan a aplicar los meacutetodos descritos en el manual
Collion MH and A Kissi 1995 Guide to Program Planning and Priority Setting Research Management Guidelines No 2E ISNAR The Hague Available online at wwwcgiarorgisnar
Un enfoque de planificacioacuten por objetivos el programa de investigacioacuten basado en una serie de pasos que incluyen anaacutelisis de costo-beneficio como un enfoque para la fijacioacuten de prioridades
University of Minnesota1981 Evaluation of Agricultural Research Agricultural Experiment Station Miscellaneous Publication No 8 University of Minnesota April
Trabajo pionero en la metodologiacutea de la evaluacioacuten de la investigacioacuten agropecuaria presenta las ponencias de un simposio realizado sobre las diferentes metodologiacuteas para la Evaluacioacuten del impacto de la investigacioacuten agropecuaria
CIMMYT 1993 La Adopcioacuten de la Tecnologiacutea Agriacutecola CIMMYT Meacutexico
Un manual excelente para los practicantes que explica paso a paso los meacutetodos para estimar la adopcioacuten de tecnologiacutea (Marginal)
CIMMYT 1993 De Datos experimentales a recomendaciones CIMMYT Meacutexico
Presenta el ABC para el caso especiacutefico de un solo periodo es decir para cultivos anuales y tecnologiacuteas que se extinguen en un solo periodo Aun con esta restriccioacuten es un manual excelente para ilustrar los conceptos baacutesicos del ABC en el caso de Proyectos marginales
Winters P L Salazar y A Maffioli 2010 Designing Impact Evaluations for Agricultural Research Impact ndash Evaluation Guidelines IDB 2010
Una guiacutea para la evaluacioacuten del impacto de proyectos dirigidos a una poblacioacuten objetivo formada principalmente por productores agropecuarios y que buscan aumentar la produccioacuten productividad y rentabilidad La guiacutea enfatiza los aspectos metodoloacutegicos de estimar el impacto distinguiendo entre meacutetodos experimentales y no experimentales y la incorporacioacuten de efectos de derrame (spillovers) Presenta tres casos de estudio para ilustrar la metodologiacutea El lenguaje es teacutecnico por lo que el manual
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
32
Referencias Caracteriacutesticas
es apropiado para personal con instruccioacuten en economiacutea o economiacutea agriacutecola
Khandker SR G B Koolwal and H A Samad (2010) Handbook on Impact Evaluation Quantitative Methods and Practices
Libro con un detallado anaacutelisis de los meacutetodos cuantitativos para la estimacioacuten de los cuatro enfoques experimentales y cuasi experimentales Se presentan ejercicios para usar el Programa estadiacutestico STATA usando datos reales de un programa de microcreacutedito de Bangladesh
Garbarino S and J Holland (2009) Quantitative and Qualitative Methods in Impact Evaluation and Measuring Results Issues Paper GSDRC Emerging Issues Research Service UK (wwwgsdrcorg)
Manual que se enfoca en meacutetodos cuantitativos y cualitativos de evaluacioacuten de impacto principalmente de poliacuteticas puacuteblicas
Ezemenari K A Rudqvist and K Subbarao (1999) Impact Evaluation A Note on Concepts and Methods Poverty Reduction and Economic Management Network (PRMPO) The World Bank January
Una Buena referencia sobre el problema de desenredar el impacto del proyecto de los factores externos que pueden estar confundidos en los resultados Buena descripcioacuten de metodologiacutea para combinar meacutetodos cuantitativos con cualitativos para mejorar la evaluacioacuten del impacto
Stucchi R 2013 Introduccioacuten a la Evaluacioacuten de Poliacuteticas Publicas Escuela de Verano sobre Economiacuteas Latinoamericanas CEPAL Santiago de Chile Agosto
Una detallada presentacioacuten de los conceptos y metodologiacuteas para la evaluacioacuten del impacto en el contexto de las poliacuteticas puacuteblicas Presenta las principales herramientas usadas para estimar el efecto causal de las poliacuteticas puacuteblicas Explica los meacutetodos experimentales y cuasi experimentales
Britto F A M Pereira Y G Baruj (2014) Evaluacioacuten de programas puacuteblicos principales metodologiacuteas y experiencias de evaluacioacuten de programas de apoyo a la CTI en Ameacuterica Latina Documento de trabajo Ciudad Autoacutenoma de Buenos Aires Agosto
Un detallado manual en el cual una primera parte presenta una buena descripcioacuten de las metodologiacuteas tanto cuantitativas como cualitativas incluyendo el anaacutelisis de Costo Beneficio En una segunda parte se presenta un conjunto de estudios de casos de evaluacioacuten de programas en Ameacuterica Latina
Software
International Food Policy Research Institute Dynamic Research EvAluation for Management (DREAM)
Herramienta para estimar el impacto de la investigacioacuten agropecuaria en un rango amplio de condiciones lo que le otorga una gran flexibilidad Bien documentado con una entrada de datos clara lo que hace que la curva de aprendizaje sea corta Es capaz de estimar problemas
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
33
Referencias Caracteriacutesticas
complejos y simples (incluyendo casos de proyectos marginales)
Dynamic Research EvAluation for Management SUR (DREAMSUR)
Similar al DREAM pero incorpora aspectos que el primero no tales como estimacioacuten de derrame tecnoloacutegicos (spillovers) que puede interesarle al FONTAGRO para la opcioacuten del Anaacutelisis del Impacto Ex ndash Post La curva de aprendizaje en este caso es un poco maacutes larga
Modelo de Anaacutelisis de Excedentes Econoacutemicos (MODEXC)
Estima el impacto Ex Ante y Ex Post e indicadores de rentabilidad (VANTIR Relacioacuten BC) de la investigacioacuten agropecuaria bajo diferentes situaciones de mercado Desarrollado por el CIAT disponible en wwwciatcgiarorgprojectsbar bp1htm
En el caso del anaacutelisis marginal no se requiere conocer las elasticidades y los caacutelculos se
simplifican bastante por lo que se ha desarrollado una diversidad de instrumentos en forma
de hojas de caacutelculo como lo es el Excel de Microsoft Sin embargo se debe dejar claro que
los Programas para el anaacutelisis No Marginal pueden ser usados faacutecilmente para el anaacutelisis
marginal introduciendo en el Programa los valores polares de las elasticidades de oferta y
demanda
La revisioacuten de la informacioacuten muestra que existe una gran variedad de programas dirigidos
al Anaacutelisis de Beneficio ndash Costo enfocados en diferentes industrias con diversas
caracteriacutesticas especiacuteficas del campo que se enfoca lo que hace que la mayoriacutea de los
Programas tengan un cierto grado de dificultad para adaptarse a las caracteriacutesticas de las
condiciones y diversidad de situaciones asociadas a la adopcioacuten de tecnologiacutea agriacutecola y en
algunos de ellos esta adaptacioacuten no es posible La Tabla siguiente presenta una lista de
algunos de estos programas19
Tabla 13 Herramientas de Caacutelculo del ABC en Excel
Origen Nombre Fuente
US Departamento de Energiacutea
ABC para la industria de la iluminacioacuten
Descripcioacuten
Reliable Business Case
Excel geneacuterico basado centrado en evaluacioacuten de proyectos en sectores de la industria y los negocios
Maletiacuten herramienta de negocio en Excel Evaluaciones sobre intangibles y prestaciones duro resultados tangibles basada en el dinero Evaluacioacuten y estimacioacuten de la capital y gastos de operacioacuten y costo de ciclo de vida
Excel Buena entrada de datos y reporte de resultados Tiene estimacioacuten del impacto ambiental
19 El lector curioso puede visitar el portal de evaluacioacuten del BID enhttpwwwiadborgestemasefectividad-
en-el-desarrolloevaluation-hubinicio17844html
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
34
Origen Nombre Fuente
FAO Software for CBA WinDASI - un software para el anaacutelisis de costo-beneficio (CBA) de proyectos de inversioacuten No estaacute en el entorno de Excel
httpwwwfaoorgeasypoloutputbrowse_by_training_pathasppub_id=539ampid=539ampid_elem=539ampid_cat=319
Florida Department of Environmental
Protection
Plantilla de Excel del anaacutelisis costo-
beneficio
Hoja de caacutelculo detallada de Excel para la estimacioacuten del BC Flexible
reconoce muchas categoriacuteas de costos y de beneficios
Florida Department of Environmental Protection
Regis University
Plantilla de Excel del anaacutelisis costo-
beneficio
Ayuda a calcular el gasto financiero a lo largo de varios antildeos fiscales
Regis University
GIZ Documento sobre ABC forestal
Un CBA ambiental llevado a cabo para evaluar el valor econoacutemico de los diversos bienes y servicios proporcionados por los ecosistemas
httpsgc21gizdeibtvarappwp342deP1443wp-contentuploadsfilebasevavulnerability-method-briefsgiz|13_Method_Brief_Tunisia_Economics_Ecosystemspdf
5 Pertinencia de las metodologiacuteas existente
51 Caracteriacutesticas de los proyectos financiados por el FONTAGRO Una de las caracteriacutesticas de FONTAGRO como Fondo de Inversioacuten en CTampIA en ALC es la
variabilidad de proyectos financiados en teacuterminos de sus objetivos y resultados lo que
deriva en una diversidad de indicadores diversidad que ha sido capturada en la Evaluacioacuten
del Impacto de la Primera Convocatoria (Ardila et al1998) clasificando a los Proyectos en
tres grandes tipos de acuerdo a dos caracteriacutesticas de los resultados obtenidos
Proyectos Tipo 1 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) sea(n) una
Innovacioacuten tecnoloacutegica precompetitiva es decir que puede ser usada posteriormente en
el proceso de innovacioacuten para finalmente producir una opcioacuten comercial Por ejemplo
Germoplasma mejorado el cual lleva eventualmente a la obtencioacuten de variedades
mejoradas
Proyectos Tipo 2 Engloba a aquellos proyectos cuyo(s) principal(es) resultado(s) directo(s)
sea(n) una Innovacioacuten tecnoloacutegica competitiva es decir con aplicacioacuten directa en el
proceso de produccioacuten de la cadena agro-alimentara a la cual estaba dirigida Por ejemplo
Variedades mejoradas cuya adopcioacuten por los agricultores produce cambios en la
productividad y o calidad del producto
Proyectos Tipo 3 Engloba a aquellos proyectos cuyo(s) producto(s) directo(s) sea
Innovacioacuten en forma de informacioacuten o conocimiento precompetitivo o competitivo es
decir informacioacuten o mejor conocimiento que permite un cambio en el sistema donde el
sector agroalimentario desenvuelve sus actividades Por ejemplo Informacioacuten sobre
factores que afectan la adopcioacuten la cual si es usada por la poliacutetica tecnoloacutegica podriacutea llevar
a mejorar el uso de innovaciones existentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
35
La variabilidad de tipos de proyectos resultados e indicadores hace difiacutecil que un solo
instrumento se adapte a todas las situaciones posibles resultantes de la diversidad de
situaciones por lo que es prudente flexibilizar el instrumento usado mientras se respete los
aspectos metodoloacutegicos baacutesicos que se acuerden
6 Propuesta metodoloacutegica para la evaluacioacuten del impacto de los Proyectos financiados por el FONTAGRO
La propuesta metodoloacutegica hace uso del marco analiacutetico del ABC y se basa en la premisa de
que el Impacto total del uso de los resultados del Proyecto estaacute formado por dos grandes
componentes
IMPACTO TOTAL = IMPACTO VALORIZABLES + IMPACTO NO VALORIZABLES
O
IMPACTO TOTAL = VALOR MONETARIO + VALOR CUALITATIVO
El criterio a seguir entonces es el de maximizar los impactos que puedan ser valorizados ya
sea a traveacutes de los precios de mercado en esta categoriacutea entran todos los bienes privados
o a traveacutes de precios sombra o de oportunidad como es el caso de los recursos naturales y
ambientales Los bienes no valorizables se evaluacutean de forma cualitativa sobre una escala
nominal balanceada en cero de manera de poder establecer claramente si el bien evaluado
tiene un impacto positivo neutro o negativo de manera que como resultado final se tenga
un valor monetario del impacto maacutes un componente cualitativo pero que se sabe que si se
pudiera valorizar le agregariacutea una cantidad positiva al valor monetario estimado Es decir
que este uacuteltimo es en cierta manera un piso al verdadero valor del impacto del Proyecto
IMPACTO TOTAL = VALOR MONETARIO + MAYOR QUE CERO
61 Etapas en la evaluacioacuten La primera decisioacuten que se debe tomar en la seleccioacuten de la metodologiacutea a usar se refiere a
la dimensioacuten del impacto distinguiendo entre proyectos Marginales y No Marginales Esta
decisioacuten es fundamental para la eleccioacuten de la metodologiacutea a seguir para el anaacutelisis del
impacto en la dimensioacuten econoacutemica
En el caso de que el Proyecto tenga un impacto no marginal en el mercado situacioacuten poco
probable por la magnitud de los proyectos financiados por FONTAGRO pero que puede
ocurrir cuando se trata de bienes con mercados pequentildeos entonces se debe elegir entre
los diversos paquetes que se encuentran disponibles de forma gratuita Los paquetes
DREAM o MODEXC son buenas alternativas flexibles faacuteciles de usar y bien documentadas
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
36
En la mayoriacutea de los casos de los proyectos financiados por el FONTAGRO el Proyecto tiene
un impacto marginal sobre el mercado de forma que el precio no se modifica por efecto del
Proyecto En este caso un Proyecto marginal se pueden usar varias alternativas de paquetes
de evaluacioacuten de CostoBeneficio que pueden usarse para la evaluacioacuten del impacto
Tambieacuten el paquete DREAM puede usarse con los valores correspondientes de elasticidades
de oferta y demanda
La conclusioacuten es que existe una gran variedad de instrumentos (paquetes) que pueden ser
usados para la evaluacioacuten del impacto bajo el marco analiacutetico del ABC El equipo teacutecnico de
la Plataforma que prepara y ejecuta el Proyecto puede elegir el que le resulte maacutes
conveniente para el anaacutelisis
La segunda decisioacuten se refiere a la ubicacioacuten del anaacutelisis de impacto en la vida del proyecto
y distingue entre Evaluacioacuten Ex ndashPost Evaluacioacuten Ex ndashAnte y Evaluacioacuten Ex ndashAnte Ampliada
(Refieacuterase a la Figura 1)
En este trabajo se propone que se realice una Evaluacioacuten Ex Ante de los impactos
potenciales al finalizar el Proyecto y una vez que se han obtenido los resultados (Veacutease
Figura 1) A esta evaluacioacuten se la denomina Evaluacioacuten Ex Ante Ampliada ya que aunque
todaviacutea es temprano para observar un proceso de adopcioacuten (apropiacioacuten social) de los
Resultados se tienen mejores estimaciones de los impactos a traveacutes de la informacioacuten
generada durante el proceso de experimentacioacuten del Proyecto ya sea en campos o en fincas
de productores colaboradores
Con la incorporacioacuten de esta Evaluacioacuten Ex Ante Ampliada se obtiene un sistema de
Evaluacioacuten Ex Ante dinaacutemico en el sentido de que la estimacioacuten del impacto se iraacute ajustando
a medida que la informacioacuten sobre los posibles impactos del uso de los resultados en la
poblacioacuten objetivo vaya mejorando como se ilustra a continuacioacuten
Etapa 1 Evaluacioacuten Ex Ante del Impacto del Proyecto Conjuntamente con la propuesta se
elabora el anaacutelisis Ex ndash Ante del impacto Los valores de los paraacutemetros requeridos para su
elaboracioacuten se extraen de la informacioacuten disponible en la literatura y de juicios de expertos
En realidad mide el Impacto esperados por los autores del disentildeo del Proyecto elaborado
con base en informacioacuten secundaria Su nivel de incertidumbre (nivel de ignorancia sobre
los verdaderos valores de los indicadores fiacutesicos y econoacutemicos) es alto y difiacutecil de cuantificar
sin embargo es el anaacutelisis menos costoso de los tres
Etapa 2 Evaluacioacuten Ex Ante Ampliada del Impacto del Proyecto Al finalizar el Proyecto se
vuelve a realizar el anaacutelisis Ex - Ante del impacto pero esta vez usando la informacioacuten
obtenida a traveacutes de los resultados del Proyecto Es decir usando los valores
experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto y de ser
pertinente de una muestra aleatoria sobre la poblacioacuten objetivo Los niveles de
incertidumbre se reducen considerablemente y es posible cuantificarlos mediante
procedimientos estadiacutesticos Tiene un costo medio
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
37
Etapa 3 Anaacutelisis Ex ndash Post de los Impactos del Proyecto De forma esporaacutedica y aleatoria
se realizaraacute un anaacutelisis Ex ndash Post de una muestra extraiacuteda de forma aleatoria de la
aprobacioacuten de Proyectos que hayan finalizado y sus resultados difundidos al menos 4 a 5
antildeos antes La longitud del periacuteodo depende en gran medida de la naturaleza de los
resultados del Proyecto El nivel de incertidumbre es bajo y cuantificable sin embargo es el
anaacutelisis mas costoso
La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de fundamental importancia en el
proceso
7 Reflexiones finales Estas reflexiones finales toman en cuenta los valiosos comentarios realizados por diferentes
cientiacuteficos de las instituciones nacionales de las del personal de la Secretaria Teacutecnica del
FONTAGRO y de aquellas expresadas en el Taller realizado en Costa Rica
Queda claro que existe una amplia variabilidad en las capacidades de los paiacuteses para
preparar una evaluacioacuten ex ante de los impactos potenciales de los Proyectos de
investigacioacuten agriacutecola que elaboran ejecutan incluyendo por supuesto a aquellos que se
presentan al FONTAGRO Es importante reconocer entonces que esta debilidad no es
exclusiva de los Proyectos financiados por el FONTAGRO sino que es un problema maacutes
general permeando en menor o mayor medida al Sistema de Investigacioacuten de los paiacuteses
Es por esta razoacuten que la prioridad para el FONTAGRO deberiacutea estar en una primera etapa
en el fortalecimiento de las capacidades de los paiacuteses para elaborar el anaacutelisis Ex Ante del
impacto potencial de los Proyectos y fomentar su implantacioacuten al nivel institucional Se
considera que este fortalecimiento e implantacioacuten en el sistema permitiriacutea nivelar a los
paiacuteses en sus capacidades y de esa manera hacer posible que el FONTAGRO incorpore en
una etapa posterior la evaluacioacuten ex ante del impacto como un criterio de calificacioacuten para
la seleccioacuten de los Proyectos a ser financiados En el Anexo se presenta una propuesta de
operacioacuten para una eventual segunda etapa El desafiacuteo es el de implantar un sistema que
sea flexible faacutecil de implementar de modo que no discrimine a los paiacuteses con instituciones
maacutes deacutebiles en teacuterminos de capacidades para realizar el anaacutelisis del impacto
En una primera etapa del proceso de fortalecimiento de las capacidades se decidioacute que el
INTA de Argentina evaluara la herramienta de CBA que el CIAT ha puesto en el internet que
se puede alcanzar a traveacutes del viacutenculo siguiente httpcbatoolvgroupvn3000 como una
posible alternativa de uso en los diferentes paiacuteses Al momento de este reporte el sitio
presenta problemas de accesos para Ameacuterica Latina por lo que el CIAT se encuentra
trabajando en su correccioacuten
A continuacioacuten algunas reflexiones sobre los comentarios realizados y sobre la propuesta
de trabajo presentada
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
38
i De los bienes intangibles y su valorizacioacuten
1) La propuesta considera las diferentes dimensiones (Econoacutemica ambiental institucional
etc) al valorizar los resultados que se puedan de forma directa de acuerdo con la
naturaleza del proyecto y las capacidades del equipo
2) En general los intangibles se pueden valorizar pero de forma indirecta a traveacutes de sus
impactos posteriores Por ejemplo supongamos que el proyecto ofrece maacutes
oportunidades laborales para mujeres con el fin de disminuir la desigualdad de geacutenero
en ese aacutembito Si el proyecto tiene eacutexito sus resultados se deberiacutean reflejarse en alguacuten
indicador relacionado y valorizable como puede ser niveles de salarios maacutes y mejores
empleos para mujeres etc Lo mismo se puede hacer con otros tipos de innovaciones
como las institucionales ya que una mejora en la eficacia o eficiencia de las instituciones
de deberiacutea reflejar posteriormente en indicadores valorizables
3) El problema reside justamente en que la dificultad para la valorizacioacuten aumenta
considerablemente con los meacutetodos indirectos y las capacidades necesarias para una
correcta evaluacioacuten tambieacuten aumentan y queremos una propuesta que sea faacutecil de
implementar por eso la propuesta recurre a la evaluacioacuten cualitativa de lo que no se
pueda valorizar dadas las capacidades de los paiacuteses Es decir los paiacuteses de acuerdo con
sus capacidades llegan a la valorizacioacuten lo maacutes lejos posible de acuerdo con sus
capacidades y luego recurren a la evaluacioacuten cualitativa
4) El mecanismo propuesto es flexible de manera que se ajusta a las diferentes capacidades
profesionales de los equipos de los paiacuteses y no sobredimensiona a la dimensioacuten
econoacutemica esta es una dicotomiacutea comuacuten pero no totalmente acertada En realidad se
trata de valorizar (poner en teacuterminos monetarios) todos los impactos de todas las
dimensiones que se puedan con las capacidades existentes Lo que no se pueda valorizar
se evaluacutea en teacuterminos cualitativos
5) Preocupa por cierto si FONTAGRO va por un camino de financiar productos intangibles
difiacuteciles de valorizar ya que entonces estariacutea dificultando la evaluacioacuten en paiacuteses con
bajas capacidades Los Proyectos deberiacutean tener al menos un Resultado importante
valorizable de forma directa
ii De las responsabilidades y costos
1) Aunque requerir la evaluacioacuten ex ante del impacto de los proyectos inevitablemente
aumenta el trabajo y el costo de elaboracioacuten de las Propuestas por parte de las Plataforma
y aumenta en menor medida su evaluacioacuten por parte de la ST el procedimiento
delineado maacutes arriba minimiza el esfuerzo y el costo para las partes involucradas
2) Los beneficios en teacuterminos de la asignacioacuten de fondos para la investigacioacuten agriacutecola de
una evaluacioacuten creiacuteble de los impactos de los proyectos presentada a los tomadores de
decisiones de forma apropiada pueden superar holgadamente los costos de
suelaboracion
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
39
ANEXO Propuesta para la eventual incorporacioacuten de la Evaluacioacuten Ex ndash Ante en el proceso de calificacioacuten de Proyectos del FONTAGRO
Una vez que los Paiacuteses han sido capacitados y familiarizados en alguna de las metodologiacuteas
para la evaluacioacuten ex ante de los impactos potenciales de los proyectos el FONTAGRO
podriacutea comenzar un proceso en donde la evaluacioacuten del impacto de los proyectos juegue
un papel en el proceso de calificacioacuten para su financiamiento
En el caso de los Proyectos de FONTAGRO y ya que FONTAGRO requiere una Evaluacioacuten Ex
- Ante con la presentacioacuten de la propuesta y que realiza de forma esporaacutedica una
Evaluacioacuten Ex ndash Post del impacto se propone realizar una Evaluacioacuten Ex Ante Ampliada al
finalizar el Proyecto una vez obtenidos los resultados (Veacutease Figura 1) De esta forma se
obtiene un sistema de Evaluacioacuten Ex Ante dinaacutemica en el sentido de que la estimacioacuten del
impacto ira cambiando a medida que la informacioacuten sobre los posibles impactos del uso de
los resultados en la poblacioacuten objetivo vaya mejorando
La Figura siguiente ilustra el proceso
Figura 4 Etapas para una evaluacioacuten Dinaacutemica del impacto del FONTAGRO
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
40
Etapa 1 Conjuntamente con la propuesta a ser presentada al FONTAGRO la Plataforma
llena la Plantilla Digital con los valores de los paraacutemetros requeridos para la elaboracioacuten del
anaacutelisis Ex ndash Ante del impacto Estos valores se extraen de la informacioacuten disponible en la
literatura y de juicios de expertos En realidad mide el Impacto esperados por los autores
del disentildeo del Proyecto elaborado con base en informacioacuten secundaria El Sistema
Automatizado de Estimacioacuten del Impacto20 toma los valores provistos en la Planilla Digital y
estima los indicadores de Impacto requeridos-
Etapa 2 Al finalizar el Proyecto se vuelve a realizar el anaacutelisis Ex - Ante del impacto pero
esta vez usando la informacioacuten obtenida a traveacutes de los resultados del Proyecto Es decir
20 Este Sistema es elaborado y puesto en marcha por la ST del FONTAGRO
Presenta PropuestaLlena Plantilla Digital
Plataforma
Reporte de ResultadosLlena Plantilla Digital
Plataforma
Evaluacutea y aprueba Propuesta
Secretaria Teacutecnica
ResultadosEncuesta Colaboradores
Plataforma
1
2
3
Ingresa Informacioacutenparaacutemetros
EJECUCION
Sistema estima Impacto Ex ndash Ante 1
Secretaria Teacutecnica
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 2
Secretaria Teacutecnica
LiteraturaDatos secundariosConsulta expertos
Plataforma
DIFUSION
Ingresa Informacioacutenparaacutemetros
Sistema estima Impacto Ex ndash Ante 3
Secretaria TeacutecnicaEncuesta Poblacioacuten
Objetivo
Secretaria Teacutecnica
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
41
usando los valores experimentales obtenidos de la ejecucioacuten de las actividades del Proyecto
y de ser pertinente de una muestra aleatoria sobre la poblacioacuten objetivo
Etapa 3 De forma esporaacutedica y aleatoria el FONTAGRO realizara un anaacutelisis Ex ndash Post de
una muestra extraiacuteda de forma aleatoria de la aprobacioacuten de Proyectos que hayan finalizado
al menos 4 a 5 antildeos antes
Las dos primeras etapas son responsabilidad de la Plataforma de instituciones que
proponen el Proyecto mientras que la tercera etapa es responsabilidad de la Secretaria
Teacutecnica del FONTAGRO La aleatorizacioacuten de las muestras en las etapas 2 y 3 es de
fundamental importancia en el proceso
Resumiendo la estructura se puede resumir en el procedimiento siguiente
1) Etapa 1 Evaluacioacuten inicial del impacto La Plataforma presenta la Propuesta y
a) Paiacuteses ldquofuertesrdquo Presentan evaluacioacuten Ex Ante del impacto usando una
metodologiacutea estaacutendar que cumpla los requerimientos formales estipulados por el
FONTAGRO
b) Paiacuteses ldquodebilesrdquo Presentan la informacioacuten necesaria para la evaluacioacuten Ex Ante
del impacto Dicha informacioacuten es requerida en un formato estaacutendar por tipo de
proyecto y se refiere a los valores de los paraacutemetros necesarios para que el
FONTAGRO a traveacutes de un programa disentildeado de antemano estime el impacto
potencia Se debe notar que una vez ingresados los paraacutemetros y realizada la
evaluacioacuten del impacto el usuario (la Plataforma) no puede volver a ingresar
nuevos valores para obtener una nueva evaluacioacuten
2) Etapa 2 Evaluacioacuten ampliada del impacto (al finalizar el Proyecto) La Plataforma
presenta
a) Paiacuteses ldquofuertesrdquo Presenta evaluacioacuten Ex Ante del impacto usando la misma
metodologiacutea estaacutendar aceptada por el FONTAGRO y usada en la presentacioacuten
inicial pero usando los valores de los paraacutemetros obtenidos de la ejecucioacuten de las
actividades del Proyecto (Resultados)
b) Paiacuteses ldquodeacutebilesrdquo Presenta la informacioacuten necesaria para la evaluacioacuten Ex Ante del
impacto usando esta vez los valores de los paraacutemetros obtenidos de la ejecucioacuten de
las actividades del Proyecto (Resultados)
3) Etapa 3 Evaluacioacuten ex ndash post del impacto (una vez difundidos los resultados del
Proyecto) Esta Etapa es de responsabilidad de la ST de FONTAGRO y se deberiacutea
realizar
En teacuterminos de las convocatorias se propone
1) El presupuesto siempre debe considerar el costo de realizar la evaluacioacuten Ex - Ante
del impacto
2) Una de las primeras actividades a realizar en el contexto del proyecto deberiacutea ser el
levantamiento de la liacutenea de base Por lo que el meacutetodo de levantar la informacioacuten
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes
42
(encuesta) de las condiciones iniciales de la poblacioacuten de beneficiarios finales debe
estar incluido en el pago inicial (primer pago)
3) La informacioacuten de la liacutenea de base deberiacutea ser un Hito requerido para poder procesar
los pagos subsecuentes