Catalina Parra Baño

Medición de ImpactoPrograma de Talento Solidario

Fundación Botín

Catalina Parra Baño Madrid, 25 de junio de 2014

Catalina Parra Baño2

Qué es la medición de impacto

• “Evaluación del impacto” • Entidades sociales y entidades públicas• Enorme variedad de definiciones de

“impacto”

29/04/2013

Ni siquiera las instituciones internacionales de enorme peso, que

han invertido miles de millones de Euros en programas de desarrollo

pueden decir que tienen resuelta la definición de medición de impacto.

Catalina Parra Baño3

Qué es la medición de impacto

• Network of Networks on Impact Evaluation, “No existe una definición universalmente aceptada para la evaluación rigurosa del impacto.”

• Development Assistance Committee de la Organization for Economic Cooperation and Development (OECD): “los efectos primarios y secundarios, positivos y negativos, producidos por una intervención de desarrollo, directamente o indirectamente, con o sin intención.”

• La Gates Foundation añade a esta tipo de definición un matiz :“cambios últimos que tienen que ser sostenibles en el tiempo.”

• SIAA: Social impact analysis is the process of analysing the social changes, both positive and negative, which arise from an organisation’s work.

NONIE Impact, Evaluations and Development Guidance on Impact Evaluation p. ix IbidThe Gates Foundation (Fay Twersky, Jodi Nelson y Amy Ratcliffe), Guide to Actionable Measurement 2010 p. 10

29/04/2013

Catalina Parra Baño429/04/2013

En una empresa o activo financiero medimos la rentabilidad económica de los fondos…

¿Cómo se sabe si ha merecido la pena una “inversión” cuyo fin primordial no es la

rentabilidad económica?

…¿Cómo se sabe si ha merecido la pena una “inversión” cuyo fin primordial no es la

rentabilidad económica?

Catalina Parra Baño55

De la rentabilidad al impacto

Donación Inversión financiera

Deuda condicionada

Venture Philanthropy

Préstamos Participativos

Capital Emprendimiento Social

Bonos Impacto Social

Inversión Ética

Microfinanzas

Retorno Social Retorno Financiero

29/04/2013

Catalina Parra Baño6

Preguntas para empezar

• ¿Para qué medir?• ¿Cuando? • ¿Para quién?• ¿Cómo?• ¿Quien?

29/04/2013

Catalina Parra Baño7

Para qué se mide el impacto

• Informar sobre el cumplimiento de nuestra estrategia.• Impulsar el desarrollo e implantación de mejores practicas.• Evaluar la eficiencia de un proyecto/programa.• Evaluar la eficacia de un proyecto/programa.• Asignar responsabilidades• Distribuir recursos• Aprendizaje y mejora• Justificar una subvención/donación• Para pagar una subvención• Justificar un impacto económico que influya en un retorno financiero• Para motivar

29/04/2013

Catalina Parra Baño8

Cuando medir

Pensar en medir desde el diseño del proyecto-programa-empresa:– Temas como atribución, grupos de control, etc.

estarán resueltos.– Si se hace a posteriori, la medida será más

imprecisa y será necesario establecer un nuevo modelo a futuro

29/04/2013

Catalina Parra Baño9

Para quién medir: a cada uno una medida

Proyecto/entidad

Órgano de Gobierno

Beneficiarios

Trabajadores

VoluntariosFilántropo

AAPP: regulador

Entidad Financiera

Sociedad Civil

AAPP: financiador

Otros

29/04/2013

Catalina Parra Baño10

Quién mide

Proyecto

Grupo de

interés

Grupo de

interés

Grupo de

interés

Grupo de

interés

Grupo de

interés

Experto Independiente

Experto Independiente

29/04/2013

Catalina Parra Baño11

El proceso de medición de impactoLa EVPA propone una metodología de gestión del impacto

Fijación de Objetivos

Análisis de grupos de interés

Medición de Resultados

Verificación y evaluación d el

impacto

Seguimiento e Informe

EVPA European Venture Philanthropy Association

Modificaciones actuación

Que se completa con otros conceptos

29/04/2013

Catalina Parra Baño12

Elementos usados en empresa sector lucrativo

• Existen más de 300 Marcos integrados por Normas, Estándares e Índices*

Hugo Narrillos, “Economía Social”, Ecobook 2012

La norma más Utilizada en la RSC es El Global Reporting

Initiative (GRI), que cubre lo económico, social y

medioambiental

Estándares:AA1000ISAE 3000ISO 26000SGE 21

Índices Bursátiles: • Dow Jones Sustainability

Index (USA)• Jantzi Social Indexes

(Canada)• FTSE4Good (Inglés)

29/04/2013

Catalina Parra Baño13

No existe un único enfoque ni metodología aceptado para la medición de valor social

• En su estudio sobre SROI para la Gates Foundation en 2008, Melinda Tuan identificó y analizó ocho diferentes maneras de intentar calcular valor social, cada una implantada por al menos una fundación o entidad muy respetada en el sector:*– Cost-Effectiveness Analysis– Cost-Benefit Analysis– Social Return on Investment (SROI) – Benefit-Cost Ratio– BACO Ratio– Expected Return– Cost per Impact – Investment Bubble Chart

* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23

29/04/2013

Catalina Parra Baño14

No existe un único enfoque ni metodología aceptado para la medición de valor social

• Otros relevantes– IRIS (impact Reporting Investment Standars)– GRIIS (Global Impact Investing Rating System)– LBG: London benchmarking Group: empresarial

RSC– ONLBG: http://bit.ly/1qHbTd9

* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23

29/04/2013

Catalina Parra Baño15

Medidas

Inputs controlables

Actividades

Productos

Resultados (outcomes)

Impactos

Med

idas

de

cam

bio

Med

idas

de

ejec

ució

n

Resultados directos y más inmediatos, necesarios pero no suficientes para producir resultados o impacto.

Cambios intermedios observable y medibles. Pueden ser pasos hacía un impacto.

Fuente: The results hierarchy – inputs to impacts. En A Guide to Actionable Measurement, Bill & Melinda Gates Foundation* Marta Rey, “Cómo eveluar los resultados de las Organizaciones No lucrativas”,

Inputs no-controlables*

29/04/2013

Catalina Parra Baño16

Otros parámetros a tener en cuenta

• Atribución:Proporción de cambios atribuible al proyecto o iniciativa que se mide.

• Desplazamiento:Proporción del cambio que se produce impidiendo otros cambios positivos.

• Peso Muerto:Proporción de los cambios que se hubieran conseguido aún sin la iniciativa.

• Decrementos:Deterioro de un cambio con el paso del tiempo.

• Ajuste del objetivo:Ajuste o modificación de los objetivos con el paso del tiempo para lograr el impacto deseado.

• Grupos de Control:Grupo de población objetivo de la intervención que no se somete a ella pero se mide para comprobar los efectos atribuibles a la intervención

Fuente: Economía Social, valoración y medición de la inversión social, Hugo Narrillos Roux 2012

29/04/2013

Catalina Parra Baño17

Algunos ejemplos

29/04/2013

Catalina Parra Baño18

BACO Ratio

Retorno esperado =

Resultado(outcome)

Probabilidad del resultado

Contribución filantrópica

X X

Coste

Cada uno de los parámetros debe estar correctamente calculado. Algunos pueden requerir cálculos más complejos, como un VAN del Resultado por ejemplo.

29/04/2013

Catalina Parra Baño19

Nivel Definición Pueden responder a:

Eficacia comprobada

Impacto confirmado por investigación experimental.

¿Hay diferencias estadísticamente válidas para participantes vs. un grupo al azar de control?

Eficacia demostrada

En base a datos recogidos de manera sistemática que comparan participantes con personas parecidas que no reciben servicios, se concluye que los participantes se benefician.

¿Tienen los participantes mejores resultados que personas comparables que no participan en los programas?

Eficacia aparente alta

En base a datos recogidos de manera sistemática, los participantes parecen beneficiarse de un programa específico.

¿Quién accede a sus servicios? ¿En qué programas participan?¿Qué resultados consiguen?

Eficacia aparente Aunque no exista un proceso para recoger y analizar datos de manera sistemática, basándose en los datos que la entidad tiene, se puede asumir que los participantes se benefician de un programa específico.

¿Qué resultados positivos parecen surgir de los programas?

Evid

enci

a de

efic

acia

Más

Men

osEscala de evidencia de impacto de Edna McConnell Clark Foundation

29/04/2013

Catalina Parra Baño20

SROI

Retorno Social de la Inversión

(SROI)

Valor Actual de los Impactos

Valor Actual de la Inversión

=

Un cálculo correcto del SROI requiere tener en cuenta muchos parámetros propios de la metodología que hay que estimar como atribución, desplazamiento, etc.

29/04/2013

Requiere además asignar valores a la tasa de crecimiento haciendo muy fácilmente subjetivo el proceso de cálculo.

Catalina Parra Baño2129/04/2013

  Proyecto/organización: Introducción

al análisis SROI

             Fase 1 Fase 2      

  Grupos de interésCambios deseados/

no deseadosInputs Productos/Outputs

 

En quién influimos/afectamos Quién nos influye/afecta

¿Qué crees que cambiará para ellos?

¿Qué "inversiones" se hacen? ¿Qué entra en el proceso?

¿Qué valor tienen los imputs en términos monetarios?

¿Cuáles son las salidas

inmediatas?

Resumen numérico de actividades

 

 

           

 

           

 

           

             

             

             

             

             

             

             

             

Catalina Parra Baño2229/04/2013

                 

                 

Fase 2                

Resultados/ Outcomes (qué cambia)

Descripción Indicador Fuente Cantidad Duración Comienzo del Output

Aproximador financiero

Valor monetario

Fuente

¿Cómo describiría el actor/grupo de interés los cambios?

¿Cómo los mediríamos?

¿De dónde sacamos la información?

¿Cómo cuantificamos el cambio?

¿Cuánto tiempo dura el resultado? (números)

¿Los cambios se observan ya durante la actividad o al periodo siguiente?

¿Qué indicador financiero o aproximador se usará para calcular el cambio?

¿Cuál es el valor monetario del cambio?

De donde obtenemos la información?

                 

                 

                 

                 

                 

Catalina Parra Baño2329/04/2013

         

         

Fase 4      

"Peso muerto" Deadweight %

Desplazamiento/ Displacement %

Atribución/ Attribution %

Disminución/ Drop off %

Impacto/Impact

¿Habría ocurrido lo mismo sin el proyecto?

¿Qué otras actividades o proyectos hemos desplazado?

¿Quién más ha contribuido a generar el cambio?

¿Los resultados decaen con el tiempo?

Cantidad y tiempos de aproximación financiera, menos peso muerto, desplazamiento y atribución

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

Catalina Parra Baño2429/04/2013

Cálculo del retorno social

Tasa de descuento 5,0%    

Año 0 Año 1 Año 2 Año 3 Año 4 Año 5

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

n

∑Impactos/(1+i)t

t=1

n

∑Imputs/(1+i)t

t=1

= SROI

Catalina Parra Baño2529/04/2013

Catalina Parra Baño26

Ejemplo

• A construir en la Clase

29/04/2013

Catalina Parra Baño27

Recomendaciones• Involucrar a los beneficiarios y otros grupos de interés para informar el

proceso de evaluación. • Identificar el tipo y el alcance de intervención para evaluar.• Articular una teoría sobre la relación entre la intervención y los resultados,

un “theory of change” para evaluar.• Decidir cómo tratar el tema de la “atribución”.• Aprovechar múltiples métodos de evaluación para evaluar eficacia.• Aprovechar conocimiento relevante que ya existe en el campo.• Tener en cuenta las actividades y contribuciones no-económicas de la

entidad financiadora además de sus subvenciones.• Utilizar evaluadores independientes para mayor credibilidad, eficiencia,

capacidades específicas o mayor eficiencia.• Diseñar los procesos de evaluación para identificar consecuencias

inesperadas, además de las consecuencias previstas.Fuentes: NONIE (Network of Networks for Impact Evaluation) del World Bank, Gates Foundation, NEF, y otros.

29/04/2013

Catalina Parra Baño28

¡Muchas Gracias!

29/04/2013

Catalina Parra Baño29

Bono de impacto social

29/04/2013

Catalina Parra Baño30

Bibliografía I• El SROI (social return on investment):Un método para medir el impacto social de las inversiones. Análisis

Financiero. Hugo Narrillos Roux, dic 2010• Guide to Social Return on Investment, SROI Network• Economía Social: Valoración y medición de la inversión social (método SROI) Ecobook, Hugo Narrillos Roux• Measuring Social Value By Geoff Mulgan Stanford Social Innovation Review Summer 2010• A Guide to Actionable Measurement, Bill & Melinda Gates Foundation ( Fay Twersky, Jodi Nelson y Amy

Ratcliffe)• MEASURING AND/OR ESTIMATING SOCIAL VALUE CREATION: Insights Into Eight Integrated Cost

Approaches Prepared for Bill & Melinda Gates Foundation Impact Planning and Improvement Prepared by Melinda T. Tuan Dec 15th 2008

• Calculated Impact By Paul Brest, Hal Harvey, & Kelvin Low, Stanford Social Innovation Review, Winter 2009 • A Practical Guide to measuring and managing impact EVPA April 2013,

http://ebookbrowse.com/a-practical-guide-to-impact-measurement-evpa-pdf-d458228160• New Philanthropy Capital (2011) Principals of Good Impact Reporting London: NPC• New Philanthropy Capital (2011) Talking about Results London: NPC• NONIE (2010) Impact Evaluation and Development Guidance on Impact Evaluation NONIE

http://www.h3s-sroi.com/images/stories/PD_Articulo_HNR_Marzo_2012.pdf• Presentation of Report produced by GECES Sub-group on Social Impact Measurement – 28 November

2013, Rapporteur: Lisa Hehenberger Research Director, European Venture Philanthropy Association

29/04/2013

Catalina Parra Baño31

Bibliografía II• Cómo los filántropos persiguen el “Santo Grial” de la medición de impacto,

Comnpromiso Emprearial, Majeska y Parra, enero-feb 2013• http://www.compromisoempresarial.com/carrusel/2013/02/como-los-filantropos-persi

guen-el-santo-grial-de-la-medicion-de-impacto/• • Bonos de impacto social: Financiando el éxito y no solo las buenas intenciones,

Compromiso Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/rsc/2011/10/bonos-de-impacto-social-financi

ando-el-exito-y-no-solo-las-buenas-intenciones/• • “La novedad de los ‘pay for success’ es que los donantes conocen si su contribución dio

resultados” Compromiso Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/profesionales-rsc-ong-management/2011/10

/la-novedad-de-los-pay-for-success-es-que-los-donantes-conocen-si-su-contribucion-dio-resultados/

• Reinventar la solidaridad: bonos de impacto social• 16 Feb, 2012, La Regla de William, Catalina Parra• • ESTUDIO DEL VALOR SOCIALDE LAS BECASDE LA FUNDACIÓN CAROLINA, Fundación

Carolina, Doc trabjo num 52, diciembre de 2011, Kristin Majeska y Catalina Parra

29/04/2013