Catalina Parra Baño

Medición de Impacto Programa de Talento Solidario

Fundación Botín

Catalina Parra Baño Madrid, 25 de junio de 2014

Catalina Parra Baño

Qué es la medición de impacto

• “Evaluación del impacto” • Entidades sociales y entidades públicas • Enorme variedad de definiciones de

“impacto”

29/04/2013 2

Ni siquiera las instituciones internacionales de enorme peso, que

han invertido miles de millones de Euros en programas de desarrollo

pueden decir que tienen resuelta la definición de medición de impacto.

Catalina Parra Baño

Qué es la medición de impacto

• Network of Networks on Impact Evaluation, “No existe una definición universalmente aceptada para la evaluación rigurosa del impacto.”

• Development Assistance Committee de la Organization for Economic Cooperation and Development (OECD): “los efectos primarios y secundarios, positivos y negativos, producidos por una intervención de desarrollo, directamente o indirectamente, con o sin intención.”

• La Gates Foundation añade a esta tipo de definición un matiz :“cambios últimos que tienen que ser sostenibles en el tiempo.”

• SIAA: Social impact analysis is the process of analysing the social changes, both positive and negative, which arise from an organisation’s work.

NONIE Impact, Evaluations and Development Guidance on Impact Evaluation p. ix Ibid The Gates Foundation (Fay Twersky, Jodi Nelson y Amy Ratcliffe), Guide to Actionable Measurement 2010 p. 10

29/04/2013 3

Catalina Parra Baño

29/04/2013 4

En una empresa o activo financiero medimos la rentabilidad económica de los fondos…

¿Cómo se sabe si ha merecido la pena una

“inversión” cuyo fin primordial no es la rentabilidad económica?

…¿Cómo se sabe si ha merecido la pena una “inversión” cuyo fin primordial no es la

rentabilidad económica?

Catalina Parra Baño

5

De la rentabilidad al impacto

Donación Inversión financiera

Deuda condicionada

Venture Philanthropy

Préstamos Participativos

Capital Emprendimiento Social

Bonos Impacto Social

Inversión Ética

Microfinanzas

Retorno Social Retorno Financiero

29/04/2013 5

Catalina Parra Baño

Preguntas para empezar

• ¿Para qué medir? • ¿Cuando? • ¿Para quién? • ¿Cómo? • ¿Quien?

29/04/2013 6

Catalina Parra Baño

Para qué se mide el impacto

• Informar sobre el cumplimiento de nuestra estrategia. • Impulsar el desarrollo e implantación de mejores practicas. • Evaluar la eficiencia de un proyecto/programa. • Evaluar la eficacia de un proyecto/programa. • Asignar responsabilidades • Distribuir recursos • Aprendizaje y mejora • Justificar una subvención/donación • Para pagar una subvención • Justificar un impacto económico que influya en un retorno financiero • Para motivar

29/04/2013 7

Catalina Parra Baño

Cuando medir

Pensar en medir desde el diseño del proyecto-programa-empresa: – Temas como atribución, grupos de control, etc.

estarán resueltos. – Si se hace a posteriori, la medida será más

imprecisa y será necesario establecer un nuevo modelo a futuro

29/04/2013 8

Catalina Parra Baño

Para quién medir: a cada uno una medida

Proyecto/ entidad

Órgano de Gobierno

Beneficiarios

Trabajadores

Voluntarios Filántropo

AAPP: regulador

Entidad Financiera

Sociedad Civil

AAPP: financiador

Otros

29/04/2013 9

Catalina Parra Baño

Quién mide

Proyecto

Grupo de

interés

Grupo de

interés

Grupo de

interés

Grupo de

interés

Grupo de

interés

Experto Independiente

Experto Independiente

29/04/2013 10

Catalina Parra Baño

El proceso de medición de impacto La EVPA propone una metodología de gestión del impacto

Fijación de Objetivos

Análisis de grupos de interés

Medición de Resultados

Verificación y evaluación d el

impacto

Seguimiento e Informe

EVPA European Venture Philanthropy Association

Modificaciones actuación

Que se completa con otros conceptos

29/04/2013 11

Catalina Parra Baño

Elementos usados en empresa sector lucrativo

• Existen más de 300 Marcos integrados por Normas, Estándares e Índices*

Hugo Narrillos, “Economía Social”, Ecobook 2012

La norma más Utilizada en la RSC es El Global Reporting

Initiative (GRI), que cubre lo económico, social y

medioambiental

Estándares: AA1000 ISAE 3000 ISO 26000 SGE 21

Índices Bursátiles: • Dow Jones Sustainability

Index (USA) • Jantzi Social Indexes

(Canada) • FTSE4Good (Inglés)

29/04/2013 12

Catalina Parra Baño

No existe un único enfoque ni metodología aceptado para la medición de valor social

• En su estudio sobre SROI para la Gates Foundation en 2008, Melinda Tuan identificó y analizó ocho diferentes maneras de intentar calcular valor social, cada una implantada por al menos una fundación o entidad muy respetada en el sector:* – Cost-Effectiveness Analysis – Cost-Benefit Analysis – Social Return on Investment (SROI) – Benefit-Cost Ratio – BACO Ratio – Expected Return – Cost per Impact – Investment Bubble Chart

* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23

29/04/2013 13

Catalina Parra Baño

No existe un único enfoque ni metodología aceptado para la medición de valor social

• Otros relevantes

– IRIS (impact Reporting Investment Standars) – GRIIS (Global Impact Investing Rating System) – LBG: London benchmarking Group: empresarial

RSC – ONLBG: http://bit.ly/1qHbTd9

* Tuan, Melinda, Measuring and/or Estimating Social Value Creation: Insights into Eight Integrated Cost Approaches preparado la Gates Foundation. 2008. pp 10-23

29/04/2013 14

Catalina Parra Baño

Medidas

Inputs controlables

Actividades

Productos

Resultados (outcomes)

Impactos

Med

idas

de

cam

bio

Med

idas

de

ejec

ució

n

Resultados directos y más inmediatos, necesarios pero no suficientes para producir resultados o impacto.

Cambios intermedios observable y medibles. Pueden ser pasos hacía un impacto.

Fuente: The results hierarchy – inputs to impacts. En A Guide to Actionable Measurement, Bill & Melinda Gates Foundation * Marta Rey, “Cómo eveluar los resultados de las Organizaciones No lucrativas”,

Inputs no-controlables*

29/04/2013 15

Catalina Parra Baño

Otros parámetros a tener en cuenta

• Atribución: Proporción de cambios atribuible al proyecto o iniciativa que se mide.

• Desplazamiento: Proporción del cambio que se produce impidiendo otros cambios positivos.

• Peso Muerto: Proporción de los cambios que se hubieran conseguido aún sin la iniciativa.

• Decrementos: Deterioro de un cambio con el paso del tiempo.

• Ajuste del objetivo: Ajuste o modificación de los objetivos con el paso del tiempo para lograr el impacto deseado.

• Grupos de Control: Grupo de población objetivo de la intervención que no se somete a ella pero se mide para comprobar los efectos atribuibles a la intervención

Fuente: Economía Social, valoración y medición de la inversión social, Hugo Narrillos Roux 2012

29/04/2013 16

Catalina Parra Baño

Algunos ejemplos

29/04/2013 17

Catalina Parra Baño

BACO Ratio

Retorno esperado =

Resultado (outcome)

Probabilidad del resultado

Contribución filantrópica

X X

Coste

Cada uno de los parámetros debe estar correctamente calculado. Algunos pueden requerir cálculos más complejos, como un VAN del Resultado por ejemplo.

29/04/2013 18

Catalina Parra Baño

Nivel Definición Pueden responder a:

Eficacia comprobada

Impacto confirmado por investigación experimental.

¿Hay diferencias estadísticamente válidas para participantes vs. un grupo al azar de control?

Eficacia demostrada

En base a datos recogidos de manera sistemática que comparan participantes con personas parecidas que no reciben servicios, se concluye que los participantes se benefician.

¿Tienen los participantes mejores resultados que personas comparables que no participan en los programas?

Eficacia aparente alta

En base a datos recogidos de manera sistemática, los participantes parecen beneficiarse de un programa específico.

¿Quién accede a sus servicios? ¿En qué programas participan? ¿Qué resultados consiguen?

Eficacia aparente

Aunque no exista un proceso para recoger y analizar datos de manera sistemática, basándose en los datos que la entidad tiene, se puede asumir que los participantes se benefician de un programa específico.

¿Qué resultados positivos parecen surgir de los programas?

Evid

enci

a de

efic

acia

M

ás

Men

os

Escala de evidencia de impacto de Edna McConnell Clark Foundation

29/04/2013 19

Catalina Parra Baño

SROI

Retorno Social de la Inversión

(SROI)

Valor Actual de los Impactos

Valor Actual de la Inversión

=

Un cálculo correcto del SROI requiere tener en cuenta muchos parámetros propios de la metodología que hay que estimar como atribución, desplazamiento, etc.

29/04/2013 20

Requiere además asignar valores a la tasa de crecimiento haciendo muy fácilmente subjetivo el proceso de cálculo.

Catalina Parra Baño

29/04/2013 21

Proyecto/organización: Introducción

al análisis SROI

Fase 1 Fase 2 Grupos de interés Cambios deseados/

no deseados Inputs Productos/Outputs En quién

influimos/afectamos Quién nos influye/afecta

¿Qué crees que cambiará para ellos?

¿Qué "inversiones" se hacen? ¿Qué entra en el proceso?

¿Qué valor tienen los imputs en términos monetarios?

¿Cuáles son las salidas

inmediatas?

Resumen numérico de actividades

Catalina Parra Baño

29/04/2013 22

Fase 2

Resultados/ Outcomes (qué cambia)

Descripción Indicador Fuente Cantidad Duración Comienzo del Output

Aproximador financiero

Valor monetario

Fuente

¿Cómo describiría el actor/grupo de interés los cambios?

¿Cómo los mediríamos?

¿De dónde sacamos la información?

¿Cómo cuantificamos el cambio?

¿Cuánto tiempo dura el resultado? (números)

¿Los cambios se observan ya durante la actividad o al periodo siguiente?

¿Qué indicador financiero o aproximador se usará para calcular el cambio?

¿Cuál es el valor monetario del cambio?

De donde obtenemos la información?

Catalina Parra Baño

29/04/2013 23

Fase 4 "Peso muerto" Deadweight %

Desplazamiento/ Displacement %

Atribución/ Attribution %

Disminución/ Drop off % Impacto/Impact

¿Habría ocurrido lo mismo sin el proyecto?

¿Qué otras actividades o proyectos hemos desplazado?

¿Quién más ha contribuido a generar el cambio?

¿Los resultados decaen con el tiempo?

Cantidad y tiempos de aproximación financiera, menos peso muerto, desplazamiento y atribución

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

0% 0% 0% 0% 0,00

Catalina Parra Baño

29/04/2013 24

Cálculo del retorno social

Tasa de descuento 5,0% Año 0 Año 1 Año 2 Año 3 Año 4 Año 5

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

0,00 0,00 0,00 0,00 0,00 0,00

n

∑Impactos/(1+i)t t=1

n

∑Imputs/(1+i)t t=1

= SROI

Catalina Parra Baño

29/04/2013 25

Catalina Parra Baño

Ejemplo

• A construir en la Clase

29/04/2013 26

Catalina Parra Baño

Recomendaciones • Involucrar a los beneficiarios y otros grupos de interés para

informar el proceso de evaluación. • Identificar el tipo y el alcance de intervención para evaluar. • Articular una teoría sobre la relación entre la intervención y los

resultados, un “theory of change” para evaluar. • Decidir cómo tratar el tema de la “atribución”. • Aprovechar múltiples métodos de evaluación para evaluar eficacia. • Aprovechar conocimiento relevante que ya existe en el campo. • Tener en cuenta las actividades y contribuciones no-económicas de

la entidad financiadora además de sus subvenciones. • Utilizar evaluadores independientes para mayor credibilidad,

eficiencia, capacidades específicas o mayor eficiencia. • Diseñar los procesos de evaluación para identificar consecuencias

inesperadas, además de las consecuencias previstas.

Fuentes: NONIE (Network of Networks for Impact Evaluation) del World Bank, Gates Foundation, NEF, y otros.

29/04/2013 27

Catalina Parra Baño

¡Muchas Gracias!

29/04/2013 28

Catalina Parra Baño

Bono de impacto social

29/04/2013 29

Catalina Parra Baño

Bibliografía I • El SROI (social return on investment):Un método para medir el impacto social de las inversiones. Análisis

Financiero. Hugo Narrillos Roux, dic 2010 • Guide to Social Return on Investment, SROI Network • Economía Social: Valoración y medición de la inversión social (método SROI) Ecobook, Hugo Narrillos Roux • Measuring Social Value By Geoff Mulgan Stanford Social Innovation Review Summer 2010 • A Guide to Actionable Measurement, Bill & Melinda Gates Foundation ( Fay Twersky, Jodi Nelson y Amy

Ratcliffe) • MEASURING AND/OR ESTIMATING SOCIAL VALUE CREATION: Insights Into Eight Integrated Cost

Approaches Prepared for Bill & Melinda Gates Foundation Impact Planning and Improvement Prepared by Melinda T. Tuan Dec 15th 2008

• Calculated Impact By Paul Brest, Hal Harvey, & Kelvin Low, Stanford Social Innovation Review, Winter 2009 • A Practical Guide to measuring and managing impact EVPA April 2013, http://ebookbrowse.com/a-

practical-guide-to-impact-measurement-evpa-pdf-d458228160 • New Philanthropy Capital (2011) Principals of Good Impact Reporting London: NPC • New Philanthropy Capital (2011) Talking about Results London: NPC • NONIE (2010) Impact Evaluation and Development Guidance on Impact Evaluation NONIE

http://www.h3s-sroi.com/images/stories/PD_Articulo_HNR_Marzo_2012.pdf • Presentation of Report produced by GECES Sub-group on Social Impact Measurement – 28 November

2013, Rapporteur: Lisa Hehenberger Research Director, European Venture Philanthropy Association 29/04/2013 30

Catalina Parra Baño

Bibliografía II • Cómo los filántropos persiguen el “Santo Grial” de la medición de impacto, Comnpromiso

Emprearial, Majeska y Parra, enero-feb 2013 • http://www.compromisoempresarial.com/carrusel/2013/02/como-los-filantropos-persiguen-el-

santo-grial-de-la-medicion-de-impacto/ • • Bonos de impacto social: Financiando el éxito y no solo las buenas intenciones, Compromiso

Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/rsc/2011/10/bonos-de-impacto-social-financiando-el-

exito-y-no-solo-las-buenas-intenciones/ • • “La novedad de los ‘pay for success’ es que los donantes conocen si su contribución dio resultados”

Compromiso Empresarial, sept 2011, Majeska • http://www.compromisoempresarial.com/profesionales-rsc-ong-management/2011/10/la-

novedad-de-los-pay-for-success-es-que-los-donantes-conocen-si-su-contribucion-dio-resultados/ • Reinventar la solidaridad: bonos de impacto social • 16 Feb, 2012, La Regla de William, Catalina Parra • • ESTUDIO DEL VALOR SOCIALDE LAS BECASDE LA FUNDACIÓN CAROLINA, Fundación Carolina, Doc

trabjo num 52, diciembre de 2011, Kristin Majeska y Catalina Parra

29/04/2013 31