propuesta de modelo de evaluación para las...

169
UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría en Humanidades Propuesta de Modelo de Evaluación para las Organizaciones de la Sociedad Civil PROYECTO DE INNOVACIÓN Y CAMBIO QUE PARA OBTENER EL GRADO DE MAESTRO EN HUMANIDADES PRESENTA: 85966 Jessika Susana Hinojosa Romero San Pedro Garza García, N.L. 9 de diciembre, 2014

Upload: dinhthuy

Post on 21-Sep-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

UNIVERSIDAD DE MONTERREY

División de

Educación y Humanidades Maestría en Humanidades

Propuesta de Modelo de Evaluación para las

Organizaciones de la Sociedad Civil

PROYECTO DE INNOVACIÓN Y CAMBIO

QUE PARA OBTENER EL GRADO DE

MAESTRO EN HUMANIDADES

PRESENTA:

85966 Jessika Susana Hinojosa Romero

San Pedro Garza García, N.L. 9 de diciembre, 2014

Page 2: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

ii

UNIVERSIDAD DE MONTERREY DIRECCIÓN ACADÉMICA DE HUMANIDADES

Como miembros de jurado de examen de maestría certificamos que hemos

leído y aprobado el Proyecto de Innovación y Cambio que presenta Jessika

Susana Hinojosa Romero y titulado Propuesta de Modelo de Evaluación para

las Organizaciones de la Sociedad Civil.

_________________________ Presidente: Dr.Javier José García y Justicia Fecha

__________________________ Sinodal: Mtra.Blanca María Maíz González Fecha

__________________________ Sinodal: Mtra.María Gloria Carvajal Rascón Fecha

Page 3: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

iii

Dedicatoria

Este trabajo lo dedico con mucho cariño a todos los que me acompañaron en este

camino y muy especialmente a:

A Dios por darme esta vida, por haberme hecho como me hizo, por darme el don de

superación, por ser la fuente que me inspira y darme la fortaleza que necesito cada día.

A mis padres Gerardo y Teresa, por estar conmigo en cada momento, si bien mi

Papá ya no pudo estar presente en esta meta, no dudo que está orgulloso de mí y me sigue

acompañando.

A mi querido esposo Enrique, pieza clave de este logro, por su apoyo incondicional

en cada locura que quiero emprender, por ser siempre escucha y hombro apoyador, por su

motivación diaria a no darme por vencida, por contagiarme su entusiasmo y energía.

A mi hijo Samuel, quien a su temprana edad comprendió que mamá debía ir a la

escuela, quién me despedía con una sonrisa y me recibía con un gran abrazo, quién me

preguntaba si aprendí mucho en mi escuelita, quien durante los dos años que estudié se

comportaba cada vez más maduro.

Page 4: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

iv

A mi hijo Esteban, quien me acompañó a cada clase mientras estaba en mi vientre,

quien me hizo más fuerte, quien me enseñó que hay tiempo para todo, quien al ver su cara

sólo puedo sonreír y creer que todo es posible.

A mi asesor de tesis Javier, quien sin duda fue un gran apoyo en la realización de

este proyecto, con su guía acertada y sus palabras de apoyo me motivaron cada día en llegar

a la meta.

A mis amigos y alumnos, de quienes siempre tuve palabras motivadoras que me

daban fortaleza, ayudándome a seguir creyendo en mí misma.

A todos ellos, gracias.

Page 5: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

v

ÍNDICE

Página

ÍNDICE DE TABLAS

INTRODUCCIÓN 10

CAPÍTULO

I. ANÁLISIS DE ORGANISMOS ACREDITADORES 15

Filantrofilia 17

Gestión Social y Cooperación 25

Centro Mexicano para la Filantropía 33

Confío 45

The Standards for Excellence Institute 56

II. FUNDAMENTACIÓN TEÓRICA 63

Definición de Acreditación 63

Definición de Certificación 64

Definición de Evaluación 65

Organismos mexicanos que otorgan acreditación y/o certificación 65

Concepto de Evaluación 67

Evaluación del Impacto 70

Tipos de Evaluación 80

Tipos de Evaluación según el Propósito 81

Evaluación de resultados 81

Evaluación de objetivos 81

Evaluación de procesos 81

Tipos de Evaluación según los Actores 82

Evaluación externa 82

Evaluación interna 82

Evaluación mixta 82

Page 6: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

vi

Evaluación participativa 82

Criterios de la Evaluación 83

Pertinencia 87

Dimensiones 88

Aspectos sustantivos 90

Preguntas clave 91

Obtención de información 92

Subcriterios 93

Apropiación 93

Alineamiento 95

Armonización 96

Coherencia 97

Participación 99

Eficacia 100

Aspectos sustantivos 101

Preguntas clave 103

Obtención de información 103

Subcriterios 104

Cobertura 104

Eficiencia 105

Aspectos sustantivos 106

Preguntas clave 108

Obtención de información 109

Impacto 110

Aspectos sustantivos 112

Preguntas claves 118

Obtención de información 109

Sostenibilidad 120

Factores 124

Políticas de apoyo 124

Factores institucionales 125

Factores socioculturales 126

Enfoque de género 127

Factores tecnológicos 129

Factores macroambientales 130

Factores económico-financieros 131

Preguntas clave 132

Obtención de información 134

Replicabilidad 137

Page 7: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

vii

III. METODOLOGÍA DE LA INVESTIGACIÓN Y ANÁLISIS

DE LAS ORGANIZACIONES DE LA SOCIEDAD

CIVIL EN NUEVO LEÓN 140

Selección de los informantes 140

Planteamiento de la investigación 141

Nombre de las organizaciones 141

Representatividad 143

Encuesta aplicada 143

Análisis de las Organizaciones de la Sociedad Civil

en Nuevo León 144

IV. MODELO DE EVALUACIÓN PARA ORGANIZACIONES DE LA

SOCIEDAD CIVIL 149

Ventajas del Modelo 150

Propuesta del Modelo de Evaluación para OSC´s 150

ANEXO A: Encuesta 165

REFERENCIAS 166

Page 8: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

viii

Índice de Tablas y Figuras

Tabla Página

1. Concentrado de organismos evaluadores 16

2. Área de rubros de evaluación en desarrollo institucional 19

3. Indicadores de impacto social 20

4. 10 indicadores del CEMEFI 38

5. Principios y buenas prácticas de Confío 49

6. Costos por acreditación completa 60

7. Cuotas anuales 60

8. Principios de evaluación según la Cooperación Española 73

9. Conceptos de criterios de evaluación 84

10. Obtención de fuentes 134

11. Criterios de evaluación 139

12. Datos básicos de las Organizaciones de la Sociedad Civil 141

13. Sugerencias de evaluación 147

14. Modelo de Evaluación 153

15. Medición del área de consolidación institucional 156

16. Medición del área de impacto social 157

17. Puntaje del área de consolidación institucional 159

18. Puntaje del área de impacto social 161

Page 9: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

ix

Figura Página

1. Logo Filantrofilia 17

2. Fases del proceso de Filantrofilia 21

3. Logo Gesoc 25

4. Modelo de Estimación de Valor Social 28

5. Variables y su ponderación 30

6. Escala de calificación por variable 31

7. Logo CEMEFI 33

8. Logo del distintivo de CEMEFI 37

9. Niveles de acreditación 40

10. Logo del procedimiento del CEMEFI 41

11. Logo Confío 47

12. Logo del distintivo Confío 47

13. Logo Standards for Excellence Institute 56

14. Sostenibilidad 122

15. Encuesta 143

16. Gráfico de evaluación del área de consolidación institucional 160

17. Gráfico de evaluación del área de impacto social 162

18. Concentrado de consolidación institucional 163

19. Concentrado de impacto social 163

Page 10: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

Introducción

Parte del interés en trabajar esta propuesta es debido a que mucho de mi trabajo se

ha desarrollado con las Organizaciones de la Sociedad Civil, iniciando primeramente desde

que era estudiante de licenciatura ya que mi servicio social lo realicé apoyando al

Departamento de Prácticas de Institución de la Facultad de Trabajo Social de la

Universidad Autónoma de Nuevo León en donde las alumnas realizaban sus prácticas

sociales en las OSC´s, al terminar mi licenciatura comencé a trabajar en esta Universidad

de Monterrey en el Área de Servicio Social en donde las opciones para que los estudiantes

realicen servicio social son las mismas Organizaciones de la Sociedad Civil pero en

actividades de índole social, asimismo dentro de esta misma Área nos encargábamos de

brindar capacitación y/o formación a las mismas en diversas especialidades según sus

necesidades; y por último al laborar durante un tiempo en la Comisión Estatal de Derechos

Humanos de Nuevo León directamente como responsable de su capacitación en materia de

Derechos Humanos, de esta forma percibí más de cerca la necesidad de estos organismos

por estar mejor preparados y por contar con certificaciones, acreditaciones o evaluaciones

que avalen o respalden su trabajo.

Al revisar los datos estadísticos en relación a estas las organizaciones de la

sociedad civil, en Nuevo León según la Secretaría de Desarrollo Social (2012) existen 630

organizaciones registradas en dicho organismo, variando a 651 las registradas ante el SAT

en el 2014, cabe aclarar que a la fecha, el directorio está en actualización en la página de la

Page 11: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

11

Secretaría de Desarrollo Social, otro dato interesante es que el SAT registra 126 OSC´s

duplicadas.

Considerando la labor que realizan, dichas instituciones han expresado la necesidad

de contar con organismos calificados que reconozcan el trabajo social que estas desarrollan

a través de una certificación, acreditación o evaluación, y que a su vez les permita adquirir

el estatus de OSC acreditada que muchas de las veces requieren para ser destacadas por su

profesionalismo y/o seriedad, sin dejar de lado su impacto comunitario y/o social.

Aunque a nivel nacional se cuente con organismos como Filantrofilia, GESOC, y el

CEMEFI que acreditan a las OSC´s, tienen la limitante de que éstas se enfocan, según

palabras de los mismos responsables de dichas instituciones, en hacer un mero trámite

administrativo en donde sólo se llenan formatos y se elaboran documentos para cumplir con

la acreditación o evaluación según sea el caso, dejando de lado la evaluación real de su

trabajo en campo, de su impacto en la comunidad.

Planteamiento de la Investigación

Objetivo General. Proponer un modelo integral de evaluación para las

Organizaciones de la Sociedad Civil.

Objetivos Específicos. Los objetivos específicos de este trabajo son:

Realizar un análisis de organismos acreditadores o evaluadores de las

organizaciones de la sociedad civil.

Page 12: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

12

Analizar las acreditaciones o conocimientos que tienen las organizaciones de la

sociedad civil en Nuevo León.

Elaborar la propuesta del modelo de evaluación.

Preguntas de investigación. Entre las preguntas que se quieren plantear para esta

investigación se encuentran principalmente:

¿Cómo están funcionando los organismos certificadores, evaluadores o

acreditadores?,

¿Cuál es el proceso que estos realizan?,

¿Cuál es el alcance de cada uno de los organismos?,

¿Qué es lo que están tomando en cuenta al momento de evaluar?,

¿Qué les está funcionando?,

¿Qué áreas deben mejorar en sus procesos?,

¿Qué es lo que no están considerando en su evaluación?,

¿Qué áreas son las más importantes a considerar al momento de evaluar las OSC´s?

¿Cómo elaborar una propuesta de modelo de evaluación?

¿Qué teoría revisar como fundamentación teórica al modelo?

¿Qué instituciones estarían interesadas en evaluarse?

¿Qué les gustaría a las instituciones que contemplara la evaluación?

Page 13: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

13

Alcances y limitaciones

Esta investigación, tiene como propósito sólo realizar la propuesta del Modelo de

Evaluación una vez que se tenga el análisis de los organismos acreditadores o evaluadores

de organizaciones de la sociedad civil y una vez conociendo la percepción de ellas sobre

dichos organismos, por lo que tiene como limitación que dicho Modelo no estará

desarrollado, como comúnmente se debe realizar un proceso de evaluación, sino sólo

quedará en propuesta, sin embargo, la propuesta tratará de ser lo más clara y completa

contando con sus indicadores, una escala de evaluación, así como algún ejemplo graficado.

Proceso y/o estructura de la investigación

Para dar inicio a este trabajo es importante resaltar el proceso que se llevó a cabo

para la culminación del mismo. Al iniciar el tema se tuvo entrevistas con personal experto

en acreditaciones y certificaciones quienes de alguna forma fueron pieza clave al darle la

verdadera estructura a este trabajo y al aclarar dudas sobre dichos conceptos por lo que este

trabajo quedó como una evaluación de las organizaciones de la sociedad civil y no en

certificación o acreditación como fue la idea principal.

Comenzaremos con el Capítulo I correspondiente al Análisis de Organismos

Acreditadores, en este apartado se seleccionaron cuatro organismos que en México evalúan

o acreditan a las Organizaciones de la Sociedad Civil, los cuales fueron Filantrofilia, Gesoc,

Cemefi y Confío. Para tener además un conocimiento de organismos internacionales, se

escogió a The Standards for Excellence Institute perteneciente a Estados Unidos, con estos

Page 14: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

14

cinco organismos se realiza un análisis completo de cada uno de ellos, en donde se detallen

aspectos tales como su descripción general, antigüedad, proceso o forma de operar, cuántas

y cuáles OSC´s llevan evaluadas, su costo y por último se realiza una conclusión

destacando sus principales fortalezas y debilidades.

En el Capítulo II revisaremos la Fundamentación Teórica que da sustento a este

trabajo, por lo que podemos destacar que nuestra teoría está relacionada principalmente con

los conceptos de evaluación, abarcando desde su definición, los tipos de evaluación, la

evaluación del impacto y muy especialmente los criterios de la evaluación, parte primordial

para elaborar el modelo.

Continuamos con el Capítulo III sobre la Metodología de la Investigación y el

Análisis de las Organizaciones de la Sociedad Civil en Nuevo León. En este apartado se

presentan los resultados de una encuesta aplicada a algunas OSC´s con el objetivo de saber

si conocen a los cuatro organismos evaluadores en México, descritos en el Capítulo 1, saber

además si poseen alguna evaluación o acreditación con ellos, y muy especialmente conocer

si están interesadas en evaluarse por otro organismo en Nuevo León, entre otras cosas.

Por último, en el Capítulo IV se presenta la propuesta del Modelo de Evaluación,

destacando las áreas a evaluar, sus dimensiones, sus indicadores, la escala de evaluación y

sus ventajas, entre otros aspectos.

Page 15: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

15

Capítulo I

Revisión de Organismos Acreditadores

En este apartado revisaremos a detalle cinco organismos que actualmente están

trabajando muy de cerca con las Organizaciones de la Sociedad Civil, al ofrecerles algún

tipo de distintivo a través de su evaluación y/o acreditación. Los organismos a revisar son:

Filantrofilia, GESOC, CEMEFI y Confío por parte de México, y The Standar for

Excellence Institute de Estados Unidos.

Se seleccionaron cuatro de México principalmente, por ser los más importantes y

conocidos, y porque de alguna forma son los únicos cuatro que ofrecen el objetivo de la

investigación, y en lo que respecta al organismo de Estados Unidos, por ser uno de los más

importantes e influyentes y por tener un gran número de organizaciones acreditadas, sin

embargo cabe destacar que al ser de otro país varían muchos de los parámetros en

comparación con los de México.

Dentro de cada organismo analizado se contemplan aspectos tales como una

descripción general de la institución, su antigüedad, su proceso o forma de operar para

llevar a cabo la evaluación o acreditación, cuántas y cuáles OSC´s han evaluado, el costo

que manejan por su distintivo y por último se realiza una conclusión a cada una ellas como

parte de reconocer sus fortalezas y/o debilidades dentro de su proceso.

Antes de analizar a detalle cada instancia, se agrega un cuadro comparativo que nos

permite visualizar de manera concentrada las principales características de cada uno:

Page 16: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

16

Tabla 1:

Concentrado de Organismos Evaluadores, Fuente: Elaboración propia.

INSTANCIA FILANTROFILIA GESOC CEMEFI CONFÍO SEI

Servicio que

ofrecen

Calificación Social Evaluación Acreditación Evaluación Acreditación

Nombre de su

evaluación

Desarrollo

Institucional e Impacto

Social

Modelo de

Estimación de

Valor Social

Institucionalid

ad y

Transparencia

OSC analizada Acreditación y

reconocimiento

a Normas para

la Excelencia

Duración de

proceso

De 1 a 2 meses No

especificado

No

especificado

3 meses De 6 a 18

meses

Duración de su

acreditación/ev

aluación

1 año No

especificado

No

especificado

2 años 3 años

Número de

indicadores a

revisar

2 áreas con 7

indicadores

6 variables 10 indicadores 9 principios de

transparencia y

buenas prácticas y

36 subprincipios

6 principios

rectores y 27

áreas temáticas

Costo No especificado No

especificado

puesto que lo

absorbe Monte

de Piedad

$3,500.00 $950.00 $250 a $30,000

dolares

Page 17: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

17

Figura 1. Logo de Filantrofilia

Filantrofilia

Se describen como la primera calificadora social en Latinoamérica, (Filantrofilia,

s.f.), sin embargo no tiene acreditación por ninguna instancia como evaluadora.

Descripción de la Institución. Filantrofilia en su página web

(www.filantrofilia.org) nos dice que es una asociación civil que tiene como misión

maximizar el impacto de la filantropía en México mediante la calificación,

profesionalización, promoción y canalización de recursos a las organizaciones sin fines de

lucro. Mencionan que cuentan con una metodología innovadora única en su tipo y permite a

las organizaciones sociales cuantificar su impacto social y conocer su nivel de desarrollo

institucional en comparación con las mejores prácticas internacionales.

Trabaja estrechamente con diferentes tipos de organizaciones para que juntos puedan

construir una nueva cultura filantrópica, ellos visualizan un país en el cual las

organizaciones sociales sean verdaderos motores de cambio positivo, y donde las personas,

organizaciones y empresas tengan la confianza de realizar donativos con base en

información clara y transparente.

A su vez, Filantrofilia se financia a través de donativos por parte de su consejo

directivo y otras organizaciones filantrópicas, así como mediante cuotas de recuperación

cubiertas por las organizaciones participantes.

Page 18: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

18

Antigüedad. Filantrofilia ha estado calificando a las organizaciones desde el año

2010 por lo que a la fecha cuenta con cuatro años de antigüedad.

Proceso o forma de operar. El proceso de calificación dura entre 4 y 8 semanas

dependiendo de la complejidad, disponibilidad de la información y ubicación geográfica de

la organización a calificar. Durante ese tiempo, se asigna un equipo de evaluadores quienes

entrevistan, encuestan y estudian los documentos necesarios para completar un análisis del

impacto social y el desarrollo institucional. El proceso consta de 6 fases y utilizan como

base un scorecard con más de 110 aspectos basados en las mejores prácticas del sector

social internacional.

Filantrofilia menciona que a diferencia de otros distintivos y acreditaciones, ellos

realizan una calificación a profundidad por un grupo de especialistas del sector social

basados en las mejores prácticas internacionales. Y se consideran la única organización en

México que evalúa el desarrollo institucional y cuantifica el impacto social. Ellos destacan

que el gran valor de la calificación es que ayudan a la organización para que, una vez

calificada, se fortalezca, promueva y genere más recursos con mayor impacto.

Ellos cuentan con una propia categorización de las organizaciones, al llamarles de

primer piso a todas las organizaciones sociales operativas y de segundo piso a las

instituciones donantes.

Las áreas que se evalúan en desarrollo institucional son: Gobierno y estrategia,

Generación de ingresos, Comunicación, Administración y Operación.

Page 19: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

19

Tabla 2:

Áreas y rubros de evaluación en desarrollo institucional

ÁREA RUBRO

Gobierno y Estrategia Misión, Visión, Estrategia y Planeación

Liderazgo del Consejo

Liderazgo y Estructura de la Dirección

Generación de

Ingresos (fondeo)

Recaudación de Fondos

Mercadotecnia, Comunicación y Relaciones Públicas

Administración Finanzas

Recursos Humanos

Tecnologías de la Información

Legal

Y a su vez, los indicadores de impacto social son: Alcance, Eficacia, Eficiencia y

Retorno social sobre inversión como se pueden visualizar a continuación:

Tabla 3:

Indicadores de Impacto Social

INDICADOR DESCRIPCIÓN

Eficacia Porcentaje de éxito de las acciones de la organización para

llevar a cabo su misión

Eficiencia La manera en que se utilizan los recursos disponibles para

Page 20: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

20

llevar a cabo su misión

Alcance El número de beneficiarios directos e indirectos en un

determinado lapso.

Retorno Social sobre

Inversión (RSOI)

El impacto económico que tienen las acciones de la

organización en la sociedad mexicana en un determinado lapso

de tiempo.

En cuanto a evaluar a las instituciones donantes o de segundo piso, les permite

identificar el nivel de relevancia (factor x) de los donativos otorgados a las organizaciones

operativas beneficiadas. En este caso el proceso es diferente, varía en tiempo y duración ya

que es necesario calificar a un grupo representativo de organizaciones beneficiadas. Otra de

las ventajas que ellos mencionan es que les permitirá generar información para otorgar

donativos de manera más eficaz, optimizando el impacto social.

Figura 2. Frases del proceso de Filantrofilia

Page 21: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

21

A continuación describiremos las fases que Filantrofilia maneja:

1.- Diagnóstico inicial

El equipo evaluador recopila información administrativa, legal, financiera y operativa que

le permite conocer el panorama general de la organización y sus programas de atención.

2.- Análisis de resultados operativos

Se analizan los resultados operativos de la institución de forma profunda y se identifican los

principales indicadores para evaluar el impacto social de sus programas.

3.- Encuestas a beneficiarios

A través de una encuesta, ellos conocen la percepción de los beneficiarios con respecto a

los servicios otorgados por la institución.

4.- Evaluación de Desarrollo Institucional

Se realizan entrevistas a los integrantes de los órganos de gobierno, equipo directivo y

operativo clave para profundizar en el conocimiento de la organización.

5.- Determinación de la Calificación

Se analiza toda la información obtenida por diversos medios y se determina su calificación

en comparación con las mejores prácticas institucionales y basados en evidencia.

6.- Presentación de la Calificación y Recomendaciones Estratégicas

Al finalizar el proceso de calificación se hace una presentación con los integrantes del

órgano de gobierno y equipo operativo de la organización, con el objetivo de dar a conocer

los resultados obtenidos y las recomendaciones emitidas por el equipo evaluador.

Costos. Lo manejan como modelo de sustentabilidad económica en la cual las

organizaciones calificadas aportan una cuota de recuperación hacia el costo total del

Page 22: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

22

proceso de calificación. La aportación solicitada varía dependiendo del tamaño y

complejidad de la organización. Sin embargo también cuentan con un programa especial

llamado “Amigos de Filantrofilia” para generar fondos que permitan becar o subsidiar a las

organizaciones sociales, para esto hay que pedir una solicitud la cual debe ser aprobada por

el comité de becas. Además cuenta con alianzas estratégicas con diversas instituciones

donantes, las cuales cubren muchas de las veces los costos parciales o totales de los

servicios de calificación.

Organizaciones Evaluadas. Hasta la fecha Filantrofilia lleva evaluadas más de 250

organizaciones y por mencionar algunas destacan: Fundación Pro niños de la Calle,

SELIDER, VETSA, CreeSer, Ciudad de los Niños de Monterrey, Casa Paterna la Gran

Familia, Asociación Mexicana para la Audición, Alianza Anticancer Infantil, entre otras.

Conclusión. Filantrofilia sin duda tiene una estrategia muy interesante al mencionar

que no sólo evalúan la parte del desarrollo institucional como la gran mayoría de las

instancias lo hacen, sino además contemplan el impacto social, y esta es una de sus

mayores fortalezas ya que son pocas las instancias que están ofreciendo el servicio como tal

de evaluar el impacto social, sin embargo, al ver los indicadores de este último rubro así

como un ejemplo de acreditación a una OSC a la cual tuve acceso, se puede observar

claramente que esta parte de impacto comunitario queda completamente vacía, no destaca

ni evalúa realmente lo que la organización está haciendo en la comunidad y el verdadero

impacto que se está generando.

Page 23: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

23

Al destacar Filantrofilia insistentemente que es la única instancia que contempla el

impacto comunitario, tiene mucho más que ofrecer, por lo cual necesita urgentemente

revisar sus indicadores y ofrecer este verdadero servicio. Lo que están entregando a las

organizaciones como parte de su evaluación en el área de impacto social, deja mucho qué

desear, no ofrecen evaluación real, como se mencionó anteriormente, de cómo la institución

está en esa parte, es sorprendente ver los entregables de Desarrollo Institucional y sólo una

hoja de Impacto Social, cuando ellos mismos mencionan que sus indicadores son:

eficiencia, eficacia, alcance y retorno social sobre inversión. Filantrofilia entrega resultados

muy cuantitativos, que al final son números que no reflejan el verdadero impacto, son los

número que vemos en todas partes.

Otro dato interesante de su proceso es que ofrece una escala de calificación, lo cual

significa que cualquier institución puede iniciar proceso y terminarlo para obtener una

calificación aunque esta no sea muy buena y no refleje su impacto social, con este aspecto

pierde un poco de credibilidad ya que se contrapone con lo que ofrecen y al momento de

querer revisar la calificación de alguna organización aparece como calificación pendiente y

en esta categoría puede durar hasta años, lo que representa por una parte credibilidad de la

organización al estar en el proceso de evaluación de Filantrofilia, pero por otro lado no hay

la verdadera transparencia ya que sólo aparece el nombre no los resultados, entonces, nos

hace suponer que cualquier organización inicia su proceso de evaluación, aparece su

nombre en la página web de Filantrofilia, cualquier le puede donar, pero no nos ofrece

información confiable de esa OSC. Considero que es importante para ellos determinar bien

sus criterios de Impacto Social y no considerar sólo la parte cualitativa.

Page 24: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

24

Figura 3. Logo Gesoc

Gestión Social y Cooperación A.C. (GESOC)

GESOC otorga una evaluación, esta instancia tampoco cuenta con una acreditación

que la respalde como evaluadora, sin embargo cabe destacar que tiene el apoyo de Nacional

Monte de Piedad.

Descripción de la Institución. GESOC (www.gesoc.org.mx) es un organismo de la

sociedad civil que tiene como misión ser especializado en la generación de evidencia y

soluciones metodológicas útiles y robustas para que las iniciativas sociales de gobiernos,

OSC´s y empresas, maximicen el valor público que producen a favor del desarrollo social,

con apego a los principios de transparencia, rendición de cuentas y respeto a los derechos

humanos, implementación y evaluación de proyectos.

Para llevar a cabo su misión, GESOC enfoca su trabajo en cuatro líneas estratégicas

que atienden los retos clave que enfrentan los sectores gubernamental, empresarial y de

sociedad civil para incrementar su capacidad para agregar valor social:

Gestión basada en evidencia y orientada a resultados;

Transparencia y rendición de cuentas;

Responsabilidad social y realización de los derechos; y

Colaboración inter-organizacional para el desarrollo.

Page 25: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

25

GESOC además aborda estas líneas Estratégicas de Incidencia a partir de dos Líneas

de Acción que también son transversales a los sectores gubernamental, empresarial y de

sociedad civil:

Iniciativas de investigación y evaluación

Iniciativas de monitoreo y formación de capacidades

A su vez definen que para incidir en el valor social de las OSC´s, tienen como

propósito trabajar para beneficio de otras OSC´s al incrementar los estándares de

profesionalización y rendición de cuentas de los resultados e impactos obtenidos por éstas,

para contribuir al mejoramiento de los programas y proyectos de intervención social.

Algunos ejemplos sobre su trabajo con OSC´s se describen a continuación:

Investigación sobre prácticas de evaluación de las OSC´s en México (2011).

Evaluación externa del programa “Crea tu espacio” de SERAJ-UNICEF (2010).

Reporte de investigación Voces de los niños: percepciones y significados de la

pobreza (2009).

Evaluación de resultados e impactos de programas institucionales de 12 fundaciones

y OSC´s operativas que abordan distintas temáticas sociales, ambientales y

económicas.

Diseño e implementación de sistemas de seguimiento y evaluación de 14

fundaciones y OSC´s operativas.

Evaluación de capacidad organizativa de 9 fundaciones y OSC´s.

Page 26: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

26

Diseño metodológico de la investigación sobre las características del fenómeno de

callejarización de niñas, niños, adolescentes y jóvenes de la Ciudad de México.

Manual de evaluación para organizaciones de la sociedad civil (2011).

Manual Construyendo Capacidades Básicas para Organizaciones de Base (2009).

Modelo y talleres de incidencia en políticas públicas para OSC´s (2010).

GESOC menciona además ser parte de:

Global Reporting Initiative

Red de OSC´s de Latinoamérica y el Caribe para la Gestión por Resultados en

Desarrollo del BID

Integrante del Consejo de Sociedad Civil (CONSOC) para México del BID

Comité de Seguimiento y Evaluación del Programa de Derechos Humanos del

Distrito Federal

El Colectivo por la Transparencia

Observatorio ciudadano “Gastar Mejor”

Red por la Rendición de Cuentas

Y del Centro Mexicano para la Filantropía (CEMEFI)

Cabe destacar que GESOC ha sido reconocida por el Consejo Nacional de Ciencia y

Tecnología (CONACYT), quien le concedió la constancia de inscripción al Registro

Nacional de Instituciones y Empresas Científicas y Tecnológicas bajo el número

2010/13567, el 9 de noviembre de 2010. Asimismo, GESOC se hizo acreedora al primer

lugar en la edición 2012 del Premio a la Innovación en Transparencia para la Mejora de

Page 27: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

27

Gestión Institucional convocado por el Banco Mundial y el Instituto Federal de Acceso a la

Información por el proyecto “Índice de Desempeño de los Programas Públicos Federales,

INDEP 2011.

Antigüedad. Fue fundada en la Ciudad de México en el año 2006 por seis

profesionales con amplia experiencia en investigación y gestión para el desarrollo, análisis

de políticas públicas e implementación y evaluación de proyectos.

Proceso o forma de operar. Su evaluación la realizan a través del Modelo de

Estimación de Valor Social, el cual es una herramienta desarrollada por ellos para evaluar y

facilitar la rendición de cuentas sobre la contribución que realizan las OSC´s a la resolución

de problemas públicos. Permite estimar en qué medida la gestión de las organizaciones está

orientada a producir resultados e impactos relevantes, sin embargo no es método de

evaluación de impactos como ellos mismos lo mencionan.

El Modelo de Estimación de Valor Social es un acercamiento gradual al

mejoramiento de las intervenciones sociales y lo podemos observar:

Figura 4. Modelo de estimación de valor social

Page 28: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

28

Permite estimar la capacidad de gestión mostrada por la OSC en la resolución del

problema público (de sus programas o proyectos).

Enfocado en la intervención social, no en la institucionalidad.

Puede valorar y reconocer la contribución social de todo tipo de instituciones.

Algunas ventajas que considera tiene su Modelo son:

Es altamente sensible al contexto de implementación.

Compara cómo las instituciones están haciendo uso de su dinero, pero requiere

evidencia para poder evaluar cuáles componentes de su intervención resultan más

rentables desde el punto de vista social.

Identifica medidas puntuales para la mejora de la gestión.

Puede ser usado como línea base, para monitorear la capacidad programática.

Permite clasificar/categorizar apoyos de donantes a Instituciones.

Las variables que GESOC utiliza en su modelo son las siguientes:

Pertinencia 20%. Que el diseño cuente con todas las previsiones necesarias y que el

problema social al que está dirigido haya sido analizado y delimitado.

Eficiencia 10%. La adecuada y oportuna aplicación de recursos humanos,

financieros, materiales, etc. para el cumplimiento de actividades

Page 29: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

29

Atribución 20%. Consistencia de la intervención y alcance de la implementación

para tener efectos atribuibles a la institución.

Evaluabilidad 20%. Beneficios y efectos que se están registrando, sistematizando,

valorando, etc., metas cumplidas, productos, resultados, impactos.

Sostenibilidad 10%. Potencial para permanencia, expansión o replicabilidad.

Valor por dinero 20%. Uso de la inversión social realidad, comparada con proxys de

gasto social público (programas federales y locales).

Figura 5. Variables y su ponderación

Page 30: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

30

Figura 6. Escala de calificación por variable

Costos. Realizan una sesión previa con las instituciones a evaluar, comentándoles

que el costo lo absorbe Nacional Monte de Piedad

Organizaciones evaluadas. A la fecha GESOC lleva 76 organizaciones evaluadas,

aunque cabe mencionar además que no todas cumplen con sus 9 principios y 36

subprincipios. Algunas de las instituciones que podemos mencionar son: Formación y

Desarrollo Familiar A.C., Fundación Tarahumara José A. Llaguno A.B.P., La Casa del

Voluntario de Chihuahua A.C., Un Sueño Realizado A.C., entre otras.

Conclusión. GESOC cuenta con una carta de presentación bastante atractiva al

detallar sus publicaciones nacionales e internacionales y estar en la vanguardia de los

estándares internacionales, podemos decir que de las cinco instancias a evaluar en esta

investigación, Gesoc es quien cuenta con un mejor modelo, ya que considera la parte

Page 31: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

31

institucional y la parte social mucho más completa, con un Modelo más estructurado, con

indicadores mejor definidos y con variables más aplicables, Gesoc sin duda está muy bien

preparada para todo lo que está por venir en materia de las organizaciones de la sociedad

civil y de igual manera está muy actualizada, si bien le falta mucho por desarrollar en el

área de evaluación social ya que sigue quedando algo vacía, no dudo que en poco tiempo lo

desarrollen, tienen las herramientas, la metodología y el personal capacitado para llevarlo a

cabo, la desventaja que principalmente tiene es que Gesoc es de las menos conocidas, por

lo tanto de las menos buscadas por las organizaciones para evaluarse.

Page 32: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

32

Figura 7. Logo CEMEFI

Centro Mexicano para la Filantropía (CEMEFI)

Sin duda CEMEFI es uno de los más conocidos a nivel nacional; aunque en realidad

ellos otorgan una acreditación, en varios comunicados, ya que organizaciones que los

nombran, especifican que otorga una certificación, cabe destacar que CEMEFI no tiene una

acreditación como instancia acreditadora o certificadora, además ofrecen el término

distintivo a su proceso de acreditación.

Descripción de la Institución. El CEMEFI como lo especifican en su página de

internet (www.cemefi.org) es una asociación civil, una institución privada no lucrativa, sin

ninguna filiación a partido, raza o religión, su sede se encuentra en la Ciudad de México y

su ámbito de acción abarca todo el país.

Tiene como misión promover y articular la participación filantrópica, comprometida

y socialmente responsable de los ciudadanos, organizaciones sociales, y empresas, para

alcanzar una sociedad más equitativa, solidaria y próspera.

Page 33: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

33

Sus objetivos son:

Mejorar el entendimiento y la percepción del gobierno, tomadores de decisiones y

del público en general sobre las actividades, características y valor social producido

por las organizaciones del sector y por el CEMEFI.

Avanzar el conocimiento disponible del sector y generar información estratégica

que sirva para defender y avanzar sus intereses comunes.

Contar con mecanismos e instrumentos efectivos de vinculación, articulación y

formación de alianzas entre los actores del sector filantrópico y de éstos con otros

sectores.

Incrementar las donaciones de tiempo y dinero, particularmente las relacionadas con

la inversión social de largo plazo.

Incrementar el número de empresas con una gestión socialmente responsable; y

coadyuvar para que la responsabilidad social empresaria (RSE) se traduzca en

prácticas de responsabilidad social que contribuyan a la resolución de problemas

públicos prioritarios para el país.

Mejorar el proceso de generación, identificación, sistematización y adopción de

modelos y herramientas orientadas a fortalecer institucionalmente las

organizaciones según estándares de buenas prácticas.

A su vez asume como compromisos institucionales:

Respeto a la persona humana. Reconoce el valor absoluto de todos los seres

humanos independientemente de su condición de género, determinación racial o

situación social, económica, política o religiosa.

Page 34: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

34

Promoción de la participación voluntaria. Reconoce en los ciudadanos el derecho y

la responsabilidad sobre el conjunto social por lo que promueven la participación de

las personas y las organizaciones sociales en el desarrollo de la sociedad.

Búsqueda de una sociedad más equitativa. Reconoce la necesidad de promover

relaciones sociales e institucionales que favorezcan una sociedad que potencie el

desarrollo humano con oportunidades para todo.

Fomento de la cultura democrática. Reconoce a la democracia como el modo de

organización social que mejor posibilita el diálogo y participación entre los distintos

actores sociales para la búsqueda y el logro del bien común.

Y en lo que respecta a sus principios institucionales podemos mencionar:

Respeto. Actitud que reconocer al otro en su valor y en sus diferencias.

Servicio. Actitud que permite responder oportuna y profesionalmente a las tareas,

los retos y las demandas de personas e instituciones.

Promoción. Actitud que anima e impulsa a personas y organizaciones a la búsqueda

de soluciones

Colaboración. Actitud que valora la construcción de soluciones e interacción con

otros. Sabe aportar y recibir. Valora el desempeño profesional del otro.

Transparencia. Actitud de dar cuenta de nuestra actuación a la estructura interna y al

conjunto social.

Congruencia. Actitud de desempeño personal e institucional acorde con los valores

adoptados.

Page 35: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

35

Como órgano colegiado de autoridad cuenta con la Asamblea General de Asociados

que está integrada por 197 miembros, de los cuales 93 son asociaciones y fundaciones, 45

personas y 59 empresas. A su vez, esta Asamblea delega las responsabilidades de la

dirección y administración de la institución en un Consejo Directivo que está conformado

por 49 personas.

Cuenta con 222 miembros entre asociaciones, empresas, fundaciones y personas,

asimismo, están afiliadas al CEMEFI 469 instituciones de asistencia y promoción, y 11

personas de toda la República Mexicana. Además 18 dependencias gubernamentales e

instituciones internacionales son usuarios de sus servicios.

Antigüedad. El CEMEFI fue fundado como asociación civil en diciembre de 1988

y su proceso de acreditación inició en noviembre de 2004 cuando el Cemefi propuso un

modelo para que las OSC´s pudieran llevar a cabo un autodiagnóstico de su gestión

institucional, el manejo de sus recursos y sus procesos de información pública; pero fue a

inicios del 2005 cuando se realizó la etapa inicial de este proceso, primeramente como un

servicio dirigido a los miembros del Cemefi, más adelante este proceso despertó el interés

de otras organizaciones del sector.

Page 36: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

36

Figura 8. Logo del distintivo CEMEFI

Proceso o forma de operar. El distintivo que CEMEFI ofrece se titula

Acreditación de los Indicadores de Institucionalidad y Transparencia, y tiene como objetivo

impulsar la profesionalización del sector, y aumentar la transparencia y la rendición de

cuentas de las organizaciones de la sociedad civil para fomentar la confianza de las

entidades donantes (empresas, fundaciones y particulares) y así, incrementar las donaciones

y las colaboraciones.

CEMEFI maneja su acreditación a través de 10 indicadores, los cuales los describe

como un conjunto de diez referencias objetivas, no controversiales y de fácil comprobación,

que reflejan el nivel de desarrollo institucional de la organización y que le permite a

cualquier persona, empresa o institución conocer con certeza algunas características de una

organización privada, no lucrativa y de servicios a terceros. CEMEFI considera que estos

indicadores son una fuerte importante de referencia sobre las organizaciones de la sociedad

civil mexicanas que proporciona información adicional para los donantes y usuarios, como

el grado de institucionalidad y transparencia de cada institución y la gestión de los recursos

privados que recibe.

Page 37: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

37

Podemos observar los 10 indicadores:

Tabla 4:

Los 10 indicadores del CEMEFI

Los 10 Indicadores

INDICADOR Y DESCRIPCIÓN REFERENCIA COMPROBATORIA

1. Constitución Legal ante Notario Público

Al constituirse formalmente ante notario público

se especifica la personalidad jurídica, figura legal,

objetivos y estatutos y naturaleza privada, no

lucrativa y de servicios a terceros a la institución.

Copia simple del Acta Constitutiva registrada ante

Notario Público.

2. Autorización de la SHCP como Donataria

Carta-Oficio otorgada por la Secretaría de

Hacienda y Crédito Público (SHCP) reconociendo

que la institución cumple con los requisitos legales

para recibir la exención de impuestos y la

autorización como donataria autorizada.

Copia de la última publicación de la autorización

de la SHCP en el Diario Oficial de la Federación.

3. Misión, Visión y Objetivos

La misión expresa el sentido último o razón de ser

de la institución.

La visión es la descripción de lo que se desea

lograr en términos de posicionamiento e impacto

de la organización en el mediano y largo plazo.

Los objetivos son los resultados que se proponen

alcanzar a través de una serie de acciones definidas

mediante un proceso de planeación y evaluación.

Documento público en el que se expresa la misión,

visión y objetivos, asumidos por el Consejo

Directivo o Patronato.

4. Domicilio y teléfono verificables

Lugar donde se ubica físicamente la oficina de la

institución. Este indicador nos ayuda a asegurar y

verificar la existencia física de la organización.

Copia del último comprobante de domicilio a

nombre de la organización (predial, agua, luz o

contratos de arrendamiento o comodato) y copia

del último recibo telefónico.

5. Informe anual de resultados y ejercicios de recursos

Consiste en un ejercicio de rendición de cuentas

mediante el reporte de actividades y resultados

alcanzados por la organización. Permite conocer la

relación costo-beneficio de los servicios que

ofrece, así como el origen y destino de los recursos

al incluir la información financiera de la

organización y, en su caso, la dictaminación de la

misma.

Documento público en el que se informe sobre los

resultados de su trabajo que incluya los estados

financieros de la organización, dictaminados por

auditores externos, de acuerdo a las disposiciones

fiscales vigentes.

6. Consejo Directivo o Patronato diferente al equipo profesional

Page 38: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

38

El Consejo Directivo o Patronato, como instancia

responsable del gobierno de la organización, debe

estar integrado mayoritariamente por personas

voluntarias distintas de los integrantes del equipo

profesional.

La clara distinción entre el órgano de gobierno y el

equipo operativo se establece para evitar conflictos

de intereses, asegurar la profesionalización del

personal, cuidar la eficiencia y eficacia de la

institución y establecer las políticas y mecanismos

necesarios para la transparencia de la organización.

Lista de los miembros del Consejo Directivo o

Patronato y lista de los miembros del equipo

operativo firmadas por el Presidente del Consejo o

Patronato, o por el Director.

7. Personal profesional contratado en nómina

Tener miembros del personal contratado en

nómina es cumplir con las obligaciones de ley,

refleja el compromiso de la institución con el

personal que labora en la organización al

reconocer los derechos laborales y prestaciones

que les otorga la ley (Seguro Social, Infonavit,

etcétera).

Copia del último pago mensual patronal o de la

constancia de alta al IMSS y al INFONAVIT.

8. Colaboradores voluntarios en los programas

Se refiere a las personas comprometidas con la

causa y con la organización que colaboran con el

trabajo de la misma, sin recibir una remuneración

financiera. Agregando valor a esa causa, con su

aportación de tiempo y talento.

Lista de colaboradores voluntarios del año en

curso, firmada por el Presidente del Consejo,

Patronato o por el Director.

9. Más de tres años de operación

La permanencia en el tiempo refleja compromiso y

capacidad de respuesta a las necesidades y

problemática que atiende en el entorno en que se

ubica.

Copia de los estados financieros de los últimos tres

años, dictaminados por auditores externos.

10. Más de tres fuentes distintas de ingreso

Para asegurar la sustentabilidad financiera de la

organización es conveniente que sus recursos

provengan de diferentes fuentes: cuota, servicios,

donaciones privadas (de particulares, fundaciones,

empresas), del gobierno, internacionales, etcétera.

Copia del Presupuesto anual del año en curso,

indicando las diferentes fuentes de ingresos y sus

porcentajes respectivos.

Estos indicadores operan como un proceso institucional de autoevaluación y

autoregulación voluntario, verificado y acreditado por ellos mismos, a través de los

documentos comprobatorios.

Page 39: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

39

Ellos ofrecen 3 niveles de esos 10 indicadores como se pueden observar en la

siguiente figura:

Figura 9. Niveles de acreditación

Page 40: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

40

Figura 10. Logo del procedimiento CEMEFI

En cuanto al procedimiento para obtener la acreditación consta de cinco pasos

que se describen a continuación:

1. Autodiagnóstico

La organización inicia el proceso realizando un autodiagnóstico con base en el formato

elaborado por ellos mismos para tal fin. Una vez detectados los indicadores que sí

cumple, recaba fotocopias de los documentos que sirven como referencias

comprobatorias de cada uno de los indicadores que se considera que puede acreditar.

2. Envío de documentación

La organización envía a Cemefi la siguiente documentación:

a) Una carta manifestando su interés en participar en el proceso de acreditación

de los Indicadores de Institucionalidad y Transparencia.

b) El formato de autodiagnóstico debidamente llenado y un listado de los

documentos que acompaña como referencia comprobatoria de cada

indicador.

c) El comprobante de pago del proceso de acreditación.

Page 41: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

41

d) Una carpeta que integre las referencias comprobatorias por cada indicador,

enlistando los documentos que envía.

3. Revisión de documentación

Una vez recibida la información, el Cemefi revisará los documentos y referencias

comprobatorias enviadas y en un plazo de dos semanas, le comunicará a la organización

el estatus de su proceso y, en su caso, el nivel de Institucionalidad y Transparencia que

ha alcanzado. En caso de que la documentación enviada no permita corroborar el

cumplimiento del indicador del cual es referencia:

a) El Cemefi enviará a la organización una carta de retroalimentación,

señalando si existe algún documento faltante o si es necesario el envío de

mayor información; asimismo, ofrecerá orientación con respecto a la

implementación de acciones de mejora que permitan a la organización

alcanzar algún(os) indicador(es).

b) La organización enviará al Cemefi las respuestas, aclaraciones y/o

documentos que hagan falta para acreditar los indicadores respectivos en

orden a completar el proceso de acreditación.

4. Constancia de Acreditación

Cemefi enviará a la organización una Constancia de Acreditación, señalando el nivel de

Institucionalidad y Transparencia que la organización ha alcanzado con base a los

indicadores de la tabla anteriormente presentada:

Nivel básico: si cubre los primeros indicadores

Page 42: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

42

Nivel medio: si cubre en seis y ocho indicadores entre éstos los primeros cinco.

Nivel óptimo: si cubre nueve a diez indicadores, incluidos todos los anteriores.

5. Distintivo de Institucionalidad y Transparencia

En este último se paso se llega en caso de alcanzar el nivel óptimo y consta de:

a) El Cemefi enviará a la organización, además de la Constancia de Acreditación,

el logotipo Distintivo de Institucionalidad y Transparencia y el manual de uso

del mismo. A partir del momento de su recepción, la organización podrá hacer

uso del distintivo en su papelería institucional.

b) En una ceremonia pública, el Cemefi hará entrega de las Constancias de

Acreditación de Nivel Óptimo de Institucionalidad y Transparencia a las

organizaciones que hayan alcanzado ese nivel.

Costos. El Cemefi maneja un costo para la acreditación de $3,500.

Organizaciones Evaluadas. El Cemefi lleva a la fecha cerca de 672 organizaciones

de la sociedad civil que han sido evaluadas, y podemos mencionar: Asociación Pro

Autismo A.C., Comunidad Down A.C., Fundación Teletón México A.C., Effeta A.B.P.,

Instituto Nuevo Amanecer A.B.P, Luz de Vida I.A.P., Niños de la Calle I.A.P, entre otros,

aunque cabe destacar que solamente son 22 de Nuevo León.

Conclusión. A pesar de ser muy famosa como instancia acreditadora, al revisar sus

indicadores vemos que queda muy vacío su proceso de acreditación, ya que contempla

Page 43: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

43

aspectos muy básicos con las que todas las organizaciones de la sociedad civil deben

contar, por lo cual no ofrece nada relevante, si bien su acreditación se llama Distintivo de

Institucionalidad y Transparencia, vemos que sólo revisa la parte de institucionalidad y al

contar además con 3 niveles, básicamente asegura a todos su constancia de acreditación, lo

cual no representa seriedad, ya que los 5 requisitos que pide para alcanzar el nivel básico y

los indicadores que debe cubrir la organización como se especificó en el apartado de

proceso, son indicadores con las que toda organización cuenta, por lo cual no representa un

criterio selectivo para otorgar la constancia, de ahí parte que el Cemefi cuente con un alto

número de instituciones acreditadas.

Su acreditación no evalúa niveles de impacto social o comunitario, se contemplan

exclusivamente en la parte institucional y/o en cumplir requisitos que toda Organización de

la Sociedad Civil debe tener, así que de todas las instancias que ofrecen acreditación o

evaluación, Cemefi es quien tiene la menos selectiva, la menos requisitosa y la menos

evaluativa ya que solamente es ir palomeando si cuenta con eso o no. Y por otro lado es la

más famosa organización y de quien la mayoría de las OSC´s quieren tener acreditación.

Page 44: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

44

Figura 11. Logo Confío

Confío

Su nombre completo es Confío, Construyendo Organizaciones Civiles

Transparentes A.C. con sede en Chihuahua, Chihuahua.

Descripción de la Institución. Es una organización legalmente constituida en

México, no lucrativa, que cuenta con un consejo directivo comprometido e independiente,

conformado por instituciones y personas que la describen con gran calidad moral y

reconocimiento a nivel nacional e internacional, y que busca que las organizaciones puedan

darse a conocer como transparentes y con buenas prácticas a fin de ser más confiables. Se

definen también, como un vínculo entre las organizaciones civiles que realizan actividades

de beneficio social y/o medio ambiente y donantes, al brindarles una serie de herramientas

y posibilidades para donar responsablemente, además de la certeza que brinda el contar con

información objetiva sobre las OSC´s; y por último es una organización apoyada por

instituciones donantes locales y nacionales que visualizan la tendencia de la transparencia

como clave para la sustentabilidad del sector.

Page 45: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

45

Tiene como misión generar confianza en las organizaciones de la sociedad civil

mediante la promoción de su transparencia para lograr una mayor participación social.

Confío tiene una herramienta de rendición de cuentas basada en la Fundación Lealtad en

España, este modelo de análisis ofrece a particulares y donantes empresariales, información

independiente, objetiva y homogénea sobre las OSC para apoyarles a decidir con cuál

colaborar y de esta manera orientarles sobre el seguimiento de sus donativos.

Confío es miembro de ICFO (International Committee on Fundraising

Organizations), la asociación de evaluadores nacionales independientes para OSC que

agrupa a 16 oficinas en 14 países y que en conjunto analizan a más de 4000 organizaciones.

Entre otras de las funciones que realiza Confío, están el llevar a cabo talleres por

toda la república mexicana para promover la transparencia y buenas prácticas y realizar

investigaciones y publicaciones de distribución gratuita para conocer la realidad del sector

y fomentar la cultura de la transparencia.

El principal beneficios que Confío menciona que tienen las organizaciones, es que

al hacer pública su información se coloca en un escaparate que le permite darse a conocer a

los donates como una OSC transparente con buenas prácticas y esto se traduce en más y

mejores apoyos.

Confío establece que sus principios de transparencia y buenas prácticas no

constituyen ninguna normativa legal ni un sistema de calificación de las OSC´s, ya que

Page 46: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

46

ellos destacan que no pretender otorgar una calificación a las organizaciones que han sido

analizadas.

Antigüedad. Confío surge como una iniciativa en el 2009 del Centro para el

Fortalecimiento de Organizaciones Civiles A.C., pero en junio de 2010 se constituye

legalmente como Construyendo Organizaciones Civiles Transparentes A.C., por la

Fundación del Empresariado Chihuahuense A.C. y la Fundación Telefónica México A.C.,

después se integra al proyecto el Tecnológico de Monterrey Campus Chihuahua como otro

propulsor del modelo. En el 2011 nace Confío y en enero de 2012 es aceptado en el

International Committee on Fundraising Organizations (ICFO).

Proceso o forma de operar. Confío establece primero como requisito para ser

analizadas por ellos, que deben de cumplir ciertos criterios como lo son: realizar

actividades de beneficio social, tener dos años ininterrumpidos de operación y contar con

estados financieros de los últimos dos ejercicios contables.

Para formalizar la colaboración se firma un acuerdo antes de iniciar el análisis.

Figura 12. Logo del distintivo Confio

Page 47: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

47

Confío otorga el uso exclusivo de un sello a las organizaciones de la sociedad civil

(OSC) que analiza, para reforzar la confianza de los donantes en éstas, y mostrar el

compromiso de la OSC con la transparencia. El sello comunica de forma clara y precisa que

ha pasado por el proceso completo de análisis.

El sello de OSC analizada contribuye, como ellos mismos lo mencionan, a

promover la donación responsable, que consiste en informarse para donar antes de realizar

la aportación, y posteriormente, para comprobar el trabajo de la OSC y el impacto de ésta.

Confío se basa en 9 Principios de Transparencia y Buenas Prácticas Los Principios

de Transparencia y Buenas Prácticas de las organizaciones de la sociedad civil (OSC) son

recomendaciones de Confío en materia de transparencia e institucionalidad. Se trata de

indicadores basados en estándares internacionales definidos por ICFO (International

Committee on Fundraising Organizations) adaptados al contexto mexicano, que dan

respuesta a las demandas de información de los donantes (particulares o institucionales)

sobre las OSC.

Confío cuenta con un modelo en el que pueden participar todas las organizaciones

civiles mexicanas que lo deseen, ellos establecen que es gracias a la activa colaboración de

expertos en filantropía, donantes, auditores, contadores y, por supuesto, representantes de

OSC.

Page 48: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

48

Los 9 principios son:

1.- Principio de Funcionamiento y Regulación del Órgano de Gobierno.

2.- Principio de Claridad y Divulgación de la Misión.

3.- Principio de Planeación y Seguimiento de Actividades.

4.- Principio de Comunicación e Imagen Fiel en la Información.

5.- Principio de Transparencia en el Financiamiento.

6.- Principio de Pluralidad en el Financiamiento.

7.- Principio de Control en la Utilización de los Fondos.

8.- Principio de Presentación de los Estados Financieros y cumplimiento de las

Obligaciones Legales y Fiscales.

9.- Principio de Promoción del Voluntariado.

A su vez, cada principio cuenta con la descripción de sus buenas prácticas, las

cuales podemos ver en la siguiente tabla:

Tabla 5:

Principios y buenas prácticas de Confío.

1.- Principio de Funcionamiento y Regulación del Órgano de Gobierno.

a) El órgano de gobierno está constituido por un mínimo de 5 miembros

b) El órgano de gobierno se reúne por lo menos 4 veces al año, con la

asistencia física o videoconferencia de sus integrantes. Asistirán la mayoría

de los miembros al menos a una reunión durante el año.

c) Cada uno de los miembros del órgano de gobierno asiste en persona o por

Page 49: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

49

videoconferencia, al menos a una de las reuniones realizadas durante el año.

d) Los miembros del órgano de gobierno se renuevan con cierta regularidad.

e) Sólo un número limitado de los miembros del órgano de gobierno recibe

ingresos de cualquier tipo, procedente tanto de la propia organización como

de otras entidades vinculadas. Este porcentaje es inferior al 40% de los

miembros.

f) La organización pone a disposición del público información sobre los

integrantes del órgano de gobierno y del equipo directivo.

g) La organización lleva un registro adecuado de las reuniones de su órgano de

gobierno.

h) La presidencia y la dirección de la organización son ocupadas por personas

distintas sin relación de parentesco.

2.- Principio de Claridad y Divulgación de la Misión

a) La misión es el objeto esencial de la organización, lo cual se refleja en las

actividades que ésta realiza debiendo perseguir fines de beneficio social.

b) Todos los miembros de la organización, incluidos los voluntarios, conocen la

misión y ésta se encuentra a disposición del público.

3.- Principio de Planeación y Seguimiento de Actividades.

a) La organización cuenta con un plan estratégico y/o un plan operativo anual del cual

tiene conocimiento el órgano de gobierno.

Page 50: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

50

b) Durante los últimos dos años, los programas muestran congruencia al seguir una

línea de trabajo encaminada hacia el logro de la misión.

c) La organización cuenta con sistemas formalmente definidos de control y

seguimiento interno de la actividad y de avances sobre las metas.

d) La organización cuenta con sistemas formalmente definidos de control y

seguimiento de sus beneficiarios

e) La organización pone a disposición de los donantes informes sobre los avances y

resultados de los proyectos que financian.

4.- Principio de Comunicación e Imagen Fiel en la Información

a) Las actividades de comunicación, procuración de fondos e información pública

reflejan de manera fiel la misión y la realidad de la organización y no inducen a

error.

b) La organización elabora un informe anual de actividades que pone a disposición de

sus públicos de interés.

c) Los estados financieros auditados se encuentran a disposición del público en

general.

d) La información de la organización se encuentra disponible en los sitios de los

registros oficiales

e) La organización cuenta con correo electrónico institucional

5.- Principio de Transparencia en el Financiamiento

Page 51: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

51

a) La organización facilita información sobre sus principales fuentes de

financiamiento, de origen público como privado, y las cantidades aportadas por las

mismas.

b) La organización lleva un registro de los ingresos y costos de las actividades de

procuración de fondos.

6.- Principio de Pluralidad en el Financiamiento

a) La organización realiza actividades para la diversificación de fuentes de

financiamiento tanto públicas como privadas.

b) Ninguno de los donantes de la organización aporta más del 50% de los ingresos

totales de la entidad de forma continua durante los últimos años.

7.- Principio de Control en la Utilización de los Fondos

a) La organización elabora un presupuesto anual para el año siguiente del cual tiene

conocimiento el órgano de gobierno

b) Se conoce el ejercicio de los recursos de la organización por cada programa y/o

proyecto

c) La organización respeta la voluntad de sus donantes estableciendo los controles que

le permiten comprobar el destino de los donativos etiquetados o de uso restringido.

d) La organización tiene un nivel razonable de recursos disponibles respecto a sus

gastos. En caso de contar con efectivo restringido, este será aprobado por el órgano

de gobierno.

Page 52: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

52

e) La organización presenta una estructura financiera equilibrada durante los últimos

dos años.

f) En caso de contar con inversiones financieras estas siguen criterios de prudencia

razonable.

g) Las inversiones en instituciones no financieras están directamente relacionadas con

la consecución de la misión y son autorizadas por el órgano de gobierno.

8.- Principio de Presentación de los Estados Financieros y cumplimiento de las

Obligaciones Legales y Fiscales

a) Los estados financieros auditados y sus notas se elaboran conforme a las Normas de

Información Financiera Mexicanas y se presentan en el órgano de gobierno

b) La organización acredita el cumplimiento de todas sus obligaciones legales y

fiscales en estados financieros auditados por contador público registrado.

c) La contabilidad y la auditoria de estados financieros se llevan a cabo por personas

y/o despachos sin vinculación alguna

9.- Principio de Promoción del Voluntariado

a) La organización cuenta con voluntarios en sus actividades.

b) La organización define las actividades que pueden realizar los voluntarios.

Como se mencionó en un inicio ellos no establecen calificación, sólo analizan a las

organizaciones de la sociedad civil tomando en cuenta los anteriores principios y buenas

prácticas, ellos una vez analizada la organización entregan un reporte de análisis de

Page 53: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

53

evidencia documental entregada por éstas; la información de dichos reportes está agrupada

por temáticas ligadas a la gobernanza, el objeto de la asociación, la planificación y el

control de fondos, el cumplimiento de normatividad legal y fiscal y el voluntariado.

Costos. Ellos establecen que el costo de la elaboración de los reportes es cubierto

con donativos, sin embargo solicitan una aportación única de $950 pesos como cuota

simbólica de inscripción y como parte de la corresponsabilidad que tienen las

organizaciones.

Organizaciones Evaluadas. Confío lleva aproximadamente 51 OSC´s analizadas, y

podemos mencionar por ejemplo: Centro Humano de Liderazgo A.C., Fundación Casa

Alianza México I.A.P., Casa del Voluntariado de Chihuahua A.C., Un Sueño Realizado

A.C., Dignifica tu Vida I.A.P., entre otras.

Conclusión. Confío es de las instancias menos conocidas y su capacidad de análisis

está muy limitado, aunque ellos mismos establecen que no otorgan calificación, sino sólo el

logotipo de distinción OSC analizada, se trata más que nada de un trámite administrativo en

el que la OSC reúne la documentación solicitada para ser revisada, y como se describió en

sus principios estos van acorde a su nombre sobre Transparencia y Buenas Prácticas, mucha

de la papelería que deben reunir es sobre estados financieros, por lo cual lo que ellos

buscan es esa transparencia en el manejo de recursos. Asimismo establecen que no realizan

trabajo de campo para verificar la información, sino por el contrario, confían plenamente

que lo que se está entregando es real.

Page 54: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

54

Otra de las desventajas de Confío, es que esa parte que ellos revisan ya la están

considerando otros organismos, aunque el costo es accesible para ser analizada, no está

aportando nada extra.

Page 55: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

55

Figura 13. Logo Standards for Excellence Institute

The Standards for Excellence Institute

Este organismo de Estados Unidos está dirigido principalmente a las organizaciones

no gubernamentales de ese mismo país, ofreciéndoles una acreditación y reconocimiento.

Descripción de la Institución El instituto como lo establece en su página web

(http://www.standardsforexcellenceinstitute.org/ ) es una iniciativa nacional creada para

promover los más altos estándares de ética, eficacia y rendición de cuentas en la

gobernabilidad sin fines de lucro, la gestión y las operaciones, y para ayudar a que todas las

organizaciones sin fines de lucro reúnan estos altos índices de referencia.

Algunos de los mayores beneficios de la acreditación y el reconocimiento que ellos

ofrecen son:

Fortalecer su liderazgo

Involucrar a su consejo de administración

Obtener una comprensión más profunda de su organización

Preparación para las transiciones

Mejorar la toma de decisiones

Page 56: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

56

Minimizar el riesgo

Fortalecer la evaluación

Facilitar la captación y desarrollo de recursos

Antigüedad. Según registros opera desde 1998.

Proceso. Las organizaciones pueden elegir uno de los dos caminos hacia la

excelencia como ellos le llaman:

Aplicación Completa: organizaciones Normas Acreditadas se someten a un proceso

de revisión independiente de tres etapas que confirma que han demostrado que

cumplen todos los puntos de referencia de las Normas para el código de la

Excelencia. Esta es la mejor opción para las organizaciones que ya cumplen con

todos o la mayoría de los puntos de referencia.

Grados de la aplicación: la organización de normalización reconocida, se someten a

varios niveles de revisión independiente (revisión del personal, revisión por pares, y

una revisión por el Comité Nacional de Normas de Ética) para confirmar que han

cumplido algunos de los puntos de referencia en las Normas para el código de la

Excelencia. Esta es la mejor opción para las organizaciones que pueden tener más

trabajo que hacer o si necesita más el apoyo del Instituto para cumplir con todos o la

mayoría de los puntos de referencia. Los niveles de reconocimiento son:

Normas Básicas: (Standards Basics)El enfoque de los puntos de referencia en este

nivel es de alrededor de cumplimiento legal y regulatorio. Los solicitantes se

someterán a una revisión del personal antes del reconocimiento en el nivel básico.

Page 57: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

57

Normas Básicas mejoradas: ( Standards Basics Enhanced) Estos valores de

referencia se centran en la profundización y mejora de la gobernanza y las

prácticas de gestión. Los solicitantes aportarán una solicitud actualizada y

someterse a una revisión del personal y una revisión por el Comité de Normas

Internacionales de Ética.

Normas acreditado: (Standards for Excellence) En el nivel final, al igual que con

la plena acreditación, las organizaciones deben demostrar que cumplen todos los

criterios de referencia en el código. Los solicitantes aportarán una solicitud

actualizada y deberán someterse a un proceso de revisión de tres etapas que

incluye una revisión del personal, revisión por pares, y una revisión por el

Comité de Normas Internacionales de Ética.

En cuanto al procedimiento de las organizaciones:

1.- Inicia con una autoevaluación, se crea una cuenta en el sitio web para darles

acceso a la autoevaluación, este documento les ayudará a identificar las áreas de

crecimiento y elegir qué proceso de aplicación es el adecuado para la organización.

2.- La organización debe demostrar que cumple con todas las normas de puntos de

referencia mediante la solicitud de acreditación que consta de preguntas que se

responden con un sí o no y demostrar evidencia, es decir copia de los documentos

descritos.

3.- Las organizaciones que no cumplan con los puntos de referencia de normas

como se indica en el código y la aplicación, pueden ser asignados a un nivel más

bajo de reconocimiento o que su solicitud sea denegada.

Page 58: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

58

4.- Durante el proceso que dura entre 6 y 18 meses, el solicitante debe estar

preparado para responder a las solicitudes de personal y otros críticos para

proporcionar información adicional o aclaraciones dentro de los plazos establecidos.

5.- Se procede a evaluar por medio de expertos a cada organización, las cuales son

evaluadas conforme a sus circunstancias de manera individual.

6.- Solicitudes aprobadas son acompañadas a menudo por designaciones tales como

elogios (por particularmente excelentes prácticas), observaciones (recomendaciones

sobre las áreas para fortalecer la organización que vaya más allá de los requisitos

del código) o expectativas (áreas para fortalecer la organización con el fin de

mantener la acreditación o el reconocimiento). Los solicitantes que se les niega la

aceptación recibirán retroalimentación sobre los requisitos que se deben cumplir

para reconsiderar su aprobación. El apoyo y los recursos necesarios también son

proporcionados por el personal para ayudar a la organización a cumplir los puntos

de referencia adicionales.

Aunque no detalla los indicadores a evaluar, solo menciona que son 6 principios

rectores y 27 áreas temáticas las que se revisan.

Costos. Los costos varían para cada organización que desee acreditarse y dependerá

del presupuesto de dicha organización y si es o no miembro del instituto, un ejemplo de las

cuotas en dólares serían:

Page 59: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

59

Tabla 6:

Costos por acreditación completa

Presupuesto Cuota miembro Cuota no miembro

Menos de $250,000 $250 $900

$250,000 a $500,000 $450 $1,350

$500,000 a $1,000,000 $700 $2,500

$1 a $3 millones $1,500 $4,500

$ 3 a $5 millones $2,000 $5,250

$5 a $10 millones $3,000 $10,000

$10 a 50 millones $6,000 $21,000

$50 millones y más $9,000 $30,000

Los costos arriba mencionados son por estar acreditados, la acreditación del sello

dura 3 años y las organizaciones tienen que pagar una cuota de licencia cada año que están

certificados, se renueva la acreditación cada 3 años y después cada 5 años

Las cuotas anuales en dólares son las siguientes:

Tabla 7:

Cuotas anuales

Presupuesto Cuota miembro Cuota no miembro

Menos de $250,000 $250 $300

$250,000 a $500,000 $350 $600

Page 60: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

60

$500,000 a $1,000,000 $700 $1,500

$1 a $3 millones $1,500 $2,250

$ 3 a $5 millones $1,750 $3,500

$5 a $10 millones $2,250 $4,500

$10 a 50 millones $3,000 $8,500

$50 millones y más $4,000 $17.000

Organizaciones acreditadas. A la fecha el Instituto lleva 187 organizaciones

acreditadas, de las cuales podemos mencionar: Alzheimer´s Association, Artemis Center,

BrightFocus Foundation, Cancer Patient Services, The Center for Families, Crossroads

Community, Families helping Families, Humanim, Mosaic Community Services, entre

otros.

Conclusión. Hacer un análisis de una instancia internacional a veces resulta difícil,

es otro tipo de contexto, de cultura, de situaciones, de organizaciones que evalúan y qué

decir del costo que manejan, costos que en México serían casi imposibles de cubrir. Sin

embargo es interesante destacar la forma tan organizada que tienen de llevar a cabo sus

acreditaciones, estableciendo niveles y costos según el tipo de organización.

De esta forma cerramos el capítulo 1 con la revisión antes presentada de los

organismos evaluadores y concluyo destacando las principales fortalezas de cada uno de los

organismos:

Page 61: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

61

Filantrofilia:

Atractivo nombre de su evaluación.

Bien desarrollados sus indicadores.

Gesoc

Sus indicadores están bien fundamentados.

Establecen un proceso más claro de los criterios a evaluar.

CEMEFI

Instancias fuertes que apoyan al centro.

Alto nivel de difusión.

Confio

Bien detallados sus principios de transparencia.

Miembro de ICFO (International Committee on Fundraising Organizations).

The Standards for Excellence Institute

Acredita grandes organizaciones y fundaciones

No acreditan a todos, es decir pueden negar la acreditación sin darle una calificación

menor como en el caso de los organismos mexicanos.

Page 62: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

62

Capítulo II

Fundamentación Teórica

En este capítulo abordaremos el sustento teórico de nuestro trabajo. Para comenzar

es importante definir los términos de acreditación, certificación y evaluación ya que se

encontró diferencia entre ellos; de igual manera los conceptos anteriores no fueron fáciles

de encontrar, ya que tienen más uso en sistemas de calidad, sistemas educativos o bien en

la industria alimentaria. Asimismo conoceremos brevemente los organismos en México

responsables de brindar la acreditación y/o certificación.

Por otro lado y como nuestro modelo corresponde a una evaluación de las

Organizaciones de la Sociedad Civil, profundizaremos principalmente en conceptos que

definan evaluación, analizaremos el concepto de evaluación del impacto, revisaremos

además algunos tipos de evaluación y su alcance, detallaremos indicadores de la evaluación

y por último definiremos sus criterios.

Comencemos con las definiciones de acreditación, certificación y evaluación.

Definición de Acreditación.

Al carecer de una definición de acreditación por instancias mexicanas, se tuvo que

recurrir a una internacional. La Acreditación según el Organismo Hondureño de

Acreditación (2014) es el proceso mediante el cual una organización independiente y con

Page 63: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

63

autoridad para ello, evalúa una entidad que presta un servicio, y le otorga un

reconocimiento formal de su capacidad técnica y confiabilidad para realizar estos servicios.

Por lo que la acreditación se refiere haber cumplido los requisitos y ser revisado por

una organización que verifica que se han cumplido dichos requisitos y se tiene la

calificación técnica para prestar un servicio con ética. Entre las características de la

acreditación se encuentran: 1) la demostración de competencia con base a criterios

reconocidos internacionalmente, 2) reconocimiento de tercer parte (realizado por un

organismo de acreditación) y 3) se acreditan tareas específicas realizadas por la

organización. La acreditación viene siendo el grado más alto, ya que se considera que está a

un nivel superior que la Certificación, inclusive se espera que los organismos de

certificación estén acreditados como tal.

Definición de Certificación

En cuanto al término certificación, sucedió lo mismo que con el término

acreditación, no hay instancias que ofrezcan una definición completa al término, así que se

recurrió a la Organización de las Naciones Unidas para la Alimentación y la Agricultura

(2012) y ésta especifica que es el procedimiento mediante el cual un organismo da una

garantía por escrito, de que un producto, un proceso, o un servicio, están conforme a los

requisitos especificados.

Page 64: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

64

Definición de Evaluación

En lo que respecta a la evaluación, la Universidad Nacional Autónoma de México

(2008) la define como un proceso que genera resultados a corto y mediano plazo, cuyo

sentido es emitir juicios de valor, documentados e informados, con base en mediciones,

análisis, diagnósticos y estudios útiles para la toma de decisiones. Esta perspectiva resalta

el carácter estratégico de la evaluación como un instrumento al servicio de la planeación y

la formulación de decisiones institucionales.

Cabe mencionar que en este último concepto profundizaremos más adelante por ser

la parte relevante de nuestro modelo.

Organismos Mexicanos que Otorgan el Estatus de Acreditadoras y/o Certificadoras

Se identificaron además organismos mexicanos encargados de regularizar el tema

de las certificaciones y acreditaciones, encontrando al Instituto Mexicano de Normalización

y Certificación A.C. (IMNC) quienes trabajan con expertos en diferentes ámbitos para

concentrar el conocimiento sobre las mejores prácticas que las organizaciones requieren a

través de la elaboración de Normas Mexicanas (NMX). Además IMNC ofrece la

certificación en sistemas de gestión de Responsabilidad Social IQNet SR10, de igual

manera ofrece el Diplomado en Responsabilidad Social y dentro del mismo el ISO

26000:2010.

Page 65: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

65

La Entidad Mexicana de Acreditación (EMA) es quien se encarga de certificar a las

instancias certificadoras, sin embargo cabe destacar que los organismos objetos de estudio

que a continuación describiremos no están ni acreditados ni certificados por las instancias

antes mencionadas. Es importante mencionar además que esta entidad no posee una

definición completa del término acreditación.

Y por último se encuentra el Consejo Nacional de Normalización y Certificación de

Competencias Laborales (CONOCER) es una entidad de Gobierno Federal que depende de

la Secretaría de Educación Pública (SEP), Conocer promueve y coordina el Sistema

Nacional de Competencias de las personas, es quien emite las reglas de operación y

normatividad para que las personas se puedan evaluar, además autoriza soluciones de

evaluación en tres niveles: Entidad de Certificación y Evaluación, Organismo Evaluador y

Centro de Evaluadores.

Al inicio de la investigación, y antes de definir los términos se tuvo asesoría con una

personas encargada de certificar empresas socialmente responsables, esta persona

argumentó que actualmente existe mucha confusión entre lo que es una acreditación, una

certificación y una evaluación, mencionó además, que es común ver organismos que

dedican a cualquiera de los 2 conceptos anteriores sin realmente estar calificados para ello,

asimismo comentó que entre esa confusión es fácil ofrecer por ejemplo una certificación,

cuando en realidad es una evaluación.

Se descubrió además a partir de esta investigación, que para ofrecer una

acreditación o certificación es muy importante tener el aval como EMA, IMNC, sin

Page 66: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

66

embargo para efectuar una evaluación, aunque también se puede tener un aval, no es tan

indispensable, además permite tener la libertad de establecer los propios parámetros de

operación, por lo que el enfoque que se dará al presente trabajo será de una evaluación por

lo mismo profundizaremos en sus conceptos a continuación.

Concepto de Evaluación

La Organización para la Cooperación y Desarrollo Económico (OCDE, 2010)

entiende la evaluación como la determinación del valor e importancia de una intervención

de esta naturaleza. Por su parte, el Comité de Ayuda al Desarrollo (CAD) de la OCDE la

define como una “apreciación sistemática y objetiva de un proyecto, programa o política en

curso o concluido, de su diseño, su puesta en práctica y sus resultados. El objetivo es

determinar la pertinencia y el logro de los objetivos, así como la eficiencia, la eficacia, el

impacto y la sostenibilidad para el desarrollo. Una evaluación deberá proporcionar

información creíble y útil, que permita incorporar las enseñanzas aprendidas en el proceso

de toma de decisiones de beneficiarios y donantes. La evaluación también se refiere al

proceso de determinar el valor o la significación de una actividad, política o programa. En

algunos casos, la evaluación entraña la definición de normas adecuadas, el examen de los

resultados en función de esas normas, una apreciación de los resultados efectivos y

previstos y la identificación de lecciones pertinentes” (OCDE/DAC, 2002).

Por su parte la Comisión Europea (2012) señala que la evaluación es una valoración

profunda de una intervención en curso o finalizada. Valora la pertinencia, la eficiencia, la

Page 67: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

67

eficacia, el impacto, la sostenibilidad y por ende, analiza los objetivos y estrategias

escogidos para una intervención, las lecciones aprendidas y la identificación de

recomendaciones útiles para futuras intervenciones u otras en curso.

También podemos mencionar que la Cooperación Española (2013) entiende que la

evaluación es un proceso sistemático y planificado de obtención de información con el

objetivo de analizar, interpretar y valorar de manera crítica y objetiva una intervención,

política o estrategia de cooperación para el desarrollo, incluyendo su diseño, su puesta en

práctica, su estructura de gestión y sus resultados.

Desde la perspectiva propuesta por el Sistema de Información, Monitoreo y

Evaluación de Programas Sociales de la UNESCO (SIEMPRO) (1999) la evaluación se

concibe en el marco de lo que domina Gestión Integral de Programas Sociales orientada a

resultados, por lo que tiene un carácter permanente y sistemático que debe operar como un

proceso de aprendizaje institucional, para generar información relevante que permita la

toma de decisiones con el propósito de mejorar la calidad y la eficiencia de los resultados, y

por esto mismo el SIEMPRO (1999) concibe la evaluación de programas sociales como “un

proceso permanente y continuo de indagación y valoración de la planificación, la ejecución

y la finalización del programa social, este proceso que se inicia en el mismo momento de

identificar el problema que da origen al programa y acompaña toda la vida del mismo hasta

finalizar su ejecución”

Según Ross (2012) una evaluación global se define como una evaluación que

incluye la supervisión, evaluación de los procesos, evaluación de costos – beneficios y

Page 68: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

68

evaluación de impacto; sin embargo, cada uno de estos es muy diferente entre sí. La

supervisión ayudará a evaluar si un programa se está implementando de acuerdo a lo

planificado. Un sistema de supervisión de programas permite una retroalimentación

constante sobre el estado en que se encuentra la implementación e identifica los problemas

específicos a medida que surgen. La evaluación de los procesos está relacionada más bien

con la forma en que funcionan y se centra en los problemas de la entrega de servicios. En

las evaluaciones de costos – beneficios o eficacia en función de los costos, se estiman los

costos ya sean monetarios o no, de los programas, en particular su relación con respecto a

sus alternativos de los mismos recursos y a los beneficios que produce el programa.

Scriven (1967) por su parte, citado por Guerra-López (2007) menciona que el

propósito fundamental de la evaluación es la determinación del valor del programa o

solución, el propósito y valor último, de determinar este valor, consiste en la toma de

decisiones generadas a partir de la información recabada que de alguna forma conlleva a un

mejor desempeño tanto en programas como en organizaciones.

Por último Rossi y Freeman (1985, citado por Frías y Corral 2000) definen a la

evaluación como la aplicación sistemática de los procedimientos de las ciencias sociales

para medir la conceptualización, el diseño, la implementación y la utilidad de los

programas sociales de intervención, dicho con otras palabras, la evaluación es la medición

de la pertenencia de los programas de intervención mediante métodos científicos.

Page 69: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

69

Evaluación del Impacto

Es importante destacar que la utilidad de los modelos de evaluación, depende

enteramente de la situación con la que confrontamos, lo que funciona en una organización,

no necesariamente funciona en otra, y lo que funcionó para nosotros en el pasado, no

necesariamente funcionará en el futuro. Sin embargo es importante tener en cuenta lo que

define cada uno de esos funcionamientos.

Revisando los indicadores con los que están trabajando las instituciones que ofrecen

modelos de evaluación y/o acreditación, y considerando que dejan muchos huecos al no

darle importancia a la parte social, nuestro modelo le dará mucha más relevancia al impacto

social y/o comunitario.

Para Ross (2012) una evaluación de impacto identifica de manera sistemática los

efectos tanto positivos como negativos y estos sean esperados o no, sobre alguna institución

y a su vez generados por un programa de desarrollo social. Esta evaluación de impacto es

diferente de las evaluaciones de procesos, gestión y resultados, ya que determina la

causalidad entre la intervención y sus efectos observados. De esta forma permite

comprender la magnitud de los cambios generados por dicha acción sobre el bienestar y

sobre todo sobre el impacto social. La evaluación de impacto también nos permite

retroalimentar y mejorar la efectividad de los programas sociales, comparándolos con

intervenciones alternativas. Sus resultados proveen información para la toma de decisiones

relacionadas con mantener, ampliar, reorientar o eliminar un programa existente, o de

alguna forma proponer alguna nueva política pública. Y por último la evaluación del

Page 70: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

70

impacto tiene como objetivo determinar en forma general si el programa produjo los

efectos deseados en las personas, hogares e instituciones y si estos efectos son atribuibles a

su intervención, también permiten examinar consecuencias no previstas en los

beneficiarios, ya sean positivas o negativas.

Para Pichardo (1993) la evaluación de impacto social propone la construcción de

una tipología para medir el impacto social de los programas según el nivel donde se

registren, con la finalidad de tener parámetros referenciales de opciones significativas de lo

que puede considerarse como impacto.

Por otro lado Matos (2005) menciona que existen diversas metodologías para

evaluar el impacto de los programas sociales, estas se basan en la construcción de grupos de

comparación o control. Los grupos de comparación son grupos de individuos, núcleos

familiares o comunidades que ostentan las mismas características socioeconómicas,

demográficas y de ubicación geográfica de los beneficiarios, pero que no hacen parte de los

programas. En las evaluaciones de impacto se realizan mediciones de línea de base (antes

del inicio de los programas) y otras posteriores con los grupos relacionados de tal forma

que se pueden medir las variaciones de los efectos generados por los programas en el

tiempo. Matos (2005) establece de igual forma que la evaluación de impacto incluye el uso

de encuestas directas aplicadas a los distintos actores involucrados en la ejecución de los

programas y de información secundaria. Igualmente incluye métodos cualitativos como las

entrevistas a profundidad, los grupos focales, la observación no participante y la revisión

documental, todos estos proveen información a profundidad que permite entender los

procesos y condiciones detrás de los impactos observados, así como la percepción y

Page 71: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

71

prioridades de los individuos acerca de su bienestar, debido a esto, las evaluaciones de

impacto demandan un esfuerzo considerable de levantamiento y manejo de información,

destinación de tiempo y recursos. Por lo regular sus resultados se obtienen en el mediano y

largo plazo.

Por su parte el Comité de Ayuda al Desarrollo [CAD] de la OCDE elaboró los

Estándares de Calidad de la Evaluación de Desarrollo (2010) como orientaciones de las

buenas prácticas en materia de evaluación. Tienen como objetivo incrementar la calidad de

los procesos y productos de la evaluación del desarrollo ya que busca reforzar el proceso de

evaluación para mejorar los resultados. Estos estándares están organizados bajo el esquema

de un proceso de evaluación típico: definición de objetivo, planificación, diseño,

aplicación, información y uso de los resultados y lecciones que cabe extraer de ellos.

De igual forma el CAD menciona que estos estándares contribuyen a configurar

evaluaciones realizadas de acuerdo con los Principios de Evaluación de la Ayuda al

Desarrollo (1991) de esta forma destaca que mientras los estándares son una guía para la

realización de evaluaciones e informes, los principios por su parte se centran en la gestión e

institucionalización de los sistemas de evaluación, sin embargo también destacan que

dichos principios sólo son pautas u orientaciones.

Page 72: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

72

A continuación destacaremos algunos de los elementos que estos principios remiten:

La imparcialidad y la independencia de la función de evaluación respecto de los

gestores de la ayuda y de los proyectos, lo que pasa por una adecuada estructura de

gestión de evaluaciones en los sistemas de cooperación.

La credibilidad de los resultados, haciendo el proceso de evaluación lo más

transparente y abierto posible, velando por la calidad de los informes y por la

experiencia de los equipos de evaluación.

La utilidad de los hallazgos, que han de ser percibidos como relevantes y

comunicados de manera clara y concisa.

La participación de donantes y socios a lo largo de todo el proceso de evaluación,

que ha de estar reflejada en los asuntos de interés a evaluar.

El establecimiento de un programa de evaluaciones que contemple todas las

categorías de actuaciones y los momentos en los que los resultados han de estar

disponibles para la retroalimentación de la calidad de ayuda.

Tabla 8:

Principios de Evaluación según la Cooperación Española

Independencia

Garantiza la diferenciación orgánica de la evaluación y que la validación de

informes no recaiga en los agentes encargados del diseño o la gestión de las

intervenciones evaluadas.

Las unidades y equipos de evaluación han de trabajar con libertad y sin injerencias

y no serán objeto de presiones con el fin de modificar el contenido de sus informes

Page 73: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

73

o valoraciones.

Imparcialidad

Los equipos de evaluación han de ser seleccionados con la debida congruencia,

contar con conocimientos y experiencia suficientes y encontrarse libres de sesgos.

Las unidades y equipos de evaluación deberán comunicar previamente los posibles

conflictos de intereses, prestarán un trato respetuoso y no discriminatorio a todas

las personas y colectivos implicados, y desempeñarán sus tareas con integridad y

honestidad.

Transparencia

Los planes de evaluación han de ser públicos.

Los equipos de evaluación han de ser contratados con base a criterios y

procedimientos claros.

Los principales productos de las evaluaciones han de ser accesibles y difundidos a

todas las partes interesadas a través de medios adecuados.

Credibilidad y Utilidad

Las evaluaciones deben responder a la diversa necesidad de información, llevarse a

cabo en los momentos oportunos, y realizarse de una forma sistemática y

metodológicamente robusta, de tal modo que los hallazgos y recomendaciones

resulten fundados.

Los equipos de evaluación recibirán la cooperación oportuna y se garantizará el

acceso a toda la información disponible que resulte necesaria para el ejercicio de su

labor.

Los productos de las evaluaciones deberán reconocer sus propias limitaciones,

Page 74: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

74

reflejar las diferentes visiones sobre el objeto de evaluación y mostrar una imagen

equilibrada que permita apreciar sus logros y fortalezas, así como sus posibles

debilidades.

Con el objetivo de mejorar los procesos y los productos del proceso evaluativo, los

ejercicios de evaluación se someterán a controles de calidad.

Para incrementar la apropiación y el uso de los resultados, se fomentará la

incorporación de los actores implicados en las estructuras de gobernanza de las

evaluaciones, y la comunicación de los hallazgos y recomendaciones se realizará

de forma clara, concisa y concreta, utilizando formatos adaptados a las diferentes

audiencias.

Eficiencia

Se optimizarán los recursos disponibles y se asegurará un equilibrio razonable

entre los medios requeridos para llevarlas a cabo y la previsible utilización de sus

resultados.

Participación y refuerzo de capacidades

Se habilitarán los espacios y estructuras necesarios para promover una adecuada

participación de los principales interesados.

Se potenciará la utilización de los sistemas de evaluación de los países socios y se

apoyará el desarrollo de capacidades locales.

Coordinación y complementariedad

Se promoverá el intercambio de información, la coordinación, la armonización y la

búsqueda de complementariedades.

Se procurará reducir los costos de transacción y evitar duplicidades y se fomentará

Page 75: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

75

una división del trabajo acorde con las respectivas ventajas comparativas.

Siempre con el objeto de evaluación, el contexto, el momento y los recursos

disponibles permiten asegurar la calidad global de los procesos, se impulsarán

evaluaciones conjuntas , tomando como referencia el Manual de Gestión de

Evaluaciones Conjuntas del CAD.

Por otro lado están los estándares elaborados por el Comité Conjunto de Estándares

para la Evaluación de la Educación (2004) que son una referencia internacional muy

utilizadas para medir la calidad de una evaluación. Estos se agrupan en normas referidas a

la utilidad, factibilidad, conveniencia y exactitud de la evaluación:

Utilidad. Que la evaluación sirva a las necesidades prácticas de información de

usuarios previstos.

Factibilidad. Que la evaluación sea realista, prudente, diplomática y frugal.

Conveniencia. Que la evaluación sea llevada a cabo legalmente, éticamente y con el

debido respeto por el bienestar de los involucrados en la evaluación, así como de los

afectados por sus resultados.

Exactitud. Que la evaluación revele y transmita información técnicamente adecuada

sobre las características que determinan el valor o mérito del programa que está

siendo evaluado.

Y por su parte, la Agencia Austriaca para el Desarrollo (2009) señala la necesidad de

advertir sobre aquello que excede el mandato de una evaluación:

Page 76: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

76

Una evaluación no tiene que tomar decisión sobre la continuación de un proyecto o

programa. Las evaluaciones sólo tienen el mandato para dar recomendaciones y

presentar observaciones.

Una evaluación no debe ser usada para justificar las decisiones ya tomadas.

Una evaluación no es un instrumento de gestión de crisis.

Sin embargo podemos darnos cuenta ante la postura de esta Agencia, sobretodo el punto

uno, en la actualidad vemos que los proyectos o programas continúan de acuerdo a su

evaluación, un proyecto que en su evaluación no funciona, tiene una enorme probabilidad

de que no continúe.

Pasando al tema sobre la ética en la evaluación CIDEAL (2013) nos dice que la

adecuada ejecución de una evaluación está sumamente relacionada con la toma de

decisiones que sistemáticamente reflejen la ética y los valores del evaluador. Si ciertas

normas éticas o de comportamiento no son respetadas, la credibilidad y la calidad de la

evaluación podrían deteriorarse.

En los documentos que regulan la evaluación es muy común establecer las premisas

básicas de comportamiento ético y profesional de parte del equipo evaluador.

Habitualmente en el entorno de la Cooperación Española son las siguientes:

Anonimato y confidencialidad.- la evaluación debe respetar el derechos de las

personas a proporcionar información asegurando su anonimato y confidencialidad.

Page 77: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

77

Responsabilidad.- cualquier desacuerdo o diferencia de opinión que pudiera surgir

entre los miembros del equipo o entre éstos y los responsables en relación con las

conclusiones y/o recomendaciones debe ser mencionada en el informe. Cualquier

afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre

ella.

Integridad.- los evaluadores tendrán la responsabilidad de poner de manifiesto

cuestiones no mencionadas específicamente en los términos de referencia, si ello

fuera necesario para obtener un análisis completo de la intervención.

Independencia.- el equipo evaluador deberá garantizar su independencia de la

intervención evaluada, no estando vinculado con su gestión o con cualquier

elemento que la compone.

Incidencias.- en el supuesto de aparición de problemas durante la realización del

trabajo de campo o en cualquier otra fase de la evaluación, estos deberán ser

comunicados inmediatamente a la unidad encargada. De no ser así, la existencia de

dichos problemas en ningún caso podrá ser utilizada para justificar la no obtención

de los resultados acordados.

Convalidación de la información.- corresponde al equipo evaluador garantizar la

veracidad de la información recopilada para la elaboración de los informes, y en la

última instancia será responsable de la información presentada en la evaluación.

Pasando a otra perspectiva, podemos tomar como referencia los cinco Principios

Rectores de la Asociación Americana de Evaluación (2004) elaborados con la finalidad de

orientar sobre la conducta del evaluador y sus competencias como investigador:

Page 78: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

78

Investigación sistemática. Los evaluadores llevan a cabo investigaciones

sistemáticas basadas en datos acerca de lo que se está evaluando.

Competencia. Los evaluadores proporcionan un rendimiento competente a los

grupos interesados.

Integridad/honestidad. Los evaluadores garantizan la honestidad y la integridad de

todo el proceso de evaluación.

Respeto a las personas. Los evaluadores respetan la seguridad, la dignidad y la

autoestima de los informantes, los participantes del programa, los clientes y los

otros grupos de interés con los que interactúan.

Responsabilidades para el bienestar general y público. Los evaluadores articulan y

tienen en cuenta la diversidad de intereses y valores que pueden estar relacionados

con el bienestar general y público.

Y por su parte la Sociedad Canadiense de Evaluación (2004) en sus Pautas para la

Conducta Ética aborda la importancia de:

La competencia en la prestación del servicio.

La integridad en las relaciones con las partes interesadas.

La responsabilidad por el desempeño y el producto de la evaluación.

Y por último respecto a la ética de la evaluación, podemos mencionar a la Agencia

Noruega de Desarrollo (1997) añade que el respeto y la sensibilidad cultural, valora el

anonimato y la confidencialidad de las fuentes, centra la evaluación en las funciones de las

Page 79: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

79

personas y no en las personas mismas, y sugiere compartir los resultados de la evaluación

con los involucrados.

Pasando al punto de la evaluabilidad que se refiere a las posibilidades de ser evaluada,

el mismo Comité de Ayuda al Desarrollo [CAD] (2010) lo entiende como una medida para

que una actividad o programa pueda evaluarse de manera creíble y confiable.

Aunque en primera instancia se cree que todo puede ser evaluado, el CAD establece que

hay que reconocer que el alcance y los recursos para una evaluación están condicionados

por el propio diseño de la intervención, sus sistemas de seguimiento, sus necesidades, las

preocupaciones, los resultados esperados y el clima organizacional. Por lo que la decisión

final de evaluar deberá ser tomada después de valorar las condiciones existentes para

incrementar la posibilidad del uso de los resultados de la evaluación. Sin embargo conviene

destacar en esta investigación que partiremos del postulado de que todas las organizaciones

de la sociedad civil son evaluables.

Tipos de Evaluación

En lo que respecta a las tipologías de la evaluación y por la naturaleza de nuestro

trabajo, nos interesa principalmente los tipos de evaluación según el propósito y según los

actores; de los tipos de evaluación según el propósito se desprende la evaluación de

resultados, de objetivos y de procesos, y según los actores; la evaluación externa, interna,

mixta y participativa, a continuación veremos cada una:

Page 80: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

80

Tipos de evaluación según el propósito.

Evaluación de resultados. Según el CIDEAL (2013) evaluar con base a resultados

significa atender a los productos concretos que el proyecto entrega y sus efectos en las

condiciones de vida de los destinatarios. Supone valorar la adecuación y calidad de los

bienes y servicios que genera el proyecto y sus resultados en las personas. Este análisis a su

vez implica un correcto diseño en donde los resultados hayan sido definidos en modo

operacional a través de indicadores, para evaluar la eficacia y en donde los recursos tengan

una clara expresión en el presupuesto, para evaluar la eficiencia.

Evaluación de objetivos. Por otro lado Larrú (2007) la define como una evaluación

que se realiza dentro del marco analítico para la intervención y del compromiso asumido en

relación con la asignación de recursos para tal intervención, y a su vez puede afirmarse que

esta evaluación tiene un punto fuerte en el control de las operaciones y la rendición de

cuentas.

Evaluación de procesos. Rossi (1999) nos menciona que la evaluación de procesos

analiza la efectividad de las operaciones del programa, su implementación y la entrega de

servicios, esta evaluación por otro lado nos ayuda a determinar si los servicios y metas

están alineados apropiadamente; si los servicios están siendo entregados a los destinatarios,

como se pretendía y qué tan bien está organizado el servicio de entrega, a evaluar la

efectividad de la gestión y qué tan efectivamente se están usando los recursos del programa.

Page 81: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

81

Tipos de evaluación según los actores.

Evaluación externa. Este tipo de evaluación como su nombre lo dice, es realizada

por evaluadores externos, tiene como ventaja principal mayor objetividad, pues se supone

que el evaluador debe tener carácter independiente; por otro lado, facilitaría una mirada

externa de la que se puede recuperar el conocimiento sistematizado de otras experiencias

previas; teóricamente este evaluador aportaría mayor objetividad y rigurosidad en la

valoración de los resultados de la intervención.

Evaluación interna. Esta evaluación es realizada por los propios responsables de la

gestión del proyecto y tiene como principal desventaja el riesgo de un posible sesgo

generado por tratarse de los mismos que ejecutan el programa. Clarke (1999) menciona que

las principales ventajas de la evaluación interna son que los evaluadores conocen el

proyecto y pueden o no, estar interesados en implementar las medidas que sus informantes

detallan.

Evaluación mixta. Este tipo de evaluación es también conocida como evaluación

interna dirigida, y es una combinación de las evaluaciones externas e internas, este tipo de

evaluación busca articular ambas perspectivas recuperando ventajas de ambas y

minimizando las desventajas asociadas a cada una de ellas, tales como el costo de las

evaluaciones externas y la imparcialidad de las evaluaciones internas.

Evaluación participativa. Normalmente este tipo de evaluación es interna en el que

la responsabilidad es compartida por los beneficiarios, por lo regular está asociada a

Page 82: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

82

metodologías del tipo investigación – acción. Revollo y Colás (2002) dicen que la

participación de los involucrados implica una democratización en la que el evaluador

democrático reconoce el pluralismo de valores y persigue que se expresen los diferentes

intereses en la formulación de un tema. El evaluador intercambia información entre grupos

que deseen conocimientos recíprocos y establece una negociación periódica entre los

responsables políticos y los participantes del programa, y por otro lado Osuna y Márquez

(2000) establecen que la evaluación participativa permite satisfacer las exigencias de

información y transparencia de cuantos actores participan en el proceso, es aquella en la

que las peticiones, demandas, asuntos y cuestiones planteadas por los implicados se

convierten en foco organizativo.

Criterios de la Evaluación

Otra cosa muy importante a revisar es definir los criterios de evaluación, los

componentes o criterios de la evaluación pueden ser vistos como las principales

dimensiones que definen la calidad de una intervención y forman uno de los elementos

fundamentales que permiten mostrar la evaluación como una apreciación sistemática y

objetiva. Los criterios de evaluación contribuyen a orientar el análisis hacia los aspectos

más relevantes que resultan significativos a la hora de analizar intervenciones.

Aunque los criterios de evaluación no son inmutables y aparecen continuamente propuestas

para incluir nuevos criterios o matizar los que ya existen; hay un consenso generalizado

acerca de cinco grandes criterios: pertinencia, eficacia, eficiencia, impacto y sostenibilidad,

que son los que aquí vamos a tratar de manera breve, para esto utilizaremos una tabla de

Page 83: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

83

definiciones de los principales conceptos antes mencionados, apoyando las definiciones

tomaremos como referencia a la Comisión Europea (2006), al Comité de Ayuda al

Desarrollo [CAD de la OCDE] (2002) y al Programa de Naciones Unidas para el Desarrollo

(2002).

Tabla 9:

Conceptos de los criterios de evaluación

CONCEPTO PERTINENCIA

Comité de

Ayuda al Desarrollo

(CAD)

“Medida en que los objetivos de una intervención para

el desarrollo son congruentes con los requisitos de los

beneficiarios, las necesidades del país, las prioridades globales

y las políticas de los asociados y donantes”.

Programa De

Naciones Unidas para

el Desarrollo (PNUD)

“Grado en que los objetivos de un programa o proyecto

siguen siendo válidos y adecuados según lo planificado

originariamente o según las modificaciones posteriores

introducidas debido a la evolución de las circunstancias en el

contexto inmediato y el ambiente externo de dicho programa o

proyecto.

Comisión

Europea (CE)

“Medida en que los objetivos de la intervención son

congruentes con las necesidades de los beneficiarios, las

necesidades del país, las prioridades globales de los asociados y

las políticas de la Comisión Europea”

CONCEPTO EFICACIA

Page 84: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

84

Comité de

Ayuda al Desarrollo

(CAD)

“Medida en que se lograron o se espera lograr los

objetivos de la intervención para el desarrollo, tomando en

cuenta su importancia relativa”

Programa De

Naciones Unidas para

el Desarrollo (PNUD)

“Grado en que se logra un efecto en materia de

desarrollo mediante intervenciones. Grado en que un programa

o proyecto logra sus resultados planeados, es decir, objetivos,

propósitos y productos, y en qué medida contribuye a los

efectos”

Comisión

Europea (CE)

“Medida en que se lograron o se espera lograr los

objetivos de la intervención para el desarrollo, tomando en

cuenta su importancia relativa.”

CONCEPTO EFICIENCIA

Comité de

Ayuda al Desarrollo

(CAD)

“Medida en que los recursos/insumos, (fondos, tiempos,

etc.) se han convertido económicamente en resultados”.

Programa De

Naciones Unidas para

el Desarrollo (PNUD)

“Transformación optima de insumos en productos”

Comisión

Europea (CE)

“Medida en la que se obtuvieron los resultados y/o

efectos deseados con la menor cantidad de recursos posible

(fondos, habilidades técnicas, tiempo, costos administrativos,

etc.”.

CONCEPTO IMPACTO

Page 85: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

85

Comité de

Ayuda al Desarrollo

(CAD)

“Efectos de largo plazo positivos y negativos, primarios

y secundarios, producidos directa o indirectamente por una

intervención para el desarrollo, intencionalmente o no”.

Programa De

Naciones Unidas para

el Desarrollo (PNUD)

“Efecto global y a largo plazo de una intervención. El

impacto es el resultado final o a largo plazo, atribuible a una

intervención para el desarrollo.”

Comisión

Europea (CE)

“Efectos a largo plazo, ya sean positivos o negativos,

primarios o secundarios, producidos directa o indirectamente

por la intervención, intencionalmente o no”.

CONCEPTO SOSTENIBILIDAD/VIABILIDAD

Comité de

Ayuda al Desarrollo

(CAD)

“Continuación de los beneficios de una intervención

para el desarrollo después de concluida. Probabilidad de que

continúen los beneficios en el largo plazo. Situación en la que

las ventajas netas son susceptibles de resistir los riesgos con el

correr del tiempo”.

Programa De

Naciones Unidas para

el Desarrollo (PNUD)

“Capacidad de perduración de resultados positivos de

proyectos o programas después que ha terminado la

cooperación técnica canalizada a través de dicho programa o

proyecto. La sostenibilidad estática es el flujo continuo de los

mismos beneficios, activados por el programa o proyecto

terminado, hacia los mismos destinatarios; la sostenibilidad

dinámica es el uso o adaptación de resultados de programas o

proyectos a un contexto diferente o a un entorno cambiante por

Page 86: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

86

parte de los destinatarios originales u otros grupos”.

Comisión

Europea (CE)

“Grado en que los efectos positivos derivados de la

intervención continúan una vez que se ha retirado la ayuda

externa”.

Revisaremos por separado de manera breve cada uno de esos indicadores.

Pertinencia. El criterio es también denominado como relevancia, se presenta según

CIDEAL (2013) como un criterio de evaluación básico, de carácter multidimensional y

dinámico que analiza la adecuación de la intervención al contexto en que la misma se

ejecuta, tomando como referencia las necesidades de la población meta, su concordancia

con las políticas públicas de desarrollo y prioridades del donante y su eventual

coordinación y complementariedad con otras intervenciones en la misma zona, sector o

población.

Como se mencionó en la tabla de definiciones y según el CAD la pertinencia se

define como la medida en que los objetivos de una intervención para el desarrollo son

congruentes con los requisitos, las necesidades del país, las prioridades globales y las

políticas de los asociados y donantes.

Sin embargo el estudio de la pertinencia en una intervención va más allá de sólo

analizar su grado de adecuación, la pertinencia deberá determinar también si esa

Page 87: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

87

adecuación al contexto continúa siendo válida una vez finalizado el proyecto o programa, y

si éste ha sabido adaptarse a los eventuales cambios de la misma. Es muy frecuente que

proyectos con una alta pertinencia en su inicio, por diversas circunstancias, dejen de tenerla

total o parcialmente transcurrido un cierto tiempo.

Dimensiones del criterio de Pertenencia. La pertenencia se entiende como un

criterio básico, por ello la evaluación de intervenciones suele comenzar siempre por el

análisis de la misma ya que un proyecto o programa, independientemente de otros factores,

nunca debería llevarse a cabo sin cumplir con este criterio, dado que cuestionaría

globalmente su sentido y utilidad.

El criterio de Pertenencia interrogaría a la intervención sobre las siguientes dimensiones:

1. Necesidades y prioridades de los usuarios a los que se dirige la intervención.

Parece obvio que cualquier proyecto debe dar respuesta, en primer lugar, a las necesidades

más sentidas por los beneficiarios o usuarios locales a los cuales va dirigido. Esas

necesidades y prioridades deben ser establecidas por ellos mismos, desde su propia

percepción, siendo esencial su participación proactiva desde el primer momento, en la

propia concepción e identificación de la intervención. Si la participación no es la adecuada,

incluso cuando los resultados y objetivos del proyecto coincidieran con las prioridades del

usuario, se podría debilitar en gran medida su grado de apropiación de los mismos.

Cualquier intervención que no responda de manera significativa a las prioridades

establecidas por los usuarios a través de procesos participativos difícilmente podría

considerarse pertinente.

Page 88: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

88

2. Adecuación a las políticas púbicas a nivel local y/o nacional. La Pertinencia debe

establecer el nivel de concordancia del proyecto o programa con las estrategias y políticas

públicas, ya sean de ámbito nacional, regional y/o local, que afecten a los usuarios o al

sector de la intervención y si éstas han sido adecuadamente contempladas y valoradas. Un

proyecto será tanto más pertinente cuanto más se inscriba, adecúe y complemente las

actuaciones de las instituciones públicas locales.

No obstante, pueden darse cierto tipo de intervenciones que no respondan a prioridades

expresas establecidas por las políticas públicas locales, (por ejemplo, actuaciones de apoyo

al fortalecimiento de organizaciones de la sociedad civil), sin que ello suponga per se un

detrimento de la pertinencia. En este caso, el análisis debe centrarse en si la concepción y el

diseño de la intervención ha tenido en cuenta esta circunstancia, su justificación y como ha

sido enfrentada y resuelta.

3. Prioridades y políticas de los donantes, tanto del financiador y/o ejecutor como del resto

de actores de la Cooperación Internacional presentes en el ámbito y zona de intervención.

En el primer caso, porque todo proyecto debería evitar convertirse en una acción puntual,

inscribiéndose en un nivel de intervención más amplio fruto de una apuesta estratégica, y

en el segundo, porque igualmente, se reforzaría la creación de sinergias mediante la

armonización con las intervenciones de otros sectores.

Page 89: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

89

4. Adecuación de los componentes técnicos y resultados a los problemas y carencias

identificadas así como a las capacidades de los usuarios a quienes va dirigida la

intervención.

Aspectos sustantivos. La pertinencia debe valorar los mecanismos y el nivel de

participación de la población meta que deben haber propiciado y permitido la incorporación

de sus valoraciones y propuestas tanto en el momento de la identificación como en el

diseño y la ejecución. Especialmente relevante, en este sentido, es el análisis del

diagnóstico realizado, (árbol de problemas, etc.), y del análisis de alternativas, verificando

que la escogida sea la que mejor responda a las prioridades de los beneficiarios,

poniéndolas en relación con las capacidades del proyecto y el contexto en que éste va a ser

ejecutado. No debemos perder de vista, que pueden existir diferencias, a veces muy

notorias, entre el grupo que conforma la población meta. Dichas diferencias tendrían que

haber sido contempladas por la intervención, estableciendo los mecanismos precisos para la

asunción de las mismas.

Otro de los aspectos sustantivos de la pertinencia, es su carácter multidimensional y

dinámico. El análisis de los distintos factores que deben ser tenidos en cuenta puede arrojar,

en algunos casos, respuestas no coincidentes e incluso contradictorias sí, por ejemplo, las

prioridades del donante no coinciden con la de los socios locales o éstas con las de los

usuarios. Por otro lado, el contexto, la realidad, cambia constantemente y será tarea de la

pertinencia analizar con la adecuación de la intervención si la misma ha ido variando desde

la identificación hasta su finalización. Ya hemos comentado, pero merece la pena insistir en

ello, que un proyecto puede haber sido altamente pertinente en su identificación de diseño

Page 90: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

90

pero haber dejado de serlo total o parcialmente durante su ejecución. Resulta fundamental,

por tanto, constatar si han existido cambios en el contexto entre el momento en que se

identificó a la intervención y el momento en que se realiza la evaluación.

Por último, la pertinencia debe estudiar en qué medida la intervención centra sus

actuaciones en las causes de la problemática y carencias detectadas y no en sus efectos,

aspecto este esencial para diferenciar un proyecto de desarrollo de otro meramente

asistencial. Una intervención que actúe únicamente sobre los efectos de una determinada

realidad no podría considerarse pertinente, desde una óptica de desarrollo, ya que su

potencial transformador de dicha realidad sería prácticamente inexistente. Esta afirmación,

evidentemente, no invalida la pertinencia en actuaciones, por definición, de carácter

asistencial, como la ayuda humanitaria, al menos en la fase de emergencia de la misma.

Preguntas clave. A la hora de analizar la pertinencia de una intervención, la

evaluación debería responder a una serie de preguntas clave de control. Se exponen a

continuación un listado de las mismas, que de manera genérica y sin pretender un carácter

exhaustivo, tienen en cuenta las principales dimensiones de este criterio:

¿El proyecto constituye una respuesta adecuada al problema y/o necesidades

identificadas en el diagnóstico de la situación?

¿Otra solución habría sido más adecuada frente al problema identificado?

¿Cómo han participado los beneficiarios en la identificación, diseño y ejecución del

proyecto?

¿Responde el proyecto a las prioridades de la institución financiadora?

Page 91: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

91

¿Responde el proyecto a las prioridades de las políticas de desarrollo del socio local

(Gobierno, institución, etc.)?

Constituye el proyecto una prioridad para el grupo beneficiario?

Están bien definidos los beneficiarios del proyecto y forman estos un colectivo

prioritario?

¿Hay correspondencia entre el objetivo del proyecto y el problema que se pretende

resolver?

¿El objetivo general es justificación suficiente para la realización del Proyecto?

¿Está el proyecto conectado con otras intervenciones en la zona, generando

sinergias, complementariedades y evitando solapamiento?

¿Ha sabido de cambios en las prioridades y necesidades inicialmente detectadas?,

¿ha sabido el Proyecto adaptarse a las mismas?, ¿cómo?

Los resultados y soluciones técnicas propuestas son adecuados a los problemas

identificados y a las capacidades de los ejecutores y usuarios?

¿Estaban bien identificadas las condiciones previas?, ¿se han cumplido?, ¿en qué

medida?, ¿Dicho cumplimiento posibilitaba iniciar la intervención con las

adecuadas garantías?

Obtención de información. A la hora de realizar el análisis sobre la pertinencia de

una intervención se pueden obtener datos relevantes consultando las fuentes siguientes:

Documentos de planificación y programación de donantes y socios locales, tales

como planes de desarrollo, estrategias sectoriales, prioridades geográficas, etc.

Documentos de diagnóstico de la realidad. muchos de ellos generadores durante la

fase de identificación del proyecto, (análisis de implicados, definición de

Page 92: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

92

beneficiarios, árbol de problemas y objetivos, análisis de alternativas, etc.) pero

también diagnósticos posteriores que pudieran estar disponibles.

Documento de diseño del proyecto y, específicamente, su matriz de planificación.

Documentación generada por las herramientas e instrumentos utilizados por la

intervención para la generación de procesos participativos con usuarios y socios

locales, (talleres, reuniones, etc.)

Documentación de otros proyectos que se llevan a cabo en la misma zona o con los

mismos colectivos.

Subcriterios afines al de Pertinencia. Se exponen a continuación los principales

sub criterios que analizan aspectos específicos contemplados de forma conjunta por el

criterio de pertinencia, los cuales son, apropiación, alineamiento, armonización, coherencia

y participación, definiremos cada uno de ellos:

Apropiación. Para la Cooperación Española (2007) la apropiación tiene que ver con

hasta qué punto las instituciones de los países socios ejercen un liderazgo efectivo sobre sus

políticas y estrategias de desarrollo, lo que implica la coordinación de las actuaciones de los

donantes. Como podemos observar, la definición hace referencia a la apropiación con

respecto a políticas, estrategias y/o planes de desarrollo y siempre en función de

instituciones de carácter público. Ahora bien, el concepto puede ser utilizado igualmente en

intervenciones más específicas, como programas y proyectos, y es extensible, no sólo a los

socios locales, públicos o no, sino también a los usuarios a los que se dirigen.

Page 93: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

93

La apropiación haría referencia de forma específica a tres de las cuatro dimensiones

presentes en el criterio de pertinencia: apropiación por parte de la población meta de la

intervención y de los socios locales respecto a objetivos y resultados e, igualmente, de las

soluciones técnicas implementadas, Para que se produzca una apropiación efectiva de una

determinada intervención no bastaría únicamente con que ésta respondiera a las prioridades

de usuarios y socios locales sino que, además, dicha intervención debería implicar, desde su

misma identificación, a los actores citados de forma proactiva, para que fuera “sentida” por

los mismos como propia. En otras palabras, este subcriterio precisaría de una concepción y

desarrollo endógeno de las intervenciones. Para ello es esencial que en las distintas fases

del programa o proyecto se articulen mecanismos participativos que otorguen un papel de

liderazgo protagónico a los actores locales.

Algunas de las preguntas a las que la evaluación debería dar respuesta desde la

perspectiva de la apropiación serían las siguientes:

¿En qué medida han participado las instituciones locales en el diseño de la

intervención?

¿En qué medida participan las instituciones locales en la aplicación y gestión de la

intervención?

¿En qué medida participan las instituciones locales en el seguimiento de la

intervención?

¿En qué medida participan las instituciones locales en la evaluación de la

intervención?

¿En qué medida han participado los beneficiarios en todo el proceso?

Page 94: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

94

¿En qué medida los resultados de la intervención han sido incorporados y asumidos

tanto por la población meta y/o las instituciones locales usuarios de los mismos.

¿En qué medida los objetivos de la intervención son asumidos y valorados tanto por

la población meta y/o las instituciones locales.

Alineamiento. Al igual que la apropiación, aparece contemplado como uno de los

principios básicos de la Declaración de París la cual dice que los donantes basan su apoyo

en estrategias, instituciones y procedimientos nacionales de desarrollo de los países. El

alineamiento se traduce, por tanto, en la utilización prioritaria de las estrategias,

diagnósticos y recursos del socio local empleando los del donante únicamente cuando ello

fuera imprescindible, desligando la ayuda y reduciendo los costos de transacción. En el

caso de una intervención concreta, como un proyecto, se requeriría la inserción del mismo

en el marco estratégico del socio local, siendo éste quien realizaría la gestión de sus

diferentes fases y procesos de acuerdo a sus propios procedimientos y con aquellos recursos

humanos y técnicos presentes en el mercado local. El Alineamiento supondría, asimismo, el

reforzamiento implícito de las capacidades procedimentales y de gestión de los socios

locales, y/o explícito, articulando medidas concretas en este sentido, si fuera necesario para

un desarrollo adecuando la intervención.

Algunas de las preguntas a las que la evaluación debería dar respuesta desde la

perspectiva del Alineamiento serían las siguientes:

Page 95: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

95

¿Se adaptaron los procedimientos presupuestarios y administrativos de la

intervención a los de las instituciones locales?

¿Se han tenido en cuenta las estrategias y programas de desarrollo del país socio?

¿La intervención incluye medidas específicas para fortalecer las capacidades de las

instituciones locales?, ¿Se ha logrado?

¿En qué medida las entidades ejecutora y donante de la intervención han sido

transparentes con las instituciones y los socios locales?

¿Se ha priorizado en la intervención el empleo de recursos locales tanto humanos

como materiales?, ¿en qué medida?

Armonización. Tercer principio básico de la Ayuda recogido por la Declaración de

París, (OCDE, 2005) según el cual establece que las acciones de los donantes son más

armonizadas, transparentes y colectivamente eficaces.

La armonización se refiriere específicamente a la tercera dimensión del criterio de

Pertinencia, y valora la coordinación entre donantes para evitar la dispersión de

actuaciones, aprovechar las ventajas comparativas de cada uno y establecer un programa de

ayuda más estable y predecible para el socio local, coordinando y simplificando los

procedimientos tanto como sea posible.

En el ámbito de una intervención del tipo proyecto, la armonización busca la

creación de sinergias, complementariedades y una división del trabajo con otras

intervenciones realizadas en la misma zona, sector y/o con idéntica población meta. A esto

se trata de evitar llevar a cabo intervenciones aisladas, puntuales, de escaso impacto que

Page 96: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

96

pudieran, incluso, solaparse con otras de distintos donantes, algo que, por desgracia, ha sido

una de las deficiencias más recurrentes de la Cooperación internacional para el Desarrollo

como ellos mismos lo han externado.

Las fuentes de información básica para la obtención de datos sobre la armonización

serían los documentos de estrategia y programación de otros donantes, documentos de otras

intervenciones en el mismo sector, zona, población meta, etc. Posibles acuerdos y

convenios establecidos con otros actores de cooperación, etc.

Alguna de las preguntas a las que la evaluación debería dar respuesta desde la

perspectiva de la armonización propuestas por MAEC (2007) son las siguientes:

¿Existen otras entidades gestoras y organismos donantes que operan en el mismo

territorio, sector o población objetivo?

¿Se han establecido mecanismos de coordinación, intercambio de información, etc.

Con estas entidades?, ¿de qué tipo?, ¿a que ámbitos alcanzan?

¿Qué resultados ha tenido esta coordinación?

Coherencia. El criterio de coherencia analiza el nivel de solidez de la intervención

tanto en lo que respecta a la idoneidad de su estructura interna como en su relación con las

estrategias del donante y/o otras actuaciones semejantes. Puede además, ser analizado

desde una doble perspectiva:

Page 97: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

97

La coherencia interna pretendería verificar el grado de articulación y equivalencia

entre los objetivos y resultados de la intervención y los instrumentos y herramientas

propuestos para conseguirlos así como su adecuación a los problemas identificados.

Se centraría, pues, en la necesaria relación lógica existente entre los diferentes

componentes del diseño de la intervención. En este sentido se trataría de un criterio

que podríamos definir como mixto, tomando elementos de varios de los criterios

tradicionales propuestos por el CAD como la propia Pertenencia, la Eficacia, la

Eficiencia, etc. La fuente de información básica para obtener datos sobre la

coherencia interna sería la revisión de la matriz de planificación del Proyecto y, de

forma muy específica, de su primera columna, la lógica de intervención.

La coherencia externa compartida parte de su ámbito de investigación con la

armonización y respondería, asimismo, a la dimensión tercera de la Pertinencia, en

cuanto al grado de concordancia del modelo lógico de la intervención y las

prioridades y políticas del donante, así como su compatibilidad con otras estrategias

y programas con las que pudiera tener sinergias y complementariedades. Sus fuentes

básicas de información serían los documentos de estrategia y programación del

donante y de otros donantes, así como documentos de otras intervenciones en el

mismo sector, zona, población, meta, etc. Y posibles acuerdos o convenios

establecidos con éstas.

Se proponen, a continuación, algunas preguntas que la evaluación podría tratar de

responder para analizar la coherencia de una intervención:

Page 98: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

98

¿Se corresponden los problemas identificados con los objetivos propuestos?

¿Se ha definido correctamente la estructura de objetivos, resultados y actividades de

la intervención?

¿Son adecuadas las actividades programadas para lograr los objetivos de la

intervención?

¿Complementa la intervención a otras estrategias o programas aplicados en el

mismo territorio, sector o población meta por el donante, otros donantes y el país

socio?

¿Se aprovecharon las posibles sinergias que se hubieran podido establecer entre

estos programas y la intervención?

Participación. El análisis de la participación se centraría en determinar si se han

definido de manera clara y específica los diferentes actores afectados por la intervención,

(población meta, socios locales, etc.), así como su implicación en las diferentes fases de

planificación y ejecución de la misma, valorando cuál ha sido su incidencia real en la toma

de decisiones, ya desde el mismo momento de su identificación.

La evaluación debe considerar y valorar la pertinencia y operatividad de los

distintos mecanismos y canales de participación dispuestos por la intervención, así como el

efecto que los mismos hayan podido producir en el empoderamiento de los actores locales.

Fuentes de información primaria para determinar este criterio partirían de la documentación

generada por el propio proyecto en sus distintas fases. Se trata de verificar, en primer lugar,

si se ha realizado adecuadamente el análisis de participación y como se ha articulado éste

posteriormente a través de la documentación generada por los procesos de identificación,

Page 99: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

99

diseño, seguimiento, etc.) por ejemplo, talleres de problemas y objetivos, comisiones y

gestión y seguimiento, etc.)

Para indagar sobre el nivel de participación en una intervención se podrían proponer las

siguientes preguntas:

¿Se ha delimitado claramente quiénes van a participar en el proyecto, y cómo?

¿Qué actores han participado en cada fase de la intervención?, ¿en qué medida?

¿Han sido eficaces los canales de participación establecidos?

¿La intervención incluye medidas específicas orientadas al empoderamiento de las

personas beneficiarias y las organizaciones locales?

¿Se ha logrado este empoderamiento?

Eficacia. La OCDE (2002) define este criterio como medida en que se lograron o

se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su

importancia relativa. La eficacia trata, por un lado, de estimar el grado de alcance del

objetivo específico u objetivo del proyecto para lo que, necesariamente, deberemos

contemplar el cumplimiento de los resultados y, por otro, de determinar las causas que han

llevado o no al alcance de dicho logro.

Una valoración adecuada de este criterio de la eficacia nos obliga a diferenciar

entre las causas internas y externas que han contribuido a la consecución de los resultados y

del objetivo específico, lo que posibilitará determinar cuál ha sido la aportación real del

Page 100: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

100

proyecto al logro de los mecanismos. Asimismo, es muy conveniente que éste tenga un

único objetivo específico, ya que con ello facilita en gran medida su análisis. Las

intervenciones con varios objetivos son de más difícil evaluación ya que su nivel de

cumplimiento podría ser muy dispar.

Aspectos sustantivos. Para poder establecer una valoración sobre el grado de

cumplimiento del objetivo especifico es necesario que éste haya sido definido de forma

precisa y concreta, caracterizando claramente tanto aquello que se desea alcanzar como la

población meta a la que se dirige el proyecto. Es relativamente frecuente que su

formulación responda a soluciones de consenso, alcanzadas previamente entre los actores

participantes en la intervención para atender a sus diferentes intereses. En estos casos

podemos encontrarnos con objetivos vagos, declarativos, que plantean problemas

metodológicos muy serios para su constatación. Cuando esto ocurre, la propia evaluación

puede verse obligada a fijar el objetivo específico rediseñando adecuadamente el proyecto.

Existen cuatro factores importantes que influyen en la determinación de la eficacia de

una intervención:

La calidad y coherencia de la lógica de intervención, verificando si el cumplimiento

de los resultados puede garantizar la consecución del objetivo específico. Es preciso

recordar en este punto que dicho objetivo nunca debe ser una mera adición de los

resultados esperados.

El análisis de los mecanismos de ejecución que puede proporcionar información

importante sobre las razones de un determinado logro por parte del proyecto.

Page 101: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

101

La población meta a la cual va dirigida la intervención, analizando su acceso a los

beneficios, en forma de mejoras en las condiciones de vida, bienes y servicios,

proporcionados por el objetivo específico y los resultados. Este acceso debería

desglosarse por sexo, nivel socioeconómico, etnia, edad, etc. Este aspecto es de

suma relevancia, lo que ha dado lugar a un sub criterio, la cobertura, que será

analizado más adelante. En cualquier caso la participación activa de la población

meta en todas las fases del ciclo del proyecto es una primera garantía de la Eficacia

del mismo.

La fase de la intervención en que se realice la evaluación de la eficacia definirá un

tanto su sentido. Un análisis anterior a la ejecución se basaría en la calidad de la

lógica de intervención contenida en el diseño. En el caso de una revisión en un

momento temporal en el que todavía no se ha alcanzado el objetivo específico, (por

ejemplo, una evaluación intermedia), se puede estudiar la eficacia en función de los

resultados que hayan sido logrados y aquellos que se espera alcanzar con un

razonable nivel de certidumbre, valorando si, en conjunto, nos permiten esperar la

consecución del objetivo específico. En el caso de una evaluación final o ex post se

examinará directamente el nivel de logro de los resultados y del objetivo específico.

Para la medición de los resultados y del objetivo específico es necesario contar con

herramientas de calidad como diagnósticos, líneas de base, indicadores y fuentes fiables de

verificación.

La existencia de líneas de base donde obtener información veraz sobre la situación de la

población beneficiaria con anterioridad a la ejecución del proyecto es un instrumento muy

Page 102: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

102

valioso a la hora de medir la eficacia. Sin embargo, suele ser frecuente que este tipo de

información no pueda conseguirse sino de forma parcial y disgregada, siendo la propia

evaluación quien tenga que elaborar este diagnóstico inicial.

Preguntas clave. Para el examen de la eficacia algunas de las preguntas clave de

control que podríamos realizar serían las siguientes:

¿Tiene la intervención un único objetivo específico?

¿El objetivo específico ha sido formulado con precisión y dispone de indicadores

operativos y fuentes de verificación fiables que permitan valorar su logro?

¿Es posible alcanzar, tal como ha sido enunciado, el objetivo específico?

¿Los resultados han sido formulados de forma concreta y medible?

¿Los resultados son medios suficientes y necesarios para el logro del objetivo

específico?

¿Los factores externos que afectan a los resultados tienen una probabilidad

razonable de cumplimiento?

¿Cuáles son los factores, internos y/o externos al proyecto, que más incidencia han

tenido en el logro el objetivo específico?

Obtención de información. Entre otros elementos, a la hora de valorar la eficacia

deberemos referenciarnos a:

La definición del objetivo específico, ya que solamente podremos hacer una

valoración ajustada sobre la eficacia si éste se ha formulado de forma precisa,

Page 103: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

103

concretando mediante indicadores verificables objetivamente y fuentes de

verificación.

Examen de los resultados para comprobar si son suficientes en el logro del objetivo

específico o si se precisarían nuevos resultados para garantizar su consecución,

valorando la lógica interna del proyecto.

El análisis de la incidencia de los factores externos en la consecución del objetivo

específico mediante el análisis de las hipótesis entre los resultados y objetivos

específicos, verificando la probabilidad de su cumplimiento.

Subcriterios afines al de Eficacia. Se expone a continuación el principal subcriterio

de la eficacia que es la cobertura.

Cobertura. La Metodología de la Evaluación de la Cooperación Española (2001) la

define como la medida en que la misma está alcanzando la población o el área a la que

pretendía llegar y se centra en el análisis de los colectivos beneficiarios y en la valoración

de su adecuación a los destinatarios, indagando en los factores causales de los posibles

sesgos hacia determinados colectivos o en las barreras de acceso.

Las distintas características socio-económicas, culturales, de género, etc. pueden

influir en la distribución y acceso a los beneficios de una intervención por parte de los

distintos colectivos que integran la población meta de la misma. Incluso, por diversas

causas, grupos no contemplados por ésta podrían recibir dichos beneficios en detrimento de

los usuarios naturales del proyecto. En el diseño de intervenciones que consideran a los

Page 104: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

104

colectivos metas como grupos homogéneos, sin tener en cuenta sus diferencias internas,

suele estar el origen de esta distribución no prevista y/o deseada de sus beneficios. El

subcriterio de cobertura introduciría la diversificación de estos colectivos en la evaluación.

En este sentido, la cobertura analizará si, durante las fases de identificación, diseño

y ejecución, sectores de la población meta han quedado excluidos o relegados del proyecto

cuando, por sus objetivos, no deberían haberlo sido y si existen colectivos aun de forma

explícita o implícita han sido incluidos sin que puedan ser considerados como parte de

dicha población meta.

Eficiencia. La OCDE (2002) define a la eficiencia como la medida en que los

recursos/insumos, (fondos, tiempo, etc.), se han convertido económicamente en resultados

o de otra forma dicho como la medida en la que se obtuvieron los resultados y/o efectos

deseados con la menor cantidad de recursos posible (fondos, habilidades técnicas, tiempo,

costos administrativos, etc.). Relaciona, por tanto, los logros obtenidos por una

intervención con los recursos utilizados en la consecución de los mismos, indicando la

productividad del proyecto o programa. Al hablar de los recursos debemos referirnos a

todos aquellos insumos utilizados, sean del tipo que sean, (materiales, humanos,

financieros, técnicos, etc.), así como el periodo de tiempo empleado en la ejecución. Nos

encontramos, ante un criterio de valoración esencialmente económico.

Page 105: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

105

Por otro lado, existen dos perspectivas que CIDEAL (2013) menciona como

complementarias a la hora de valorar la eficiencia de una intervención dependiendo de

cómo focalicemos el análisis:

a) Partiendo de los resultados, verificar cómo se podrían conseguir éstos con los

mínimos recursos posibles, esto es, al más pequeño costo.

b) Dados unos recursos disponibles, preguntarnos si con los mismos podrían haberse

alcanzado resultados más ambiciosos que los logrados.

Independientemente de la perspectiva elegida, una intervención alcanzaría su

eficiencia máxima cuando ningún uso alternativo de los recursos empleados por la misma

pudiera producir más y mejores resultados. La eficiencia no sería un criterio absoluto sino

comparativo, (una intervención es más o menos eficiente con respecto a algo), que se

establecería siempre en función de otras eventuales propuestas de asignación de recursos,

ya sean estas reales, (estableciéndose con otras intervenciones similares), o teóricas, con

base a una hipotética intervención donde la utilización de los insumos se realizará bajo

criterios de optimización en su empleo. Esta comparación permite el análisis de algunos

aspectos básicos que afectarían a la eficiencia como las soluciones técnicas adoptadas,

(¿existen otras mejores y de menor costo?), la procedencia de los recursos, (los equipos y

materiales empleados, ¿han sido adquiridos en el mercado local o importados?, los recursos

humanos, ¿Fueron personal local o expatriado?, ¿por qué?), etc.

Aspectos sustantivos. Dadas sus características, el análisis de este criterio se

centrará, fundamentalmente, sobre la fase del ciclo de gestión del proyecto relativa a la

Page 106: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

106

ejecución. A este respecto, la eficiencia debe valorar la rapidez y agilidad de la intervención

y, fundamentalmente, el costo de la misma en función de los resultados obtenidos.

Especialmente relevante es, en este sentido, el análisis del desempeño presupuestario,

(utilizando diversos indicadores como, por ejemplo, la relación entre costos directos e

indirectos, comparación entre gastos ejecutados y programados, inversiones en capacitación

sobre costos totales de personal, etc.), la cantidad de bienes y servicios producidos y

entregados por el proyecto y la calidad de los resultados y/o productos o de la prestación de

servicios, (en términos referidos a aspectos como el nivel de satisfacción de los usuarios de

la intervención, facilidad en el acceso a los mismos, etc.).

El indicador de eficiencia más común es el costo unitario de producción, que

relaciona los costos directos e indirectos en que se incurre para producir un bien y/o

servicio con la efectiva consecución del mismo. No podemos olvidar, además, la dificultad

añadida que supone la asignación de los costos indirectos a los resultados y productos de la

intervención que, generalmente, se prorratean entre los mismos. Siendo por tanto, como ya

hemos comentado, la valoración del criterio de eficiencia fundamentalmente económica,

surge la dificultad, sin embargo puede resultar tremendamente difícil establecer un valor

económico para determinados resultados, productos y servicios como, por ejemplo, la

generación de procesos de igualdad de género. En este sentido, si bien los recursos y costos

se miden por unidades monetarios en las herramientas mas comúnmente usadas para

evaluar la eficiencia, los logros también pueden hacerlo del mismo modo, (análisis costo-

beneficio), o bien expresarse por unidad de resultados, (análisis costo-efectividad; por

ejemplo número de empleos creados), de acuerdo a su función de utilidad, (análisis costo-

utilidad) o al consumo de determinados bienes o servicios, (análisis costo-impacto).

Page 107: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

107

El tipo de análisis a emplear dependerá de las características de la intervención, (ya

se trate ésta de un proyecto de tipo productivo, social, de refuerzo institucional, etc.), y de

las preguntas que orienten la evaluación. Hay que tener en cuenta que, a pesar de tratarse de

herramientas muy potentes que proporcionan valiosa información para la toma de

decisiones, se trata también de métodos costosos tanto en recursos como en habilidades por

lo que, en ocasiones, su utilización puede verse restringida, sobre todo en intervenciones de

bajo presupuesto.

Preguntas clave. A la hora de analizar la eficiencia de una intervención, la

evaluación debería responder a una serie de preguntas clave de control. Exponemos a

continuación un listado de las mismas que, de manera genérica y breve tienen en cuenta los

principales componentes de este criterio:

¿Los medios e insumos para la ejecución del proyecto están bien descritos y son

necesarios para la realización de las actividades?

¿Está bien definido el presupuesto? ¿Los costos previstos se encuentran claramente

justificados y son razonables?

¿Todas las actividades son esenciales para la consecución de los resultados?

¿Se encuentran bien definidos los resultados?

¿Cuentan los resultados con indicadores objetivos y con fuentes de verificación

operativas?

¿Podrían alcanzarse esos resultados incurriendo en un menor costo?

¿Podrían alcanzarse esos resultados en un tiempo más corto?

Page 108: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

108

¿Está bien definido el cronograma, la secuencia y la duración de las actividades?

¿Los tiempos de ejecución de las actividades resultan adecuados?

¿Ha existido la suficiente flexibilidad para adaptarse a entornos cambiantes en la

ejecución de las actividades?

¿Los factores externos situados al nivel de las actividades tienen una probabilidad

aceptable de cumplimiento?

Obtención de información. A la hora de realizar el análisis sobre la eficiencia de

una intervención se pueden obtener datos relevantes consultado las fuentes siguientes:

Cronograma del proyecto: proporciona información sobre la duración total del

proyecto y de cada una de sus actividades. Nos puede permitir, además, identificar

posibles inconsistencias en la secuencia de actividades, así como tiempos de espera

o tiempos muertos que retrasen la ejecución.

Presupuesto del proyecto: como hemos señalado, para poder valorar la eficiencia el

presupuesto debe contener el detalle adecuado de todos los recursos en unidades y

valores unitarios. Sería deseable que el presupuesto estuviera desglosado por

actividades y, por agregación, por resultados (de manera que podemos comparar

éstos con los recursos necesarios para su obtención).

Indicadores de resultados y sus fuentes de verificación: si la eficiencia consiste en

valorar el costo en que se incurre para la obtención de resultados, éstos últimos

deberán estar inequívocamente precisados a través de sus correspondientes

Page 109: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

109

indicadores, en los que se exprese la cantidad, calidad, plazo de entrega, etc. del

resultado en cuestión.

Organigrama y asignación de responsabilidades en el proyecto, en los que podemos

valorar la mayor o menos agilidad en la toma de decisiones, los aspectos de

coordinación de la ejecución, etc.

Los procedimientos de gestión, su agilidad y operatividad, etc.

Las hipótesis entre actividades y resultados, valorando la probabilidad de

cumplimiento de las mismas.

Impacto. El criterio de Impacto para el CAD (2012) tiene por objeto el análisis de

todos aquellos efectos que hayan sido provocados por una intervención más allá de los

objetos planeados por la misma. Pudiendo tener efectos positivos o negativos, previstos o

no previstos, implicando tanto a la población meta como a otros colectivos y, en general, al

contexto donde se ha ejecutado el proyecto. De igual forma el CAD (2012) que el impacto

son los efectos de largo plazo positivos y negativos, primarios y secundarios, producidos

directa o indirectamente por una intervención para el desarrollo, intencionalmente o no.

El Impacto es un criterio bastante amplio al entrar a valorar cualquier cambio significativo

que la intervención haya podido producir en la realidad, sea del tipo que sea: económico,

político, técnico, social, ecológico, de género, etc. Debido a este multidimensionalidad

podría considerarse como el criterio más difícil de medir, pero absolutamente central en las

evaluaciones ex post ya que nos permite preguntarnos si el proyecto produjo o no cambios

y, en caso afirmativo, cuál fue su magnitud y a qué áreas afectaron, especialmente en el

Page 110: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

110

medio y largo plazo. Precisamente por esta característica, algunas entidades llaman

evaluaciones de impacto, a las realizadas ex post.

Con el Impacto se busca identificar los efectos netos producidos por el proyecto, es

decir, comprobar la relación de causalidad existente entre ambos una vez identificadas y

relegadas aquellas consecuencias originadas por otras actuaciones, ya sean intrínsecas al

colectivo analizado o generadas por factores externos al mismo y a la intervención

evaluada.

El Impacto contempla el análisis de diversos efectos que se explican a

continuación:

Efectos previstos y no previstos. El impacto no se limita a valorar los resultados y

objetivos esperados por la intervención sino que tiene que considerar también los

aspectos no contemplados en la planificación. Por ello va más allá de la

intencionalidad de la intervención, analizando todas sus implicaciones posibles.

Efectos positivos y negativos: Evaluar las consecuencias de la intervención más allá

de su intencionalidad implica abordar también posibles efectos no deseados o

perjudiciales que pueden haberse producido. Identificar los efectos positivos y

negativos es una de las tareas básicas de la valoración del impacto de una

intervención.

Page 111: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

111

Efectos sobre el contexto. El impacto también implicará identificar cualquier

consecuencia de la intervención sobre el contexto en un sentido general, abarcando

las instituciones, el contexto político, social, económico o cultural.

Efectos sobre la población. No se limitaría a evaluar las consecuencias de la

intervención sobre la población meta, sino que se interrogaría sobre cualquier efecto

producido en la población en general. Al analizar los efectos sobre la población es

necesario desagregarla en base a diferentes parámetros como su condición social,

género, si se trata de población meta o no, etc.

Efectos directos o indirectos. El impacto no sólo se refiere a las relaciones de

causalidad más claras y aparentes, sino también a posibles efectos indirectos,

secundarios o colaterales que pueda haber generado una intervención.

Efectos a corto, medio y largo plazo. Aunque por lo general los efectos de una

intervención se producen y aprecian fundamentalmente a medio o largo plazo, el

impacto engloba las consecuencias de un proyecto en todas sus escalas temporales.

Efectos locales, regionales o nacionales. Se deben abordar las consecuencias de la

intervención en todas sus posibles escalas territoriales y en todos los espacios en los

que pueda haber tenido algún tipo de influencia.

Aspectos sustantivos. Para determinar el impacto de una intervención debemos

comparar cómo era la situación concreta de una realidad, con el estado presente de la

misma, pero diferenciando, cuáles han sido los cambios o transformaciones producidos en

ella por la intervención y cuáles han tenido su origen en otra serie de factores que puedan

Page 112: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

112

estar incidiendo en la dicha realidad. No se trata de comparar una realidad antes y después

de la intervención sino esa misma realidad con y sin intervención.

El problema de la “atribución”, es decir, en qué medida las transformaciones

observadas en una realidad son consecuencia de lo efectivamente ejecutado o de cambios

en el entorno, presenta una gran complejidad. Si el impacto de la intervención es positivo,

parte del mismo podría explicarse por la evolución favorable de otros factores del entorno

tal y como se recoge en el siguiente gráfico:

Es posible, asimismo, que aunque el proyecto tenga un impacto positivo, éste no

compense el efecto negativo provocado por una evolución desfavorable del entorno:

Será necesario, por tanto, comparar la realidad que existe y existiría con y sin

proyecto respectivamente, Para ello se puede recurrir a diversas técnicas de investigación

social con diferentes grados de formalidad en la recopilación de la información y, en

consecuencia con niveles muy dispares en cuanto al manejo de datos o las necesidades de

tiempo y recursos financieros y humanos. En cualquier caso, no puede perderse de vista que

la evaluación está supeditada al objetivo de aprendizaje y no a un estudio de la realidad

como fin en sí mismo.

El CIDEAL (2013) sugiere agrupar estas técnicas en tres grandes categorías:

Técnicas experimentales, semi-experimentales y no experimentales.

Page 113: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

113

Técnicas experimentales: requieren el establecimiento, con anterioridad a la

ejecución de la intervención de al menos dos grupos de análisis entre los potenciales

beneficiarios, uno de los cuales es sometido a la misma, (grupo meta o experimental),

mientras que el otro queda excluido, (denominado grupo de control), formado por

individuos con características similares al del grupo de beneficiarios efectivos. Para

asegurar la validez de la información obtenida, los grupos deben ser equivalentes, lo que se

asegura a través de la asignación aleatoria de individuos y en una cantidad que asegure su

representatividad estadística. Es necesario, igualmente, controlar la tasa de abandonos en

ambos grupos ya que una diferencia significativa entre ambos podría perjudicar muy

seriamente la validez de los datos obtenidos.

Los diseños experimentales deben realizar una medición de la variable de impacto

tanto del grupo meta como de control en la situación con proyecto, Además, con relativa

frecuencia, los diseños experimentales también realizan una medición de la variable del

impacto en la situación sin proyecto, una vez realizada la selección aleatoria, pero antes de

iniciar la ejecución del programa. Esta medición ex - ante se considera la línea base de la

evaluación. Con este procedimiento se intenta asegurar que las diferencias encontradas

entre los dos grupos serían consecuencia, casi con toda probabilidad, de la intervención

ejecutada.

Técnicas semi-experimentales: También se selecciona un grupo de control o grupo

testigo, con la diferencia de que en este caso, no se hace de manera aleatoria como lo

menciona sino que se recurre a un colectivo con características similares al de los

Page 114: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

114

destinatarios de la intervención, una comunidad cercana, por ejemplo, (método de pareo).

El pareo se puede realizar por individuo o por grupo. Cuando se utiliza el pareo por

individuo se busca que para cada beneficiario del grupo de tratamiento sea comparable con

un no beneficiario en el grupo de comparación. Por su parte, el pareo por grupo es menos

exigente, requiere que el grupo de tratamiento y comparación sean en promedio iguales.

Aunque el pareo por individuo es estadísticamente más deseable que el pareo por grupos,

en general las evaluaciones de impacto utilizan más el método agregado, por grupos.

Cuanto mayor sea la homogeneidad conseguida entre los dos grupos mayor será

también la validez de los datos obtenidos. Hay que evitar, en cualquier caso, que los grupos

puedan contaminarse es decir, que haya individuos que pasen de un grupo a otro o que

conozcan su condición de grupo testigo, para que eso no modifique en alguna medida sus

actitudes y comportamientos. También es deseable, para que los resultados sean

significativos, que el grupo de control no reciba algún tipo de ayuda externa.

La utilización del método de pareo ofrece al menos dos ventajas en la estimación

del impacto. En primero lugar, los grupos meta y de control no tienen necesariamente que

conformarse antes de iniciar la ejecución del proyecto, como si lo deberían de hacerlo en el

caso del diseño experimental. Utilizando estimaciones de la probabilidad de participación

en el programa, estos grupos se pueden conformar a partir de información sobre la situación

con proyecto de los individuos que participaron y no participaron en la intervención. Esta

flexibilidad es especialmente importante cuando la decisión de realizar la evaluación de

impacto se toma una vez el programa ha iniciado su operación. La segunda ventaja, es que

Page 115: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

115

el método de pareo no exige que se restrinja el ingreso al proyecto a individuos que son

parte de la población objetivo de la intervención, por ejemplo, de forma usual se

seleccionan áreas geográficas en donde la intervención no se va a ejecutar.

Aunque este grupo de técnicas es más utilizada en proyectos de desarrollo que las

anteriores, también presentan una serie de problemas considerables: su costo sigue siendo

elevado tanto en recursos como en el tiempo que precisan para su implementación,

(requieren múltiples observaciones y un importante esfuerzo de planificación previa de las

evaluaciones) y la fiabilidad de los datos no están alta como la obtenida con las técnicas

puramente experimentales debido sobre todo a la potencial existencia de diferencias no

observables entre los grupos meta y de control, que podrían generar un “sesgo de

selección”. Su uso, por ello, no es muy frecuente y suele estar restringido a intervenciones

de gran envergadura y proyectos piloto importantes de los cuales se desee extraer un

aprendizaje lo más fundamentado posible.

Técnicas no experimentales: en la práctica se trata de técnicas más empleadas que

las puramente experimentales en las evaluaciones de proyectos de cooperación para el

desarrollo, ya que utilizan métodos menos costosos y más sencillos para la estimación de

sus efectos. De forma resumida, intentarían elaborar una reconstrucción hipotética de qué

hubiera ocurrido con la realidad y los colectivos implicados de no haberse realizado la

intervención. Las técnicas no experimentales más frecuentemente utilizadas son:

Page 116: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

116

a) Series temporales. Si se cuenta con información sobre indicadores de cambio en un

conjunto de períodos previos y posteriores al proyecto, es posible hacer un análisis

de series temporales, para extraer conclusiones sobre los efectos imputables al

mismo. Para ello, se pueden contribuir gráficos sobre la base de mediciones

periódicas efectuadas “antes”, “durante” y “después” de la realización del proyecto.

Aunque no se trata de una técnica de alta fiabilidad, (en el caso de la tasa de empleo

juvenil del gráfico, por ejemplo, su aumento podría ser debido en parte o en su totalidad a

factores ajenos a la intervención), suelen ser empleadas frecuentemente en las evaluaciones.

b) “Antes-después”, (sin grupo de comparación): Se efectúa una medición “antes” de

que el proyecto sea ejecutado y se comparan los valores obtenidos con los

resultados derivados de levantar una línea de comparación, “durante” la operación o

“después” que el proyecto ha concluido. Es una técnica limitada puesto que no

permite eliminar los efectos debido al contexto y, por tanto, tampoco es posible

determinar qué cambios son atribuidos exclusivamente a la intervención.

En muchas ocasiones, sin embargo, ninguna de las técnicas antes descrita puede ser

utilizada debido a diversos factores, (tiempo y costos son los más comunes). En estos casos,

el análisis del impacto dependerá fundamentalmente del sentido común del equipo

evaluador y de las propias apreciaciones de los actores implicados. Aunque esto pueda

acarrear una evidente falta de “cientificidad”, no por ello pueden considerarse como menos

útiles los resultados de estas evaluaciones. Si bien los evaluadores no deben renunciar a los

Page 117: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

117

componentes de objetividad, racionalidad y solidez científica en sus indagaciones, han de

ser los suficientemente flexibles para adaptarse a las características y circunstancias de cada

evaluación, obteniendo la información, si es preciso, a través de métodos cualitativos y/o

participativos sin que la subjetividad en su interpretación puedan distorsionar en exceso sus

conclusiones.

Por otro lado, la complejidad de este criterio hace que, comúnmente, sea demasiado

ambicioso plantear una evaluación general del impacto, abordando de forma global y

exhaustiva todas y cada una de las consecuencias de una intervención. Por ello, suele ser

más práctico centrarse en una o varias categorías concretas de efectos, (por ejemplo sobre

el medio ambiente, género, etc). En estos casos la definición de las dimensiones a analizar y

el enfoque del análisis del impacto son usualmente determinadas en función de los intereses

de los actores involucrados en la intervención, (beneficiarios, agente financiador, etc.). La

orientación de este enfoque es también muy útil a la hora de obtener enseñanzas y un

aprendizaje efectivo de la intervención evaluada.

Preguntas clave. Para valorar el impacto de una intervención la evaluación deberá

responder a una serie de preguntas clave de control. Exponemos a continuación un listado

básico de las mismas que, de manera genérica y sin pretender un carácter exhaustivo, tienen

en cuenta los principales componentes de este criterio:

¿Ha contribuido la intervención a alcanzar el objetivo global propuesto?

¿Se han analizado y previsto posibles efectos positivos del proyecto en el contexto

de la intervención?

Page 118: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

118

¿Se han detectado efectos negativos provocados por el proyecto en el contexto de la

intervención?

¿Se ha logrado el impacto positivo sobre los beneficiarios?

¿Se han producido impactos positivos no previstos sobre los beneficiarios?

¿Se han producido impactos negativos no previstos sobre los beneficiarios?

¿Hay algún otro colectivo que puede verse afectado de forma negativa por el

proyecto?

¿El objetivo general cuenta con indicadores y fuentes de verificación que permiten

valorar su nivel de logro?

¿Existe una relación lógica entre los objetivos específicos y general? ¿Tiene el

proyecto altas probabilidades de contribuir significativamente al logro del objetivo

general?

¿Las hipótesis que afectan al objetivo general tienen un grado razonable de

probabilidad de cumplimiento?

¿Se han realizado actividades dirigidas a la sensibilización sobre el objeto de

intervención?

Obtención de información. Dada la amplitud de aspectos que analizaría el criterio

Impacto, es más difícil establecer una serie de fuentes de información específicas que

permitan la obtención de información. No obstante, las indagaciones podrían comenzar por

una serie de documentos que han de estar presentes en la identificación y el diseño:

-Enunciado del objetivo específico y general, verificando si están definidos de manera

precisa, y si el primero puede contribuir significativamente a la consecución del segundo.

Page 119: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

119

En el caso del objetivo general nos preguntaríamos, además, si cuenta con indicadores

verificables objetivamente y fuentes fiables para su comprobación.

-Los indicadores indirectos de resultados o del objetivo específico, que podrían constituirse

en efectos o impactos positivos. (Por ejemplo, en un proyecto que mejore los ingresos de

una comunidad de campesinos, la reactivación y potenciación del mercado y los

comerciantes locales podría formularse como un indicador indirecto y ser valorado como

un impacto positivo sobre otro colectivo distinto al de los beneficiarios directos).

-Las hipótesis entre el nivel del objetivo específico y del objetivo general, así como las

ramas medios-fines complementarias a la estrategia del proyecto seleccionada, y que

pueden identificarse en el árbol de objetivos.

-El análisis de participación, específicamente en lo relativo a los beneficiarios indirectos y

los colectivos que puedan verse perjudicados por la intervención.

-Asimismo, a menudo es necesario tratar de apreciar el efecto sentido por los beneficiarios

y otros colectivos, que no siempre coincide con el efecto buscado.

Sostenibilidad. En el marco de la evaluación de intervenciones de desarrollo

sostenibilidad y viabilidad se consideran términos sinónimos. Y la OCDE (2002) los

define como la continuación de los beneficios de una intervención para el desarrollo

después de concluida., la probabilidad de que continúen los beneficios en el largo plazo y la

situación en la que las ventajas netas son susceptibles de resistir los riesgos con el correr del

tiempo. Estos términos están referidos, por tanto, a la permanencia de los efectos positivos

alcanzados por un proyecto, específicamente por su objetivo específico y general, yendo

más allá de su mera consecución al interrogarse sobre un horizonte temporal más amplio

que comenzaría con la finalización de la intervención, la retirada del apoyo externo y la

Page 120: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

120

verificación de si ésta ha generado procesos de desarrollo endógenos, autónomos y

localmente gestionados.

La sostenibilidad es uno de los factores críticos de las intervenciones de desarrollo,

siendo relativamente frecuente que proyectos que han entregado correctamente sus

resultados, e incluso alcanzado el objetivo específico, presenten una mediocre

perdurabilidad de los mismos, llegando a desaparecer, con el tiempo, la mayor parte de los

logros obtenidos. Ello es debido a diversos factores, entre ellos la doble paradoja que

presenta la sostenibilidad de las intervenciones de desarrollo; por un lado se pretende que

una serie de actuaciones acotadas, tanto temporal como beneficios para sus destinatarios,

(paradoja tiempo-efecto). Igualmente, se intentan producir procesos de desarrollo

autónomos a partir de la utilización de recursos-proyecto, originando un cierto nivel de

dependencia de los mismos que entra en contradicción, precisamente, con esa autonomía

que se pretende lograr, (paradoja dependencia-autonomía).

El siguiente gráfico elaborado por CIDEAL (2013) muestra los posibles escenarios

que puede presentar la sostenibilidad de una intervención una vez finalizada la misma y

retirado el apoyo financiero y técnico externo. Si se consigue, tras la conclusión del

proyecto, el mantenimiento en el tiempo o, de forma óptima, la mejora de los logros

alcanzados, nos encontraríamos ante una situación de sostenibilidad.

Por el contrario, si dichos logros presentan un declive paulatino más o menos

acusado, la sostenibilidad estaría en entredicho y las actuaciones no habrían servido para

generar una dinámica de desarrollo duradera. Como ya hemos comentado, se trataría de uno

Page 121: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

121

de los factores que más preocupan de las intervenciones y, tal vez, el elemento crucial en el

que muchas de ellas fracasan.

Figura 14. Sostenibilidad, Fuente: CIDEAL (2013)

La perdurabilidad en el tiempo de los logros alcanzados por una intervención,

también tiene una relación directa con las capacidades de la población meta y/o de las

instituciones locales para asumir por sí solas su mantenimiento. En este sentido, la

evaluación debe preguntarse si han sido tenidas en cuenta las posibilidades técnicas,

Fin del Proyecto

Sostenible

Objetivo Específico

Resultado Insostenible Flujo de Beneficios (impacto)

Resultado

Resultado

Tiempo

Page 122: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

122

económicas, de gestión, etc. locales existentes para hacerse cargo de su gestión una vez

finalizado y retirado el apoyo externo o si, en su caso, se han desarrollado mecanismos para

potenciar y obtener las mismas.

Por otro lado, la sostenibilidad se relaciona con un adecuado diseño del proyecto

que haya tenido en cuenta los pertinentes estudios de factibilidad. Asimismo, es necesario

respetar en todo momento el derecho de los colectivos destinatarios a decidir el modelo de

desarrollo que desean. El fracaso en la sostenibilidad de las intervenciones puede

explicarse, en muchos casos, por la falta de participación y protagonismo de la población

meta en las distintas fases del ciclo de gestión de las intervenciones, desde su diseño hasta

la transferencia de las mismas.

A la hora de valorar la sostenibilidad es necesario tener en cuenta la naturaleza de

cada intervención. Los criterios utilizados para analizar la viabilidad de un proyecto de

naturaleza económico-productiva, basados fundamentalmente en la capacidad del mismo

para generar sus propios recursos y el compromiso de los actores locales en su

mantenimiento, serán necesariamente distintos de otro de carácter social, sanitario,

educativo, etc. donde los recursos han de ser continuamente suministrados, preferentemente

por instituciones locales en función de su engarce en determinadas políticas públicas.

Finalmente, las intervenciones precisarán, ya desde su diseño, de la formulación de

mecanismos de salida y transferencia, acodados y pactados con los actores involucrados,

que garanticen el adecuado traspaso de las mismas a los agentes e instituciones locales.

Page 123: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

123

Los factores de sostenibilidad

Más allá de estos elementos que se pueden considerar internos a la intervención, la

sostenibilidad también se ve afectada en gran medida por el contexto donde se lleva a cabo,

caracterizado por múltiples elementos sociales, políticos, económicos que interactúan entre

si. En este sentido, y a finales de la década de los 80, el Comité de Ayuda al Desarrollo,

(CAD), de la OCDE, identificó y sistematizó aquellos factores, (elementos contextuales),

que más podían influir en las posibilidades de viabilidad de un proyecto. Estos factores,

(primero cinco que posteriormente se ampliaron a siete), fueron asumidos por la comunidad

de donantes que los incorporaron, como un apartado específico, (denominado análisis o

estudio de viabilidad), en el diseño de sus intervenciones.

Aunque, dependiendo de la naturaleza del proyecto, no todos los factores puedan

considerarse determinantes o tener el mismo peso en el análisis, la evaluación debe

considerar, en todo caso. La “pertinencia de la intervención con respecto a ellos en el

momento en que fue concebida la acción, los posibles cambios que se hayan producido

durante la ejecución del proyecto y el estado en que se encuentren en el momento de

realizar la evaluación, con vistas al diseño de nuevas intervenciones” (MAEE, 1998)

Estos factores, que también reciben el nombre de factores de desarrollo o de calidad,

son los siguientes:

Políticas de apoyo. Cualquier intervención de desarrollo debería ser identificada,

diseñada y ejecutada teniendo en cuenta, fundamentalmente, las prioridades y estrategias

Page 124: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

124

políticas de los receptores pero también de los donantes, inscribiéndose en las mismas. De

otro modo es muy posible que se generen conflictos que pondrían en cuestión su

sostenibilidad. Se trata de un factor esencial que aparece ampliamente recogido en los

principios de apropiación y alineamiento de la calidad de la Ayuda.

En función del proyecto, estas políticas de apoyo deben ser analizadas en sus

distintos niveles; nacional, departamental y local, llegando incluso al regional si su

naturaleza así lo precisara, tanto en lo que se refiera a instituciones de carácter público

como a otras organizaciones, sindicales, sociales, religiosas, etc., que pudieran verse

involucradas en las actuaciones.

La adecuada inserción en las prioridades políticas de los agentes participantes en la

identificación y el diseño de una intervención no garantiza completamente que ésta se

mantenga en el tiempo, dada la lógica variabilidad de las mismas, por lo que será necesario

analizar si las actuaciones han sabido reconducirse para evitar posibles contradicciones,

pérdidas de apoyo, etc.

Factores institucionales. Analizaría la capacidad de los destinatarios y los actores

locales para gestionar y dar continuidad a los logros obtenidos por la intervención,

garantizando que la organización que se ocupará de ello puede realizar estas tareas con

solvencia. Esto depende de diversos elementos que deben ser considerados; compatibilidad

de los objetivos con las prioridades de la organización, una estrategia clara, personal estable

adecuadamente formado y motivado, recursos financieros suficientes y asegurados,

Page 125: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

125

vínculos y alianzas con otras organizaciones y, fundamentalmente, con los beneficiarios,

etc.

Es de destacar la necesidad de que el proyecto utilice, en la medida de lo posible, las

instituciones y entidades ya presentes en el terreno, evitando la creación de organizaciones

paralelas aunque ello suponga incorporar actuaciones de fortalecimiento directo de las

mismas. La debilidad de las instituciones actúa como un freno al desarrollo, por lo que es

muy frecuente encontrar en los proyectos, componentes de fortalecimiento institucional

como medio para procurar su sostenibilidad, ya sea a través de la capacitación de sus

miembros, la asistencia técnica e incluso el equipamiento.

Factores socioculturales. Para dotar a la intervención de unas adecuadas garantías

de sostenibilidad, ésta debe ser compatible y lo más cercana posible a la cultura local, así lo

afirma el CIDEAL (2013). Los proyectos y programas deben ser diseñados en función de

las características culturales de los colectivos meta, de otra forma es muy difícil que pueda

darse, por parte de los mismos, la apropiación efectiva de los logros y efectos positivos de

sus actuaciones. Este factor de desarrollo analiza, por tanto, la inserción e integración de

una intervención de desarrollo en la comunidad local ya que, si bien la misma puede ser

tolerada e incluso aceptada durante el proceso de ejecución, es mucho más complejo, una

vez retirado el apoyo externo, mantener dicha aceptación si no está adaptada a su contexto

sociocultural.

Page 126: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

126

Conceptualmente, se trataría de asegurar el derecho de los receptores de la

intervención para definir su propio modelo de desarrollo. En este sentido, es básica la

articulación de canales de participación de todas las fases del ciclo del proyecto lo que

produce, además, un sentimiento de corresponsabilidad sobre los éxitos y fracasos del

mismo. Esta participación debe verse reflejada, igualmente, en algún tipo de aportación

directa de los beneficiarios a la intervención ya que ello suele considerarse como un

elemento muy positivo de cara a la sostenibilidad.

Asimismo, la evaluación deberá asegurar si el proyecto ha beneficiado a los

colectivos más vulnerables y la manera en que ha influido en las relaciones entre los

distintos grupos locales contribuyendo a mejorar sus relaciones económicas, de poder,

evitando el peligro de percibirlos y tratarlos como un grupo homogéneo. Para ello puede ser

recomendable revisar el análisis de participación efectuado en la fase de identificación y

realizar uno nuevo donde se reflejen los cambios producidos en los colectivos, instituciones

y todos aquellos actores locales que de manera directa o indirecta puedan afectar la

viabilidad.

Enfoque de género. Este factor hace referencia a las consecuencias de una

intervención sobre las relaciones de género, poniendo énfasis en la consideración de las

mujeres como beneficiarias de los procesos de crecimiento económico y social mediante el

empoderamiento y el fomento de la igualdad. La relación entre los sexos sería una de las

variables fundamentales para explicar la desigualdad en una comunidad y entre distintas

sociedades, por ello, cualquier actuación de desarrollo debería contemplar las estrategias

redistributivas de los beneficios y las relaciones de poder entre hombres y mujeres.

Page 127: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

127

La diferencia de género, (división sexual del trabajo, acceso y control sobre recursos

y beneficios, relaciones de subordinación, toma de decisiones, etc.), implica la adopción de

una visión correcta del colectivo beneficiario que impida su percepción como un grupo

homogéneo, (algo que ya vimos en los factores socioculturales), ya que los efectos e

incidencia de la intervención serán inevitablemente distintos para hombres y mujeres. En

consecuencia el enfoque de género debe estar integrado en todas las fases del ciclo del

proyecto, considerando las diferencias de género en la totalidad de elementos que

conforman la lógica de intervención, (objetivos general y específico, resultados y

actividades), así como en los indicadores y factores externos.

La evaluación deberá interrogarse sobre la adopción efectiva de este enfoque por

parte de la intervención y estimar el impacto diferenciado que la misma ha tenido en los

hombres y mujeres del grupo meta. En concreto, elementos esenciales que deberían

incorporarse al análisis serían:

Participación de hombres y mujeres en las distintas fases del ciclo del proyecto,

desde la identificación a la propia evaluación.

Percepción, acceso y papel que juegan las mujeres en la distribución de los logros

obtenidos por el proyecto.

Distribución y acceso por género a los recursos y a la toma de decisiones.

Relaciones de poder y subordinación en las instituciones locales implicadas en la

intervención.

Page 128: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

128

Mejora de las condiciones de vida de las mujeres considerando múltiples aspectos

tanto en el hogar como en la vida comunitaria: productivos, reproductivos, de

representación, etc.

Por último, habrá que destacar de cara a la sostenibilidad, el papel crucial de las

mujeres tanto desde el punto de vista educativo como económico, esencial sobre todo en

familias de bajos ingresos.

El enfoque de género superaría, en cualquier caso y a pesar de su evidente

trascendencia sobre la sostenibilidad, el estricto ámbito de ésta abarcando otros criterios

como la pertinencia, el impacto, etc.

Factores tecnológicos. Este factor analizará la adecuación de las soluciones técnicas

seleccionadas por la intervención a los conocimientos y capacidades locales y del entorno.

No se referiría únicamente al equipamiento utilizado sino, también, a las garantías de

mantenimiento del mismo a largo plazo, a los procedimientos empleados por el proyecto,

así como a las potenciales transformaciones culturales, sociales, económicas y ambientales

que cualquier incorporación tecnológica conlleva.

Elementos a valorar serían la utilización de producción local, la generación de

capital y valores añadidos (autonomía nacional y/o local, desarrollo tecnológico posterior,

etc.), la energía requerida, reducción de desigualdades a diversos niveles, (ocupacionales,

de grupos de edad, de género, etc.) y si ayuda a facilitar la realización de trabajos duros,

arriesgados o rutinarios.

Page 129: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

129

Los factores tecnológicos no deben ser valorados únicamente desde el punto de

vista de los “expertos” sino, fundamentalmente, incorporando la perspectiva de los

destinatarios sobre su utilidad y conveniencia.

Es especialmente importante analizar la disponibilidad local de repuestos para los

equipos utilizados, la capacidad y medios del personal encargado de su manejo y

mantenimiento y los costos que ello implica. En este sentido, la tecnología incorporada a

través de la intervención debe ser asumible y sostenible por el colectivo receptor sin

generar fenómenos de dependencia externa.

Factores medioambientales. Consideraría la utilización de recursos naturales que

impacten el medioambiente de la intervención. Un uso de dichos recursos de manera no

sostenible, puede producir un efecto de desarrollo a corto plazo, pero a medio o largo plazo

pondría en riesgo la sostenibilidad de esos logros, así como una pérdida en la calidad de

vida de la población.

El concepto de desarrollo sostenible, implica la comprensión de las consecuencias

sobre el medio de las actuaciones emprendidas y el respeto a la equidad generacional, esto

es, satisfacer las necesidades humanas actuales sin poner en riesgo los recursos que

generaciones futuras precisarían para hacerlo. Un crecimiento económico inmediato,

basado en la explotación exhaustiva de recursos naturales, iría en contra de la concepción

global del fenómeno del desarrollo.

Page 130: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

130

En el análisis convendría distinguir entre los componentes que se refieren directamente

a la sostenibilidad, (consumo de recursos), de aquellos otros relacionados con el impacto de

la intervención sobre el medio. Algunos de los aspectos básicos a considerar desde el punto

de vista de un análisis medio ambiental son:

La conservación de la base de recursos naturales y su gestión futura.

La protección de entornos, tanto naturales como creados por el hombre,

especialmente lo más vulnerables (suelos susceptibles de erosión o inundación,

áreas en proceso de deforestación, bosques tropicales, áreas costeras, paisajes

únicos desde un punto de vista natural o cultural, etc.).

La defensa de la biodiversidad.

La promoción y uso de energías renovables

La disminución de la polución y la emisión de agentes contaminantes.

Las actuaciones para reducir los impactos negativos sobre la atmósfera y el cambio

climático.

Factores económico-financieros. Analizaría las posibilidades de sostenimiento

económico de la intervención una vez retirado el apoyo externo, ya que una de las

dificultades más notables para su sostenibilidad es la obtención de un flujo continuo de

recursos financieros que pueda garantizar la continuidad de sus operaciones. En este

sentido, el análisis financiero de los medios requeridos para cubrir el costo de las mismas,

el mantenimiento y la depreciación de las inversiones es una medida directa de la

viabilidad.

Page 131: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

131

En el trabajo de evaluación se utilizan diversos tipos de análisis económico-

financieros dependiendo de la naturaleza de la intervención. Tres de los más comunes son

el de viabilidad financiera, el análisis costo beneficio y el análisis costo-eficacia.

La viabilidad financiera es el análisis más sencillo, aplicable a una gran cantidad de

proyectos tanto productivos como sociales. Se trata de estimar los costos reales

relacionándolos con los recursos financieros que se encuentran (o encontrarán),

disponibles a medio y largo plazo.

El costo eficacia valorará los costos del proyecto en relación con el número de

usuarios, actuaciones similares, etc. Se tratará de un análisis comparativo para

considerar si podrían haberse alcanzado resultados similares a un costo menor sin

incidencia negativa sobre los mismos.

El análisis costo-beneficio se utiliza fundamentalmente en intervenciones cuya

utilidad puede medirse en términos monetarios. Está especialmente recomendado

para proyectos de tipo productivo pero su aplicación es problemática en otro tipo de

actuaciones de carácter social. La pregunta que debería responder este tipo de

análisis es si el valor de rentabilidad de la intervención, su beneficio, justifica

suficientemente los costos en que se incurre. En este tipo de análisis es esencial la

consideración del factor tiempo y si influencia sobre el valor del dinero.

Preguntas clave. Para valorar la sostenibilidad de una intervención la evaluación

deberá responder a una serie de preguntas clave de control. Exponemos a continuación un

Page 132: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

132

listado básico de las mismas que, de manera genérica y sin pretender un carácter

exhaustivo, tienen en cuenta los principales componentes de este criterio:

¿Qué estrategias de transferencia ha previsto la intervención?

¿Qué resultados y beneficios tienen potencial para mantenerse a largo plazo una vez

concluida la intervención? ¿Cuáles no? ¿Por qué?

¿Cuenta el proyecto con un apoyo político suficiente?

¿La organización que debe gestionar el proyecto tiene capacidad para llevarlo

adelante?

¿Los beneficiarios se encuentran integrados en la intervención porque ésta responde

a intereses claramente expresados por ellos?

¿La participación de los beneficiarios ha sido la necesaria en todas las fases de la

intervención?

¿Se adapta el proyecto a la realidad sociocultural de la población meta?, ¿se han

tenido en cuenta sus especificidades culturales?

¿Afecta el proyecto de manera positiva a los colectivos de mujeres?

¿Contribuye el proyecto a generar procesos de igualdad en el acceso a los recursos y

en la toma de decisiones?

¿La tecnología transmitida por el proyecto puede ser asumida por los beneficiarios

y/o la organización encargada de la gestión?

¿El proyecto realiza un manejo adecuado de los recursos ambientales?

¿Se ha previsto cómo se conseguirán los recursos imprescindibles para hacerse

cargo de los gastos de funcionamiento y mantenimiento una vez que concluya la

fase de ejecución?

Page 133: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

133

Obtención de información. A la hora de realizar el análisis sobre la sostenibilidad de

una intervención se pueden obtener datos relevantes para cada uno de los factores

consultando las fuentes que propone Gómez (2003):

Tabla 10:

Obtención de fuentes de información del factor de sostenibilidad

Políticas de apoyo Condiciones previas en la matriz

de planificación

Documentos (cartas, presupuestos,

acuerdos, etc.) que acreditan el

apoyo al proyecto y se suelen

incluir en anexo al documento de

proyecto.

Hipótesis específicas sobre el

contexto político y

macroeconómico

Aportación local acreditada

documentalmente y contemplada

en el presupuesto

Factores tecnológicos Garantía de existencia de

Page 134: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

134

repuestos accesibles,

conocimientos técnicos,

habilidades, personal cualificado,

etc.

Actividades específicas

(formativas o de asistencia

técnica) para crear esas

capacidades.

Factores medio-ambientales Estudios específicos

medioambientales

Actividades o resultados

específicos referidos a la

protección del medio ambiente

Indicadores referidos al impacto o

viabilidad desde el punto de vista

ambiental

Aspectos socioculturales Identificación y diseño

participativos (talleres, consultas

efectuadas, etc.)

Actas o memorias de reuniones

Page 135: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

135

preparatorias del proyecto, cartas

de compromiso de los

beneficiarios

Contribuciones de los

beneficiarios (aportación de mano

de obra local de carácter

voluntario, contribuciones

dinerarias o en especie, etc.)

Enfoque de género Objetivo, resultados o actividades

específicas referidos a las mujeres

Indicadores desagregados por sexo

Aspectos institucionales Objetivo específico (proyecto de

refuerzo institucional) de mejora

de la capacidad de gestión.

Resultados específicos

(componentes de refuerzo

institucional) referidos a la mejora

en las capacidades de gestión.

Actividades formativas, de

asistencia técnica, equipamiento,

infraestructura, etc. que mejoren la

Page 136: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

136

capacidad institucional y de

gestión.

Factores económico-financieros Indicadores específicos referidos a

la capacidad de gestión

Hipótesis relativas a la capacidad

institucional

Mecanismos de generación de

ingresos por el propio proyecto,

por venta de bienes o prestación

de servicios.

Compromiso de entidades locales

de asumir los costos tras la

finalización (condiciones previas)

Un último factor a revisar, pero que queda un poco fuera de los 5 criterios anteriormente

descrito es el de replicabilidad.

Replicabilidad. En este concepto Gómez y Sainz (2008) nos dicen que en la

replicabilidad se está haciendo referencia a la capacidad que posee un proyecto para genera

conocimientos que puedan ser utilizados de forma positiva en otras intervenciones o

proceso de desarrollo. De alguna forma establecen que esta transferencia de conocimientos

y de saber hacer, es un riesgo de prácticamente todos los proyectos.

Page 137: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

137

Estos autores establecen que todos los proyectos deben ser considerados como

experiencias piloto que persiguen la replicabilidad de los procesos que ayudan a fortalecer.

No se trata sólo de lograr los objetivos propuestos, sino de indicar los caminos y vías que

permitan la mejora de las condiciones de vida de los colectivos beneficiarios.

A la hora de valorar la replicabilidad es necesario considerar los procesos inducidos

por el proyecto, el intercambio de experiencias, los canales de difusión de los

conocimientos, los componentes formativos, etc.

Por su parte el CIDEAL (2013) establece que la replicabilidad es la capacidad de

una intervención para procurar conocimientos, habilidades, etc, que puedan ser

aprovechados en otros proyectos y/o generar procesos autónomos de desarrollo, ya sea por

las personas implicadas directa o indirectamente.

De igual forma admite que cada proyecto precisa ser el producto de una análisis

específico sobre un determinado contexto, también es cierto que todos, en mayor o menor

medida, producen conocimientos y enseñanzas que deben ser transmitidas y aprovechadas,

bien por otras actuaciones similares. Lo que busca es crear una cultura del desarrollo que

podría considerarse el fin último de cualquier proyecto.

A modo de resumen se presenta la siguiente tabla en donde muestra de manera

gráfica los criterios y principios de la evaluación y los organismos que los contemplan:

Page 138: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

138

Tabla 11:

Criterios de Evaluación, Fuente: Elaboración propia.

Cooperación

Española

Comité

Conjunto de

Estándares para

la Evaluación

de la Educación

Comité de

Ayuda para el

Desarrollo

Comisión

Europea

Programa de

Naciones Unidas

para el Desarrollo

Independencia

Imparcialidad

Transparencia

Credibilidad y

Utilidad

Eficiencia

Participación y

refuerzo de

capacidades

Coordinación y

Complementariedad

Factibilidad

Conveniencia

Exactitud

Pertinencia

Eficacia

Impacto

Sostenibilidad

Page 139: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

139

Capítulo III

Metodología de la Investigación y Análisis de las Organizaciones de la Sociedad Civil

en Nuevo León

Una vez revisada la teoría correspondiente a la evaluación y muy especialmente a la

evaluación de impacto y sus indicadores, en este capítulo detallaremos la metodología de

investigación utilizada y el proceso de construcción de la misma.

La selección de los informantes

La selección de los informantes se realizó tomando como base el contacto que la

Universidad de Monterrey a través de su Centro para la Solidaridad y la Filantropía tiene

con algunas organizaciones de la sociedad civil en donde sus estudiantes realizan el

servicio social, dicho Centro reúne de manera bimensual a dichas organizaciones para

brindarles alguna capacitación, dar información relevante y conocer de cerca el trabajo de

los alumnos. De esta manera se acudió a una de esas reuniones para aplicar una encuesta al

100% de los asistentes y que más delante se describirá, tanto su enfoque como sus

resultados.

Para la revalidación de los datos encontrados en la encuesta anteriormente

mencionada, se tuvo platica informal con dos miembros de organizaciones de la sociedad

civil que poseen al menos una evaluación de los organismos descritos en el capítulo I, el

asesor del presente trabajo quien es de las pocas personas en Nuevo León experto en el

tema de las organizaciones y fue pieza clave como informante y por último la propia

Page 140: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

140

investigadora de esta trabajo, quien gran parte de su experiencia laboral ha sido en el

trabajo directo con las OSC´s.

Planteamiento de la Investigación

Número y nombre de las organizaciones de la sociedad civil y algunas otras

instancias gubernamentales que participaron. Se describen a continuación a modo de

resumen los datos básicos de las organizaciones de la sociedad civil que participaron como

informantes.

Tabla 12:

Datos básicos de las organizaciones de la sociedad civil

CATEGORÍA EDUCACIÓN

Escuela Nogalar

Valia

Organización Educativa

CORDEM A.B.P.

Instituto Nacional de Educación para Adultos

Formando Emprendedores A.B.P.

Museo del Acero A.C.

Asociación de Radios Universitarias por México

CATEGORÍA DISCAPACIDAD

Puertas Abiertas A.B.P.

Page 141: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

141

EFFETA A.B.P.

Centro Regiomontano de Educación Especial A.C.

Unidos Somos Iguales A.B.P.

Programa de Integración Social y Educativa UDEM

Taller de Expresión y Desarrollo Integral A.C.

Centro Pedagógico Cometa A.C.

Centro Ocupacional Logros A.C.

CATEGORÍA SALUD

Comenzar de Nuevo A.C.

Fundación Luca A.C.

CATEGORÍA ASISTENCIAL

Acuerdos de Familia A.C.

Aguilas Guadalupanas

DIF NUEVO LEÓN

Infamilia San Pedro

FILIOS A.B.P.

Alianza de Ministerios de Misericordia A.C.

Centro de Adaptación y Atención al Menor A.C.

CATEGORÍA DESARROLLO SOCIAL

Secretaría de Desarrollo Social y Humano San Pedro

Centro de Salud y Desarrollo UDEM

Page 142: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

142

La finalidad de esta encuesta es únicamente conocer su opinión respecto a los organismos

que aquí se mencionan, le agradecemos su valiosa colaboración.

1.- Organización que representa

2.- Marque por favor con una X si conoce alguna (s) de las siguientes organizaciones:

FILANTROFILIA CEMEFI CONFIO GESOC OTRA/ Cuál?

3.- Sabía usted, que las instancias antes mencionadas son evaluadoras de OSC´s?

Sí No

4.- Su organización cuenta con alguna evaluación/acreditación por parte de alguna de ellas?

Sí No

*si su respuesta es no, favor de pasar a la pregunta 7

¿Cuál(es)?

5.- ¿Qué beneficios le dio a su organización el contar con la evaluación?

6.- ¿Qué aspectos considera le faltó evaluar?

7.- Si conociera alguna instancia en N.L. que otorga una evaluación a las Organización de la

Sociedad Civil comprometida con la Comunidad, ¿le interesaría?

Sí No

8.- ¿Qué le gustaría que contemplara dicha evaluación?

Gracias por su tiempo

Representatividad. Se siguió un criterio de representatividad y no de

proporcionalidad estadística para obtener la información correspondiente al análisis de las

organizaciones de la sociedad civil; como se detalló anteriormente en la forma en que se

aplicó la encuesta es importante destacar que además de las OSC´s, también se

consideraron en el estudio algunas instancias de gobierno y programas sociales de la misma

Universidad de Monterrey ya que están involucrados en proyectos de impacto social, por lo

que las 27 organizaciones que respondieron la encuesta se consideró como un número

óptimo, ya que como se vio en el cuadro de datos de las organizaciones, representan

además diversas categorías

Encuesta aplicada. La encuesta aplicada fue una elaboración propia que nos

permitiera arrojar la información correspondiente al conocimiento de las instancias

evaluadoras y conocer además si están acreditadas por ellas, el ejemplo de la encuesta se

puede revisar con mayor claridad en el apartado de anexos.

Figura 15 Encuesta

Page 143: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

143

Análisis de las Organizaciones de la Sociedad Civil en Nuevo León

Se aplicó una encuesta a 27 organizaciones, cabe destacar que dos son programas

propios de la Universidad de Monterrey y cuatro son instancias de gobierno.

Uno de los primeros cuestionamientos de la encuesta era saber si conocen a

cualquier de las cuatro instancias evaluadoras de las organizaciones de la sociedad civil y

que se describieron en el capítulo I, y las cuales son Filantrofilia, Cemefi, Gesoc y Confío,

de primer instancia podemos mencionar que 12 de los entrevistados no conocen a ninguna

de ellas lo que representa el 44 % y el resto , 56% sí las conoce, aunque cabe destacar aquí

que sólo es sí las conoce, no a lo que se dedican o su trayectoria, por lo que aunque sólo

hayan escuchado hablar de la institución se considera como afirmativa la respuesta. La más

mencionada fue Filantrofilia, con 13 menciones, le siguió Cemefi con 10, posterior Gesoc

con 4 menciones y por último Confío con 2 menciones.

Nuestra siguiente pregunta fue, sobre si conocía que esas instancias se encargan de

evaluar organizaciones de la sociedad civil, a lo que el 63% de los encuestados mencionó

que desconocía ese aspecto, y por otro lado sólo el 37% sí lo sabía.

La siguiente pregunta fue si su institución cuenta con alguna acreditación o

evaluación por parte de alguna de estas cuatro instancias, a lo que el 78% respondieron que

no cuentan con ninguna evaluación de parte de ellas y sólo el 22% afirmó contar con

alguna evaluación. Al revisar qué instancias los han evaluado descubrimos lo siguiente: el

Page 144: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

144

48% ha sido evaluado por Filantrofilia, el 37% por el Cemefi, el 14% por Confío, el .07%

por Gesoc y el .03% por otra instancia del mismo Gobierno. Aunque cabe destacar que

dentro de los que mencionaron que no, se encuentran los organismos de gobierno y los

proyectos sociales propios de la Universidad de Monterrey, que por su naturaleza no serían

candidatos a evaluarse por dichas instancias. Las organizaciones que respondieron que sí

cuentan con una evaluación, se les preguntó además qué beneficios le dio el contar con

dicha evaluación y a manera de resumen esto fue lo que respondieron:

Les ayuda a encontrar áreas de oportunidad, que están en pro de la

profesionalización, que son una organización al día en cuanto a la rendición de cuentas y

transparencia, tener a la mano la información cuantitativa para mostrar a sus benefactores,

les da una base para mejorar, generar transparencia, lograr donativos, darse a conocer, de

igual forma también una mención en que han recibido materiales de capacitación y de

desarrollo institucional.

De esta información que nos proporcionaron vemos que los principales beneficios

que ellos encuentran al tener sus acreditaciones y/o evaluaciones es profesionalizarse para

detectar sus áreas de oportunidad y mejorar sus procesos, algo que destacan mucho es sin

duda el apartado de los donativos, ya que tienen claro que mientras más transparencia

manejen lograrán mejores donativos.

En esta misma línea se preguntó a quienes cuentan con una evaluación, sobre los

aspectos que consideran les faltó evaluar, aunque sólo hubo tres menciones, una

organización mencionó que le faltó evaluar la parte emocional, sin darnos más datos,

Page 145: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

145

podemos interpretarlo como una carencia de una evaluación más integral que contemple

todas las áreas, y no sólo la administrativa para presentar las áreas de oportunidad.

Una penúltima pregunta y muy importante para nuestra investigación ya que le dará

el sentido de todo nuestro trabajo es que si existiera alguna instancia en Nuevo León que

evaluara a las organizaciones de la sociedad civil comprometidas con la comunidad,

estuvieran interesados en evaluarse con ellos?. Y se obtuvo como respuesta afirmativa un

93% de los encuestados, contra un 7% que establecieron que no les interesaría, cabe

destacar que este último porcentaje corresponde a dos organismos; uno de ellos justificó su

respuesta al mencionar que en este momento no, ya que actualmente acaban de recibir una

certificación por parte de la Procuraduría de la Defensa del Menor y la Familia de Nuevo

León, cumpliendo con la Ley de Instituciones Asistenciales que tienen bajo su guarda y

custodia a niños, niñas y adolescentes, por lo que al ser un centro de adopciones, deben

seguir esos lineamientos. Y la otra organización que respondió que no, fue un programa de

gobierno que consideramos que por su misma naturaleza y al estar enfocada la encuesta a

organización civil respondió que no.

Para finalizar la encuesta, se preguntó a todas las organizaciones que respondieron

que sí les interesaría evaluarse, qué aspectos les gustaría que contemplara dicha evaluación;

al revisar los comentarios destaca principalmente que contemple el impacto social aunque

este término se exprese con otras palabras, otros aspectos los podemos revisar en el

siguiente cuadro en donde se describe lo que siguieren y lo revisaremos desde el área en el

cual trabajan las osc´s son:

Page 146: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

146

Tabla 13:

Sugerencias de evaluación

CATEGORÍA EDUCACIÓN

A qué capacidad (%) está la institución de lograr la misión a la que se dedica.

Las actividades que comprende nuestro programa educativo, si están encaminadas

verdaderamente al desarrollo de procesos que benefician el desarrollo de la comunidad desde

nuestras posibilidades.

Mejorar estrategias y programas.

La vinculación con donantes nacionales e internacionales. A partir de los resultados de la

organización, capacitación en las áreas de oportunidad detectadas.

El alcanza con la población en relación a la misión del museo.

Las mejoras emocionales de nuestras beneficiarias.

CATEGORÍA DISCAPACIDAD

Eficiencia.

Procesos de calidad, de operación administrativos y de transparencia.

Más sobre el impacto social.

Modelo de gestión orientado de centros educativos.

CATEGORÍA SALUD

Problemática nacional y regional, acciones de la OSC, impacto/resultados.

CATEGORÍA ASISTENCIAL

Evaluar programas basándose en el impacto.

Capacidad institucional para obtención de fondos, capacidad para desarrollar proyectos a

través del Marco Lógico.

Page 147: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

147

El impacto de los proyectos sociales, la administración de los recursos humanos, la

administración de los recursos obtenidos.

Estructura organizacional.

CATEGORÍA DESARROLLO

Puntos de impacto y potencializadores.

El último comentario de la categoría educación, dice que contemple las mejoras

emocionales de las beneficiarias, esta misma OSC es quien tiene dos evaluaciones, una por

Filantrofilia y otra por el Cemefi y además destaca que les faltó considerar la parte

emocional, sin duda buscar medir el impacto social desde todas sus dimensiones.

Page 148: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

148

Capítulo IV

Modelo de Evaluación de Organizaciones de la Sociedad Civil

Revisando los indicadores que están trabajando las instituciones que ofrecen

modelos de evaluación y/o acreditación que se describieron a detalle en el Capítulo I, y por

otro lado atendiendo los resultados reportados por las Organizaciones de la Sociedad Civil

en el Capítulo III, se presenta este Modelo de Evaluación que busca darle un mayor énfasis

al impacto comunitario por ser una de las áreas menos revisadas y de mayor necesidad.

Es importante destacar que nuestro modelo es una propuesta para una Evaluación de

Organizaciones de la Sociedad Civil con la finalidad de que se convierta en una

Certificación una vez que se cumpla con los requerimientos de que la instancia que adopte

el modelo esté acreditada para certificar organizaciones.

Aunado a esto se busca que dicho modelo sea flexible para cualquier organización

ya que reconocemos la individualidad y razón de ser de cada una.

Ventajas del Modelo de Evaluación

Este modelo es una herramienta para evaluar principalmente las grandes áreas que

cualquier OSC e inclusive cualquier organismo que maneje proyectos sociales. Iniciaremos

con las ventajas de este modelo:

Page 149: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

149

No existe en Nuevo León ninguna instancia que esté ofreciendo este tipo de

evaluación.

Tiene un mayor valor en el rubro de Impacto Social.

No se trata de que la OSC reúna información y les genere más trabajo, sino el

hacer una documentación de sus procesos y servicios que están ofreciendo en la

comunidad, para precisamente detectar esas fortalezas en su relación con la

comunidad, o bien sus áreas de oportunidad.

Cualquier organismo de apoyo a la comunidad se puede evaluar, no solamente

las OSC´s, es decir, pueden integrarse además Fundaciones, Instancias

Gubernamentales, Proyectos Sociales de Universidades, etc.

Permitirá reconocer de manera clara las áreas de oportunidad que como

organización tiene para poder establecer acciones a seguir.

Propuesta del Modelo

El modelo que a continuación se presenta es una adaptación de García y Justicia

(2013) de uno de los mejores expertos en el tema y quien además en el asesor del presente

trabajo, se utilizó además el Modelo ESTELA de la Fundación CIDEAL, siguiendo además

los criterios revisados en el Capítulo II de la Fundamentación Teórica.

Page 150: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

150

Este modelo cuenta con dos grandes áreas a revisar, categorizándolas en Evaluación

Interna: Consolidación Institucional y Evaluación Externa: Impacto Social, veamos la

explicación de cada una:

Área de Evaluación Interna: Consolidación Institucional. El análisis de esta

variable está en función de dimensionar las diferentes gestiones que realizan las

organizaciones de la sociedad civil, tanto para llevar a cabo su misión (razón de ser) como

alcanzar su visión. Se eligieron principalmente como dimensiones la gestión y planeación

de los procesos institucionales, la gestión y planeación de sus recursos financieros y la

gestión y planeación de sus recursos humanos, ya que se considera primordial que éstas tres

mencionadas conforman el desarrollo institucional, el cual es base para poder analizar la

segunda área.

La consolidación institucional es demás pieza clave en este modelo de evaluación,

ya que es la básica para alcanzar el impacto social, de esta forma al revisar lo que sucede al

interior organizacional de cualquier OSC será más sencillo hacer los ajustes necesarios para

cualquier área de oportunidad que se esté presentando en la siguiente área a evaluar.

Área de Evaluación Externa: Impacto Social. Como se mencionó en el Capítulo

de la Fundamentación Teórica el impacto es de los indicadores más difíciles de medir,

debido a su multiculturalidad y demás factores, sin embargo retomando la definición que da

el CAD (2012) en el que se refiere como el análisis de todos los efectos que han sido

Page 151: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

151

provocados por una intervención más allá de sus objetivos planeados, pudieron tener

efectos positivos o negativos, en este modelo se pretende que esta área tenga un mayor peso

al ser considerada la parte medular del mismo, puesto que aquí se revisará los efectos que

cada organización tiene en la comunidad, en donde además analizaremos si está

cumpliendo la misión, ha alcanzado su visión y qué ha pasado en ese camino, de igual

forma y de mucha importancia es conocer además efectos que cada organización a través de

sus programas están produciendo una vez que terminan. La dimensión contemplada en esta

área es el impacto institucional en la comunidad.

Page 152: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

152

Tabla 14:

Modelo de Evaluación de Organizaciones de la Sociedad Civil

MODELO DE EVALUACIÓN DE OSC´s

DIMENSIONES INDICADORES/CRITERIOS

ÁR

EA

DE

EV

AL

UA

CIÓ

N I

NT

ER

NA

CO

NS

OL

IDA

CIÓ

N I

NS

TIT

UC

ION

AL

EV

A

Gestión y

Planeación de sus procesos

institucionales

Planeación administrativa: adecuada labor

administrativa además de la planeación que realizan.

Eficiencia: en los resultados, aplicación de los

recursos materiales para el cumplimiento de sus actividades.

Transparencia: en el manejo de su información, ya

sea hacia el interior o al exterior.

Eficacia: en los procesos administrativos,

documentación de su labor.

Pertinencia: a las necesidades de la gente que

atiende la institución.

Gestión y

Planeación de sus recursos

financieros

Transparencia: en el manejo de cuentas.

Eficiencia: del personal asignado al área de

procuración de fondos y/o contable.

Eficacia: en el manejo de los recursos financieros.

Replicabilidad: del modelo económico.

Sostenibilidad: opción del autosustentamiento de la

organización.

Gestión y

Planeación de sus recursos

Pertinencia: contrato de personal adecuado a las

necesidades de los usuarios.

Page 153: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

153

humanos Pertenencia: orgullo de pertenecer a la

organización.

Eficiencia: en sus recursos humanos, liderazgo y

capacidades administrativas de sus directivos y personal.

ÁR

EA

DE

EV

AL

UA

CIÓ

N E

XT

ER

NA

IMP

AC

TO

SO

CIA

L

Impacto Institucional en la

Comunidad

Replicabilidad: del modelo social que actualmente

trabajan, liderazgo institucional.

Reconocimiento: proyección en la comunidad, que

tanta influencia tiene a nivel comunitario, reconocimiento del

trabajo realizado.

Divulgación: de la labor de la institución

favoreciendo el desarrollo de sus proyectos.

Redes de desarrollo: intercambio de experiencias

con personas de otras instituciones afines para el desarrollo

mutuo, asimismo de redes gubernamentales y empresariales.

Atribución: consistencia de la intervención y

alcance de la implementación para tener efectos atribuibles a

la institución.

Page 154: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

154

Escala de medición de los indicadores

Para poder ponderar adecuadamente cada uno de los indicadores se elaboró una

escala de medición en donde se están contemplando cuatro rúbricas para cada uno de ellos.

Cada rúbrica tiene un rango de entre 1 a 8 puntos como se explica a continuación:

Nivel de desarrollo bajo (1-2 puntos)

Nivel de desarrollo medio bajo (3-4 puntos)

Nivel de desarrollo medio alto (5-6 puntos)

Nivel de desarrollo alto (7-8 puntos)

La finalidad de concentrar la escala en 8 puntos es para que no existiera un nivel de

valoración medio, para que de alguna forma no sirviera como un espacio “cómodo” para

colocar aquellas valoraciones que no se tienen muy claras, de ahí que, sea necesario

ponderarse a una valoración más negativa o más positiva. Un espacio intermedio permite

una valoración neutra pero no aporta ninguna referencia al crecimiento, por lo cual se

consideró un rango de dos puntos en cada nivel.

Cuando se proceda a elaborar el vaciado de información una vez evaluada la

institución, se valora cada uno de los indicadores según el valor en esos cuatro niveles, al

tener dos puntos en cada nivel se asignará el puntaje más alto o más bajo según se

considere se ajuste a él.

Page 155: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

155

Tabla 15:

Medición del Área de Consolidación Institucional

Page 156: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

156

Tabla 16:

Medición del Área de Impacto Social

Page 157: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

157

Procedimiento del llenado

Para evaluar a las Organización de la Sociedad Civil, se utilizará la escala de

medición de las dos áreas, cada una se debe llenar por separado, al iniciar con el área de

Consolidación Institucional en cada una de sus 3 dimensiones se revisa cada uno de los

criterios y según los indicadores y su escala se otorga un puntaje en la columna titulada

posición 1era, la siguiente columna se titula a desarrollar y es en donde especifica el

puntaje faltante para alcanzar el nivel optimo o deseado que son los 8 puntos en cada

criterio lo que nos da un total de 104 puntos, es importante mencionar que según los

resultados en esta última columna a desarrollar se darán las observaciones y sugerencias

que se requieren para llegar a alcanzar el nivel ideal.

Se muestra además dos columnas en donde visualizarán los resultados en una

segunda evaluación y el puntaje que le falta por desarrollar y, de esta manera se pueda

revisar el avance que la organización tuvo, ya sea si hubo una mejora o retroceso.

A continuación se presenta un gráfico que permite visualizar de una manera más

amena los resultados de la evaluación de la organización y lo que le falta por alcanzar.

Cabe destacar que los ejemplos aquí presentados de evaluación y sus gráficos, son

completamente ficticios, no corresponden a la evaluación de ninguna Organización, sólo

fue para fines ilustrativos del Modelo.

Page 158: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

158

Tabla 17:

Puntaje del Área de Consolidación Institucional

POSICIÓN 1era A desarrollar POSICIÓN 2da A desarrollar

Planeación

administrativa4 4

Eficiencia 5 3

Transparencia 7 1

Eficacia 8 0

Pertinencia 7 1

Transparencia 7 1

Eficiencia 6 2

Eficacia 4 4

Replicabilidad 2 6

Sostenibilidad 2 6

Pertinencia 6 2

Pertenencia 5 3

Eficiencia 6 2

69 35

Gestión y

planeación de

los procesos

institucionale

s

Gestión y

planeación de

sus recursos

financieros

Gestión y

planeación de

sus recursos

humanos

Page 159: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

159

Figura 16. Gráfico de Evaluación del Área de Consolidación Institucional

De la misma forma observamos el puntaje obtenido en el área de Impacto Social

012345678

Gestión y planeación de los procesos …

Gestión y planeación de los procesos …

Gestión y planeación de los procesos …

Gestión y planeación de los procesos …

Gestión y planeación de los procesos …

Gestión y planeación de sus recursos financieros …

Gestión y planeación de sus recursos financieros …

Gestión y planeación de sus recursos financieros …

Gestión y planeación de sus recursos financieros …

Gestión y planeación de sus recursos financieros …

Gestión y planeación de sus recursos humanos …

Gestión y planeación de sus recursos humanos …

Gestión y planeación de sus recursos humanos …

Posición Posición Ideal

Page 160: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

160

Tabla 18:

Puntaje del Área de Impacto Social

POSICIÓN

1raA

desarrollar

POSICIÓN

2daA

desarrollar

Reconocimiento7 1

Replicabilidad 2 6

Divulgación5 3

Redes de

desarrollo 1 7

Atribución 3 5

18 22

Impacto Institucional

en la Comunidad

Page 161: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

161

A continuación se presenta su gráfico

Figura 17. Gráfico de Evaluación del Área de Impacto Social

0

1

2

3

4

5

6

7

Impacto Institucional en la Comunidad Reconocimiento

Impacto Institucional en la Comunidad

Replicabilidad

Impacto Institucional en la Comunidad

Divulgación

Impacto Institucional en la Comunidad

Redes de desarrollo

Impacto Institucional en la Comunidad

Atribución

POSICIÓN 1ra A desarrollar

Page 162: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

162

Una vez teniendo los resultados completos de las dos áreas a evaluar en las

Organizaciones, se presenta un gráfico concentrado que nos brinda un panorama general de

la institución, cuál es su posición y cuál es la posición ideal que le falta por alcanzar.

Tomaremos como base el mismo ejemplo de evaluación.

Figura 18. Concentrado de Consolidación Institucional

Figura 19. Concentrado de Impacto Social

Page 163: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

163

Atendiendo a las limitaciones de la investigación que destacamos en el Capítulo I

en donde se mencionó que este Modelo sólo quedaría a nivel propuesta de evaluación y no

el desarrollo en sí, es importante destacar que su alcance se cumplió en su totalidad, sin

embargo, a futuro este proyecto puede tener una aplicación real y de mayor impacto al

pasar de un Modelo de Evaluación a una Certificación, siendo adoptado este Modelo por

alguna instancia que comparta el objetivo de trabajar en pro de la profesionalización de las

Organizaciones de la Sociedad Civil y cumpliendo claro está, con los requerimientos

necesarios para poder dar el grado de certificación.

Page 164: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

164

Anexo A

Encuesta

La finalidad de esta encuesta es únicamente conocer su opinión respecto a los organismos

que aquí se mencionan, le agradecemos su valiosa colaboración.

1.- Organización que representa

2.- Marque por favor con una X si conoce alguna (s) de las siguientes organizaciones:

FILANTROFILIA CEMEFI CONFIO GESOC OTRA/ Cuál?

3.- Sabía usted, que las instancias antes mencionadas son evaluadoras de OSC´s?

Sí No

4.- Su organización cuenta con alguna evaluación/acreditación por parte de alguna de ellas?

Sí No

*si su respuesta es no, favor de pasar a la pregunta 7

¿Cuál(es)?

5.- ¿Qué beneficios le dio a su organización el contar con la evaluación?

6.- ¿Qué aspectos considera le faltó evaluar?

7.- Si conociera alguna instancia en N.L. que otorga una evaluación a las Organización de la

Sociedad Civil comprometida con la Comunidad, ¿le interesaría?

Sí No

8.- ¿Qué le gustaría que contemplara dicha evaluación?

Gracias por su tiempo

Page 165: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

165

Referencias

Arredondo, M. & Sanz, B. (2007). Avances, desafíos y oportunidades en la evaluación de la

Cooperación Española para el desarrollo. En evaluación de la cooperación para el

desarrollo. (12ª ed.) Madrid: Colección Escuela Diplomática.

Cámara, L., Gómez, M. & Sainz, H. (2008). Fortalecimiento Institucional de Entidades de

Cooperación al Desarrollo. Madrid: Cideal.

Cemefi. (2014). Proceso de Acreditación. Centro Mexicano para la Filantropía.

Recuperado de http://www.cemefi.org/programas/indicadores-institucionalidad-y-

transparencia/proceso-de-acreditacion.html

Comisión Europea. (2006). Metodología de evaluación de la Ayuda Exterior de la

Comisión Europea. Guía para la evaluación de proyectos y programas.

Confío (2014) recuperado de http://confio.org.mx/inicio/logotipo-sello-de-osc-analizada-

por-confio-que-es/

Cooperación Austriaca para el Desarrollo. (2009). Guía de referencia para la evaluación de

proyectos y programas. Viena.

Page 166: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

166

DGEI. (2014). Enfoque sobre la Evaluación Institucional. Dirección General de

Evaluación Institucional Universidad Nacional Autónoma de México. Recuperado de

http://dgei.unam.mx/?q=node/18

EMA. (2014). Acreditación. Acreditación y sus beneficios. Recuperado de

http://www.ema.org.mx/portal/index.php/Acreditacion/beneficios.html

Filantrofilia (s.f.). recuperado de http://www.filantrofilia.org.

Gesoc (s.f.). recuperado de http://www.gesoc.org.mx/site/?cat=5

Gómez, M., & Sainz, H. (2010). El ciclo del proyecto de cooperación al desarrollo. El

marco lógico en programas y proyectos: de la identificación a la evaluación. (8ª ed.)

Madrid: Cideal.

Hall, H. (2014). Institute Overhauls Accreditation Process for Nonprofit Accountability.

THE CHRONICLE OF PHILANTROPHY. Recuperado de

http://philanthropy.com/article/Institute-

Overhauls/146847/?cid=pw&utm_source=pw&utm_medium=en

Larrú, J. M. (2002). Razones para implantar un sistema de evaluación en las ONGD y sus

consecuencias. En Revista de Fomento Social, 57(228), 683-710.

Page 167: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

167

Larrú, J. M. (2007). La evaluación del impacto: qué es, cómo se mide y qué está aportando

en la cooperación al desarrollo. En evaluación de la cooperación para el desarrollo. (12ª

ed.) Madrid: Colección Escuela Diplomática.

MAE & SECIPI. (1998). Metodología de evaluación de la Cooperación Española. Madrid:

Ministerio de Asuntos Exteriores.

MAEC & SECIPI. (2007). Manual de gestión de evaluaciones de la Cooperación

Española. Madrid: Ministerio de Asuntos Exteriores.

Medición de Impacto de ONG´s (2010). Evaluación de resultados: De las buenas

intenciones al impacto. Fundación Compromiso y Transparencia. Recuperado de

http://www.compromisoempresarial.com/rsc/2010/08/evaluacion-de-resultados-de-las-

buenas-intenciones-al-impacto/

Norma ISO 26000:2010 (2010). Modelo que proporciona las guías para el desarrollo de la

Responsabilidad Social en cualquier Organización. Responsabilidad Social. Recuperado de

http://www.globalstd.com/pdf/rs-iso26000-2010.pdf

OCDE. (1991). Comité de Ayuda al Desarrollo. Principles for Evaluation of Development

Assistance.

OCDE-CAD. (1995). Manual de la ayuda al desarrollo: principios del CAD para una

ayuda eficaz. Madrid, Ediciones Mundi-Prensa.

Page 168: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

168

OCDE. (2002). Glosario de los principales términos sobre evaluación y gestión basada en

resultados. Principios de la propia Declaración de París.

OCDE. (2005). Declaración de París sobre la eficacia de la ayuda al desarrollo. Cideal.

OEDKE. (2004). Monitoring and Evaluation, some Tools, Methods & Approaches.

Operations Evaluation Department Knowledge Programs and Evaluation Capacity,

Development Group. Washington: The World Bank.

Oficina Regional para América Latina y el Caribe. (2013). Certificación y acreditación.

Depósito de Documentos de la FAO. Recuperado de

http://www.fao.org/docrep/004/ad094s/ad094s03.htm

ONNCCE. (2009). ¿Qué es la Certificación?. ONNCCE. Recuperado de

http://www.imcyc.com/ct2009/may09/publicidad/publicidad_onncce.pdf

Patton, M. Q. (1990). Qualitive Evaluation and Research Methods. California: Sage

Publications.

Ptrats, M. (2012). Marcos normativos de la rendición de cuentas de las organizaciones de la

sociedad civil en América Latina. Centro virtual para la transparencia y la rendición de

cuentas de la sociedad civil. Recuperado de http://rendircuentas.org/2012/04/marcos-

normativos-de-las-organizaciones-de-la-sociedad-civil-en-latinoamerica/

Page 169: Propuesta de Modelo de Evaluación para las …bibsrv.udem.edu.mx:8080/e-books/tesis/000085966_MHU.pdf · UNIVERSIDAD DE MONTERREY División de Educación y Humanidades Maestría

169

Programa Nacional de Desarrollo del Sector de la Educación. (2010). Plan Director de la

Sanidad y de los Asuntos Sociales. Ministerio de Sanidad y Asuntos Sociales.

Rodríguez, J. & Zeballos, M. (2007). Evaluación de Proyectos de Desarrollo Local.

Enfoques, Métodos y Procedimientos. Lima, Perú: DESCO.

Ross, G. (2012). Evaluación del Impacto en una Organización de la Sociedad Civil, para la

Mejora del Desempeño Humano y Social. Instituto Tecnológico de Sonora.. Recuperado de

http://www.itson.mx/publicaciones/Documents/tesis-

doct/evaluaciondelimpactoenunaorganizacion.pdf

SGS. (2014). Servicios por tipo Certificación. SGS. Recuperado de http://www.sgs.mx/es-

ES/Service-by-Type-Path/Certification.aspx

SGS (2014). Evaluación de Prestaciones para Ong´s. Sector Público. Recuperado de

http://www.sgs.mx/es-ES/Public-Sector/Monitoring-Services/NGO-Benchmarking.aspx

Standards for Institute excellence. (2014). Accreditation and Recognition Program..

Recuperado de http://www.standardsforexcellenceinstitute.org/dnn/Accreditation.aspx

UD-NORAD & IUDC-CEDEAL. (1997). Evaluación de proyectos de ayuda al desarrollo:

Manual para evaluadores y gestores. Madrid.