la institucionalización de la evaluación de políticas … · 2016-11-09 · la...
TRANSCRIPT
La Institucionalización de la
Evaluación de Políticas Públicas
Un estudio de caso sobre el Institut Català
d’Avaluació de Polítiques Públiques ( )
Máster Oficial en Gestión de los Recursos Humanos y del Empleo
Universidad del País Vasco / Euskal Herriko Unibertsitatea
Curso Académico 2013-2014
Baixauli Cubells, Mar
Directora: Dña. María Ángeles Díez López
Bilbao, a 27 de enero de 2014
2
Resumen
Desde la concepción de la idea del trabajo en junio del año 2013, a raíz del
Máster en Gestión de los Recursos Humanos y del Empleo de la Universidad del País
Vasco, muchas han sido las aventuras y desventuras que han rodeado la elaboración del
que pretendía que fuese un camino hacia la ansiada tesis doctoral. Este trabajo de fin de
Máster es el resultado del trabajo de un puñado de meses, junto al apoyo, paciencia y
cooperación de muchas personas a las cuales les quisiera agradecer su granito de arena.
En especial a mi directora, María Ángeles Díez, por tener la suficiente paciencia como
para soportar mi silencio durante meses y retomar el asesoramiento con excelente
ímpetu. Sin su esfuerzo en compartir el sprint final, este trabajo no hubiera sido posible.
Las políticas públicas, como acciones políticas, actúan en forma de hipótesis de
mejora de una realidad social dada (Subirats, 2010). Para asegurar un retorno hacia la
realidad social modificada por estas acciones políticas –en un marco democrático-, las
políticas públicas deberán evaluarse, entendiendo por evaluación un instrumento al
servicio del gobierno, para la decisión y gestión pública. Ahora bien, ¿desde dónde
evaluar? Al objeto de analizar la Institucionalización de la Evaluación de Políticas
Públicas en las Administraciones del Estado Español, se ha realizado un breve estudio
de caso del Institut Català d’Avaluació de Polítiques Públiques (Ivàlua); siendo éste el
objetivo del trabajo de fin de máster que se presenta a continuación. Para ello se ha
realizado una revisión de la teoría sobre la Evaluación de las Políticas Públicas en torno
a la Institucionalización de la misma, junto con el análisis de los discursos sobre la
gestión de la evaluación en Ivàlua a partir del desglose y codificación de las entrevistas
realizadas. De este modo, se han podido detectar las contribuciones que éste modelo de
gestión aporta a los problemas a los cuales se enfrenta (el proceso de) la
Institucionalización de la Evaluación de Políticas Públicas, recogidos en la revisión
teórica con la que se inicia este trabajo. Su concepción como consorcio público con
personalidad jurídica propia y la vinculación entre Ivàlua y los demandantes de
evaluaciones a través de un convenio, refuerzan la calidad de la evaluación a realizar,
así como la legitimidad de la misma y de la organización evaluadora.
Bilbao, a 27 de enero de 2014
3
ÍNDICE
Resumen 2
INTRODUCCIÓN:
La Institucionalización de la Evaluación de Políticas Públicas:
Un estudio de caso sobre 4
Objetivos 6
Metodología 8
Estructura del trabajo de fin de máster 14
PARTE I
1. LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS 15
2. LA IMPORTANCIA DE LA INSTITUCIONALIZACIÓN DE LA
EVALUACIÓN EN LAS POLÍTICAS PÚBLICAS 21
2.1. El paradigma evaluador en Unión Europea 26
2.2. El modelo español de Evaluación 27
PARTE II
3. INSTITUCIONALIZANDO LA EVALUACIÓN:
EL CASO DE 35
3.1. como modelo de institucionalización de la evaluación de
políticas públicas 40
3.2. La institucionalización de la evaluación:
aportaciones y potencialidades vs dificultades y retos 46
CONCLUSIONES 50
REFERENCIAS BIBLIOGRÁFICAS 53
ANEXOS 56
4
INTRODUCCIÓN:
LA INSTITUCIONALIZACIÓN DE LA EVALUACIÓN
DE POLÍTICAS PÚBLICAS
UN ESTUDIO DE CASO SOBRE
El trabajo de fin de máster aquí presente, se inscribe en la línea de estudios que
versan sobre la aplicación de mecanismos de la gestión de la Evaluación de las Políticas
Públicas en las sociedades actuales. Concretamente, el trabajo se ha centrado en la
Institucionalización de la Evaluación de Políticas Públicas en las Administraciones.
Para ello, se ha realizado un breve estudio de caso sobre el que se considera un modelo
novedoso en el Estado Español: el Institut Català d’Avaluació de Polítiques Públiques
(Ivàlua, a partir de ahora). A través del análisis de la teoría de la Evaluación de las
Políticas Públicas en torno a la Institucionalización de la misma, se pretende
profundizar en el conocimiento de la gestión de la Evaluación por parte de dicho
Instituto.
La Evaluación de Políticas Públicas se ha convertido, desde los años sesenta (y
potenciado a finales de los años ochenta), en uno de los grandes desafíos de los
ejecutivos de los países desarrollados debido al creciente interés de los mismos por
controlar los costes del sector público. Las palabras eficiencia y eficacia inundan los
discursos de los policy makers en busca de la ansiada legitimidad de las instituciones
públicas ante la ciudadanía.
Cabe, entonces, plantear la Institucionalización de la Evaluación en las
Administraciones Públicas como el gran reto en la gestión de la Evaluación de las
Políticas Públicas. Institucionalización entendida como proceso a través del cual la
Evaluación se convierte en una parte aceptada e integrada dentro de la gestión de las
Administraciones Públicas. Es decir, la Institucionalización como proceso, no como
resultado final; y, sin requisitos previos para la Evaluación, presentes en los modelos
predominantes de gestión de las Políticas y Programas Públicos. Este papel integrador
de la Evaluación dentro de la gestión por parte de las Administraciones ha sido
extraoficialmente “transferido” a las Comunidades Autónomas bajo un marcado
discurso procedente de las directrices europeas.
5
Es por ello, que el trabajo aquí presente analiza la Institucionalización de la
Evaluación de las Políticas Públicas desde el ámbito discursivo, normativo y su
aplicación.
Para el análisis de la misma se profundizará en la concepción de la Evaluación
de Políticas Públicas; se identificarán la diversidad de modelos de gestión de la
Evaluación a nivel europeo, así como la gestión estatal, para exponer el modelo de
gestión de la Evaluación, y la Institucionalización de la misma, en Catalunya. Si bien
estos modelos no componen una tipología pura, se intentará identificar las
particularidades de cada modelo en la gestión de Evaluación de las Políticas Públicas
del ejecutivo catalán en este ámbito. El marco contextual del presente trabajo se
establece desde la afirmación que concibe a la realidad social formada por discursos y
acciones, en dónde, las políticas públicas, a través de su lenguaje y posterior aplicación,
intervienen en la construcción de la figura social del fenómeno a tratar en cada caso,
creando paradigmas discursivos más complejos. Paradigmas, los cuales, van
acompañados de acciones. Es por ello que una correcta Evaluación de dichas Políticas y
Programas es una tarea necesaria, a la par de pendiente, por parte de las
Administraciones Públicas del Estado Español. Acción que, a través de su
Institucionalización, fomentará la cultura evaluadora, así como la estabilidad de esta
práctica.
6
La Institucionalización de la Evaluación de Políticas Públicas
Un estudio de caso sobre
Objetivos
Desde finales de los años ochenta, el interés por parte de los Gobiernos para
presentar los resultados de sus actuaciones y fomentar sus efectos ante la ciudadanía
electora, ponen en marcha la Evaluación, tal y como se interpreta actualmente. Es decir,
la justificación de las actuaciones del ejecutivo en busca de la ansiada legitimidad de las
Instituciones públicas ante la ciudadanía (accountability). En palabras de Carol Weiss,
la Evaluación pasaba a entenderse como la racionalización de la política (Alvira, 1991).
La Evaluación se posiciona como elemento clave de la nueva gobernanza para mejorar
la calidad del gasto, además de racionalizarlo, respondiendo a los retos de la calidad
democrática de las sociedades (Garde Roca, 2006). La evaluación se convierte en un
instrumento democrático al servicio de la gobernanza (Aguilar y Bustelo, 2010). Esa
nueva gobernanza supone una gestión de las instituciones orientada a los resultados,
“desarrollando indicadores que permitan medir eficacia, eficiencia y calidad, así como
el fortalecimiento de los mecanismos de seguimiento y control del cumplimiento de
objetivos” (Garde Roca, 2006:11). Pasos que completados con la Evaluación de las
políticas y programas llevados a cabo forman la nueva gestión pública. La Evaluación,
deberá caracterizarse por ser una actividad institucional integrada en la gestión pública
como fase del desarrollo de las propias políticas y programas implantados. La
Evaluación, pues, precisará de su Institucionalización para el completo
aprovechamiento de la misma.
Bajo el ámbito evaluador estatal1, en el año 2006, el fenómeno a estudio se
tomó en consideración en la normativa estatal con la sanción de la Ley 28/2006, de
Agencias estatales para la mejora de los servicios públicos2, en especial la Disposición
Adicional Primera de dicha Ley. A partir de ese momento, ¿cómo se integra la gestión
1 Anteriormente, a nivel autonómico, dicha inquietud se plasmó normativamente en la Comunidad Foral
de Navarra el año 2005, siendo ésta la primera experiencia en materia de Institucionalización de la
Evaluación. 2 Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora de los servicios públicos
http://www.aeval.es/export/sites/aeval/comun/pdf/agencia/Ley_28_2006_de_Agencias.pdf (acceso:
12/1/2014)
7
de la Evaluación dentro de las Administraciones Públicas? ¿Qué posicionamiento toman
las propias Administraciones ante dicho reto? ¿Qué batería de instrumentos y cajas de
herramientas utilizarán para aplicar dicha gestión? ¿La creación de la Agencia Estatal de
Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEVAL) significó la
Institucionalización de la Evaluación de las Políticas Públicas? Como la naturaleza de
diversas competencias descentralizadas del Estado Español, ¿se descentralizará la
Evaluación? Desde el año 2006, ¿qué experiencia evaluadora persiste en el tiempo?
Estas son las preguntas que saltan una vez adentrado en el terreno arenoso de la
Institucionalización de la Evaluación de las Políticas Públicas en el Estado Español, y a
las cuales pretende dar respuesta el objetivo central del trabajo aquí presente.
El objetivo del estudio es profundizar en el ámbito de la Institucionalización de
las Políticas Públicas en el Estado Español. Para ello, tras analizar el marco de la
Evaluación a nivel europeo y estatal, se describirá y estudiará con mayor profundidad el
(reciente) caso más característico en el mundo de la Evaluación de las Políticas Públicas
en el Estado Español: el Institut Català d’Avaluació de Polítiques Públiques3, más
conocido como Ivàlua.
Es por ello que la finalidad del estudio es el desarrollo de una serie de
aproximaciones contextuales, a modo de círculos concéntricos sucesivos a la
Institucionalización de la Evaluación. Estos círculos contextuales irán aproximándose,
progresivamente, al núcleo del mismo: el estudio de caso de Ivàlua.
Las políticas públicas, en tanto en cuanto mecanismos prácticos y locales,
conforman, normalizan, guían e instrumentalizan las aspiraciones, pensamientos y
acciones de los otros, con el objetivo de alcanzar los fines que consideran deseables y al
mismo tiempo como llaves analíticas para entender sistemas de gobierno (Gil Araujo,
2004). Encuadrar y analizar la Institucionalización de la Evaluación de las Políticas
Públicas es un ejercicio de valoración y reflexión necesario en una sociedad que busca
una calidad democrática en la misma.
3 Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua): http://www.ivalua.cat/ (acceso:
19/01/2014)
8
Metodología
El paradigma de la indagación constructivista es el punto de partida para el
análisis de la Institucionalización de la Evaluación de las Políticas Públicas en el Estado
Español y concretamente el caso catalán Ivàlua, el cual se apoya en la metodología
cualitativa para interpretar su contexto. A través del enfoque del constructivismo social,
se destaca la generación colectiva del sentido mediante el lenguaje y la interacción
social: la construcción del discurso es fundamental, no sólo el mensaje. Como estudio
del discurso en la Institucionalización de la Evaluación y, por lo tanto, como estudio del
lenguaje de la administración, se ha de tener en cuenta cómo, “la transmisión del
significado de una institución se basa en el reconocimiento social de aquella como
solución “permanente” a un problema “permanente” de una colectividad dada” (Berger
y Luckmann, 2003:91).
.
El análisis crítico del discurso de la Institucionalización de la Evaluación de las
Políticas Públicas recogido en el presente trabajo, se fundamenta en el método
cualitativo para alcanzar una aproximada descripción y valoración -conflicto de
interpretaciones- del proceso de implementación de los mecanismos de evaluación en el
ámbito estatal y catalán. El propósito del método cualitativo, utilizado en este trabajo,
responde en primer lugar, a la identificación del modelo de gestión de la Evaluación de
las Políticas Públicas a nivel estatal y catalán. En segundo lugar, al reconocimiento del
discurso institucional presente en materia de Evaluación; y, por último, a la descripción
del instrumento “evaluador” de Catalunya: Ivàlua.
Cada objetivo establecido para el método cualitativo, ha supuesto la aplicación
de una pluralidad de técnicas en la recogida de datos que posteriormente han sufrido
procedimientos de codificación y categorización. Así pues, el trabajo se ha
fundamentado en el análisis de dos elementos:
En primer lugar, la revisión de fuentes derivadas -datos secundarios- compuesto
por análisis documental oficial y de bibliografía en materia de Evaluación de Políticas
Públicas, así como de Institucionalización de la Evaluación. Análisis que ha permitido
establecer los diferentes modelos de gestión de la Evaluación en Europa, Estado
Español y Catalunya, profundizando en el conjunto de la normativa española en materia
de Evaluación. Tarea que ha facilitado la identificación del discurso sobre la
9
Institucionalización de la Evaluación de las Políticas Públicas. La revisión de normativa
y teoría en materia de Evaluación ha sido crucial para el desarrollo del trabajo aquí
presente, sentando las bases de una futura ampliación del estudio. Dicha revisión de
documentación especializada en el tema a estudio se establece como etapa preparatoria
para el desarrollo del trabajo.
Por último, para describir el modelo de Institucionalización de la Evaluación de
las Políticas Públicas, se ha optado por la realización de una serie de entrevistas
focalizadas a personal influyente y gestor del mismo (también conocido como
informantes clave). A través de la utilización de fuentes orales se facilita un
acercamiento a la realidad social complementaria a la revisión documental. Escuchar y
recoger los testimonios de las personas protagonistas y actores sociales que posibilitan
la Institucionalización de la Evaluación en Catalunya. Lo importante no son sólo las
declaraciones estampadas en el papel, si no las prácticas que se realizan sobre las
mismas. Mediante las entrevistas focalizadas (focused interview), como entrevistas que
son, se obtiene la información de un modo pragmático a través de la conversación entre
informante y entrevistador, el cual la dirige y registra para su posterior transcripción
(véase Anexos, pp. 57 en adelante) y análisis.
En este tipo de entrevistas, iniciadas por Robert Merton, las personas
informantes han estado expuestas a una situación concreta; la persona investigadora ha
estudiado previamente la situación a través del análisis de contenido, el cual crea el
guión de la entrevista; y, por último, la entrevista se centra en las experiencias
subjetivas hacia la situación a estudio (Valles, 2003:184). Merton y Kendall especifican
cuatro puntos para que la entrevista focalizada sea productiva: la no dirección,
especificidad; amplitud; y profundidad a través de la aproximación abierta o
semidirigida (1946:545 citado en Valles, 2003:185). La modalidad de entrevista
utilizada ha sido la semidirigida a través del planteamiento sucesivo de directrices
temáticas (dimensiones) derivadas del objetivo de la investigación y del curso de la
propia entrevista.
Se distinguen tres fases en las entrevistas focalizadas, las cuales responden a la
muestra elegida. En la primera fase, se debe incluir la entrevista realizada a la antigua
directora de Ivàlua, la cual dejó el cargo el 1 de enero de 2014. En la segunda fase se ha
entrevistado a las personas informantes clave agentes de la Administración catalana
directamente relacionadas con Ivàlua. En la segunda fase se ha entrevistado a las
personas informantes clave agentes del propio Instituto Ivàlua, lo cual ha proporcionado
10
el discurso opinático de los técnicos analistas responsables de las actividades de Ivàlua.
De este modo se cubrían los tres niveles de conexión dentro del Instituto:
Gráfico 1. Fases entrevistas focalizadas a las personas informantes clave
Fuente: Elaboración propia.
1. Primera fase. Entrevista realizada a la persona informante clave responsable
de la gestión de Ivàlua. Las dimensiones en las que se ha profundizado han
sido las siguientes:
a) Creación Ivàlua.
b) Integración de Ivàlua en la gestión pública.
c) Percepción de la eficacia global de la actividad investigadora del
Instituto.
d) Aportaciones novedosas en materia de Evaluación del Ivàlua.
e) Propuestas de mejora.
f) Retos a los cuales se enfrentará el Instituto.
En esta fase de la investigación cualitativa se han realizado entrevistas
focalizadas a la siguiente informantes clave:
Exdirectora4 del Institut Català d’Avaluacions de Polítiques
Públiques (Ivàlua).
Quedando una segunda entrevista establecida con el Expresidente del
Institut Català d’Avaluacions de Polítiques Públiques (Ivàlua), la
cual no pudo ser realizada por causas ajenas a la investigación.
4 La elección de realizar la entrevista a la exdirectora en vez de a la directora en funciones se tomó bajo el
criterio de implicación, éste hace referencia a la implicación de la exdirectora desde proceso de creación y
desarrollo del Instituto hasta finales del año 2013. Su experiencia y conocimiento sobre el mismo pesaba
sobre la reciente investidura de la nueva directora, la cual ha coincidido con la etapa de trabajo de campo
realizado.
11
2. Segunda fase. Entrevistas focalizadas realizadas a las personas informantes
clave agentes de la Administración catalana. Personas que ocupan una
posición privilegiada en el ámbito político y social, cuyas opiniones sobre la
puesta en marcha y gestión de Ivàlua adquieren una relevancia especial.
Dichas entrevistas consideraron las dimensiones siguientes:
a) Integración de Ivàlua en la gestión pública.
b) Institucionalización de la Evaluación a través de Ivàlua.
c) Profesionalidad de Ivàlua.
d) Cultura Evaluadora Ivàlua.
e) Retos a los cuales se enfrentará el Instituto.
En esta fase de la investigación cualitativa se han realizado entrevistas
focalizadas a las siguientes personas informantes clave:
Jefa del Área de Proyectos Estratégicos, Dirección General de
Seguimiento y Evaluación de Programas de Estabilidad y
Crecimiento del Departamento de Economía y Conocimiento de la
Generalitat Catalana.
Jefe del Gabinete Técnico del Departamento de Empresa y Empleo
de la Generalitat Catalana.
Quedando una tercera entrevista establecida para la Subdirectora General de
la Secretaría Técnica del Servicio de Empleo de la Generalitat Catalana, la
cual no pudo ser realizada por causas ajenas a la investigación.
3. Tercera fase. Entrevista realizada a las personas informantes clave
responsable del desarrollo de Ivàlua. Las dimensiones en las que se ha
profundizado han sido las siguientes:
a) Integración de Ivàlua en la gestión pública.
b) Percepción de la eficacia global de la actividad investigadora del
Instituto.
c) Aportaciones novedosas en materia de Evaluación del Ivàlua.
d) Profesionalidad de Ivàlua.
e) Cultura Evaluadora Ivàlua.
f) Retos a los cuales se enfrentará el Instituto.
En esta fase de la investigación cualitativa se han realizado entrevistas
focalizadas a las siguientes personas informantes clave:
Analista Coordinador Ivàlua.
12
Analista Ivàlua.
Existe, pues, el propósito de favorecer la producción de un discurso
conversacional continúo del entrevistado sobre el tema definido en la investigación: el
caso de Ivàlua como ejemplo de la Institucionalización de la Evaluación de las Políticas
Públicas en el Estado Español.
El trabajo de campo de dichas entrevistas focalizadas se concentró en dos
semanas: del 9 de enero al 16 de enero de 2014. Las entrevistas fueron realizadas vía
Skype debido a la imposibilidad de viajar a las localizaciones de las diferentes personas
entrevistadas (Barcelona y Girona). La información generada fue digitalizada para su
posterior transcripción5 y análisis junto con la documentación previamente analizada.
Corpus único compuesto por las transcripciones, anotaciones y textos
previamente existentes en la materia a estudio, para su posterior análisis cualitativo a
través del programa informático ATLAS.ti6. Pese a que el trabajo aquí presente no
corresponde puramente a los principios fundamentales de la Grounded Theory (Teoría
Fundamentada), se ha optado por la utilización de este sistema de análisis ya que sí que
asume uno de sus principios: no partir de una hipótesis preconcebidas que quisiéramos
poner a prueba, sino que el objetivo del presente estudio era (y es) el profundizar en el
ámbito de la Institucionalización de la Evaluación de las Políticas Públicas en el Estado
Español a través del estudio de caso de Ivàlua, sin pretensión de desarrollar una teoría
sino construir un marco para comunicar los datos esenciales, debido al carácter
exploratorio del estudio.
La codificación de los registros obtenidos se desarrolló mediante la adjudicación
de relevancia al problema a tratar: la codificación abierta (open coding) la cual ha
permitido identificar las dimensiones centrales del análisis del estudio de caso; la
codificación axial (axial coding), la cual permite observas la relaciones entre los
códigos anteriormente formulados; y, por último, el desarrollo de la categoría central
(selective coding) dada por aquellas relaciones anteriormente descritas.
5 La totalidad de las entrevistas se realizaron en catalán. En pro de facilitar la comprensión de las mismas,
aquellos fragmentos utilizados para reflejar el análisis del estudio de caso, se han traducido fielmente al
castellano manteniendo las transcripciones originales en los anexos (véase Anexos, pp.57) 6 CAQDAS: Computed Assisted Qualitative Data Analysis Software.
13
En respuesta a la validez externa del estudio, puntualizar su desarrollo para un
contexto claramente definido: el estudio de caso del Institut Català d’Avaluaciò de
Polítiques Públiques (Ivàlua).
Para responder a las preguntas de investigación, el análisis empírico del trabajo
aquí presente, establece como punto de partida el análisis estructural a través de la teoría
en materia de Evaluación de las Políticas Públicas e Institucionalización de la misma,
además del marco institucional estatal a través de la normativa atendiendo a las
directrices europeas en materia de Evaluación.
Las herramientas analíticas para examinar el proceso de Institucionalización de
la Evaluación de las Políticas Públicas en Catalunya -facilitadas por el Máster en
Gestión de los Recursos Humanos y del Empleo de la Universidad del País Vasco en su
edición 2012/2014- utilizan tanto la perspectiva teórica de la filosofía de la Evaluación,
como los estudios sobre la Gobernanza. En primer lugar, la filosofía de la Evaluación,
da forma a una teoría pública sobre la gestión de dicha materia por parte de los
diferentes ejecutivos y sus contextos. Desde la Antropología de las Políticas Públicas se
considera a éstas como “textos culturales, narrativas que interpretan, justifican o
condenan una realidad dotando de poder a unos grupos y excluyendo o silenciando a
otros” (Pecharromán y Bullen 2005:69). Por último, los estudios de la nueva gestión de
la Gobernanza, orientada a los resultados, potencia –desde el nivel europeo- mejorar la
calidad del gasto, “eficacia, eficiencia y calidad, así como el fortalecimiento de los
mecanismos de seguimiento y control del cumplimiento de objetivos” (Garde Roca,
2006:11). La Evaluación, de políticas y programas, como instrumento de buena
Gobernanza necesitara de su correcta institucionalización.
14
Estructura del trabajo de fin de máster
El trabajo aquí presente, ha sufrido una serie de variaciones desde su
planteamiento inicial. Variaciones lógicas ya que los trabajos cobran vida propia
mientras se van conformando. De una inicial metaevaluación, se ha pasado al estudio de
caso de una experiencia más que relevante en el ámbito de la Institucionalización de la
Evaluación de las Políticas Públicas: Ivàlua.
Siguiendo el principio de embudo, de lo contextual a lo específico, el trabajo
queda conformado por dos partes completamente relacionadas y dependientes:
La primera de ellas, la Evaluación de las Políticas Públicas, expone y detalla
tres conceptos centrales del trabajo: las políticas públicas, la Evaluación y la
Institucionalización; para más adelante aludir al contexto de las mismas en el paradigma
europeo. Esta parte del trabajo de fin de Máster, culmina con la explicación del modelo
de Evaluación aplicado en el Estado español, fomentado a través de la producción
normativa en dicha materia; y, concretado en la gestión de la Evaluación a través de la
Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios
(AEVAL).
La segunda parte del trabajo aquí presente, Institucionalizando la Evaluación: el
caso de Ivàlua, expone el tema central de análisis del estudio de caso del Institut Català
d’Avaluació de Polítiques Públiques (Ivàlua). Para ello, se establece una pequeña
descripción de la entidad; un análisis de las características del know-how que hacen de
esa experiencia un referente en Evaluación de Políticas Públicas; y, por último, el
análisis de las aportaciones, potencialidades, dificultades y retos del modelo catalán de
Evaluación.
Para finalizar, se exponen las conclusiones del trabajo destacando las
aportaciones del modelo Ivàlua al ámbito de la Evaluación de las Políticas Públicas; así
como la intención de seguir indagando en el análisis de la Evaluación de las Políticas
Públicas.
15
PARTE I
1. LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS
You don’t get very far in studying evaluation before realizing
that the field is characterized by enormous diversity
Michael Quinn Patton (1997:64)
La gestión de las políticas públicas se ha convertido en uno de los grandes retos
de los Estados actuales, los cuales potencian el control del gasto del sector público en
busca de la eficiencia y la eficacia, y por lo tanto de un reconocimiento y legitimidad
hacia la ciudadanía. Aquí entra en juego la Evaluación de las Políticas Públicas. Pero,
¿qué son las políticas públicas?, ¿qué incidencia tienen entre la ciudadanía?, ¿por qué
llevar un control sobre las mismas?
En palabras de Joan Subirats, las políticas públicas “son hipótesis de mejora de
una realidad social que pretende modificarse” (2010:28). Como actuaciones políticas
llevadas a término para alcanzar un determinado objetivo suponiendo así una alteración
o modificación de dicha realidad afectando a todos o algunos ciudadanos (Beltrán
Villalva, 2010). Es por ello que las políticas públicas construyen sus objetos de
intervención, estructuras de entendimiento, sujetos y subjetividades. Bajo esa
consideración, las políticas públicas se deberían leer, tal y como proponen Shore y
Wright (citados en Gil Araujo, 2004:6), “como textos culturales con diversos sentidos,
como narrativas que sirven para justificar o condenar el presente, como elementos
retóricos y formaciones discursivas que funcionan para dar poder a algunos sectores y
silenciar otros.” Las políticas se han convertido en un instrumento del Estado para la
organización y control de la sociedad civil, instrumento categorizador de la misma;
políticas que otorgan posiciones y relaciones entre individuo-grupo y entre lo público-
privado.
Como apunta Gil Araujo, “las políticas son portadoras de la historia y el
contexto cultural que las genera. Tienen importantes implicaciones morales, éticas,
legales y económicas. Se presentan como una herramienta para lograr una mayor
eficiencia y eficacia” (2004:7). Desde la antropología de la política, Cris Shore y Susan
Wright (1997) exponen la importancia del despliegue de las políticas públicas como
narrativas sobre los significados de la sociedad en la que se crean. Favell (2000)
16
clasifica las argumentaciones de las políticas como una teoría oficial, previa a la
formulación del debate del problema, la cual:
(1) describe y conceptualiza hechos y realidades básicas de la situación social a la que se
aplica (epistemological claims); (2) teoriza el sentido de las intervenciones y establece
causalidades entre procesos políticos y sociales (explanatory claims), y (3) da cuerpo a
alguna clase de núcleo de valores que constituye el objetivo de las políticas y que será su
justificación filosófica subyacente (normative claims) (Gil Araujo, 2004:82).
El lenguaje es un sistema simbólico a través del cual se nombran y clasifican los
elementos que conforman el mundo más cercano construyendo imágenes, percepciones
y definiciones de los otros. El lenguaje, pues, dibuja distintas realidades (Malgesini y
Giménez, 2000). El lenguaje de las políticas públicas es de gran importancia para
conocer cómo una administración entiende un proceso social. Su implementación
repercutirá en el discurso que su sociedad reproducirá. Al fin y al cabo, las políticas
públicas suponen un mecanismo de asignación política hacia los recursos y
oportunidades entre los diferentes actores y grupos sociales, ataviados con sus intereses
y preferencias, mayoritariamente en conflicto. Recursos y oportunidades repletos de
valores, paradigmas e ideas, las cuales son trasladadas como concepciones, referentes
normativos e intereses a la espera de la decisión colectiva (Subirats y Gomà, 1998).
Ahora bien, ¿hasta qué punto se puede justificar dicha asignación política?,
¿cómo saber corroborar que u aplicación ha supuesto una hipótesis de mejora? Éste
papel corresponde a la Evaluación. Y, ¿qué es evaluar?, y, más aún, ¿para qué sirve la
Evaluación?
En un sentido amplio, la Evaluación se presenta como un instrumento para la
decisión y para la gestión, en tanto en cuanto verifica la racionalidad implícita en cada
acción. Así pues, mediante la evaluación ha de entenderse el estudio del conjunto del
proceso. Es decir, “evaluar para la transformación” (Nirenberg, 2000). Garde Roca
expone la evaluación como una actividad “institucional que tiene vocación de integrarse
en la gestión pública y en el funcionamiento del sistema político que solo alcanza(rá) su
sentido (…) si se inserta como una fase del desarrollo de las políticas públicas”
(2006:4). La evaluación no es el paso final de un proceso, es una fase que debería darse
tanto en el caso del principio como después: ex ante (evaluación de necesidades, por
ejemplo) y evaluación on going (evaluación del proceso) y ex post (evaluación de
resultados y de impacto).
17
Cabe preguntarse, ¿por qué es importante evaluar las políticas públicas? En
palabras de Gil Araujo (2004) entendemos las políticas públicas como mecanismos
prácticos, locales y aparentemente intranscendentes, a través de los cuales distintas
clases de autoridades buscan conformar, normalizar, guiar e instrumentalizar las
aspiraciones, pensamientos y acciones de los otros, con el objetivo de alcanzar los fines
que consideran deseables y al mismo tiempo como llaves analíticas para entender
sistemas de gobierno. La evaluación siempre ha de entenderse como un instrumento
para la decisión y gestión pública (Mondragón, 2003), es por ello que la evaluación
tiene que situarse dentro de la política (Ballart, 1993).
Tres son las aproximaciones al mundo de la evaluación de políticas públicas que
Subirats propone: En la primera de las perspectivas, la evaluación queda entendida y
enmarcada como un “problema de medición de resultados de un programa o actuación
pública concreta” (2010:28), convirtiendo en objetivable la función evaluadora. En
segundo lugar, se puede entender la evaluación como la explicación de los resultados
bajo el criterio de la conexión de los mismos con el funcionamiento del programa
(variables internas). Se esclarecería, así, el cambio en la situación de un problema tras la
intervención pública. Por último bajo la perspectiva más sociopolítica o pluralista, el
proceso evaluador se incorpora en las distintas perspectivas de los actores implicados en
la política pública a estudio. Es decir, la evaluación sería el resultado de un debate
social orientado por los valores e interés de cada actor, tratando de “construir
argumentos plausibles, generando conocimiento aplicable, considerando la pluralidad de
posiciones al respecto al respecto, y ‘negociando’ que es y en qué consiste el éxito de
una política” (Subirats, 2010:28).
En el presente proyecto, se entiende por Evaluación “la aplicación de métodos
de investigación sistemáticos con el objetivo de examinar el diseño, la implementación
y la utilidad de las políticas y programas públicos” (Ballart, 1993:200). Según Bustelo,
una definición completa de evaluación debe reflejar tanto lo referido al objeto como lo
referido a los procedimientos (Bustelo, 2001). En este trabajo de fin de master, la
evaluación se concibe como una actividad programada de reflexión sobre la acción a
través del análisis e interpretación de información obtenido con un trabajo de campo
previo, con la finalidad de emitir juicios valorativos fundamentados y comunicables
sobre las actividades, resultados e impactos de dichas políticas a evaluar para, más
tarde, formular recomendaciones influyentes en la tomar de decisiones. Otra definición
18
que también se ha considerado, de manera complementaria, en este trabajo ha sido la
aportada por Vedung que considera la evaluación como un proceso mediante el cual se
realiza una “cuidadosa valoración retrospectiva de los méritos, importancia y valor de la
aplicación, productividad y resultados de las intervenciones gubernamentales, que se
pretende desempeñe un papel en futuras situaciones y acciones prácticas” (Vedung,
1997: 19).
Según la Guía de evaluación de programas y proyectos sociales (2012:12), las
principales características de la evaluación son las siguientes:
- Carácter útil y práctico: La evaluación ha de servir para la mejora de la intervención y
debe ser concebida hacia la acción.
- Sistematicidad durante todo el proceso de evaluación: Toda evaluación ha de recoger de
modo sistemático la información pertinente para la valoración de los criterios de
evaluación.
- Necesidad de flexibilidad: Junto con el cariz sistemático de la evaluación, ha de primarse
la flexibilidad metodológica a lo largo de todo el proceso de evaluación.
- Ajuste a los plazos temporales: La evaluación tiene que responder a los plazos temporales
acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la intervención.
- La evaluación se centra en el análisis de políticas, planes, programas y proyectos; nunca
de personas.
- Emisión de juicios de valor: La evaluación exige el análisis valorativo de los
componentes estudiados.
- Realización antes, durante o con posterioridad a la ejecución: Se trata de una actividad
que puede llevarse a cabo en las distintas fases del ciclo de las intervenciones.
- Variabilidad del objeto de evaluación: La evaluación puede estar referida al diseño de una
actividad, a los procesos de ejecución o a sus resultados y efectos, previstos o no
previstos, priorizando uno u otro enfoque según la finalidad del trabajo.
- Criterios de evaluación: En la evaluación se revisarán la eficacia, la eficiencia, la
pertinencia, el impacto y la viabilidad entre otros componentes.
A través de la evaluación se realiza un análisis de la relación entre la relevancia
del programa, la eficacia y eficiencia del mismo.
19
Gráfico 2. Evaluación: Descripción
Fuente: Elaboración Propia.
La evaluación, además de actuar como garante de la conformidad de la acción
pública, “expresa un juicio de valor, a partir de las evidencias detectadas en la acción
evaluativa, sobre el éxito de los resultados y los impactos-deseados o no- de las políticas
públicas” (Carcedo Roces, 2010: 46). La evaluación, pues, tiene un carácter
retrospectivo en tanto en cuanto valora el impacto y los resultados de un programa
determinado; y, un carácter prospectivo ya que mediante el análisis retrospectivo
elabora formulaciones para el futuro del programa evaluado.
20
El cuadro 1 sintetiza y expone de una manera clara y visual el concepto de
evaluación bajo su compendio de funciones, propósitos y características.
Cuadro 1. Evaluación: Concepto, funciones, propósitos y características
CONCEPTO DE EVALUACIÓN
Recopilación y análisis sistemático de información que permite la emisión de juicios
–también sistemáticos – sobre el mérito y el valor del programa evaluado
FU
NC
ION
ES
I. IMPROVEMENT
- Perfeccionamiento o mejora del programa o política.
- Permite la retroalimentación y el aprendizaje sobre la
propia práctica.
- Garantiza la calidad del programa.
- Refuerza la atención en el contexto del programa, las
necesidades y naturaleza de los destinatarios y de todos los
agentes críticos.
II. ACCOUNTABILITY
- Rendimiento de cuentas o responsabilidad sobre la gestión
y resultados de un programa.
- Práctica que forma parte del sistema democrático como
resultado del derecho a saber en qué y cómo se utilizan los
fondos públicos (idoneidad, eficacia, eficiencia).
- Perspectivas del accountability
- Perspectiva política.
- Perspectiva técnico-organizativa.
- Perspectiva de los ciudadanos.
- Perspectiva del cliente.
III. ENLIGTENMENT
- Ejemplificación o iluminación para acciones futuras.
- La evaluación contribuye a construir conocimiento desde
los aportes teóricos, técnicos y metodológicos.
- Orienta sobre un modo de afrontar los problemas sociales.
PR
OP
ÓS
ITO
S
- Facilitar el proceso de toma de decisiones
- Aumentar la calidad de la ayuda
- Facilitar la transferencia de buenas prácticas
- Solución de problemas
- Facilitar el aprendizaje organizativo el
cambio institucional
- Favorecer la coordinación y la armonización
- Mejorar la gestión
- Promover la participación
- Fomentar el alineamiento
- Desarrollar capacidades
- Legitimar la intervención
- Orientar la planificación
- Corregir desviaciones
- Ampliar el aprendizaje
CA
RA
CT
ER
ÍST
ICA
S
CARÁCTER POLÍTICO
- Contextualizada
- Capacidad de respuesta
- Sensibilidad social y política
- Oportunidad en el tiempo realismo y rentabilidad
- Continuidad
- Flexibilidad metodológica
- Imparcialidad
- Participación
CARÁCTER
PRÁCTICO
Fuente: Elaboración propia a partir de Guía de evaluación de programas y proyectos sociales, 2012 y
Manual de gestión de evaluaciones de la Cooperación Española, 2007.
A la información recogida en el cuadro 1, cabe sumarle las distintas dimensiones
que componen la evaluación: en primer lugar la dimensión cognoscitiva, la cual supone
21
una fase de recogida y tratamiento de informaciones; en segundo lugar la normativa, es
decir, la generación de juicios y valoraciones; en tercer lugar, la dimensión
instrumental, en la cual se establecen recomendaciones en cuanto a políticas y técnicas;
y, por último, la movilización, gracias a las dimensiones anteriores, se produce un
conocimiento nuevo, el cual supone la base de un proceso abierto de aprendizaje
colectivo, empoderamiento, con dicha información.
2. LA IMPORTANCIA DE LA INSTITUCIONALIZACIÓN DE
LA EVALUACIÓN EN LAS POLÍTICAS PÚBLICAS
¿Qué alcance tiene la institucionalización dentro del total de acciones
sociales en una colectividad dada? En otras palabras:
¿Cuál es la dimensión del sector de actividad institucionalizada
comparado con el que queda sin institucionalizar?
Peter L. Berger y Thomas Luckmann (2003:102)
Como anteriormente se ha detallado, la evaluación de las políticas públicas actúa
como instrumento de bueno gobierno dentro de la caja de herramientas para la gestión
de lo público. Evaluando las acciones de las Administraciones Públicas se realiza un
“ejercicio de transparencia democrática que ayuda a corregir defectos en la aplicación
de las políticas, mejorando su eficacia y funcionamiento” (Subirats, 2010:27). Es decir,
a través de la evaluación, los ejecutivos de cualquier nivel administrativo generan
confianza y mejoran de manera continuada la gestión pública, y por lo tanto la atención
(y la percepción de la misma) y la oferta de servicios a la ciudadanía. Es por ello que la
evaluación debe instaurarse como parte de la cultura administrativa, es decir:
institucionalizarse. Como instrumento democrático, evaluar la Gobernanza de un
ejecutivo es un ejercicio que facilita evaluar el desarrollo democrático de un país
(Aguilar y Bustelo, 2010: 21).
Mediante la Institucionalización de la Evaluación, las Administraciones Públicas
incorporan procedimientos los cuales valorarán en qué medida la gestión e implantación
de la acción pública cumple con los objetivos para los que se había diseñado. Tal y
como establece Osuna, tras la mala gestión de un ejecutivo cabe pensar el hecho de que
“la alternativa al mal Estado no es el no-Estado y, por ello, el objetivo es conseguir un
Estado que sea cada vez más eficiente y cada vez más transparente; lo que reposiciona
22
muy positivamente el valor de la Evaluación de Políticas Públicas a tal fin” (2010:50).
Así pues, la evaluación realizando un estudio de la eficacia y eficiencia de la
intervención pública adoptada por las Administraciones, da cuenta del impacto de la
misma sobre la ciudadanía. Evaluar, como expone Beltrán Villalva, “implica un
‘principio de realidad’, que valora las políticas públicas no tanto por su respeto al
principio de legalidad cuanto por su efectos sobre la realidad social” (2010:24).
Insertar la evaluación dentro de la gestión de las Administraciones Públicas se
está consiguiendo bajo el marco de la Gobernanza. La Gobernanza, actividad de
dirección de la sociedad, representa:
“las formas de un gobernar nuevo, descentralizado, asociado, con la consecuencia de que
un gobierno y sociedad sin perder su diferencia e independencia coproducen ahora un buen
número de políticas, inversiones, proyectos y servicios públicos, definiendo cómo se
dividirán el trabajo, la autoridad y la responsabilidad y qué cantidad y tipo de recursos
aportarán tanto el gobierno como las organizaciones económicas y civiles (Aguilar y
Bustelo, 2010: 9).
Dicho enfoque exige a su vez un enfoque de evaluación participativa y
pluralista. Como especifican Aguilar y Bustelo, la gestión de los gobiernos “deberá
aplicar una evaluación con criterios de legitimidad política y social que implica
necesariamente la participación de los diferentes actores gubernamentales y no
gubernamentales presentes en el modo de gobierno” (2010: 13).
Si a esta situación se añade el enfoque de la Gestión Pública Innovadora7 (GPI),
de ahora en adelante), la evaluación cobra gran importancia dentro de la gestión pública.
La evaluación encarna el papel de “mecanismo potente de rendición de cuentas,
accountables frente a la ciudadanía, de seguir siento legítimas” (Subirats, 2010:28,
énfasis añadido). En contraposición a la Nueva Gestión Pública, la cual se ve
perjudicada por la aparición de factores no controlables y no previstos; la GPI, incluye
las innovaciones que la evaluación de eficiencia permite y por tanto facilita las
Administraciones: “alcanzar el mismo nivel de resultados (incluyendo el nivel de
calidad en la prestación de servicios) con menores recursos, o, alternativamente, un
mayor nivel de resultados con los mismos” (Feinstein, 2012:141). Dichas innovaciones
pueden ser, como expone Feinstein (2012), de cuatro tipos diferentes: el primero de
ellos, son innovaciones directas de proceso; el segundo tipo de innovaciones se realiza
directamente sobre los productos o servicios; el tercer tipo de innovaciones deriva de las
innovaciones indirectas de los procesos; y por último, las innovaciones indirectas de
7 Expresión extraída de Feinstein, 2012.
23
productos y servicio. Si se identifican las innovaciones, la eficiencia de la gestión
pública se hará patente con la reducción de costes unitarios, por ejemplo. Por ello será
necesario establecer un sistema apropiado de seguimiento de dicha gestión pública. Este
es el papel dentro de la GPI reservado para la evaluación, la cual permite:
vincular ‘lo que sucede’ con ‘lo que se espera que suceda’,determinando el grado en que los
objetivos planteados fueron alcanzados (algo esencial para la rendición de cuentas), la
relevancia de los objetivos planteados, la eficiencia en la utilización de los recursos, la
calidad de los servicios prestados y de los procesos llevados a cabo, la sostenibilidad de los
resultados, la equidad en la distribución de los resultados y las consecuencias no buscadas
de las intervenciones (Feinstein, 2012:149).
Identificar la evaluación de políticas (y programas) públicas como un
instrumento democratizador y legitimador, fomenta la creciente institucionalización de
la función de la evaluación en los gobiernos y las Administraciones públicas. Pero, si
las Administraciones ya realizan evaluaciones puntuales, ¿a qué se refieren los
diferentes autores por institucionalización de la evaluación? El concepto que ofrece
Garde Roca es el adoptado en este estudio. Así pues, la institucionalización de la
evaluación es:
el proceso político por el que se legitima un marco normativo adecuado para el desarrollo
de la función de la evaluación, a partir de la estructuración de espacios e instancias de las
Administraciones a las que encargar tal función, ubicándolos en los distintos niveles de
gobierno y según las distintas actividades o sectores a evaluar (2006:4).
No es el mero hecho de realizar evaluaciones de las políticas y programas
implantados, sino que la institucionalización es incorporar la evaluación al nacimiento
mismo de las políticas y programas, configurar un proyecto político de gobernanza bajo
un modelo permanente de análisis a través de la estimulación evaluadora hacia
estructuras culturales y formales. Ahora bien, como expone Alvira (1991), la
institucionalización de la evaluación en las Administraciones no les da permiso para
marcar o imponer valores/criterios de valor, métodos y los tiempos a utilizar en la
evaluación. La imposición desvirtúa la esencia de la institucionalización de la
evaluación ya que prima la perspectiva tecnocrática y/o política en detrimento de la
legitimidad democrática. Además, otra amenaza a considerar, es la posibilidad de
conflictos intraburocráticos y con el nivel político, que deriven en un desinterés de
quienes debieran impulsarla (Cohen y Franco 1988 en Mondragón, 2003:8).
Para analizar la Institucionalización de la Evaluación de las Políticas Públicas,
en el trabajo aquí presente, tras la revisión de las referencias bibliográficas en materia
de Evaluación, se han seleccionado cinco criterios los cuales se consideran necesarios y
24
integración en la Gestión
Pública
estabilidad
cultura evaluadora
profesionalidad
legitimidad
condicionantes para fomentar la Institucionalización de la Evaluación en las
Administraciones Públicas. Estos criterios actúan como dos fases dentro del proceso de
institucionalización de la evaluación: la primera fase está compuesta por la integración
de la evaluación dentro de la gestión pública y la estabilidad; y, la segunda fase
compuesta por la cultura evaluadora, profesionalidad y la legitimidad.
Gráfico 3. Criterios para la Institucionalización de la Evaluación
Fuente: Elaboración propia.
La primera fase, llamada en este estudio fase de “institucionalización ex ante”
(aludiendo a términos propios del mundo evaluador), refleja el camino de la evaluación
hacia la institucionalización. Como anteriormente se ha mencionado, el mero hecho de
que las Administraciones Públicas realicen en contadas (y selectivas) ocasiones
evaluaciones no supone la institucionalización de las mismas. Es un avance, no hay
porque negarlo, pero no supone el establecimiento del instrumento evaluador dentro de
los ejecutivos. Es por ello que el primer paso en esta fase del proceso de
institucionalización de la evaluación es la integración de la misma, de una manera, más
o menos, sistemática en la gestión pública (primer criterio) “sin perjuicio de una
colaboración externa” (Mondragón, 2003:8). Esta integración dotará a la evaluación del
segundo criterio: estabilidad. Un ejecutivo que toma en consideración a la evaluación y
la integra en los planteamientos de sus programas y políticas públicas, asegura una
estabilidad necesaria para el desarrollo de la institucionalización de la evaluación. Como
25
describe Garde Roca, el uso instrumental de las evaluaciones por parte de las
Administraciones “significaría un aprovechamiento continuo de los resultados de las
mismas y una ampliación sobrevenida de conocimientos para aquellos poderes”
(2006:9). Además, cabe recordar que el valor añadido de la evaluación de políticas (y
programas) públicas reside en “el propio proceso de evaluación más que en el informe
final de sus resultados” (Zapico, 1998:56).
La segunda fase llamada “institucionalización on going” refleja ese paso más de
las instituciones por institucionalizar la evaluación. On going en el sentido de que la
institucionalización no es un resultado si no un proceso de convergencia de prácticas y
voluntades políticas y técnicas. El primer criterio, en esta segunda fase, hace alusión a
la cultura evaluadora. Las instituciones no sólo deberán evaluar si no también fomentar
la cultura evaluadora a través de sus prácticas (evaluación como “práctica institucional
cotidiana”, según Garde Roca, 2006:9) y transmisión de conocimiento a través de la
formación, elaboración de guías metodológicas, etc. Como aspecto positivo, la cultura
de la evaluación “ayuda a caminar hacia un modelo de Estado más eficiente y
transparente” (Osuna, 2010:49). Esa cultura evaluadora alimenta al segundo criterio, la
profesionalidad, ya que la difusión de los conocimientos y las experiencias en
evaluación de una Administración fomenta la profesionalidad de las personas
involucradas al rendir cuentas con sus propios trabajos evaluativos. Y una vez se tiene
la profesionalidad ligada a una cultura evaluadora y a estabilidad en la integración de la
gestión pública, llega la ansiada legitimidad/credibilidad. Ya que, como anteriormente
se ha detallado, la incorporación de la evaluación a la cultura administrativa
corresponde a un proceso de modernización administrativa bajo el interés de las
Administraciones Públicas por racionalizar y legitimar la acción pública, así como a
exigencias legales (Mondragón, 2003:4). Para poder asegurar la credibilidad de sus
actuaciones, las Administraciones Públicas deberán tener en cuenta la participación de
los agentes sociales interesados desde el diseño metodológico del proceso de la
evaluación así como la necesaria comunicación fluida entre las partes interesadas y
participantes (Bustelo, 2013).
El último aspecto que cabe destacar en el proceso de Institucionalización de la
evaluación, versa en torno a la independencia de las mismas. Sin tener en cuenta el
origen -interno o externo- de la evaluación, ya que éste no incide en la independencia de
la misma, el factor clave para la independencia y por tanto para la credibilidad de las
26
evaluaciones reside en una práctica profesionalizada donde la evaluación se realice “por
parte de entidades y personas que no están bajo el control de los responsables del diseño
y la implementación de la intervención para el desarrollo” (Feinstein, 2012a: 48). Este
es el caso de Ivàlua, el cual se profundizará en la segunda parte del trabajo aquí
presente.
2.1. El paradigma evaluador en la Unión Europea
Como moneda de cambio al gran rembolso de los Fondos Estructurales, se
estableció un importante imperativo, en cuanto a evaluación se refiere, establecido por
la Unión Europea (UE)8. A través de sus dos vías de trabajo, la UE ha potenciado la
evaluación de las políticas y programas (co)financiados con dinero procedente de sus
arcas. Como detalla Derlien, por una parte, la Corte Europea de Auditores (European
Court of Auditors) bajo una relación de cooperación con los tribunales nacionales9 de
cuentas, lleva a cabo comprobaciones legales y de cumplimiento de los mismos; por
otra parte, se realiza una inspección internacional de finanzas en la Comisión lo cual
estimula una variedad de evaluaciones delegadas en varios países. Esta imposición
puede implicar una cierta tendencia a la burocratización de la evaluación “inducida
externamente, en particular si se realiza en los tribunales tradicionales de cuentas”
(Derlien, 1998:20).
Con objeto de potenciar la evaluación, en el año 2000, la Comisión de la UE
publica el Libro Blanco de Gobernanza10
, el cual establece las directrices -principios-
para constituir una buena gobernanza. Estos son: la apertura, participación,
responsabilidad, eficacia y coherencia. En primer lugar, apertura entendida como forma
de trabajo colaborativa y accesible; en segundo lugar, participación de la ciudadanía,
bajo un enfoque integrador, en el proceso de planificación, gestión y planificación de las
políticas públicas; en tercer lugar, responsabilidad en los procesos tanto legislativo
como ejecutivo; en cuarto lugar, la eficacia de las medidas tomadas por cada ejecutivo
8 Para ampliar sobre el papel de la Evaluación en los Fondos Estructurales véase: Díez López, María
Ángeles e Izquierdo Ramírez, Beatriz (2005). 9 Alemania, al no contar con tribunales de cuentas , establece contacto con la UE a través de los auditores
subnacionales. 10
COM-2001-428 final.
27
para producir los resultados acordes, bajo una aplicación proporcionada, y evaluar el
futuro impacto y experiencia de las medidas; y, por último, la coherencia así como la
comprensión de las políticas y acciones desarrolladas, bajo un liderazgo y compromiso
político por parte de las Instituciones para garantizar dicha coherencia.
Los anteriores cinco principios para la buena gobernanza reforzaban los ya
establecidos de acuerdo con la proporcionalidad y subsidiariedad. La elección del nivel
en el que han de desarrollarse unas políticas (comunitario hasta local) y la selección de
los instrumentos a utilizar deben ser proporcionales a los objetivos establecidos. A la
hora de realizar una evaluación no hay una metodología estandarizada para poder
aplicar sobre todos los casos a estudio (Díez López, 2001), el diseño de la evaluación y
su metodología dependerá del contexto y la política a estudio. Esto requiere la
comprobación sistemática a la hora de lanzar una iniciativa de: “a) si la actuación
pública es realmente necesaria; b) si el nivel europeo es el más apropiado para dicha
actuación; y c) si las medidas previstas son proporcionales a los objetivos” (COM-2001-
428 final, 2001:12).
¿Cómo llevar a cabo estas directrices en gobernanza y evaluación? Pese a estar
enmarcado en la UE, la cultura política de cada país difiere de los demás, es por ello que
el grado de aplicación de la buena gobernanza, y por lo tanto la institucionalización de
la evaluación vendrá dada por los siguientes factores (Derlien, 1998): en primer lugar,
la situación fiscal, la cual hace variar ligeramente el objetivo de la evaluación (recorte
del presupuesto en lugar de buscar una mayor aplicación de programas; en segundo
lugar, la constelación política, más que la situación económica, las actitudes y
voluntades políticas afectan a la “perversión” de la evaluación; por último, las propias
características constitucionales de cada país. Como expone Derlien el poder legislativo
puede ayudar a “mantener en forma apropiada las capacidades de evaluación del poder
ejecutivo (…) puesto que necesita de estos equipos de análisis para mantener el
equilibrio de poder de información vis a vis con el Congreso” (1998:16), lo que potencia
el control sobre las mismas. Cabe recordar, pues, que pese a que la evaluación esté
institucionalizada, esta situación es un sinónimo de cantidad y calidad de las propias
evaluaciones.
28
2.2. El modelo español de Evaluación
Hablar del modelo español de Evaluación implica reconocer la evaluación
limitada al cumplimento de las revisiones legales (Subirats, 2010:28). Como detalla
Ballart (1993), en el Estado Español se pasó de una preocupación del uso de la
evaluación para cuantificar el impacto de las políticas públicas, al análisis en busca de la
productividad y la racionalización de la gestión de los recursos y el gasto. A esta
característica, cabe añadir la limitación de la función de control del Parlamento; así
como, el papel meramente supervisor que han ido adquiriendo los Tribunales de
Cuentas del Estado a pesar de la obligatoriedad legal por examinar la eficacia y la
eficiencia de las políticas públicas. Panorama poco alentador para los profesionales en
el ámbito de la Evaluación que retroalimenta la escasez de los mismos. Dichos factores
explican el retraso del Estado Español en materia de Evaluación: cultura y práctica.
El Estado Español, debido a su organización cada vez más descentralizada, ha
desarrollado no un sistema cohesionado de evaluación, sino más bien, una constelación
de organizaciones con mandatos y/o prácticas de evaluación sin relación entre sí
(Feinstein y Zapico, 2010). La no coordinación (ni difusión) de las experiencias y
prácticas evaluadoras hace que la cultura de la evaluación emerja lentamente y con una
diversidad de enfoques. Dada esa organización descentralizada del Estado Español, la
perspectiva evaluadora debería, en palabras de Subirats, introducirse en el ‘Gobierno
multinivel’ avanzando hacia un ‘sistema público de evaluación de políticas’, el cual,
“manteniendo la autonomía de sus distintos componentes, articule mecanismos fiables
de comparación y de análisis, compartiendo información y procesos de aprendizaje
comunes” (2010:30). Mecanismos fiables en tanto en cuanto sean entendidos como
metodología para la credibilidad, ya que “lo relevante de la evaluación es la
construcción de sus juicios de valor” (Carcedo Roces, 2010:48) a través de dicha
metodología.
El modelo español de evaluación en cuanto al grado y práctica de la
institucionalización de la evaluación, pese a sus avances, se sitúa entre los más bajos de
los países de la OCDE11
. Este modelo se caracteriza por dos etapas fundamentales. La
primera de ellas, desde finales de los años 80 hasta 2006, concebía la evaluación como
11
Furubo y Shandal, 2002; Varone et al. 2005; Viñas, 2009 en citado en Lázaro, 2012.
29
el ejercicio obligatorio establecido por la Unión Europea debido a la cofinanciación de
programas. En esta etapa la evaluación, también, se abrió a la cooperación al desarrollo.
La segunda etapa, a partir de 2006 y hasta la actualidad, se caracteriza por la voluntad
política de llevar la evaluación un paso más allá: institucionalizarla a través de la
propuesta de creación de la Agencia Estatal de Evaluación de las Políticas Públicas y la
Calidad de los Servicios (AEVAL, en adelante)12
. Como compromiso del Partido
Socialista en las elecciones generales del año 2004, se planteó la institucionalización de
la evaluación de políticas y programas públicos, a través de la creación de una Agencia
Estatal. Pero como ya se ha mencionado anteriormente, la creación de un órgano
específico o la integración de la evaluación en la gestión administrativa, no garantiza
una adecuada institucionalización. Promover cultura evaluadora dentro de la
Administración favoreciendo un sistema público de evaluación es el gran reto para el
proceso de institucionalización y para la AEVAL.
En julio de 2006 la voluntad política hacia la evaluación se reafirma con la
sanción de la Ley 28/2006 de 18 de julio, de Agencias Estatales para la mejora de los
servicios públicos13
, concretamente la disposición adicional primera, referencia
normativa de la creación de la AEVAL. A través de esta ley, el Gobierno en funciones
pretendía satisfacer las necesidades y demandas ciudadanas con el nivel de calidad
exigido por la ciudadanía mediante la implantación de un modelo de gestión que
equilibre adecuadamente los principios de autonomía, control y responsabilización por
resultados.
Adscrita en sus orígenes al Ministerio de Administraciones Públicas, AEVAL
tiene por objetivo (misión) la promoción y realización de evaluaciones de las políticas y
programas públicos cuya gestión corresponde a la Administración General del Estado.
AEVAL además, quedaba subordinada al Consejo de Ministros, el cual aprueba
anualmente los programas y políticas públicas a evaluar por la Agencia, marcadas por el
Plan Nacional de Reformas. A raíz de esas evaluaciones, AEVAL, anualmente presenta
un Informe al Congreso de los Diputados. Como Agencia de Evaluación estatal, el
12
AEVAL se considera la primera experiencia de institucionalización de la evaluación bajo el marco
estatal, aunque se debe puntualizar que no fue una experiencia pionera. En el año 2005 se aprobó la Ley
foral 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios
públicos de Navarra. Experiencia pionera que considera la evaluación como un materia transversal del
Gobierno y crea la Comisión Foral para la Evaluación de las Políticas y la Calidad de los Servicios. Para
ampliar información, véase: http://www.lexnavarra.navarra.es/detalle.asp?r=4650 (acceso: 22/01/2014). 13
Y la aprobación de sus Estatutos a través del Real Decreto 1418/2006, de 1 de diciembre, por el que se
aprueba el Estatuto de la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los
Servicios (BOE, 14 de diciembre).
30
Gobierno dotó a AEVAL de la potestad de evaluar políticas públicas gestionadas por las
Comunidades Autónomas, previo convenio con las mismas. Según Carcedo Roces,
antigua presidenta de la Agencia, con la creación de AEVAL, el Gobierno materializaba
su propósito de:
poner la Administración al servicio de los ciudadanos haciéndola más transparente, tanto
para que pueda tener lugar una completa y cabal rendición de cuentas de los gobernantes y
gestores públicos, como para que sea posible una informada y eficaz participación
ciudadana en los asuntos públicos. (…) en sintonía con los principios de eficiencia,
participación y responsabilidad que fundamentan el buen Gobierno (Carcedo Roces, 2010:
47).
Los principios rectores14
que inspiran la Agencia Estatal de Evaluación de las
Políticas Públicas y la Calidad de los Servicios son los siguientes:
1.- Independencia de criterio, dictamen y juicio en la realización de sus trabajos sobre la
base de valores de responsabilidad pública y competencia profesional.
2.- Transparencia y Participación, entendidos respectivamente como la rendición de
cuentas a los ciudadanos y como el compromiso de consulta y participación de los
interesados en la realización de sus trabajos.
3.- Autonomía y Responsabilidad, entendidos respectivamente como la capacidad de la
Agencia de gestionar con autonomía los medios puestos a su disposición para alcanzar los
objetivos comprometidos, y como la disposición de la misma a asumir las consecuencias de
los resultados alcanzados.
4.- Cooperación interadministrativa y Participación institucional, entendidos
respectivamente como la disposición activa a colaborar con otras administraciones e
instituciones, así como a fomentar la participación directa de las comunidades autónomas
en la Agencia y el desarrollo de trabajos compartidos.
5.- Calidad y mejora continua, entendido como el compromiso sistemático con la
autoevaluación y la utilización de modelos de excelencia que permitan establecer áreas de
mejora y prestar sus servicios de forma innovadora.
6.- Ética profesional y responsabilidad pública, entendido como el compromiso del
personal de la Agencia y especialmente de sus directivos, de observar en su actuación los
valores contenidos en el código de ética profesional del personal de la Agencia, y en las
normas de conducta aplicables a los Empleados Públicos de la Administración General del
Estado.
Los principios de la Agencia muestran la doble finalidad de la misma: una
finalidad política, en primer lugar, ya que el ejecutivo potencia la rendición de cuentas a
través el trabajo realizado por la Agencia, potenciando la transparencia y la calidad
democrática. Y una finalidad económica, ya que la Agencia apuesta por la eficiencia y
la evaluación de los resultados de las políticas en la sociedad. En síntesis, AEVAL, con
su labor evaluadora busca “generar valor público combinando los elementos técnico-
gerenciales de las intervenciones públicas sin desvincularlos de los elementos sociales
que las justifican” (Carcedo Roces, 2010:48).
14
Extraídos de los Estatutos de AEVAL,
http://www.aeval.es/export/sites/aeval/comun/pdf/agencia/RD_1418_2006_Estatuto_Agencia.pdf
(acceso: 21/01/2014)
31
Una vez definida y aprobada, la puesta en marcha de la Agencia requería del
establecimiento de una relación con los demandantes. La apuesta de la Agencia por
ofrecer sus servicios fue el llamado contrato de gestión. Este es un punto importante ya
que marca la relación de las dos partes contratantes. Una vez firmado, el contrato de
gestión establece una relación de cuatro años. En él se detallan los objetivos y el
rendimiento esperado de esa contratación, con sus respectivas implicaciones en la
adjudicación de recursos. La Agencia, mediante el contrato, para a ser un mero
proveedor de eficiencia.
32
Cuadro 2. Vinculación funciones, productos y servicios de la Agencia
FUNCIÓN PRODUCTO Y SERVICIO
Realización de las evoluciones de políticas y
programas públicos incluidas en el plan de acción
de la Agencia por encargo del Consejo de
Ministros.
INFORMES DE EVALUACIÓN
Realización de los trabajos de consultoría y
asistencia técnica que en materia de evaluación o
para la mejora de la calidad en la gestión sean
acordados con organismos públicos.
INFORMES DE CONSULTORÍA
Elaboración y difusión de guías metodológicas en
materia de evaluación y calidad. PUBLICACIONES
Seguimiento de las actuaciones del plan de
gestión de calidad de las Agencias Estatales. INFORME AL CONGRESO DE LOS
DIPUTADOS
Certificación de Cartas de Servicios o del nivel de
excelencia de las organizaciones de las distintas
administraciones públicas españolas.
CERTIFICACIONES
SELLOS AEVAL
Análisis de la Percepción de los Ciudadanos
sobre los servicios Públicos.
Seguimiento anual del grado de implementación y
resultados de los Programas que integran el
marco general para la mejora de la calidad en la
Administración General del Estado.
INFORMES DEL OBSERVATORIO DE
LA CALIDAD DE LOS SERVICIOS
PÚBLICOS
Gestión de los Premios de Calidad e innovación
en la Gestión Pública. PUBLICACIÓN DE CONVOCATORIAS
Y DE RESOLUCIÓN DE CONCESIÓN
Colaboración con otras administraciones –Red
interadministrativa de Calidad en los Servicios
Públicos-.
METODOLOGÍAS Y GUÍAS,
ESTUDIOS, CARTA DE
COMPROMISOS DE LA CALIDAD Y
CONFERENCIAS ESTATALES DE
CALIDAD EN LOS SERVICIOS
PÚBLICOS
Participación sistemática en actividades
formativas. MATERIALES FORMATIVOS
Representar a la Administración española en
regiones, foros e instituciones nacionales e
internacionales relacionadas con materias de su
competencia.
PRESENCIA Y PERTICIPACIÓN EN
EVENTOS NACIONALES E
INTERNACIONALES
Promover la investigación, la formación, la
difusión de experiencias y la realización de
estudios y publicaciones.
ORGANIZACIÓN DE CURSOS,
JORNADAS Y/O SEMINARIOS
Fuente: Carta de servicios, AEVAL.
El cuadro 2 muestra, en síntesis, la relación entre las funciones que la Agencia
asume y los productos y servicios que la Agencia ofrece. Observando en detalle las
funciones se constata la intención de AEVAL por avanzar en la institucionalización de
la evaluación en el Estado Español.
33
Feinstein y Zapico señalan once puntos de la experiencia de la creación de la
Agencia como referentes para aquellos países en desarrollo que estén en un proceso de
constitución del a evaluación:
1. Inspirarse en otras experiencias, pero no copiarlas.
2. Tomar en cuenta que la institucionalización de la evaluación requiere un tiempo
significativo.
3. Establecer órganos asesores como mecanismo de apoyo y legitimación.
4. Incorporar representantes de instituciones académicas y del sector público.
5. Involucrar a los diferentes niveles de Gobierno, incluidos los sectores y regiones.
6. Establecer la garantía de control de calidad de las evaluaciones, prácticas y
sistemas.
7. Vincular la evaluación de políticas con la evaluación de la calidad de los servicios.
8. Utilizar diferentes métodos y enfoques de acuerdo al contexto, necesidades y
capacidades.
9. La ubicación institucional debe optimizar la coordinación, la rendición de cuentas y
el aprendizaje.
10. Desarrollar procedimientos para vincular la evaluación de políticas con la
programación y el presupuesto.
11. La difusión de las evaluaciones debe ir más allá de simplemente publicación en
Internet. (traducido, 2010:9)
Con la creación de la AEVAL queda ejemplificado que el diseño del
instrumental evaluador no es suficiente, debe de aplicarse para poder tener un efecto
real. Dicha aplicación dependerá de las motivaciones y resistencias de los diferentes
actores público-políticos que intervienen en su gestión. Un ejemplo de esa resistencia
hacia la Agencia se produce cuando se reestructura el propio Gobierno en enero de
2012. En ese momento AEVAL pasaba de depender del Ministerio de las
Administraciones Públicas al Ministerio de Hacienda y Administraciones Públicas15
. La
adhesión al Ministerio de Hacienda y Administraciones Públicas, muestra un cambio de
enfoque del ejecutivo para y por la Agencia, junto con la reducción de la partida
presupuestaria correspondiente. En palabras de Osuna, “el Gobierno (…) aminora el
papel de la AEVAL e incluso algunos, próximos al staff de decisiones, ponen en duda
su futuro” (2010:51), reduciéndose así la evaluación como prioridad en la agenda
política16
. Bustelo (2013) expone en términos de credibilidad e independencia el error
de encuadrar a la Agencia dentro del Ejecutivo, cuando la mejor opción hubiera sido
haberle asociado al poder Legislativo.
En síntesis, la mera creación de agencias especializadas en el campo de la
evaluación, no es suficiente para establecer la institucionalización de la evaluación en
15
Real Decreto 256/2012. 16
Recordar que AEVAL fue concebida, creada y desarrollada por el Partido Socialista y desmantelada en
los años del mandato Popular.
34
las Administraciones Públicas. Esta implantación institucional deberá ir de la mano de
otros elementos favorecedores, como detallan Aguilar y Bustelo, tales como:
indicadores de institucionalización de la función de la evaluación (…) como son la creación
e asociaciones profesionales de evaluación nacionales y supranacionales, la puesta en
marcha de formación de postgrado específica, la producción de literatura y materiales de
evaluación – tanto libros y manuales, como revistas especializadas, como guías y
orientaciones metodológicas- , así como la propia práctica de evaluación y la existencia de
estudios de procesos de evaluación (2010: 6-7).
¿Está la evaluación en el Estado Español, tras el “aminoramiento” de la
AEVAL, institucionalizada? Pese a que la creación de AEVAL supuso un compromiso
político en pro de la evaluación, actualmente no se puede afirmar que la AEVAL sea un
referente, ni siquiera un ejemplo de institucionalización de la evaluación de las políticas
públicas. Tras su intento por prosperar, el recorte presupuestario del Gobierno, junto a la
dedicación de mayores recursos y esfuerzos a la rama de la Calidad en detrimento de la
evaluación, así como la carencia de una coordinación estatal a través de AEVAL de
todas las experiencias y los organismos evaluadores del Estado, han deslegitimado la
función de la propia Agencia.
La institucionalización, como anteriormente se ha detallado, no es un requisito
estático en el tiempo, es un proceso que requiere dedicación y voluntad política y
técnica, además de –en el contexto del Estado Español- un profundo cambio en la
cultura administrativa.
35
PARTE II
3. INSTITUCIONALIZANDO LA EVALUACIÓN:
EL CASO DE
¿Se están llevando a cabo realmente evaluaciones? ¿De qué tipo? ¿Están sirviendo para algo?
¿Contribuyen a la institucionalización y normalización de la
función de evaluación en las instituciones públicas?
María Bustelo (2001:3)
Las experiencias evaluadoras en el Estado Español son diversas, pero la
experiencia catalana, a través del Institut Català d’Avaluacions de Polítiques Públiques
conocido como Ivàlua, ha supuesto una experiencia exitosa y continuada en la práctica y
fomento de la cultura evaluadora desde el inicio de sus actividades17
en 2008.
En los siguientes apartados se explicará qué es Ivàlua y cuáles son sus
peculiaridades que han hecho de ésta una experiencia en materia de evaluación digna de
mención. Además, se incluirán los resultados del análisis de la institución extraído en la
codificación de las entrevistas focalizadas, explicadas anteriormente en el apartado de
Metodología (véase pág. 8). Con ello se pretende describir y entender el funcionamiento
de Ivàlua para una posible mejora en el desarrollo del proceso de institucionalización de
la evaluación de las políticas públicas de otras Comunidades Autónomas. En síntesis, se
pretende exponer la experiencia del desarrollo de un sistema de evaluación en Catalunya
a modo de buenas prácticas para aquellas Administraciones que decidan iniciar –o
reestructurar- su sistema de evaluación, es decir, su modelo particular de
institucionalización de la evaluación.
¿Qué es Ivàlua? ¿Quién lo forma? ¿Para qué sirve? ¿Qué misión tiene? Estas son
varias de las preguntas que saltan a la mente cuando se intenta describir esta institución.
El Institut Català d’Avaluació de Polítiques Públiques18
es un consorcio público,
dotado de personalidad jurídica propia, constituido por los diferentes niveles de la
Administración autonómica además de diversas instituciones públicas y del tercer
sector. Así pues, Ivàlua actualmente está compuesto por:
17
La constitución formal de Ivàlua data de octubre del año 2006 pero no es hasta 2008 cuando se
materializa el Instituto de Evaluación. 18
Para ampliar información sobre Ivàlua, véase http://www.ivalua.cat/generic/static.aspx?ID=668&
(acceso: 22/01/2014).
36
- La Generalitat Catalana, a través del Departamento de Economía y
Conocimiento, como primer nivel de la Administración y la Diputación de
Barcelona representando al nivel de la Administración local;
- Además, Ivàlua, cuenta con la asistencia experta de la Universidad Pompeu
Fabra y del Consejo Interuniversitario de Cataluña;
- Los intereses económicos y sociales encuentran su representación dentro del
Instituto a través del Consejo de Trabajo Económico y Social de Cataluña
(CTESC); y, por último,
- La Fundación Jaume Bofill representa a las entidades sin ánimo de lucro.
Gráfico 4. Composición y relación del personal de Ivàlua
Fuente: Elaboración propia.
Concretamente las instituciones fundadoras de Ivàlua fueron el Departamento de
Economía y Conocimiento, la Diputación de Barcelona, la Universidad Pompeu Fabra
37
y la Fundación Jaume Bofill. Esta multiplicidad y transversalidad de instituciones, y
por lo tanto de actores, además de la profesionalidad de las personas analistas
trabajadoras en los mismos, ha hecho de la labor evaluadora de Ivàlua una experiencia
completa e implicada. Pese a que la composición del consorcio es considerada uno de
los puntos fuertes de esta experiencia, presenta un “anclaje institucional algo débil que,
aunque le otorga una cierta independencia (…) puede comportar un déficit de
autoridad” (Lázaro, 2012: 32).
La misión del Instituto versa en torno a la promoción de la evaluación de
políticas públicas y de programas del tercer sector social en Catalunya, para mejorar su
efectividad, la eficiencia y la transparencia hacia la ciudadanía. Contribuyendo así a la
generación de un “sistema de evaluación donde ésta sea una práctica ordinaria y
continuada, plenamente interiorizada por las propias administraciones como
instrumento de mejora interna, pero también de rendición de cuentas” (Lázaro,
2012:32).
El objetivo general del Instituto es que los resultados extraídos de las
evaluaciones realizadas se utilicen de forma efectiva y verificable por parte de los
cargos electos, directivos y gestores de los programas, contribuyendo así al debate
público sobre las soluciones más efectivas y eficientes para los problemas sociales.
Todo a través de seis criterios de actuación: independencia y objetividad; rigor e
innovación técnicas; focus en sectores y programas de especial relevancia; implicación
activa de las administraciones y tercer sector; trabajo en red con organismos de
evaluación y con evaluadores cualificados; transparencia de las actuaciones que se
llevan a cabo.
En Catalunya, bajo un contexto de no-impulso de la evaluación y un
conglomerado de normativa vinculante en materia de evaluación de dudosa aplicación,
Ivàlua se dispone a realizar su trabajo a través de cuatro líneas estratégicas:
La primera de ellas, actividad de investigación y evaluación, pretende abordar
los siguientes cuatro puntos: la realización directa por parte de Ivàlua de evaluaciones
en materias que responden a prioridades de las administraciones o con posible efecto
ejemplar; realizar asesoramientos a organismos del sector público y tercer sector para la
realización interna de evaluaciones o su encargo externo; desarrollar actuaciones
38
preparatorias de evaluación en ámbitos sectoriales prioritarios: confección de agendas
de evaluación, mejora de condiciones de evaluabilidad, sistemas de información, etc.; y,
por último, participar en otros proyectos de investigación que permitan profundizar en
el conocimiento sobre la efectividad de políticas públicas y de programas sociales en
sectores prioritarios para las administraciones.
A través de la segunda línea estratégica, formación y recursos, Ivàlua se
compromete a realizar acciones de formación de evaluadores en métodos cuantitativos y
cualitativos de evaluación, evaluación de impacto y evaluación económica; así como a
elaborar y difundir recursos sobre métodos y técnicas de evaluación que se ofrecen a las
entidades del sector público y del tercer sector para facilitar su labor evaluadora.
La tercer línea estratégica del Instituto, promoción, tiene como objetivo realizar
acciones de información, formación introductoria y sensibilización de directivos,
técnicos, agentes sociales y ciudadanía, para fomentar una disposición favorable a la
evaluación como práctica habitual de buen gobierno; así como actuaciones de difusión
de los resultados de las evaluaciones, especialmente entre decisores del sector público,
personas expertas y sectores implicados, para fomentar el debate y su utilización en la
toma de decisiones.
Por último, a través de la línea estratégica evaluación de la evaluación, Ivàlua se
compromete a realizar un seguimiento de la aplicación de los resultados de las
evaluaciones realizadas y de sus efectos; y el seguimiento de la evolución general de la
evaluación en las administraciones catalanas.
En relación a estas líneas estratégicas puntualizar que el alcance de la cobertura
de aquellas acciones relacionadas con sensibilización, capacitación y evaluación, así
como el seguimiento, es limitado y una tarea que el Instituto quiere mejorar a través de
la “colaboración con ámbitos de investigación académica y práctica profesional
evaluadora, y así como facilitar y fomentar la interacción entre éstos y la
administración” (Lázaro, 2012:34).
El público objetivo de las actividades realizadas por el Instituto está compuesto
por los distintos niveles de la administración pública catalana; entidades del sector
público autonómico y local; entidades del tercer sector social; universidades; centros de
investigación, institutos universitarios e investigadores individuales que trabajan en el
análisis y la evaluación de políticas públicas; empresas, entidades o expertos
individuales que ofrecen servicios de evaluación en el sector público; así como aquellas
39
entidades de representación de intereses sociales y económicos y a la ciudadanía en
general. En síntesis, las actividades de Ivàlua están enfocadas para la ciudadanía y
agentes sociales que, mediante la evaluación, deseen conocer el funcionamiento y
resultados de la acción de gobierno, así como de sus alternativas de intervención.
Añadir a esta descripción general del Institut Català d’Avaluació de Polítiques
Públiques, dos experiencias en las cuales participa y suponen un avance para la
institucionalización de la evaluación en la Administración Pública Catalana y Estatal.
La primera de ellas es la Red de unidades de análisis y evaluación en las
administraciones autonómica y local catalanas19
. Dicha Red, de naturaleza informal,
establece un espacio abierto de comunicación, intercambio de experiencias y reflexión
como estímulo para el desarrollo de la evaluación. La segunda experiencia, iniciada en
noviembre de 2009, es el Grupo de trabajo de las administraciones general,
autonómica y local para el impulso de la evaluación20
. Este grupo está compuesto,
además de por la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de
los Servicios (AEVAL), por las CCAA de Castilla y León, Cataluña, Extremadura, Islas
Baleares, Navarra, País Vasco y Valencia, así como por la Federación Española de
Municipios y Provincias (FEMP). Coordinado por Ivàlua, este grupo tiene por
objetivos: identificar elementos clave para el desarrollo de la evaluación en los ámbitos
competencia de los miembros del grupo; intercambiar información sobre estrategias y
actividades concretas; así como, desarrollar proyectos conjuntos que permitan
aprovechar de forma eficiente las capacidades, experiencias y recursos. Este grupo es un
signo positivo, así como un instrumento clave, para el proceso de institucionalización de
la evaluación en las Administraciones.
A continuación, se expone el estudio de la Institucionalización de la Evaluación
en las Políticas Públicas a través del Instituto Ivàlua mediante el análisis de las
entrevistas focalizadas junto con la revisión de la bibliografía en materia de Evaluación.
Es decir, la codificación del corpus único21
y su posterior análisis.
19
Formada por 30 organismos públicos catalanes: http://www.ivalua.cat/generic/static.aspx?ID=534&
(acceso:22/01/2014) 20
Para ampliar información véase: http://www.ivalua.cat/generic/static.aspx?id=1002 (acceso:
22/01/2014) 21
Corpus compuesto por la bibliografía en materia de Evaluación y de Institucionalización, así como por
el material del trabajo de campo al realizar las entrevistas focalizadas (transcripciones y anotaciones).
40
3.1 como modelo de institucionalización de la
evaluación de políticas públicas.
Analizar la Institucionalización de la Evaluación de las Políticas Públicas a
través del caso de Ivàlua, ha supuesto la revisión de referencias bibliográficas en
materia de Evaluación y el desglose de las transcripciones de las entrevistas focalizadas
realizadas. La codificación de todos los registros obtenidos se desarrolló mediante la
adjudicación de relevancia a estudio: el proceso de Institucionalización.
La realización de la codificación abierta (open coding), ha permitido identificar
las dimensiones centrales del análisis del proceso de Institucionalización y, por lo tanto,
del estudio de caso de Ivàlua. Cinco son los códigos que se han considerado necesarios
para fomentar el proceso de Institucionalización de la Evaluación en las
Administraciones Públicas. La siguiente codificación, llamada axial (axial coding), ha
permitido identificar las relaciones entre los códigos abiertos agrupándolos en dos fases
dentro del proceso de Institucionalización de la Evaluación. Y, por último, el desarrollo
de la categoría central (selective coding) dada por las relaciones anteriormente
mencionadas y que se explicarán a continuación.
Como se ha mencionado anteriormente (vèase pág. 24), se han detectado dos
fases en el proceso de Institucionalización de la Evaluación de las Políticas Públicas.
La primera fase (primera axial coding), llamada “Institucionalización ex ante”
refleja los primeros pasos de la Evaluación hacia su Institucionalización. Esta fase se
compone de dos pasos básicos (open coding): la integración de la Evaluación dentro de
la gestión pública, por un lado, y la estabilidad de la misma, por el otro.
Referente a la integración de la misma, de una manera sistemática en la gestión
pública (primer open coding), se puede observar a través de los discursos de las
personas informantes clave, que existe tanto interés por la evaluación como instrumento
de mejora como interés por ensayar fórmulas novedosas para incluir la evaluación en la
cultura administrativa.
En primer lugar, se destaca la composición propia de Ivàlua. Composición que
las diferentes personas entrevistadas definen de la siguiente manera:
<<Ivàlua es una institución bastante original. Lo es por su arquitectura institucional,
como por la misión que tiene. Porque en el entorno internacional lo que normalmente
encontramos son entidades que están adscritas a un poder del Estado. Normalmente, al
Ejecutivo, a veces al Parlamento. A veces, conviven entidades de evaluación con los dos,
eh? Aquí, en cambio, nos encontramos con un consorcio público que incluye dos niveles de
41
Administración – regional y local- y, que además, incorpora Universidades e incorpora
agentes sociales, además de la Fundación Bofill…>> Entrevista-Dirección.
<< (...) aceptando que es necesario evaluar lo que hacemos (...) cómo transitar hasta aquí,
¿no? Entonces, la fórmula ésta de crear un observatorio participado por un conjunto de
instituciones, me parece una buena fórmula. >> Entrevista-Administración I.
<< (…) es novedoso el encaje institucional del Instituto vía consocio público de las
Administraciones, Universidades y agentes sociales. Ahora bien, ¿quién manda? Pues, no
somos del Gobierno pero tampoco somos totalmente independientes. >> Entrevista-
Analista II.
En segundo lugar, se destaca como un instrumento muy valioso del proceso de
integración la forma mediante la cual Ivàlua establece sus relaciones con las diferentes
Administraciones y entidades a la hora de realizar las evaluaciones: el convenio. El
convenio, tal y como es definido por las personas informantes, consiste en:
<< (…) hemos evitado actuar como proveedores de la Administración. (…) pensé que la
vía del contrato no era la adecuada sino que debíamos actuar vía convenio, ¿eh? Para
situarnos al mismo nivel que las Administraciones como un socio, ¿eh? Que, con la
contraparte administrativa, se pone a hacer un proyecto común. Una evaluación debe ser
un proyecto compartido entre la Administración competente del programa a evaluar y, en
este caso, pues Ivàlua. A los dos nos interesa promover la evaluación de ese proyecto y
debemos colaborar necesariamente para que salga bien. >> Entrevista-Dirección.
<< A través del convenio no somos ni proveedores, ni clientes. Se refuerza el papel de
evaluadores ya que se vehicula una colaboración a través del convenio ya que el
presupuesto lo permite. Es decir, la Administración aporta un 80% del presupuesto para
poder realizar la evaluación e Ivàlua, por su parte, aporta un 20%. Esta vinculación nos
está dando muy buenos resultados y refuerza la calidad de las evaluaciones hechas por el
Instituto. >> Entrevista-Analista II.
La integración de la evaluación dentro de la gestión pública dotará a Ivàlua de
una cierta estabilidad (segundo open coding). Esta estabilidad puede observarse a lo
largo de los diversos discursos de las personas informantes pertenecientes a la
Administración que la dota de partida presupuestaria y que, a su vez, es la
Administración más usuaria de Ivàlua: el Departamento de Economía y Conocimiento
de la Generalitat Catalana. Esta administración considera a Ivàlua como:
<< (…) un instrumento, digamos, de apoyo con toda la política de evaluación de las
políticas públicas de la Generalitat. >> Entrevista- Administración II.
La visión positiva de la Administración hacia la evaluación, hace que se refuerce
la voluntad política de evaluar y, por tanto, supone un apoyo muy importante a la labor
realizada por Ivàlua. Este apoyo es apreciado y sentido por las personas pertenecientes
al Instituto.
<< El Gobierno actual está seriamente comprometido con la evaluación (…)>>
Entrevista-Dirección.
<< (…) el papel de Ivàlua no es un papel de un operador que sólo hace evaluaciones. Lo
que me parecería un papel muy limitado y pienso que no solucionaría los problemas. >>
42
Entrevista-Administración I.
<< El proyecto de Ivàlua, digamos, que puede ser un proyecto muy solvente. >>
Entrevista-Administración I.
<< La misión de Ivàlua es una misión que pienso que está bien enfocada, y en el
departamento donde estoy, el Departamento de Empresa y Ocupación, igual que otros
departamentos de la Generalitat, que somos usuarios, creo que Ivàlua ha de hacer este
papel; no tanto de evaluar nuestras políticas a hacer, que también, pero sobre todo,
digamos, ayudarnos a construirnos a saber el papel de la evaluación: cómo se internaliza
en la organización. Por internalizar quiero decir que entre la nueva consciencia de la
Gestión Pública adecuada, buena y solvente. >> Entrevista-Administración I.
<< (…) no es un objetivo, digamos, depender menos de Ivàlua, sino un poco todo lo
contario: ir reforzando Ivàlua como la Agencia de Evaluación de referencia en
Catalunya.>> Entrevista-Administración II.
<< Este enclave, o posicionamiento, nos dota de una estabilidad que da fuerza a nuestro
trabajo durante los últimos cinco años. Aunque el Instituto ha sufrido recortes del
Departamento de Economía de la Generalitat, se han posicionado como los principales
demandantes de nuestros servicios. >> Entrevista-Analista II.
Se observa, pues, que existe una voluntad política clara por tomar en
consideración la evaluación al integrarla gradualmente, con un uso instrumental, en los
planteamientos de sus programas y políticas públicas. De este modo, se asegura la
estabilidad necesaria para el desarrollo de la Institucionalización de la Evaluación.
Además, tanto su composición como la vinculación vía convenio, como más tarde se
comentará, no se consideran solamente como mecanismos de entrada dirigidos a la
integración de la Administración, sino que estos mecanismos influyen asimismo en el
resultado final de las evaluaciones. La composición de Ivàlua y el convenio son sus
mayores aportaciones al mundo de la Institucionalización de la Evaluación de las
Políticas Públicas.
La segunda fase del proceso de Institucionalización de la Evaluación en las
Políticas Públicas (segunda axial coding), llamada “Institucionalización On going”
refleja los pasos necesarios para mantener la Evaluación como un instrumento necesario
dentro de la cultura administrativa. Esta fase se compone de tres aspectos básicos (open
coding): la promoción de la cultura evaluadora; la profesionalidad de las personas
analistas; y, por último, la legitimidad del trabajo realizado.
Referente a la promoción de la cultura evaluadora (tercer open coding),
Ivàlua considera la promoción, y también la formación, como bandera de su trabajo y un
signo propio de identidad. Como ya se ha mencionado, la promoción de la cultura
evaluadora, ya sea en las Administraciones públicas como en entidades de todo tipo, es
43
la principal línea de trabajo del Instituto para potenciar la demanda de evaluaciones. Es
decir, explicar qué es la evaluación, para qué sirve y cómo desarrollar un adecuado
trabajo de evaluación, es la tarjeta presentación y de entrada a las Administraciones para
animarles a evaluar e inducir nuevas demandas:
<< (…) Ivàlua se diseña como una institución que está orientada a promover la
evaluación, no tanto a evaluar, todo y aunque también evalúa. >>
Entrevista-Dirección.
<< (...) promover la evaluación ofrece muchísimas más posibilidades porque es,
precisamente, trabajar en sensibilización, en capacitación, en evaluación, pero buscando
siempre un punto de conexión con la Administración (…) >>
Entrevista-Dirección.
<< (…) el papel de Ivàlua no es un papel de un operador que sólo hace evaluaciones. Lo
que me parecería un papel muy limitado y pienso que no solucionaría los problemas. (…)
Su papel fundamental es inocular y, por lo tanto, propagar en las organizaciones públicas
esta necesidad y dar las herramientas necesarias para que la evaluación se pueda ir
incorporando a las organizaciones públicas. >> Entrevista-Administración I.
Dentro de la promoción de la cultura evaluadora se incluyen también temas
relacionados con la formación y con la difusión de los resultados de las evaluaciones
que se van realizando. En materia de formación, las personas vinculadas a la
Administración ven esta labor como una parte fundamental de Ivàlua:
<< (...) elaboración de guías, elaboración de cursos de niveles diferentes, digamos, dentro
de los propios departamentos de manera específica, digamos ad-hoc, (…) de un área
determinada para implantar la evaluación. Todo esto a mí me parece, digamos, la fórmula
correcta para abordarlo. >> Entrevista-Administración I.
<< (…) el proceso de cambio cultural dentro de la organización, ya sea con el apoyo a la
formación del personal. Nosotros detectamos también cuáles son las necesidades
formativas en temas de evaluación (…) y a través de Ivàlua, pues, organizamos cursos de
formación. >> Entrevista-Administración II.
Las personas del Instituto entienden la formación como una práctica necesaria
para la promoción de la evaluación, pero a la vez como una puerta de entrada a las
instituciones públicas, ya que puede derivar en una demanda concreta de evaluaciones:
<< Hay cursos de introducción o más avanzados, de corte cualitativo o cuantitativo (…)
Además de la oferta regular cursos de Ivàlua se le suma los cursos por encargo: gente de
un Departamento, o de algún Ayuntamiento o Institución, tiene interés, o su equipo, de
saber qué es la evaluación, qué estamos haciendo, en qué consiste (dependiendo del ámbito
que toque), ¿no? Pues, eso nos viene muy bien porque es una puerta de entrada a las
instituciones públicas. >> Entrevista-Analista I.
Por otro lado, la difusión de los resultados de las evaluaciones realizadas es un
tema necesario para fomentar la cultura de la evaluación, que las personas informantes
valoraban como:
<< (…) toda la vertiente de la difusión, de poner en valor que la evaluación no es sólo una
cuestión técnica sino que también tiene una vertiente muy importante, como instrumento
importante de calidad democrática. >> Entrevista-Dirección.
44
<< (…) a parte de la formación, también en la difusión de la cultura de la evaluación
participamos conjuntamente con Ivàlua en Jornadas y Congresos, como asistentes o como
ponentes. >> Entrevista-Administración II.
<< (…) los recursos metodológicos son las guías y la revista de “Avaluació per al bon
govern22
”. >> Entrevista-Analista I.
<< Acciones de difusión que básicamente, pues, seguimos por Jornadas, ¿no?, de temática
diversas: ámbito educativo, social, etc. Y también, junto a las Jornadas, hemos hecho
presentaciones de informes y estudios que hemos ido haciendo durante estos cinco años,
para que la Administración tome consciencia de rendir cuentas ante la ciudadanía. >>
Entrevista-Analista I.
<< Esta función de difusión de los resultados es bastante importante ya que evaluar, como
aplicación práctica, supone la influencia sobre las decisiones de la eficiencia y la
legitimidad de una política pública. >> Entrevista-Analista II.
La profesionalidad de las personas analistas que trabajan en Ivàlua (cuarto open
coding), es un tema clave en el proceso de Institucionalización de la Evaluación. Este
aspecto, junto con el enclave administrativo, eran dos puntos que las personas
informantes valoraban positivamente de Ivàlua. La profesionalidad, como primer paso
hacia la legitimidad, viene definida por la preparación de las personas analistas que
trabajan en el Instituto, así como por el grado de independencia a la hora de realizar su
trabajo de evaluación. Desde Ivàlua, el mensaje sobre la profesionalidad en torno a la
preparación de las personas trabajadoras era el siguiente:
<< Mi experiencia en Ivàlua, claramente, me ha hecho ver que una persona, un evaluador,
sobre todo si estamos hablando de una evaluación de efectividad, ha de ser una persona
con un bagaje investigador importante. Si no, es muy difícil hacer buenas evaluaciones, al
menos aquellas que son metodológicamente más sofisticadas. >> Entrevista-Dirección.
<< Ivàlua tiene un magnífico equipo que ha quedado allí, que es el principal activo del
instituto. Estando ese equipo allí, yo pienso que la continuidad y el seguir potenciando la
evaluación a Catalunya, pues, creo que está asegurada en estos momentos y confío que sea
así. >> Entrevista-Dirección.
Por otro lado, el mensaje en relación al grado de independencia a la hora de
realizar una evaluación estaba muy ligado al instrumento de compromiso con la
Administración: el convenio.
Como se explicaba en el marco teórico, la credibilidad de las evaluaciones, es
decir su legitimidad, reside en una práctica profesionalizada en donde la evaluación se
realice desde entidades que no estén bajo el control de las personas responsables del
diseño y/o la implementación de la intervención a evaluar (Feinstein, 2012a). Es por
ello que junto con la profesionalidad, dentro de la fase de “Institucionalización On
22
Evaluación para el Bueno Gobierno, disponible en http://www.avaluacio.cat/ (acceso: 25/01/2014)
45
going”, el último aspecto a tener en cuenta es la legitimidad (quinto open coding) del
trabajo realizado por el Instituto y, por lo tanto, del propio Ivàlua. En primer lugar,
sobre el trabajo realizado por el Instituto en sus cinco años en funcionamiento, se han
recogido las siguientes afirmaciones:
<< Como hemos trabajado bien los aspectos de sensibilización y capacitación y demás,
pues, nos hemos ido introduciendo en esta orientación más bottom-up y nos hemos ido
encontrando contrapartes implicadas interesadas que se han dejado guiar por nosotros:
sobre cómo debían orientar el trabajo de evaluación, dejarnos acceder a los datos, etc. O
sea, hemos podido sortear la falta de autoridad obteniendo un reconocimiento, no tanto
porque formalmente seamos una Agencia legitimada para evaluar, sino porque el trabajo
que hemos hecho está muy bien hecho, bien juzgado y muy bien reconocido como un
trabajo de calidad y nos hemos ido legitimando por la acción. No tanto por cuestiones
formales. >> Entrevista-Dirección.
<< (…) inocular las necesidades y, además, ayudarles a poder llevarlas a cabo. Es el
papel básico a realizar, y pienso que Ivàlua lo hace exitosamente. >>
Entrevista-Administración I.
<< (…) se ha hecho un trabajo muy bien hecho y eso hace que la gente les tenga como un
referente de calidad. Eso es muy importante. Que tenga credibilidad con sus evaluaciones,
eso es fundamental. Yo pienso que lo ha conseguido. >> Entrevista-Administración II.
<< (…) el boca-oreja es muy importante. Como antes te he comentado, la confianza que
obtenemos de nuestros socios al realizar una evaluación hace que, normalmente, vuelvan a
realizar más evaluaciones con nosotros y nos recomienden. >> Entrevista-Analista II.
Y en segundo lugar, por la vinculación vía convenio que mantiene un alto grado
de independencia en las evaluaciones. Así pues, Ivàlua se percibe así misma de la
siguiente manera;
<< Por su grado de independencia y por su rigor, fundamentalmente por el trabajo de los
analistas, se puede diferenciar una organización dedicada a la evaluación. Ivàlua es una
entidad autónoma que dice lo que cree conveniente en cada momento. Esa es la virtud. >>
Entrevista-Analista I.
A través de los fragmentos de las conversaciones, se ha pretendido
contextualizar y fortalecer el proceso de Institucionalización de la Evaluación detectado
(categorización principal-selective coding), tanto en el material bibliográfico como en
los discursos de las personas relacionadas con Ivàlua. De este modo, se observa como
Ivàlua cumple todos y cada uno de los criterios establecidos (axial coding y open
coding). Se puede concluir que el Institut Català d’Avaluacions de Polítiques Públiques
(Ivàlua) supone un caso exitoso de Institucionalización de la Evaluación de las Políticas
Públicas. Ahora bien, para poder seguir con su labor de promoción de la Evaluación
dentro de la gestión pública catalana deberá superar los retos que se le proponen desde
su comienzo, así como potenciar las características tan novedosas que lo conforman.
46
3.2 La institucionalización de la evaluación: aportaciones y
potencialidades vs dificultades y retos
El modelo de Institucionalización de la Evaluación de las Políticas Públicas
expuesto a través del caso de Ivàlua, muestra una serie de puntos fuertes y débiles a
tener en cuenta. A continuación, se expondrán las aportaciones de Ivàlua al mundo de la
Institucionalización de la Evaluación, así como las dificultades que se le plantean. Para
ello, fragmentos de las entrevistas focalizadas serán utilizados para contextualizar y
esclarecer los elementos a explicar.
Las aportaciones que realiza Ivàlua como modelo de Institucionalización de la
Evaluación de las Políticas Públicas son, principalmente, dos: su composición y la
vinculación de trabajo escogida, el convenio.
Su composición es una situación novedosa en el ámbito de la
Institucionalización de la Evaluación: el encaje institucional a través de un consorcio
público23
, dotado de personalidad jurídica propia, constituido por diferentes niveles de
la Administración además de diversas instituciones públicas y del tercer sector. No sólo
su composición resulta una aportación innovadora, la vinculación para la realización de
evaluaciones mediante convenio es, sin duda, un aspecto a destacar y potenciar.
Retomando las declaraciones anteriormente citadas,
<< A través del convenio no somos ni proveedores, ni clientes. Se refuerza el papel de
evaluadores ya que se vehicula una colaboración a través del convenio, ya que el
presupuesto lo permite. Es decir, la Administración aporta un 80% del presupuesto para
poder realizar la evaluación e Ivàlua, por su parte, aporta un 20%. Esta vinculación nos
está dando muy buenos resultados y refuerza la calidad de las evaluaciones hechas por el
Instituto. >> Entrevista-Analista II.
La vinculación entre Ivàlua y los demandantes de evaluaciones a través del
convenio asegura una relación colaborativa, no contractual, reforzando la calidad de la
evaluación a realizar y la legitimidad de la misma.
Junto a las aportaciones que brinda el modelo Ivàlua de Institucionalización, se
pueden destacar también dos potencialidades que el Instituto encontrará en su futuro.
23
Consorcio formado por la Generalitat Catalana, a través del Departamento de Economía y
Conocimiento, como primer nivel de la Administración y la Diputación de Barcelona representando al
nivel de la Administración local; la asistencia experta de la Universidad Pompeu Fabra y del Consejo
Interuniversitario de Cataluña; el Instituto a través del Consejo de Trabajo Económico y Social de
Cataluña (CTESC); y, por último, la Fundación Jaume Bofill representa a las entidades sin ánimo de
lucro.
47
La primera de ellas, viene de la mano del nuevo Presidente de Ivàlua, Frederic Udina el
también director del Instituto de Estadística de Catalunya, quien tiene un proyecto de
creación de un sistema de producción estadística que, de aplicarse, mejorará la
evaluabilidad de las políticas públicas de Catalunya. La segunda potencialidad que
beneficiaría a Ivàlua es el llamado Acuerdo de Gobierno de la Generalitat Catalana, de
naturaleza normativa, el cual obliga desde el año 2011 a que aquellos proyectos que
superen una dotación de 10 millones de euros realicen un informe de impacto
económico y social de su implantación. Aquí el papel de Ivàlua sale reforzado ya que:
<< (…) para nosotros, pues, Ivàlua entonces es un apoyo (…) técnico de este proceso de
implantación de la generalización de la evaluación económica a toda la, a todo el grueso
de la Generalitat Catalana. >> Entrevista-Administración II.
Ante este panorama de oportunidades, cabe recordar la profesionalidad de las
personas que trabajan en Ivàlua, como un punto fuerte más a añadir a esta lista.
En cambio, las dificultades que Ivàlua encuentra a la hora de aplicar su modelo
de Institucionalización de la Evaluación de las Políticas Públicas son, principalmente, la
reducción o limitación presupuestaria que han sufrido en los últimos años, por un lado;
y, el tamaño de la propia institución, por otro.
En el momento económico actual, la reducción presupuestaria en cualquier
ámbito de las Administraciones es un hecho constatable. Ivàlua no ha sido ajena a este
proceso, pero pese a que ha notado la reducción de su partida presupuestaria, este
recorte no ha comportado una importante limitación de sus capacidades evaluadoras.
Ahora bien, como explica una de las personas informantes vinculada a la
Administración:
<< (…) las finanzas de la Generalitat son las que son, por lo tanto, eso, bueno, pues yo
diría que obliga a un proceso de desaceleración de ciertas dinámicas. >>
Entrevista-Administración I
La segunda dificultad que encuentra Ivàlua en el desarrollo de sus actividades es
su propio tamaño. A continuación, se exponen los fragmentos discursivos más
característicos sobre este hándicap:
<< (…) hoy en día, tiene pocos recursos. Hay poca gente, hay pocos analistas. (…) están
súper especializados en temas concretos y, claro, dentro de la Generalitat hay multi-
políticas (…) >> Entrevista-Administración II.
<< (…) no quiero decir que la Agencia se deba dotar de una superestructura, si no que
puede ser, pues, que tenga que hacer más evaluaciones propias, y hacerlas con recursos
internos o mediante una red con las Universidades. Lo único es que tenga todos los
recursos dentro, ¿no? >> Entrevista-Administración II.
48
<< La debilidad de Ivàlua es su tamaño. Somos un equipo de profesionales analistas muy
pequeño especializado en pocas áreas. >> Entrevista-Analista II.
Por último, el trabajo de investigación realizado ha permitido también identificar
los retos que se le plantean a Ivàlua en su futuro. Por un lado, la búsqueda de palancas
para acelerar la integración de la evaluación en la gestión pública; y, por otro lado, la
falta de autoridad que se puede llegar a derivar por la composición del consorcio
público.
Para afrontar la lenta integración de la evaluación en la gestión pública catalana,
desde Ivàlua se plantean la búsqueda de mecanismos que puedan acelerar este proceso
de integración. La visión de las personas que integran, o integraban, Ivàlua sobre este
reto es la siguiente:
<< La Administración catalana era y es una Administración aún bastante burocrática.
Bastante burocrática con algunas unidades con una cultura ya más de New Public
Management gerencialista pero, en gran parte, es una Administración muy Antigua y muy
orientada a... vacía de una cultura genérico-administrativa. (...) Por lo tanto estaba muy
claro que si nos poníamos directamente a querer evaluar, nos íbamos a encontrar unas
barreras muy importantes para poder avanzar. Barreras de todo tipo: barreras de cultura;
barreras administrativas, tanto en los cargos públicos y los propios funcionarios; barreras
en cuanto a las condiciones técnicas necesarias para poder evaluar, disponibilidad de
datos (…) >> Entrevista-Dirección.
<< Se empieza a consolidar un interés bastante estructurado por la evaluación, sobre todo
en el caso de las políticas de ocupación. Y en esta Agencia embrionaria, el reto es cómo
hacerlo avanzar. >> Entrevista-Analista I.
<<lo más crucial es que haya algún tipo de presión externa que puede venir de la mano de
la financiación. Quiero decir, que a parte del dinero que llega del departamento (…) pidan
este tipo de análisis. A veces, esta palanca de fuerza viene de fuera: de la Unión Europea,
sobre todo en el campo de las políticas activas de empleo, dónde la presión viene de la
Comisión Europea. Esto exige que gente de Catalunya y del resto del Estado, empiecen,
pues, a relacionarse de manera activa con la evaluación. >> Entrevista-Analista I.
El segundo reto identificado, tras la realización del estudio de caso, versa sobre
una aportación que Ivàlua hace al ámbito de la Institucionalización de la Evaluación: la
composición del consocio público. Esta composición, según las personas implicadas en
Ivàlua, entraña un riesgo ya que podría llegar a derivar en falta de autoridad debido a la
carencia de un anclaje institucional claro:
<< No estamos adscritos a la Generalitat, ni estamos adscritos a la Diputación de
Barcelona, ni somos tampoco un centro de investigación bajo el paraguas de una
Universidad. Somos una cosa diferente, y eso puede comportar un déficit de autoridad,
¿eh? No somos nosotros quién para evaluar nada si la otra parte no se deja, ¿eh? Por lo
tanto, hemos trabajado siempre por intentar inducir la demanda de evaluaciones. No
hemos podido imponer evaluaciones porque tampoco pensábamos que fuese lo adecuado.
>> Entrevista-Dirección.
49
Este conjunto de factores, positivos y negativos, es el escenario con el que
Ivàlua, junto con su nueva dirección y presidencia, deberá lidiar para promover la
evaluación en la gestión pública catalana y seguir avanzando en su institucionalización.
50
CONCLUSIONES
Al objeto de analizar la Institucionalización de la Evaluación de Políticas
Públicas en las Administraciones del Estado Español, se ha realizado un breve estudio
de caso sobre el que se considera un modelo novedoso: el Institut Català d’Avaluació
de Polítiques Públiques (Ivàlua); siendo éste el objetivo del trabajo de fin de máster
realizado. Para ello era necesario, en primera instancia, asociar la teoría de la
Evaluación de las Políticas Públicas en torno a la Institucionalización de la misma, para
profundizar en el conocimiento de la gestión de la Evaluación por parte de dicho
Instituto. Gestión explorada a partir del desglose de las transcripciones de las entrevistas
focalizadas realizadas.
La codificación de los registros obtenidos permitió abordar el análisis el objeto
de estudio de caso: el proceso de Institucionalización de las políticas públicas a través
de Ivàlua. Una vez detallado el proceso, se han expuesto las potencialidades,
dificultades y los retos de futuro identificados igualmente en el discurso de las personas
implicadas en el desarrollo de Ivàlua.
En base al análisis de la Institucionalización de la Evaluación de Políticas
Públicas en las Administraciones catalanas a través de la labor de Ivàlua, se han
detectado las contribuciones que éste modelo de gestión aporta a los problemas a los
que se enfrenta la Institucionalización de la Evaluación de Políticas Públicas y como se
recoge en la revisión teórica con la que se inicia este trabajo de fin de máster.
La Institucionalización de la Evaluación de Políticas Públicas se enfrenta a dos
factores que ralentizan su desarrollo: el bajo nivel de cultura evaluadora instaurado en
las instituciones públicas (si es que lo hay), por un lado; y, el encaje institucional, el
lugar que ocupa el organismo encargado de realizar las evaluaciones de las Políticas
Públicas dentro del complejo entramado institucional.
En primer lugar, como anteriormente se ha especificado, una condición esencial
para la introducción de la Evaluación de Políticas Públicas en las Administraciones de
cualquier Ejecutivo es la existencia de una cultura evaluadora en las mismas. Es decir,
el reconocimiento por parte de las Administraciones de que la Evaluación es un
instrumento legítimo de rendición de cuentas ante la ciudadanía y, por tanto, un síntoma
51
de calidad democrática. Ahora bien, para que se introduzca la cultura evaluadora en el
seno de las Administraciones de necesitará de un cambio cultural radical en la gestión
de la misma (hacia la New Public Management), el cual tiene que ir acompañado de una
voluntad política respaldando la evaluación. Ivàlua, desde su creación en el 2006, ha
hecho del fomento de la cultura evaluadora, su bandera. Conscientes de las barreras que
supone la falta de una cultura evaluadora en las Administraciones, han trabajado muy
especialmente en la promoción de la Evaluación a través de la formación y la difusión
de los resultados de las evaluaciones que se van realizando, todo ello como
instrumentos de inoculación de la evaluación en las Administraciones.
En segundo lugar, el enclave institucional que adquiere aquel organismo
encargado de realizar las evaluaciones de las Políticas Públicas puede suponer un
problema. Como ya se ha detallado, muchas de las experiencias existentes tienden a
ubicar al órgano evaluador dentro del poder Ejecutivo o en el poder Legislativo, o
incluso en ambos. Este enclave puede llegar a desarrollar tres situaciones que van en
detrimento de la evaluación: en primer lugar, la obligación de evaluar puede derivar en
una concepción negativa de la evaluación si no se refuerza, al mismo tiempo, la
promoción de la Evaluación y la formación; en segundo lugar, puede llegar a derivar en
falta de independencia en la realización de las evaluaciones con consecuencias
desfavorables en la objetividad que la actividad evaluadora necesita; y, en tercer lugar,
puede dañar la legitimidad de las evaluaciones realizadas y, por lo tanto, del propio
organismo evaluador. Ivàlua, supera estas tres situaciones gracias a dos elementos. El
primero de ellos es su novedosa composición, su particular enclave institucional vía
consorcio público con personalidad jurídica propia. Pese a que este enclave pueda
derivar en una falta de autoridad en un ambiente reacio a la integración de la evaluación
en las Administraciones, el Instituto trabaja, de manera muy intensa, la línea de
promoción, la formación y el desarrollo de una cultura evaluadora para cambiar (poco a
poco) la cultura administrativa. Este enclave, junto con la vinculación vía convenio de
colaboración para la realización de las evaluaciones en las Administraciones, derrumban
el prejuicio de la falta de independencia en la realización de la evaluación. Evitar la
relación contractual y, por lo tanto, de proveedor, sitúa a demandante y evaluador en el
mismo plano: socios de mutuo acuerdo, con un acuerdo de colaboración. Acuerdo que,
sumado con la labor del personal cualificado y profesional de Ivàlua, hacen de su
trabajo (sus evaluaciones) una referencia en cuando a calidad en materia de evaluación.
Es decir, su propio trabajo les legitima.
52
A lo largo del presente trabajo se han establecido las bases para el posterior
estudio sobre el proceso de Institucionalización de la Evaluación de Políticas Públicas a
lo largo del Estado Español, queriéndose ampliar la muestra de las Agencias
evaluadoras a investigar, así como la realización de una mayor profundización de la
gestión evaluadora estatal. A través de una real Institucionalización de la Evaluación de
Políticas Públicas se puede alcanzar la transparencia en la gestión administrativa,
actualmente tan aclamada por la ciudadanía.
53
REFERENCIAS BIBLIOGRÁFICAS
AEVAL (2013) “Plan de Acción 2013”, Agencia Estatal de Evaluación de las Políticas Públicas y
Calidad de los Servicios, Ministerio de Hacienda y Administraciones Públicas,
http://www.aeval.es/export/sites/aeval/comun/pdf/agencia/Plan_de_Accion_2013.pdf (acceso:
12/1/2014).
Aguliar, Luis F.; Bustelo, María (2010) “Gobernanza y evaluación: una relación potencialmente
fructífera.” Revista Gestión y Análisis de Políticas Públicas, Nueva Época, Nº 4 julio –
diciembre, pp. 1-22.
Alvira Martín, Francisco (1991) Metodología de la Evaluación de Programas. Madrid: CIS.
Ballart, Xavier (1993) “Evaluación de políticas (Marco conceptual y organización institucional).” Revista
de estudios políticos, Nº 80, pp. 199-223. ------ (1996) “Modelos teóricos para la práctica de la evaluación de programas,” en Brugué, Q. y Subirats,
J. (eds.) Lecturas de gestión pública. Madrid: Instituto Nacional de Administración Pública
------ (1992) ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de
caso. Madrid: Ministerio Administraciones Públicas.
Beltrán Villalva, Miguel (2010) “¿Qué ha de evaluarse en las políticas públicas?.” Temas para el debate,
Nº. 192 (nov.), pp. 23-26.
Berger, Peter. L. y Luckmann, Thomas (2003) La construcción social de la realidad. Buenos Aires:
Amorrortu.
Bullen, Margaret y Pecharromán, Begoña (2005) “La antropología aplicada y el análisis de políticas
públicas sobre inmigración, inserción laboral e igualdad,” en Diez, C. y Gregorio, C. (coord.)
Cambios culturales y desigualdades de género en el marco localglobal actual. Sevilla: X
Congreso de Antropología, pp.65-83.
Bustelo Ruesta, María (2001) La evaluación de las políticas públicas de igualdad de género de los
Gobiernos Central y Autonómicos en España: 1995 – 1999. Tesis doctoral. Madrid: Universidad
complutense de Madrid, Facultad de Ciencias Políticas y Sociología, Departamento de Ciencia
Política y de la Administración II. http://pendientedemigracion.ucm.es/BUCM/tesis/cps/ucm-
t25225.pdf (acceso: 20/01/2014).
----- (2010) La experiencia europea en evaluación de políticas públicas: un momento floreciente y de
creciente consolidación.” Temas para el debate, Nº. 192 (nov.), pp. 39-41.
----- (2013) “Documento técnico sobre la credibilidad.” 3ª Conferencia Internacional sobre las
Capacidades Nacionales de Evaluación: Soluciones innovadoras a los desafíos relacionados
con la independencia, la credibilidad y el uso de las evaluaciones.
http://api.ning.com/files/NWvFMlVPFcxSGgQsShcRvwSY1KHkhar5lq8h559t1T*jeOVfhVcce
NphpCjV3pFMqbHZKivLdjG6nhiAMOcBqZXaC*uNpFmI/MARIABUSTELO_Documentoso
breCREDIBILIDAD01.pdf (acceso: 20/01/2014).
Carcedo Roces, María Luisa (2010) “La institucionalización de la evaluación en España: el caso de la
Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios.” Temas
para el debate, Nº. 192 (nov.), pp. 46-48.
COMISIÓN DE LAS COMUNIDADES EUROPEAS (2001): “Gobernanza Europea. Un libro blanco”.
COM (2001) 428 final. http://eur-
lex.europa.eu/LexUriServ/site/es/com/2001/com2001_0428es01.pdf (acceso: 12/1/2014).
Derlien, Hans-Ulrich (1998) “Una comparación internacional en la evaluación de las políticas públicas.”
GAPP, nº11-12 Enero/Agosto, pp.13-22.
Díez López, María Ángeles (2001) “Propuestas para evaluar las nuevas políticas regionales.” Ekonomiaz,
nº47, pp.182-205.
54
Díez López, María Ángeles e Izquierdo Ramírez, Beatriz (2005) “La evaluación de los Fondos
Estructurales de la Unión Europea: revisión y balance.”Ekonomiaz, nº60-2, pp.178-211.
Favell, Adrian (1997) “Citizenship and immigration: pathologies of a progressive philosophy.” New
Community, nª23(2), pp. 173-195.
------ (2000) Philosophies of Integration: Immigration and the Idea of Citizenship in France and Britain.
Houndmills, Basingstoke: Macmillan.
------ (2001) “Integration Policy and Integration Research in Europe: A Review and Critique,” en
Aleinikoff, A. y Klusmeyer, D. (eds.) Citizenship: Global perspective and practices.
Washington: Booking Institute Carnegie Endowment.
Feinstein, Osvaldo Néstor (2012) “Evaluación y gestión pública innovadora.” Ekonomiaz, nº80, 2º
cuatrimestre, pp. 138-155.
------ (2012a.) La institucionalización de la evaluación de las políticas públicas en América Latina.”
Presupuesto y Gasto Público nº68, pp. 41-52.
Feinstein, Osvaldo Néstor y Zapico-Goñi, Eduardo (2010) Evaluation of Government Performance and
Public Policies in Spain. Evaluation Capacity Development Working Paper Series nº22,
Washington, DC: The World Bank.
Gallego, Raquel; Gomà, Ricard y Subirats, Joan (eds.) (2003) Estado de Bienestar y Comunidades
Autónomas. Temas de Gestión y Administración Pública. Universidad Pompeu Fabra. Barcelona:
Tecnos.
García Ferrando, Manuel; Ibáñez Jesús; Alvira, Francisco (comp.) (2003) Análisis de la realidad social:
métodos y técnicas de investigación. Madrid: Alianza.
Garde Roca, Juan Antonio (2006) “La evaluación de políticas públicas y su institucionalización en
España.” Papeles de Evaluación, nº3, pp. 1-38.
Gil Araujo, Sandra (2004) “¿De qué hablan cuando hablan de integración? Propuesta para el análisis
comparado de las políticas de integración de inmigrantes. Los casos de Cataluña y Madrid.” VIII
Congreso Español de Sociología. Transformaciones Globales, Confianza y Riesgo. Alicante:
Federación Española de Sociología.
González Gómez, Lara (2005) La evaluación en la gestión de proyectos y programas de desarrollo. Una
propuesta integradora en agentes, modelos y herramientas. Manual de formación. Vitoria:
Cooperación Pública Vasca.
Gomà, Ricard y Subirats, Joan (coords.) (1998) Políticas públicas en España. Contenidos, redes de
actores y niveles de gobierno. Ciencia Política. Barcelona: Ariel.
Íñiguez, L (1999) “Investigación y evaluación cualitativa: bases teóricas y conceptuales.” Aten Primaria,
23(8), pp. 496-502.
Lázaro, Blanca (2012) “Estrategias para el avance de la evaluación: la experiencia catalana a través de
Ivàlua.” Presupuesto y Gasto Público, nº68, pp.25-39
Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora de los servicios públicos.
http://www.aeval.es/export/sites/aeval/comun/pdf/agencia/Ley_28_2006_de_Agencias.pdf
(acceso: 12/1/2014).
Lonkila, Marrku. (1995) “Grounded theory as an emerging paradigm for computer-assisted qualitative
data analysis,” en Kelle, Udo (ed.) Computer-aided qualitative data analysis: Theory, methods,
and practice. London: Sage Publications, pp. 41-51.
Malgesini, Graciela y Giménez, Carlos (2000) Guía de conceptos sobre migraciones, racismo e
interculturalidad. Madrid: Catarata.
55
Mondragón, Jaoine (2003) “La evaluación de los programas públicos: objeto, contenido y aplicación de
diferentes instrumentos para la evaluación.” en Bañón i Martínez, Rafael (dir.) Evaluación de la
acción y de las políticas públicas. Madrid: Diez de Santos Ediciones.
Ministerio de Asuntos Exteriores y Cooperación (2007) Manual de gestión de evaluaciones de la
Cooperación Española. Madrid: Baetica.
http://www.exteriores.gob.es/Portal/es/SalaDePrensa/Multimedia/Publicaciones/Documents/Coo
peracion/Evaluacion/Metodologias/Manualdegesti%C3%B3ndeevaluaciones.pdf (acceso:
20/01/2014)
Nirenberg, Olga et al. (2000) Evaluar para la transformación. Innovaciones en la evaluación de
programas y proyectos sociales. Buenos Aires: Paidós.
Osuna, José Luis (2010) “La evaluación de políticas públicas en España: actores públicos y privados.” en
Temas para el debate, Nº. 192 (nov.), pp. 49-51.
Patton, Michael Quinn (1990) Qualitative evaluation and research methods. London: Sage.
Plataforma de ONG Acción Social (2012) Plan estratégico del Tercer Sector de Acción Social: Guía de
Evaluación de Programas y Proyectos Sociales. Madrid: Advantia Comunicación Gráfica.
http://www.plataformavoluntariado.org/resources/219/download (fecha consulta: 20/01/2014)
Pozo Muñoz, Carmen; Alonso Mortillejo, Enrique; y, Hernández Plaza, Sonia (eds.) (2004) Teoría,
modelos y métodos de evaluación de programas. Colección Didáctica. Granada: Grupo Editorial
Universitario.
Rinus Penninx, Rinus y Martiniello, Marco (2006) “Procesos de integración y políticas (locales): estado
de la cuestión y algunas enseñanzas.” Revista Española de Investigaciones Sociológicas (REIS),
nº116/06, pp. 123-156.
Shore, Cris y Wright, Susan (1997) Anthropology of Policy. Critical perspectives on Governance and
Power. Londres: Routledge.
Subirats i Humet, Joan (2010) “Saber si lo que hacemos sirve de algo: la evaluación de políticas públicas
en España.” Temas para el debate, Nº. 192 (nov.), pp. 27-30.
Vallés, Miguel S. (1999) Técnicas cualitativas de investigación social. Reflexión metodológica y práctica
profesional. Madrid: Síntesis Sociología.
Vedung, Evert (1997): Evaluación de políticas públicas y programas. Madrid: Ministerio de Trabajo y
Asuntos Sociales, Instituto Nacional de Servicios Sociales.
Zapico Goñi, Eduardo (1998): “La integración de la evaluación de políticas públicas en el proceso
presupuestario.” en GAPP, Nº11-12 Enero/Agosto, pp.53-59.
------ (2010): “El uso de la evaluación como instrumento de gestión y gobernanza en la Unión Europea.”
Revista Gestión y Análisis de Políticas Públicas, Nueva Época, Nº 4, julio – diciembre 2010, pp.
1-28.