los organismos de evaluaciÓn de polÍticas...
TRANSCRIPT
1
1
LOS ORGANISMOS DE EVALUACIÓN DE POLÍTICAS PÚBLICAS: UN APORTE
AL PROCESO DE MODERNIZACIÓN DE LA GESTION PÚBLICA
1. Introducción
Las políticas públicas viven actualmente cambios importantes, entre ellos, la evolución
acelerada de los sistemas sociales y económicos, junto con la aparición de cada vez más
actores e intereses, todo lo cual influye en que la formulación, implementación y
evaluación de las políticas públicas se convierta en un sistema altamente complejo. Por
otra parte, en este mismo contexto, crece la necesidad de controlar y justificar el gasto
público, identificar resultados concretos de las políticas, comprobar las relaciones costo-
beneficio de los programas, y determinar si el impacto de las políticas se condice con
los objetivos propuestos inicialmente (Haarich, 2004).
Efectivamente, el cambio histórico que está afrontando el estado moderno, desde hace
ya varias décadas, y que se sitúa al frente de esta reflexión, es su transformación de
Estado exclusivamente regulador a estado productor de valor público en términos de
desarrollo y de bienestar social. Este cambio de misión, ha planteado muchos temas,
entre ellos el cambio de concepto de lo que se pueda entender por administración y
gestión pública, de lo que se pueda definir como valor público, afectando también al
propio proceso de las políticas públicas (Serra, Figueroa y Saz, 2007).
Todo lo anterior lleva a centrar el interés en la actualidad en la evaluación de las
políticas públicas. En un sentido amplio, podemos entender la evaluación de las
políticas públicas como un proceso sistemático que pretende valorar la concepción, el
diseño, la implementación y la utilidad de las intervenciones públicas (principalmente
las políticas), con el objeto de registrar sus efectos tratando de establecer una relación
causal con la intervención, de manera de apoyar procesos posteriores de toma de
decisiones y mejorar así la gestión pública.
Para IDR (2006) el objetivo de la evaluación de las políticas públicas es valorar los
resultados de la política y, a su vez, servir de base para la planificación de la
intervención pública a lo largo del tiempo, formando parte de un proceso de
retroalimentación, explotando sus conclusiones y recomendaciones. La concepción del
análisis de políticas públicas incorpora tanto la pretensión de conocer los efectos de las
políticas ejecutadas como el intento de racionalizar la toma de decisiones políticas,
aprovechando las lecciones de la experiencia.
Para Dye (1995) la evaluación de las políticas públicas es el “análisis objetivo y
científico de los efectos a corto y largo plazo de las políticas, tanto sobre los grupos
sociales o situaciones para los cuales se diseñó la política como sobre la sociedad en
general, y el análisis del ratio de costes actuales y futuros sobre cualquiera de los
beneficios identificados” (Dye, 1995).
2. Evaluación de las Políticas Públicas: principales experiencias
2.1 Breve cronología institucional
Una revisión en términos cualitativos respecto de las tradiciones existentes en algunos
países en torno a la evaluación de políticas públicas, nos muestra una gran amplitud en
torno a la importancia que otorgan a la evaluación de las políticas así como a las
actividades que son sujetas a evaluación, sectores gubernamentales implicados en la
evaluación, sistemas de evaluación implicados, o, finalmente, el foco de atención sobre
el cual se centran los esfuerzos de evaluación de las políticas públicas.
Países como Reino Unido, Alemania, Suecia, Países Bajos y Suiza cuentan con una
larga tradición en materia de evaluación y control de políticas públicas (en términos de
resultados e impactos), aunque no en todos los campos. Algunos países como España
2
2
tienen culturas legales y administrativas mucho más reacias a la evaluación, si bien en el
año 2007 se crea la Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad
de los Servicios, de acuerdo con lo establecido en la Ley de Agencias Estatales para la
mejora de los servicios públicos.
Actualmente, las distintas propuestas de reforma de las Administraciones Públicas,
como proceso de cambio institucional, han extendido el uso de la evaluación,
favoreciendo el desarrollo de procedimientos, formas organizativas y culturales más
flexibles, para conseguir actuaciones públicas más eficaces y eficientes en procesos de
mayor transparencia democrática.
No es fácil establecer cuál fue la primera aplicación de la evaluación como técnica de
análisis de políticas y programas públicos. Algunos autores consideran el trabajo de
Alfred Binet como pionero en este campo (Monnier, 1995). Binet, para la realización de
un estudio encargado en 1904 por el Ministro de la Instrucción Pública Norteamericana,
desarrolló el método conocido con el nombre de “test de inteligencia de Binet” y ello
marcó el comienzo de la sicología experimental y la introducción del experimentalismo
como enfoque científico adaptado para la Administración Pública.
Otros investigadores sitúan los primeros esfuerzos evaluativos en los años 30. Estos
estaban dirigidos al análisis de programas de educación y formación profesional e
iniciativas de salud pública para reducir la mortalidad provocada por enfermedades
infecciosas (Rossi y Freeman, 1993). Desde entonces y, sobre todo, tras la II Guerra
Mundial, la aplicación de técnicas de investigación social creció a un ritmo acelerado
ante la demanda de conocimiento sobre la repercusión de los programas de bienestar
social que se habían generalizado a todos los estratos sociales. Así, al final de los años
50, la evaluación de programas se encontraba consolidada en Estados Unidos y
empezaba a emerger, aunque con menor intensidad, en Europa y otros países
industrializados, e incluso en países menos desarrollados de la mano de programas de
Naciones Unidas.
Durante las décadas de los 60 y 70 se asienta la evaluación como área de investigación y
estudio de diversas disciplinas científicas y sociales llegando a constituirse como una
“industria en crecimiento” en los Estados Unidos (Rossi y Freeman, 1993), donde:
aparece una amplia relación de bibliografía al respecto en la que se analizan y critican las técnicas y enfoques metodológicos utilizados hasta el momento,
se recopilan experiencias de prácticas en evaluación,
se elaboran textos y manuales formativos,
proliferan los foros de debate académicos y políticos, y
se publican revistas y boletines especializados.
Este proceso evolutivo se vio favorecido por la creación de instituciones como la
General Accounting Office (1921) en Estados Unidos, la Audit Commission o la
National Audit Office (1988) en el Reino Unido, y la puesta en marcha de iniciativas
encaminadas a modificar los procesos internos y estructuras organizativas de las
agencias públicas en aras a desarrollar en ellas la capacidad necesaria para la evaluación
de políticas. Entre estas iniciativas podemos ilustrar a modo de ejemplo la Efficiency
Strategy (1979) y la Financial Management Initiative en el Reino Unido; la creación del
Comité Interministerial de la Evaluación (CIME) y el Fondo Nacional para el
Desarrollo de la Evaluación (FNDE) en Francia. Y es a partir de los años 80 cuando se
produce la aplicación sistemática y generalizada de la evaluación en la mayoría de los
países desarrollados.
3
3
2.2 La tradición europea en la evaluación de las Políticas Públicas:
De acuerdo con Toulemonde (2000) los distintos sistemas de evaluación de los países se
articulan a través de distintos grados de desarrollo, una cantidad variable de
evaluaciones y otros elementos cuantitativos, cuyos elementos se pueden interpretar
como diferentes estados hacia un mismo modelo de sistema maduro. Pero también se
expresan en el carácter cualitativo que adoptan las evaluaciones de un país determinado.
Considerando los factores que pueden incidir en la aparición de una cultura de
evaluación, Levine (1981) identifica los siguientes:
Países de consenso o de no-consenso: el consenso entre partidos y sociedad
sobre los objetivos generales del gobierno, que existe especialmente en países pequeños como Suecia o los Países Bajos, lleva al desarrollo de la evaluación
como instrumento objetivo de gestión y no tanto a la politización de la
evaluación como herramienta de control y de justificación.
Grado de concentración en una capital: La concentración de los servicios
públicos centrales y también de la vida científica y cultural en una capital, como
sucede con Londres y París, beneficia el intercambio de informaciones y la
realización de evaluaciones.
Grado de federalismo: la distribución de poder en varios niveles o regiones dificulta el desarrollo de actividades homogéneas de evaluación en un país.
Estructura constitucional, parlamentaria, gubernamental y administrativa: la distribución del poder y las relaciones entre gobierno y oposición pueden
beneficiar o no las actividades de evaluación. La estructura administrativa y el
grado de su descentralización también supone un factor relevante.
Servicio público: la organización del servicio público hace que los funcionarios
y departamentos sean más accesibles a las actividades de evaluación.
Otros autores también resaltan la importancia del contexto sociocultural, político,
administrativo y fiscal, el desarrollo de las ciencias sociales, el sistema estadístico
nacional, etc. Boyle et al. Se refieren a seis dimensiones para describir un entorno
favorable para el desarrollo positivo de la evaluación: el desarrollo e
institucionalización de las ciencias sociales, la existencia y mantención de un aparato
estadístico confiable; la relación constitucional entre las ramas legislativa y ejecutiva
del gobierno; la población y tamaño del país; la distancia entre las administraciones del
nivel central y la periferia (Boyle et al., 1999)
Todos estos factores han llevado a una variedad de culturas y de enfoques de la
evaluación de modo que es imposible hablar de una única tradición de evaluación en
Europa.
3. Criterios a considerar en la implementación de un sistema de evaluación de
políticas públicas
3.1 Catalizadores del proceso de evaluación de políticas públicas
Entre los factores que algunos autores mencionan como catalizadores para desarrollar
sistemas de evaluación de políticas públicas se mencionan:
- Los organismos supranacionales (Unión Europea, Banco Mundial, etc.) porque
pueden exigir la integración de la evaluación en las políticas a cambio de ayudas
económicas, apoyo o reconocimiento político.
- La sociedad civil, porque puede exigir evaluaciones de políticas no eficaces o la
participación en estudios de evaluación y, por lo tanto, la introducción de nuevas
metodologías y herramientas
- Los medios de comunicación, porque pueden desempeñar un papel importante como representantes de la sociedad a la hora de exigir cuentas, difundir resultados, etc.
4
4
- El progreso científico-técnico porque puede permitir el desarrollo de nuevas
metodologías y herramientas de evaluación o hacer posible la evaluación de
sistemas más complejos
En otro sentido, el análisis de las motivaciones que conducen a la exigencia de
evaluación de políticas públicas o a la propuesta de su realización, habría que
determinar si el interés de los impulsores de la evaluación estriba en justificar la
necesidad de nuevos programas o políticas para asegurar que la manera de implementar
un programa resulte la más eficiente o para satisfacer las exigencias de control sobre la
eficacia de la acción administrativa. En cada uno de estos supuestos, el tipo de
información a recabar será distinta.
Según Subirats y Gomá (2002), en el caso de la formulación de nuevas políticas, se
requerirá poner el acento en la información relativa al problema que pretendía resolver o
reconducir el programa evaluado, cuál es su dimensión, cómo ha ido cambiando y qué
perspectivas presenta. También será importante examinar cuáles han sido los resultados
de los programas implementados que pretendían afrontar el problema, evaluando sus
resultados y las dificultades encontradas. Y todo aquello que permita seleccionar mejor
entre las diferentes alternativas de acción presentes.
En el caso de que el interés se concentre en la fase de implementación, el tipo de
información que se precisa es distinto. En este caso será importante conocer cómo se ha
producido la implementación, es decir, cuál es el grado de operatividad del programa,
las diferencias de aplicación que se hayan podido producir en distintos momentos o
lugares, cuál ha sido la reacción de los actores implicados, qué errores o abusos se han
producido, etc.
También será importante, en este sentido, conocer cómo ha funcionado la gestión o
dirección del programa, tanto en la gestión de recursos humanos como en la distribución
de recursos. Asimismo será decisivo conocer cuál es el grado de impacto que tiene el
programa sobre el problema planteado, evaluando cómo variar o incluso eliminar el
programa analizado.
Si lo que se pretende es controlar o hacer un cierto balance, entonces la información que
resulta necesaria del proceso evaluador se encamina esencialmente a valorar los
resultados del programa, hasta qué punto el programa ha influido en los cambios que se
detectan y cuáles han sido los efectos tanto esperados como no esperados que esa
intervención ha provocado.
3.2 Algunos componentes de un sistema de evaluación de políticas públicas
Por otra parte, un análisis más detallado de la práctica evaluadora actual pone de
manifiesto tres elementos o componentes que, en proporciones diversas, van a aparecer
en toda evaluación (Echebarría, 2006):
1. El componente cognoscitivo dirigido hacia la recogida y el tratamiento de
informaciones sobre lo que ha sucedido o está sucediendo en el programa o política
pública evaluada. Este componente responde a la ambición de medir o de apreciar
los efectos de la política evaluada sobre la sociedad y de comprender su lógica de
funcionamiento.
2. El componente normativo orientado a la emisión de juicios sobre el valor y el mérito
de un programa o aspectos del mismo, con el fin de conocer si se está actuando de
forma correcta, si la política es un éxito o un fracaso.
3. El componente instrumental que permitirá la generación de recomendaciones
políticas y técnicas con el fin de mejorar la política evaluada y clarificar el papel de
los diferentes protagonistas y las condiciones y consecuencias de sus acciones y
decisiones.
5
5
3.3 Motivaciones para el proceso de evaluación de políticas públicas
Subirats y Gomá (2002) señalan que los intereses que mueven a implementar un
proceso de evaluación de políticas públicas pueden ir encaminados hacia:
a) Determinación de necesidades: En muchas ocasiones, el promotor o promotores de
la evaluación no pretende comprobar cómo se ha desarrollado un determinado
programa o cuáles han sido exactamente sus efectos. Su preocupación esencial se
dirige al descubrimiento de las debilidades o los espacios problemáticos del
planteamiento del programa, de tal manera que puede mejorarse en futuros ajustes
del mismo. Este tipo de evaluación acostumbra a estar indicada en aquellos
programas que presentan una notable complejidad organizativa, con variedad de
metas y diversidad de equipos o personal vinculado, y cuando todo ello genera una
sensación de insatisfacción generalizada. En muchas ocasiones este tipo de
evaluación exige o conlleva un replanteamiento global o parcial de los objetivos del
programa.
b) Evaluación formativa o correctora: En este caso nos hallamos ante una
aproximación que se acerca notablemente a lo que podríamos denominar estudios de
implementación, ya que este tipo de evaluación pretende ante todo analizar el
funcionamiento real del programa y de todas las labores conectadas con el mismo.
Su objetivo es comprobar si ese programa se desarrolla sin dificultades, localizando
los puntos críticos y favoreciendo una vía de mejora. Para ello conviene cerciorarse
de si esa posibilidad de mejora existe, ya que de no ser así ese tipo de evaluación
resulta inapropiado.
c) Evaluación de balance o conclusiva: El objeto de este tipo de evaluación es el de
recoger información sobre los resultados finales del programa y facilitar así un
juicio de valor global sobre el mismo. La evaluación ha de proporcionar una base de
comparación que permita objetivizar en la medida de lo posible ese juicio de valor,
sea a través de la comparación con los resultados de un programa alternativo con
objetivos similares, sea mediante la comparación con sectores o zonas no incluidos
en el proceso de aplicación del mismo. Lógicamente también deberá tomarse como
baremo el contraste entre los resultados obtenidos y los objetivos de partida del
mismo. Este tipo de evaluación exige su aplicación a programas con claridad de
objetivos y con una contrastable base de información sobre la organización y
actividades del mismo, y requiere, asimismo, el que pueda considerarse como
plenamente desarrollado. Las consecuencias de este tipo de evaluación pueden
situarse en el marco de la posible continuación-terminación del programa
En el siguiente apartado nos ocuparemos de verificar, de manera empírica, cuáles son
los principales criterios utilizados en la definición de los organismos relacionados con la
evaluación de las políticas públicas, en diferentes contextos y realidades.
4. Estudio comparado: principales organizaciones en el ámbito de las políticas
públicas
4.1 Criterios para definir un organismo de evaluación: Antecedentes
Uno de los temas que mayor debate genera en torno a la implementación de un sistema
de evaluación de políticas públicas, se relaciona con la institucionalidad adecuada que
permita llevar adelante este proceso con criterios de objetividad, transparencia e
independencia, pero sin perder de vista la utilidad que la evaluación tiene para todo el
sistema político.
6
6
Muchas veces parece que se da por descontado que el evaluador de una política pública
coincide con el diseñador o responsable del mismo o con el mismo staff que tiene a su
cargo la implementación del mismo, y así se evita entrar en consideraciones sobre las
tensiones que el proceso de evaluación puede generar. En ese sentido, se puede plantear
la posibilidad de que sea el mismo personal del interior de la organización el que asuma
la labor evaluadora. Ello conlleva indudables ventajas, ya que los responsables de la
evaluación parten de un alto grado de conocimiento del funcionamiento de la
organización y de aquellos aspectos del programa no contemplados en el momento de
su diseño.
En relación a los resultados de la evaluación, si ésta ha sido llevada a cabo por
miembros de la misma organización, ello puede facilitar la implementación de los
cambios o modificaciones que se deriven de los resultados finales de la evaluación, al
conocer mejor a la misma organización. Pero, por otra parte, si estos cambios implican
algún tipo de amenaza para la organización en su conjunto o para alguno de sus
miembros, el hecho de que los evaluadores procedan del interior de la misma
organización puede paralizar esos cambios.
Por otra parte, y relacionado con ello, su análisis puede ofrecer mayores garantías de
fiabilidad y objetividad, y así posibilitar un mayor impacto (objetividad de sus
conclusiones). Dejando a un lado que ese último aspecto puede ponerse tanto en duda
como en el caso de evaluaciones internas, ya que de hecho ese organismo externo actúa
a instancia de parte y ello puede, de alguna manera, predeterminar el resultado, la
misma relación mercantil que se establece puede potenciar un cierto “bias” o
“tendenciosidad” de los resultados para favorecer sucesivos contratos (Subirats y Gomá
(2002).
Todo lo anterior nos lleva a plantear que no existen modelos únicos de
institucionalización de los mecanismos de evaluación y que la diversidad de los
organismos relacionados con la evaluación presenta todo tipo de planteamientos
orgánicos y competenciales. De acuerdo con Armet (2004) podemos encontrar
organismos de control presupuestario, de auditoría del gasto público, comités
interministeriales, órganos especiales para la evaluación de políticas, órganos internos
para la evaluación de políticas sectoriales, etc. Una rápida revisión de los organismos
existentes permite afirmar que en la mayoría de los países éstos se encuentran
vinculados al ejecutivo, aunque normalmente dotados de entidad y autonomía propias,
con adscripción a presidencia o distintos departamentos. Sin embargo, en países como
Estados Unidos y Suiza, se observa una dependencia de los órganos evaluadores con el
Parlamento.
Por lo tanto, un elemento importante a considerar en la implementación de un sistema
de evaluación de políticas públicas dice relación con la pertinencia del organismo
creado para tales efectos.
4.2 Metodología
Una metodología apropiada para proceder a definir, de manera preliminar, los
principales factores a tomar en cuenta en la definición de una agencia e evaluación de
políticas públicas es el benchmarking, el que toma la forma de un proceso continuo y
sistemático de evaluación de una organización o de un servicio
(eficacia/eficiencia/economía) por comparación con algunos de sus principales
stakeholders, en este caso, organismos similares. Se convierte así en una valiosa
herramienta de gestión debido a que proporciona un enfoque disciplinario y lógico para
comprender y evaluar de manera objetiva las fortalezas y debilidades de una
organización a proponer.
7
7
Para este informe se ha utilizado la metodología de benchmarking primario,
consistente en la búsqueda de información de los principales actores que componen la
red de valor. En nuestro caso, se privilegió a las agencias de evaluación de políticas
públicas existentes en diferentes países, que pueden compartir similaridades o no, pero
que sí aportan experiencias interesantes de ser conocidas en nuestro contexto.
4.3 Muestra
La muestra se constituyó de manera intencionada, buscando obtener información
relevante respecto de los principales factores que las distintas agencias de evaluación
han tomado en cuenta a la hora de definir sus definiciones estratégicas, de las que se
derivan sus atribuciones, actuaciones, etc.
Para ello se conformó una muestra de ocho países, con sus respectivas agencias de
evaluación, aunque en algunos casos se incluyeron en la muestra más de una agencia
por país, en el caso que la riqueza de la información a aportar así lo definiera. Los
países y agencias de evaluación participantes son:
País Agencia de Evaluación
1. Estados Unidos - Government Accountability Office
2. España - Agencia de Evaluación de las Políticas Públicas y la Calidad de
los Servicios
3. Alemania - Tribunal de Federal de Cuentas
- Degeval (Gesellschaft für Evaluation).
4. Francia - El Comité Interministerial de la Evaluación (CIME)
- Comité Interministerial de Auditoría de Programas (CIAP)
- El consejo Científico de Evaluación (CSE)
- El Fondo Nacional para el Desarrollo de la Evaluación (FNDE)
- Tribunal de Cuentas
5. Reino Unido - National Audit Office
- UKES (United Kingdom Evaluation Society)
6. Suecia - Riksrevisionen (Swedish National Audit Office, SNAO)
7. Canadá - Office of the Auditor General of Canadá
8. Holanda - Consejo de Ministros
Por lo tanto, tal como señalamos anteriormente, la elección de la muestra respondió a la
lógica del muestreo arbitrario (purposeful sampling) cuyo objetivo es seleccionar casos
ricos en información. En ese sentido, la muestra no es representativa sino intencionada,
respetando el criterio de "redundancia" de la información, para que la muestra fuese
suficientemente amplia pero, al mismo tiempo, que la información obtenida no
mostrara claros signos de repetirse, de extrema similitud o de incapacidad de aportar
elementos nuevos al análisis.
4.4 Variables a considerar:
Si bien los organismos que realizan actividades de evaluación de políticas adoptan
diferentes estructuras y responden a diferentes criterios, hemos considerado importante
revisar cuáles son los criterios que guían su quehacer y cómo implementan, de manera
concreta, sus lineamientos estratégicos, lo que sin duda influye de manera relevante en
la obtención de resultados.
La información resultante servirá como insumo para el necesario proceso de reflexión
estratégica en torno a las variables que debieran ser consideradas en la definición de una
agencia de evaluación para Chile. Por lo tanto, el objetivo de esta comparación no es
8
8
prescribir sino entregar datos que puedan ser útiles, en el marco de las acciones de otras
agencias de evaluación.
Con el objeto de facilitar la visualización de las principales variables consideradas en el
análisis, a continuación se desarrolla una matriz comparativa que servirá de base para el
desarrollo del análisis correspondiente. Tal como señalamos en el apartado
metodológico, esta comparación se constituyó con una muestra de 8 países, para los que
se consideraron los siguientes factores:
- País
- Antecedentes del organismo: Nombre, fecha de creación, autoridad y tipo de
organismo.
- Dependencia
- Definiciones estratégicas
- Atribuciones
- Foco de la evaluación
- Tipo y metodología de evaluación
9
9
Matriz comparativa por países
País Antecedentes del Organismo
Dependencia Definiciones estratégicas Atribuciones Foco de la evaluación Tipo y metodología de evaluación
Estados Unidos
Nombre: Government Accountability Office Fecha de creación: 1921 Autoridad: Contralor, dura 15 años en el cargo y es nombrado por el Presidente de una lista sugerida por los parlamentarios Tipo de Organismo: Agencia nacional independiente.
Congreso Apoyar al Congreso en el cumplimiento de sus responsabilidades constitucionales y ayudar a mejorar el rendimiento y garantizar la rendición de cuentas del gobierno federal para el beneficio del pueblo americano. La labor de este organismo se realiza a petición del Congreso a través de los comités o subcomités. También realiza investigaciones en virtud de la autoridad que le compete como Contraloría General. Aconseja al Congreso y a los jefes de las agencias ejecutivas acerca de las formas de hacer el gobierno más eficiente, eficaz, ético, equitativo y con capacidad de respuesta. Su trabajo da lugar a las leyes y actos de gobierno tendientes a mejorar las operaciones.
Fiscaliza, consultiva y didáctica. Suministra información y asesora al congreso en temas económicos y presupuestarios. Realiza auditorias para determinar si las operaciones de los fondos federales se están gastando de manera eficiente y eficaz; investiga las denuncias de actividades ilegales e impropias; realiza informes sobre la forma y los programas de gobierno y las políticas de cumplimiento de sus objetivos; análisis de políticas y el recomendaciones para la consideración del Congreso, y emisión de resoluciones y dictámenes jurídicos. Fiscaliza fondos públicos federales. Propone cambios en políticas y programas federales.
- Eficiencia y eficacia del gasto del presupuesto federal.
- Evalúa de las políticas y programas gubernamentales y el cumplimiento de los objetivos, incluso tiene atribuciones para proponer cambios en las políticas y los programas federales
- Fiscalización de los fondos públicos y federales
- Denuncias de corrupción en el sector público
Auditorias financieras, de eficiencia, eficacia y económica en general Evalúan la eficacia y el cumplimiento de los objetivos de los programas públicos
España Nombre: Agencia de Evaluación de las Políticas Públicas y la Calidad de los Servicios Fecha de creación: 2007 Autoridad: Consejo Rector / Presidente de la Agencia Tipo de Organismo: Agencia del ejecutivo. El Consejo de Ministros aprobará anualmente los programas y políticas públicas correspondientes a la Administración General del Estado, que la Agencia examinará. También podrá evaluar políticas y programas
Ministerio de Administraciones Públicas
La promoción y realización de evaluaciones y análisis de impacto de las políticas y programas públicos, así como el impulso de la gestión de las calidad de los servicios, favoreciendo el uso racional de los recursos y la rendición de cuentas a la ciudadanía. Entre sus objetivos se encuentran: - Promover cultura y prácticas
de evaluación. - Elaborar metodologías y
sistemas de información e indicadores.
- Fomentar la calidad de los
La Agencia de Evaluación se encargará de valorar los resultados de las políticas públicas y la calidad de los servicios. Este organismo servirá para conocer mejor los efectos y resultados de las políticas y programas públicos, así como para mejorar la rendición de cuentas a la ciudadanía. Se trata de suministrar valoraciones técnicas independientes, con recomendaciones argumentadas y rigurosas, para que quienes deciden lo hagan en mejores condiciones.
Los programas y políticas públicas objeto de evaluación en 2007, serán: el Programa Nacional de Reformas de España; los trámites administrativos para la creación de empresas; el registro nacional de derechos de emisión de gases de efecto invernadero; y, la calidad de los servicios de los museos de titularidad estatal.
Análisis de la Inversión/Planificación/ Control Costo-Beneficio. Entre las competencias de la Agencia se encuentra la realización de los análisis y evaluaciones del impacto normativo que se prevean en la correspondiente normativa.
10
10
gestionados por las Comunidades Autónomas a través de convenios de colaboración voluntarios
servicios como compromiso con la ciudadanía.
- Analizar las actividades y servicios prestados a los ciudadanos por las Agencias Estatales
Alemania Nombre: Existen varios organismos de evaluación. Entre los dependientes del ejecutivo se encuentran: - Tribunal de Federal de Cuentas
- Degeval (Gesellschaft für Evaluation).
- A estas se suman otras instancias a nivel sectorial y regional (lander)
Fecha de creación: - Tribunal de Federal de Cuentas:
- Degeval (Gesellschaft für Evaluation): 1997
Autoridad: Presidente del Tribunal de Cuentas /presidente comité ejecutivo (Degeval) Tipo de Organismo: El tribunal de Cuentas es un organismo centralizado a nivel federal Degeval es una asociación sin fines de lucro
Tribunal Federal de Cuentas: Goza de autonomía jurídica. Es independiente en sus acciones y en la planeación de sus actividades. Informa al Parlamento (a la Comisión de Fiscalización) quien es una subcomisión de la Comisión de Presupuesto) acerca de sus conclusiones. Degeval: es una asociación sin fines de lucro, inscrita en el registro de asociaciones. Se encuentra fuera del aparato público
Tribunal Federal de Cuentas: Es el órgano supremo de control de cuentas. Realiza el control del gobierno federal y de los organismos subordinados en cuanto a su gestión financiera. Además tiene que asesorar al bundestag sobre la base de su fiscalización, apoyarle en su trabajo legislador así como en su tarea de controlar al gobierno federal. Se centra principalmente en aspectos financieros de las políticas de cada organismo público. Degeval: Persigue la profesionalización y la institucionalización de la evaluación de políticas públicas, unificando criterios y perspectivas de evaluación, promoviendo la información y el intercambio
Tribunal Federal de Cuentas: Tiene atribuciones fiscalizadoras y consultivas. Informa al parlamento al término del ejercicio fiscal respecto de la correcta utilización de los recursos a nivel Federal, de acuerdo a informes emitidos por el Ministerio federal de Finanzas. Es un organismo independiente para garantizar un control financiero eficaz Degeval: - Ayuda y mejora de la teoría, de la práctica, de los métodos, de la comprensión y de la utilización de la evaluación de las políticas públicas y de su contribución para la formación de una opinión pública
- Introducción, actualización y apoyo en el proceso de desarrollo de la práctica de la evaluación y definición de estándares.
- Promover el intercambio de experiencias con otros países y agencias de evaluación.
Los resultados de sus evaluaciones no son vinculantes, si bien son solicitadas
Tribunal de Federal de Cuentas El foco de la evaluación está dado por el control financiero. El Tribunal se ocupa de auditar la gestión financiera del sector público, poniendo la atención en la gestión financiera de los organismos A diferencia de la Contraloría chilena, que tiene atribuciones en el plano financiero y en el ámbito legal. El ámbito de competencia es el gobierno federal. Degeval (Gesellschaft für Evaluation). Elaboración de recomendaciones y directrices, eventos y publicaciones. Foro de intercambio de información. Capacitación orientada a la profesionalización.
Tribunal de Federal de Cuentas Debido a la dependencia ministerial de las unidades especializadas de evaluación, ésta se concentra en el diseño, cuando se trata de requerimientos que emana de la autoridad ministerial. En tanto, cuando se trata de requerimientos emanados del parlamento, por lo general se mide el rendimiento presupuestario y el impacto de la política, programa o plan Degeval (Gesellschaft für Evaluation). Establecimiento y aplicación de criterios de calidad para la evaluación y Normas para la evaluación. También promueve la autoevaluación. Evaluación de calidad de las políticas.
11
11
muchas veces por el ejecutivo, sólo tienen carácter consultivo.
Francia Nombre: En Francia existen desde 1990 instancias responsables del proceso de evaluación de las políticas públicas: - El Comité Interministerial de la Evaluación (CIME)
- Comité Interministerial de Auditoría de Programas (CIAP)
- El consejo Científico de Evaluación (CSE)
- El Fondo Nacional para el Desarrollo de la Evaluación (FNDE)
- Tribunal de Cuentas Autoridad: - CIME (Primer Ministro); - CIAP (Inspector General de Finanzas);
- CSE (Presidente del Consejo);
- FNDE (Primer ministro)
- Tipo de Organismo: - CIME/CIAP/CSE/FNDE son
órganos del ejecutivo - Tribunal de cuentas es
independiente
CIME: Primer Ministro CIAP: Primer Ministro
CIME: Actúa como instancia de coordinación de las evaluaciones del ejecutivo, y en este sentido recibe las proposiciones de evaluación de los ministerios. También pueden presentarle propuestas de evaluación el Consejo de Estado, el Tribunal de Cuentas y el Defensor del Pueblo CIAP: Su misión es auditar la calidad de la información y los análisis presentados en los proyectos e informes anuales de resultados asociados a los programas ministeriales, así como de las modalidades de gestión elegidas para la materialización efectiva de los programas en las respectivas administraciones.
CIME: Está presidido por el primer ministro y reúne a los principales ministerios del gobierno. Actúa como instancia de coordinación de las evaluaciones del ejecutivo, y en este sentido recibe las proposiciones de evaluación de los ministerios. También pueden presentarle propuestas de evaluación el Consejo de Estado, el Tribunal de Cuentas y el Defensor del Pueblo. Es, sin embargo, el CIME el órgano que tiene la autoridad formal para tomar una decisión final, y en este sentido afectar los recursos previstos en el Fondo Nacional para el Desarrollo de la Evaluación. CIAP: Está encargado de conducir dos tipos de auditorias: - Las auditorias iniciales, que se realizan de forma previa a la presentación de los programas ante el Parlamento, y que pretende corregir las posibles desviaciones;
- Las auditorias de realización, que se realizan una vez han comenzado a ejecutarse los programas, para verificar que todo se esté realizando de acuerdo a lo acordado previamente.
En la fase de las auditorias iniciales, los criterios de calidad que utiliza el Comité se refieren a la coherencia de la propuesta del programa, de los objetivos que se les asignan, de los indicadores asociados, de los sistemas de información que producen estos indicadores, de los niveles de acción definidos para estos objetivos, de sistema de control de las redes así como de sistema de control de gestión que permite el control de los recursos y costes.
CIME: Diseño de programas y resultados obtenidos CIAP: Cumplimiento de la legalidad vigente CSE: Entrega asesoramiento científico y se refiere a la calidad de los trabajos realizados FNDE: eficiencia y eficacia de los programas Tribunal de cuentas: El Foco de la Evaluación del Tribunal de Cuentas es la auditoria financiera y legal del sector público. De forma similar a la CGR chilena, el Tribunal de Cuentas francés se ocupa al mismo tiempo del control del gasto del sector público y la aplicación de las leyes. No obstante, y a diferencia de la CGR, el Tribunal de Cuentas francés se ocupa evaluar la eficiencia del gasto de los recursos públicos por parte de los ministerios, servicios y órganos públicos en general. En síntesis, el foco de la evaluación está puesto en la auditoria o control financiero, pero también en el cumplimiento de las leyes.
CIME: Metas/ Objetivos, lo que se inserta en el rol o función de coordinación de las políticas públicas de la CIME. El diseño por lo general surge de los ministerios sectoriales CIAP: Análisis de documentos legales y de ejecución presupuestaria. CSE: Concretamente, el CSE emite dos dictámenes sobre cada proyecto de evaluación: uno, antes que el primer ministro y el CIME decidan sobre la aprobación de un proyecto, y otro, después que la evaluación haya sido realizada. En este segundo dictamen, que se publica al mismo tiempo que el contenido de la evaluación, el CSE expresa su opinión sobre la calidad de los trabajos realizados. FNDE: ex post Tribunal de cuentas: Control de la Gestión; Análisis y certificación de las cuentas públicas; Impone criterios de evidencia y transparencia en el uso de los recursos públicos a los Ministerios, servicios y organismos públicos. Emite informe anual
12
12
CSE: es nombrado por el Presidente de la República. FNDE: depende del CIME Tribunal de Cuentas: Desde el año 2001 la Constitución garantiza la independencia del Tribunal de Cuentas. Este organismo es independiente del ejecutivo y del parlamento (a diferencia del modelo anglosajón) y sus magistrados (Presidentes del Tribunal y Consejeros) son inamovibles
CSE: Su mandato es por un período de seis años, no renovable, y su función consiste en proporcionar asesoramiento científico al CIME. FNDE: Entregar recursos para la realización de evaluaciones Tribunal de Cuentas: Su misión es controlar de forma independiente las finanzas públicas, en un rol de contrapoder. Debe acreditar el buen uso de los recursos fiscales
En la fase de auditorias de realización, los criterios de calidad se centran en la fiabilidad de los resultados calculados así como en la garantía de objetividad y exhaustividad de los comentarios relativos a las divergencias constatadas entre los objetivos y las realizaciones. El procedimiento de auditoria se basa en una guía metodológica que es aplicada por el Comité Interministerial y los Ministerios respectivos. Asimismo, las auditorias se concluyen a través de un dictamen que emite el Comité sobre la base del informe de auditoria y la respuesta que el Ministerio ha emitido respecto de la misma. CSE: Concretamente, el CSE emite dos dictámenes sobre cada proyecto de evaluación: uno, antes que el primer ministro y el CIME decidan sobre la aprobación de un proyecto, y otro, después que la evaluación haya sido realizada. En este segundo dictamen, que se publica al mismo tiempo que el contenido de la evaluación, el CSE expresa su opinión sobre la calidad de los trabajos realizados. FNDE: La legislación establece una reserva de hasta un 20 por 100 del Fondo para evaluaciones cuya iniciativa sea adoptada por el Consejo Económico y Social. La utilización de esta reserva por parte de este organismo requiere a su vez la autorización previa del Consejo Científico de la Evaluación.
13
13
Tribunal de Cuentas: Sus atribuciones más importantes se refieren al control de la gestión de la administración pública, los organismos y servicios públicos nacionales. Debe analizar y certificar las cuentas públicas del Estado francés (el presupuesto), y las cuentas del Régimen de Seguridad Social. Entre sus atribuciones también se cuenta la de proponer y solicitar reformas y transformaciones en la administración pública, los servicios, organismos y entidades públicas (entre los cuales se incluyen los ministerios), imponiendo criterios de eficiencia y transparencia en la utilización y el gasto de los recursos públicos asignados. El Tribunal de Cuentas Francés está facultado también para controlar algunos organismos y empresas privadas.
Reino Unido Nombre: - National Audit Office - UKES (United Kingdom Evaluation Society) Fecha de creación: - National Audit Office: siglo XII. En su forma actual, desde 1983. - UKES: 1994 Autoridad: - National Audit Office: Contralor y auditor general. Es oficial de la Cámara de los Comunes, designado por la reina a propuesta del primer ministro con el acuerdo del presidente del comité de cuentas públicas y aprobado por la Cámara de los Comunes. - UKES: 1990 Tipo de Organismo:
- National Audit Office: Parlamento
National Audit Office: Promover los más altos estándares en la gestión financiera y la presentación de informes, la correcta conducción de los asuntos públicos y la prestación de servicios públicos.
National Audit Office: Eficiencia y eficacia del gasto público. Está encargada de revisar los estados financieros de todos los departamentos gubernamentales y agencias, y muchos otros cuerpos públicos para informar al parlamento de su adecuado uso. Sus actividades se extienden a todos los organismos públicos incluyendo la Comisión de servicios jurídicos y las agencias de desarrollo regional. También son responsables de revisar todas las cuentas del fondo de préstamos nacionales, revisando sobre 500 cuentas por año. Esta revisión se refiere al gasto, a la correcta utilización de los recursos, a verificar que cuenten con la correspondiente autoridad parlamentaria. Sus informes son considerados por el comité de cuentas públicas de la Cámara de los
- National Audit Office Se enfoca principalmente en auditar la gestión financiera a través de los criterios de eficiencia y eficacia del gasto público. Su ámbito corresponde a los departamentos gubernamentales, agencias públicas y organismos públicos. - UKES UKES intenta "construir puentes" entre los diversos grupos y comunidades que participan en la evaluación de políticas, proporcionando un foro para examinar las diferencias y similitudes en los problemas que se enfrentan,
Nacional Audit Office El Contralor y Auditor General es jurídicamente responsable de auditar los estados financieros de todos los departamentos del Gobierno central, agencias y otros organismos públicos e informar sobre los resultados al Parlamento. A través de este procedimiento se determina sobre la validez de los estados financieros auditados. En caso de ser identificados errores y/o irregularidades en las declaraciones el Contralor y Auditor General emite una "opinión calificada". La auditoria realizada sirve además para recomendar mejoras a los sistemas de gestión de los organismos auditados UKES UKES acoge una conferencia anual cada año, en diciembre, y lleva a cabo
14
14
- National Audit Office: Independiente. Responde ante el Parlamento. - UKES: Asociación independiente
- UKES: Asociación independiente sin fines de lucro
UKES: Su misión es promover y mejorar la teoría, la comprensión de la práctica y la utilización de la evaluación de las políticas y su contribución al conocimiento público.
Comunes. UKES: El consejo de UKES ha definido una estrategia basada en tres pilares fundamentales: - Convertirse en una fuente creíble y legitimada de información, que puede pronunciarse sobre la evaluación de las políticas públicas en Reino Unido - Proveer capacitación y promover el aprendizaje respecto de la evaluación entre los principales actores gubernamentales - Situarse en el ámbito político como un referente válido respecto de la evaluación de políticas públicas
por lo que constituye un ente de articulación y difusión de información que cumple además funciones de capacitación a través de la realización de talleres, seminarios y eventos dirigidos por las redes regionales de la organización.
conjuntamente seminarios y conferencias con otras organizaciones profesionales. Capacitación e información. de talleres regionales, seminarios y eventos de capacitación dirigidos por las redes regionales Difusión: The Evaluator Aplicación de pautas y directrices de buenas prácticas así como también principios y marcos de acción en distintas áreas de las políticas públicas y otros ámbitos, como los servicios y corporaciones de beneficencia.
Suecia Nombre: Riksrevisionen (Swedish National Audit Office, SNAO) Fecha de creación: 2003 Autoridad: Auditores generales propuestos por el parlamento Tipo de Organismo: Independiente, de acuerdo a la Constitución Sueca. Los auditores son propuestos por el Parlamento y duran 7 años en sus cargos
El Parlamento y el gobierno son los destinatarios finales de los resultados de sus intervenciones. Las intervenciones se utilizan para apoyar decisiones, para establecer responsabilidades y para promover la discusión pública informada.
Su principal cometido es realizar una evaluación de las políticas públicas y de la actuación de la administración pública para contribuir al uso económico de los recursos, y a una administración eficaz y eficiente.
Realizan revisiones de las políticas públicas en dos sentidos: - Evaluaciones financieras: El propósito de las intervenciones financieras es examinar y determinar si los informes financieros anuales de las agencias públicas son confiables, y si sus cuentas proporcionan una visión verdadera y justa de sus operaciones. También, examinar si la gerencia superior de las agencias revisadas sigue reglas y decisiones enmarcadas en la norma.
- Evaluaciones de gestión: que examinan la eficacia y la eficiencia de la administración pública. Se centran en materias referentes al presupuesto de estado, la administración pública, el funcionamiento y los resultados y otros cometidos públicos. Su propósito es promover el desarrollo y
SNAO es responsable de la auditoria de las cuentas anuales de los organismos gubernamentales a través de auditorias financieras, de la eficacia y eficiencia del gobierno de las empresas a través de las auditorias de resultados. SNAO tiene una división internacional. La división internacional coordina las diferentes partes en la SNAO compromisos internacionales, incluidas las cesiones internacionales en las áreas de fortalecimiento de la capacidad las organizaciones internacionales
La ejecución de auditorias a concentrarse principalmente en el examen de las circunstancias que afectan el presupuesto nacional, la aplicación y los resultados de las actividades del gobierno, las empresas y el gobierno. La auditoria también puede cubrir las actividades del gobierno y las inversiones en general. La auditoria tiene por objeto promover el progreso hacia un eficiente y eficaz rendimiento de los gastos del Gobierno, visto en la perspectiva del interés público general. La auditoria financiera tiene como objetivo evaluar si es fiable la contabilidad y los registros contables son verdaderas y justas, y de evaluar si la gestión de los organismos auditados, debido a las normativas existentes
15
15
dar al Estado un mayor conocimiento de cómo se han utilizado los recursos en pos del bien común
- obtener el buen valor para el dinero en su búsqueda para considerar los intereses generales de la sociedad
Canadá Nombre: Office of the Auditor General of Canadá Fecha de Creación; 1878 Autoridad: Auditor General Tipo de Organismo; Oficina del Parlamento de Canadá
Depende del Parlamento
Realizar las auditorias de los departamentos y agencias del gobierno federal, las corporaciones más importantes y otras organizaciones federales. Informa a la Cámara Baja del Parlamento las materias y asuntos que el Auditor General estime convenientes y pertinentes, reportándolas públicamente.
La Oficina audita las operaciones del gobierno federal y entrega al parlamento información independiente sobre el manejo de los fondos públicos. La Oficina revisa las auditorías e informes contables de los departamentos y agencias federales, pronunciándose sobre la implementación de las políticas y los aspectos financieros y legales asociados, no sobre la calidad de la política.
Auditoria Financiera y Legal; Cumplimiento de las disposiciones legales asociadas a la utilización del presupuesto, la contratación de personal y los estatutos administrativos, observando la Utilización de los Presupuestos de departamentos y agencias del gobierno federal, del poder judicial y el Parlamento y el cumplimiento de la normativa administrativa y legal. No se preocupa de la calidad, el mérito ni la pertinencia de las políticas, sino de su legalidad, y su correspondencia financiera. Las auditorias financieras responden a la pregunta: ¿Es el gobierno de mantenimiento de las cuentas y registros, y la presentación de su información financiera bastante? La evaluación que tiene un carácter de inspección especial responde a la pregunta: ¿ los sistemas y prácticas dan seguridad de que los activos están protegidos, los recursos se gestionan de manera económica y eficiente, y las operaciones se lleven a cabo eficazmente?
Procedimientos de auditoria pueden incluir la comparación de los resultados de las operaciones con los resultados previstos, la evaluación de la fiabilidad de un departamento financiero de los sistemas de control, y el control de muestras de las transacciones y saldos. Las inspecciones especiales son una forma de auditoria de gestión en este procedimiento el Auditor General ofrece una opinión sobre la gestión de la institución publica en su conjunto. La ejecución de auditorias (antes conocido como optimización de recursos auditorias) responder a estas preguntas: ¿Son los programas que se ejecutan con la debida consideración de la economía, la eficiencia y el impacto ambiental? ¿El gobierno tiene los medios existentes para medir su efectividad? Las auditorias de resultados no cuestionan el fondo de las políticas gubernamentales. En cambio, han de examinar las prácticas de gestión del gobierno, los controles y los sistemas de información con un enfoque en los resultados. Tratan de determinar si los programas gubernamentales se están gestionando con el debido respeto a la economía, la eficiencia y el impacto ambiental, y si hay medidas en marcha para determinar su eficacia La Oficina del Auditor General de Canadá lleva a cabo alrededor de 30 auditorias de desempeño de un año en los departamentos y organismos federales. Al Auditor General le confiere la Ley de discrecionalidad
16
16
para determinar qué áreas de gobierno para examinar al realizar dichas auditorias
Holanda Nombre: Consejo de Ministros Fecha de creación: 1990 Autoridad: Consejo de Ministros: Presidente Tipo de Organismo: Comisiones ad hoc, dependiendo de la política a evaluar. La selección de los programas que son objeto de reconsideración cada ejercicio fiscal corresponde al Consejo de Ministros y los resultados de las investigaciones son igualmente discutidos por el Consejo en pleno.
Depende directamente del ejecutivo
Este consejo está orientado a reconsiderar los programas y servicios realizados por los distintos organismos de gobierno, de manera de proponer alternativas a su modo de operar que redunden en un menor gasto público.
La metodología utilizada por este organismo es conocida como el Procedimiento de Reconsideración de las Políticas. Este procedimiento implica tres tareas: primero, describir la política o programa; segundo, evaluar el desarrollo del proceso de implementación, eficacia y eficiencia, y tercero, proponer un mínimo de cuatro alternativas que requieran menos esfuerzo presupuestario, además de explorar las posibilidades de privatización, descentralización y o aplicación del principio de maximización de los beneficios.
consiste en la reconsideración de los programas y servicios estudiados, con el propósito de proponer alternativas a su modo de operar que redunden en un menor gasto público.
El procedimiento de reconsideración implica tres tareas: primero, describir la política o programa; segundo, evaluar el desarrollo del proceso de implementación, eficacia y eficiencia, y tercero, proponer un mínimo de cuatro alternativas que requieran menos esfuerzo presupuestario, además de explorar las posibilidades de privatización, descentralización y o aplicación del principio de maximización de los beneficios.
17
17
4.3 Elementos comunes de los sistemas de evaluación revisados
La observación de las experiencias comparadas pone de relieve algunas tendencias que
es preciso tener en cuenta a la hora de definir un organismo encargado de llevar
adelante la evaluación de políticas públicas. Sin embargo, se debe considerar las
características propias del proceso vivido en Chile de manera de adaptar estas
tendencias a nuestra propia idiosincrasia y tradición.
1. En primer lugar, respecto del tipo de organismo, el análisis comparativo permite
observar que no existen modelos únicos de institucionalización de los
mecanismos de evaluación y que la diversidad de organismos relacionados con
la evaluación presenta todo tipo de planteamientos organizativos y
competenciales. Nos encontramos con organismos de control presupuestario, de
auditorías de gasto público, comités interministeriales, órganos especiales para
la evaluación de políticas sectoriales, etc. En términos generales, podemos
verificar que las agencias de evaluación revisadas pueden ser de dos tipos: a)
independientes, donde tienen un funcionamiento autónomo, definiendo ellas
mismas sus métodos de actuación, las políticas a evaluar, las áreas o sectores
prioritarios, etc. En esta línea encontramos las agencias que prestan servicios de
información sobre políticas, ya sea al parlamento o al ejecutivo, pero que no
forman parte del aparato del Estado, y su financiamiento proviene de
organismos científicos o independientes, y; b) dependientes, donde se relacionan
principalmente con el ejecutivo o el legislativo.
2. En segundo lugar, y relacionado con lo anterior, en la mayoría de los países los
organismos de evaluación se encuentran vinculados al ejecutivo, aunque
normalmente dotados de entidad y autonomía propias, como ya señalábamos en
el punto anterior, con adscripción a presidencia o distintos departamentos. En
algunos países se visualiza una dependencia de los órganos evaluadores con el
Parlamento, del que dependen jerárquicamente y quien define, en gran medida,
el alcance de la evaluación que realizarán estos organismos.
3. En tercer lugar, respecto de sus definiciones estratégicas, todas han definido una
colaboración a la mejora de la gestión y a la transparencia, ya sea realizando
tareas de promoción de actividades de evaluación (muchas de ellas elaboran
manuales y guías que facilitan a los demás países la implementación de sistemas
de evaluación), ya sea fiscalizando o promoviendo una cultura de calidad en el
sector público, como muchas de ellas señalan de manera explícita.
4. En cuarto lugar, se puede apreciar que no existe una única estructura para las
agencias de evaluación, sino que estas se organizan de acuerdo a sus
definiciones estratégicas. Es así como encontramos organismos colegiados,
formados principalmente por ministros o miembros de diferentes carteras, u
organismos unipersonales, donde generalmente es un auditor quien encabeza la
gestión de estas agencias de evaluación. En ese sentido, cabe destacar que el
nombramiento de estas personas dependerá de la ubicación de la agencia
(ejecutivo o legislativo), aunque se observa en algunas ocasiones que concurren
ambas ramas al momento de nombrar o ratificar al responsable.
5. En quinto lugar, respecto de las atribuciones, la mayoría posee atribuciones de
fiscalización y consultivas. La fiscalización está relacionada principalmente con
el control de la legalidad de las actuaciones, donde los tribunales de cuenta
juegan un rol central, similar al de nuestra Contraloría General. Sin embargo,
casi todos los organismos tienen atribuciones consultivas, que sirven de apoyo a
la toma de decisiones. Llama especialmente la atención el caso francés, donde se
han definido 5 instancias distintas de evaluación, con diferentes atribuciones,
18
18
pero perfectamente complementarias en su gestión. Sin embargo, dada las
diferencias existentes entre cada país, no necesariamente esta misma fórmula
puede ser aplicada a Chile, especialmente porque requiere de ajustes
estructurales que implican un largo proceso de maduración.
6. En sexto lugar, respecto del foco de evaluación, se observa una alta
preponderancia en la eficacia y eficiencia del gasto, donde el control financiero
y presupuestario ha constituido la base de dicha evaluación. Sin embargo,
algunos organismos han intentado avanzar hacia una valoración de los
resultados de las políticas y de la calidad de los servicios prestados a través de
los distintos programas que componen una determinada política. Para ello, ya
sea al parlamento o el ejecutivo han previsto diferentes instancias, siendo ellos
quienes definen el foco de la evaluación de acuerdo a las decisiones que deban
tomar o a los intereses nacionales.
7. En séptimo lugar, respecto del tipo y metodología de evaluación, se trata de
auditorias financieras, de eficiencia y eficacia, aunque se verifica instrumentos
novedosos de evaluación vinculados a la gestión de programas, al desempeño de
los organismos públicos, etc. Según señalan algunos expertos (Velez, 2006), la
necesidad de evaluar las políticas públicas es en todo el mundo democrático una
exigencia de la gestión política actual, donde se observa una evolución desde
una preocupación basada fundamentalmente, en que las actuaciones cumplieran
con el principio de legalidad hacia una progresiva preocupación por el
establecimiento de mecanismos de control y evaluación de las políticas públicas.
A partir de lo anterior, en términos generales y tomando en cuenta los enfoques
utilizados para la evaluación, podemos observar la importancia del contexto
sociopolítico en el que se desarrolla la evaluación. En la mayoría de las experiencias
revisadas, se asume que la evaluación está inmersa en el proceso político, que no es
ajena a los valores, que no sólo está afectada por ellos sino que puede modificarlos, y
que, consecuentemente, deben ser considerados en el trabajo de evaluación. En ese
sentido, las evaluaciones tienen como objeto de estudio políticas y programas públicos.
La dinámica, los rasgos del contexto político en el que surgen y los procedimientos, las
estructuras y los actores que conforman este contexto inciden en su realización. La
evaluación constituye una actividad política, puesto que en que en ella se ven
involucrados intereses políticos contrapuestos. Las evaluaciones se realizan con el
propósito de informar y, por tanto, influir, en el proceso de toma de decisiones políticas.
Además los resultados de las evaluaciones se utilizan en ocasiones de manera
instrumental para fines políticos.
Consideramos, por tanto, que en la evaluación deben ser tomados en cuenta las
especificidades del contexto político en el que se desarrolla la intervención a evaluar y
las características de las instituciones y agentes implicados en su diseño, gestión y
ejecución. La evaluación debe adaptarse a cada contexto, a cada situación, si quiere
fomentarse su utilidad.
Todo ello, unido a la importancia concedida a la evaluación conjunta de las políticas y
no a los efectos aislados de sus componentes (enfoque sistémico de la evaluación), hace
que se demande la aplicación de un enfoque holístico e integral:
- Porque los programas no se diseñan ni ejecutan de forma aislada. Forman parte
de un mosaico donde cada pieza juega un papel en los resultados finales de un
proceso sociopolítico más amplio y complejo.
- Porque la evaluación no debe considerarse la última parte del proceso de
formación y ejecución de programas de intervención pública.
19
19
- Porque la evaluación debe abarcar todos los elementos relevantes del programa,
para lo que se necesita la aplicación de una metodología pluralista, combinando
técnicas cualitativas y cuantitativas.
En otro ámbito, respecto del tipo y metodología de evaluación podemos ver que las
agencias han intentado avanzar de manera paulatina desde el empleo de técnicas
meramente cuantitativas, fundamentalmente basadas en la utilización del método
experimental hacia la selección de técnicas propias de enfoques inductivos,
principalmente técnicas cualitativas de análisis orientados a explorar y descubrir la
lógica de las relaciones causales partiendo de lo concreto para derivar en
comportamientos generales. En ese sentido, se han tratado de complementar ambas
técnicas.
La necesidad de valorar aspectos como el grado de satisfacción de la población objetivo
y el cambio de las expectativas e identificar cómo los participantes en un plan (gestores,
administradores, población beneficiaria y responsables últimos de su ejecución) toman
sus decisiones, ha provocado que la metodología de evaluación vaya evolucionando
hacia un concepto más amplio en el que los aspectos cualitativos cobran cada vez mayor
relevancia y las técnicas cuantitativas tienden a integrarse como un elemento más del
proceso evaluador.
Finalmente, podemos señalar que la evaluación está siempre condicionada por factores
metodológicos comunes tales como la necesidad de clasificar y cuantificar los objetivos;
la determinación del momento de la evaluación; y, la disponibilidad de información.
Todos estos condicionantes hacen que ningún método proporcione por sí sólo una
explicación suficiente de los impactos, aunque son útiles para extraer indicios e
identificar las tendencias y su dirección. De ahí que aboguemos por una pluralidad
metodológica que se adapte a la realidad objeto de evaluación y donde los elementos del
contexto jueguen un papel fundamental en la elección de los métodos.
5. Conclusiones
Durante el último tiempo hemos visto como las distintas propuestas de reforma de las
Administraciones Públicas, como proceso de cambio institucional, han extendido el uso
de la evaluación, favoreciendo el desarrollo de procedimientos, formas organizativas y
culturales más flexibles, para conseguir actuaciones públicas más eficaces y eficientes
en procesos de mayor transparencia democrática (Osuna, 2004). Efectivamente, los
gobiernos reconocen de manera creciente la contribución que supone evaluar las
políticas públicas como una ayuda importante para la buena administración y un medio
para alcanzar niveles elevados de desempeño en el sector público.
De acuerdo con el Banco Mundial, el fortalecimiento de la capacidad de evaluación
puede aportar en cuatro áreas clave.
1. Los resultados de la evaluación pueden ser importantes para la asignación de los
recursos estatales, la planificación, la adopción de decisiones y el
establecimiento de prioridades, particularmente en el proceso presupuestario.
2. La función de evaluación ayuda a los gerentes del sector público al revelarles el
desempeño de actividades en marcha en los niveles sectorial, de programas y de
proyectos; es por eso un instrumento de gestión que conduce al aprendizaje y a
la mejora futura (es decir, la gestión basada en los resultados).
3. Las conclusiones de la evaluación serán útiles para los que tienen la obligación
de rendir cuentas, y permitirán así hacer a los administradores responsables del
desempeño exitoso de sus actividades y hacer que los gobiernos sean
responsables del éxito de su funcionamiento. El concepto de de rendición de
cuentas a la sociedad abarca el reconocimiento de que una buena administración
20
20
económica y gobernabilidad y un sector público saludable son cruciales para la
competitividad de la economía nacional, ya que los mercados internacionales
premian a los países que son capaces de administrar y monitorear los gastos del
sector público, y la evaluación ofrece una herramienta para hacerlo.
4. El uso de los resultados de la evaluación es demostrar la medida del éxito de
actividades que promueven el desarrollo de distintos sectores prioritarios para la
ciudadanía, definidos en términos democráticos.
La implementación de una agenda de evaluación en Chile representa un cambio
fundamental en la manera de pensar, actuar y administrar dentro del sector público, por
lo que será necesario cuidar, en su definición, tanto aspectos de diseño como de
implementación. Efectivamente, en el ámbito de la dirección y gestión estratégica
parece existir consenso sobre la proposición que afirma que el fracaso en la gestión
estratégica tiene su origen, mucho más a menudo, en una mala o inadecuada
implementación que en un mal diseño de la estrategia.
Esta afirmación es claramente aplicable a nuestro caso. Será necesario, por tanto que
además de desarrollar el modelo, se desarrollen estrategias y criterios de
implementación que permitan enfrentar un enfoque integral con un nivel razonable de
manejabilidad del proceso de implementación teniendo en cuenta que la evaluación de
políticas públicas constituye un claro avance hacia la consolidación de un sistema
democrático.
A partir de a revisión experiencial realizada, podemos señalar que la implementación de
un sistema de evaluación de políticas públicas debe ser contingente. No hay un modelo
único de organización ni de estructuración e agencia, sino que más bien se trata de un
sistema abierto con muchas variables, lo cual hace que cada aplicación del modelo y
cada proceso de implantación sea distinto. Esto significa que difícilmente se podrá
establecer una estrategia única para su implementación, pero sí creemos que un aporte
interesante será definir aquellos factores críticos de éxito que pueden ayudar a diseñar la
estrategia de implantación que en cualquier caso deberá ser propia.
5. Bibliografía
Haarich. S. (2004) Diferentes sistemas de evaluación de las políticas públicas en
Europa: España, Alemania y los Países del Este. Revista española de Control
Externo, mayo 2005, vol. VII, nº 20, págs. 61-87.
Serra, A., Figueroa, V. y Saz, A. (2007). Modelo abierto de gestión para resultados en el
sector público. Serie Monografías BID-CLAD, Washington.
Dye, T. (1995) Understanding public policy, New Jersey, Prentice Hall.
IDR (2006) Guía para la evaluación de políticas públicas. Instituto de Desarrollo
Regional, Fundación Universitaria, España.
Monnier, E. (1995) Evaluación de la acción de los poderes públicos. Instituto de
Estudios Fiscales, Madrid.
Rossi, P. y Freeman, H. (1993). Evaluation: A Systematic Approach. Beverly Hills,
California, Sage.
Toulemonde, j. (2000). Evaluation cultures in Europe: differences and convergence
between national practices, Vierteljahrshefte zur Wirtschaftsforschung, Nº 69.
Levine, R. (1981). Program evaluation and policy analysis in western nations: An
Overview, en: Levine et al (eds.), Evaluation Research and Practive.
Comparative and international perspectives, pp. 12-27.
Boyle, R. et al. (1999) Introduction: building evaluation capacity. En Boyle y Lemaire
(eds) Building effective evaluation capacity: lessons from practice, pp: 1-19.
21
21
Subirats, J. y Gomá, R. (2002) Evaluación de políticas públicas. En Planificación y
Evaluación de políticas de información. Documentos de Lectura, Fundació per
a la Universitat Oberta de Catalunya UOC, España, pp: 189-205.
Echevarria, C. (2006) La evaluación de políticas públicas. Paper in progress,
Universidad de Bilbao.
Armet, L. (2004) Notas sobre las agencias de evaluacion de las políticas públicas. En
Revista Española de Control Externo, mayo 1955, vol. VII, nº 20, pp:13-20.
Osuna, J. (2004). Nuevas instituciones y prácticas de evaluación para la administración
pública. IX Congreso Internacional del CLAD sobre la Reforma del Estado y
de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004