1

INSTITUTO LATINOAMERICANO Y DEL CARIBE DEPLANIFICACIN ECONMICA Y SOCIAL

LIMITADALC/IP/L. 237Noviembre de 2003ORIGINAL: ESPAOL

BOLETN DEL INSTITUTO

13Noviembre, 2003

2

3

El Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social(ILPES) es un organismo permanente y con identidad propia, dentro de la CEPAL,Naciones Unidas. Se fund en 1962 y su misin es apoyar a los gobiernos de la reginen el campo de la planificacin y gestin pblica, mediante la prestacin de serviciosde capacitacin y cooperacin tcnica.

4

Versin resumida de un documento del mismo ttulo, que ser publicado prximamente por el ILPESy que fue preparado por Juan Cristbal Bonnefoy, Investigador del rea de Gestin Pblica y Regulacindel ILPES.Las opiniones expresadas en este resumen, que no ha sido sometido a revisin editorial, son de exclusivaresponsabilidad del autor y pueden no coincidir con las del Instituto.

5

INSTITUTOINSTITUTOINSTITUTOINSTITUTOINSTITUTOLALALALALATINOAMERICANO TINOAMERICANO TINOAMERICANO TINOAMERICANO TINOAMERICANO YYYYYDEL CARIBE DEDEL CARIBE DEDEL CARIBE DEDEL CARIBE DEDEL CARIBE DEPLANIFICACINPLANIFICACINPLANIFICACINPLANIFICACINPLANIFICACINECONMICA Y SOCIALECONMICA Y SOCIALECONMICA Y SOCIALECONMICA Y SOCIALECONMICA Y SOCIAL(ILPES)(ILPES)(ILPES)(ILPES)(ILPES)Edificio Naciones UnidasAv. Dag Hammarskjld 3477VitacuraSantiago, ChileCasilla 1567Telfonos (56-2) 210 2506 y

(56-2) 210 2507Fax (56-2) 206 6104

(56-2) 208 0252(56-2) 208 1946

Direccin del ILPES enInternet:http://www.ilpes.orghttp://www.ilpes.cl

LOS INDICADORES DE EVALUACIN DEL DESEMPEO:UNA HERRAMIENTA PARA LA GESTIN POR

RESULTADOS EN AMRICA LATINA

NDICE

Presentacin ............................................................................ 7

I. INTRODUCCIN .......................................................... 9

II. BASES CONCEPTUALES DE LOS INDICADORESDE EVALUACIN DEL DESEMPEO...................... 12

A. Qu es un Indicador de Evaluacin del Desempeo?B. Los Indicadores de Evaluacin del Desempeo: una

Necesidad para la Gestin por ResultadosC. Los problemas de medicin y disponibilidad de

informacin

III. LA CONSTRUCCIN DE INDICADORES EN LAPRCTICA ...................................................................... 20

A. Condiciones previas para la construccin deindicadores del desempeo

B. Plan Operativo para la construccin de indicadoresdel desempeo

C. Las Dimensiones de la Evaluacin del DesempeoD. La integracin de las distintas dimensiones de

evaluacin del desempeo

IV. DESAFOS DE IMPLEMENTACIN DE LAGESTIN PBLICA ORIENTADA A LOSRESULTADOS ................................................................. 31

A. Ambigedad en la definicin de la misinorganizacional

B. El impacto en el proceso presupuestarioC. Ausencia de un enfoque de largo plazo en la gestin

por resultadosD. Escasez de mecanismos de participacin ciudadana

a favor de la gestin por resultadosE. Los Problemas de CausalidadF. La evaluacin de funcionarios y su vnculo con los

sistemas de compensacinG. Institucionalizacin de la funcin de evaluacin de

resultados

V. REFLEXIONES FINALES ............................................. 39

VI. BIBLIOGRAFA .............................................................. 42

6

7

PRESENTACIN

El tema de las polticas presupuestarias tiene y ganar creciente relevanciaen las preocupaciones de los gobiernos, como lo demuestra la grancantidad de reformas ya realizadas y las que estn en curso. Estasreformas responden, por un lado, a las necesidades de la gestinmacroeconmica y, por otro, a las demandas de la ciudadana de mayoreficacia, eficiencia y transparencia en la conduccin de los asuntospblicos. Las reformas involucran un conjunto amplio de medidas quetienden a reforzarse entre s como son, por ejemplo: la concertacinestratgica en torno a visiones prospectivas, que permitan construir futurocomo alternativa vlida a los procesos de planificacin ms tradicionalesy establecer pactos fiscales que fundamenten el accionar pblico; lagestin presupuestaria para el ciclo econmico en su conjunto,diferenciando entre factores de carcter permanente y transitorio; elanlisis sobre la totalidad del ciclo de las polticas pblicas, abarcandolos momentos de diseo, seguimiento de la ejecucin y evaluacin desus resultados tanto en trminos de eficacia como de eficiencia yeconomicidad; y la mayor transparencia hacia la ciudadana, incluyendodiversas modalidades de participacin social.

En la presupuestacin moderna, la disciplina en la gestin de losagregados fiscales debe ser complementada con la efectividad en laasignacin de recursos y la eficiencia operacional en la entrega deservicios. Las mayores interdependencias y sinergias se generan en lasreformas que afectan las inercias de la distribucin de recursos,intersectorial e intrasectorialmente, as como en las innovaciones de lagestin pblica que actan en el plano microeconmico. En este marco,surge la necesidad de una prctica gerencial que sea parte de una culturade desempeo centrada en los resultados y que se oriente en beneficiodirecto del ciudadano, con alto grado de compromiso de cumplimientoy esquemas apropiados de incentivos y evaluacin. Esta gestin pblicarenovada parte del reconocimiento de los derechos que tienen losciudadanos como contribuyentes y usuarios de los servicios.

Lograr que la gestin del sector pblico sea ms eficiente ycomprometida con los resultados ciertamente representa una tarea deenvergadura que requiere del diseo de polticas, de lneas de accin yde la movilizacin de los recursos humanos y materiales del aparatopblico. Pero junto con ello, debe existir la voluntad poltica que site eltema como uno de los instrumentos del proceso de rediseo del Estado,un proceso que para que pueda dar sus frutos forzosamente debertrascender ms all del corto o mediano plazo.

En este contexto general, el Instituto Latinoamericano y del Caribede Planificacin Econmica y Social (ILPES) ha venido realizandodiversas actividades relativas a la gestin por resultados entre las cualescabe destacar:

8

La XI Conferencia de Ministros y Jefes de Planificacin de AmricaLatina y el Caribe (Madrid, Espaa, 6 de noviembre 2002), quecontempl en su agenda como tema central las Nuevas tendenciasde la gestin pblica. A este fin, el ILPES prepar, entre otras cosas,un documento sobre evaluacin de programas, medicin deresultados y convenios de desempeo1 ; con ello dio adems respuestaa la resolucin MD/CRP/XXI.03 adoptada por los pases miembrosen la XXI reunin de la Mesa Directiva del Consejo Regional dePlanificacin (Brasilia, Brasil; 8 de mayo 2002);

La Primera Reunin de Responsables de Presupuesto de AmricaLatina y el Caribe (Santiago, Chile; 29 enero 2003)2 , realizada en elmarco del XV Seminario Regional de Poltica Fiscal (Santiago, Chile;27-30 de enero 2003). Al respecto se prepar un documento tituladoGestin pblica por resultados y programacin plurianual (Serieseminarios y conferencias N 29, LC/IP/L.1949-P, LC/IP/L.230;agosto 2003) que recoge la versin revisada de los trabajos sobregestin por resultados y programacin plurianual presentados endicha reunin.

Asimismo se han llevado a cabo diversas asesoras, cursos decapacitacin y acciones de cooperacin tcnica para la instrumentacinde sistemas de indicadores de evaluacin del desempeo en las distintasesferas de gobierno de los pases de la regin.

Todas estas actividades buscan contribuir al objetivo de que el Estadose convierta en una organizacin eficiente, eficaz y con una arraigadacultura de servicio pblico, encaminada a satisfacer cabalmente laslegtimas demandas de la sociedad. En tal sentido, se espera que estenuevo nmero del Boletn, que examina el tema de los indicadores deevaluacin de desempeo como herramienta para la gestin porresultados en los pases de la regin, sea un modesto aporte al conjuntode estudios e investigaciones ya disponibles en la literatura.

Direccin del ILPESNoviembre 2003

1 Gua para la discusin de la mesa redonda: Evaluacin de programas, medicinde resultados y convenios de desempeo (documento LC/IP/R.221, octubre 2002).

2 Realizada por la Secretara Ejecutiva de la CEPAL, a travs del ILPES, con elpatrocinio del Servicio de Gestin Pblica de la Organizacin para la Cooperacin y elDesarrollo Econmico (PUMA-OCDE) y bajo los auspicios del Ministerio de Haciendade Chile.

9

LOS INDICADORES DE EVLOS INDICADORES DE EVLOS INDICADORES DE EVLOS INDICADORES DE EVLOS INDICADORES DE EVALUACIN DELALUACIN DELALUACIN DELALUACIN DELALUACIN DEL DESEMPEO: DESEMPEO: DESEMPEO: DESEMPEO: DESEMPEO:UNAUNAUNAUNAUNA HERRAMIENT HERRAMIENT HERRAMIENT HERRAMIENT HERRAMIENTAAAAA P P P P PARAARAARAARAARA LA LA LA LA LA GESTIN POR RESUL GESTIN POR RESUL GESTIN POR RESUL GESTIN POR RESUL GESTIN POR RESULTTTTTADOSADOSADOSADOSADOS

EN EN EN EN EN AMRICAAMRICAAMRICAAMRICAAMRICA LA LA LA LA LATINATINATINATINATINA

Juan Cristbal Bonnefoy3

I. INTRODUCCIN

Las recomendaciones de polticas econmicas del Consenso deWashington marcaron la agenda de reformas en Amrica Latina durantela primera mitad de la dcada de los noventa. Estas frmulas ponan elacento en los cambios institucionales que se relacionan con la disciplinafiscal, la reforma fiscal e impositiva, la reorientacin del gasto pblicohacia la salud y la educacin, las privatizaciones de empresas pblicas yla desregulacin de los mercados. Sin embargo, la evidencia empricademuestra que las iniciativas implementadas hasta mediados de losnoventa se centraron en el restablecimiento de los equilibriosmacroeconmicos y la reestructuracin de incentivos de mercado yprecios relativos. Las reformas desplegadas no afectaron sustancialmentela institucionalidad estatal, con la excepcin de aquellas que afectaron alas empresas pblicas, ya sea por la va de las privatizaciones o por labsqueda de una mayor eficiencia y eficacia en las empresas quecontinuaron en el mbito estatal (Haggard, 1995).

El proceso de reformas logr reducir el dficit fiscal promedio de laregin de un 2.2% del PIB en 1990 a un 1.1% en 19974 , pero subsistieronen la mayora de los pases latinoamericanos altos niveles de pobreza yde desigualdad social. En este contexto, en 1998 la CEPAL propuso, atravs del Pacto Fiscal, un redireccionamiento de las reformas del Estadoenfatizando el desarrollo institucional y el fortalecimiento de lagobernabilidad. Tambin otras instituciones, como el Banco Mundial,comenzaron a revalorar el rol de las instituciones estatales en el desarrolloy a relativizar la importancia de las fallas de mercado en comparacina las fallas institucionales.

En el mbito poltico estas propuestas se formalizan durante laCumbre de las Amricas de 1998, denominado Consenso de Santiago (oneo-Consenso de Washington). Este conjunto de proposiciones planteaque las debilidades institucionales constituyen un cuello de botella paratransformaciones econmicas ms profundas, reafirmndose que la

3 Investigador del rea de Gestin Pblica y Regulacin del ILPES,jbonnefoy@cepal.cl .

4 Promedio simple para 19 pases del saldo del Gobierno Central. ILPES, Base deDatos de Estadsticas de las Finanzas Pblicas, http://www.cepal.cl/ilpes/.

10

calidad del gasto pblico es tan importante como el balance fiscal. Deeste modo, la preocupacin por el funcionamiento del aparato estatal havuelto a estar en el centro del debate.

La reforma del Estado en Amrica Latina ha sido enfrentada durantela ltima dcada por los diferentes gobiernos por medio de una serie deprocesos de modernizacin administrativa del aparato estatal. Se hadetectado la necesidad de realizar una autntica y ms aceleradatransicin desde un modelo de gestin burocrtico-tradicional hacia unmodelo de gestin pblica orientada a los resultados.

El modelo de gestin burocrtico-tradicional se caracterizaba por unnfasis en los insumos del proceso y en el control externo. El nuevomodelo de gestin orientada a los resultados se enfoca en los impactosde la accin pblica, donde lo relevante son los resultados, las metas, losindicadores de desempeo y los estndares. Adems, este nuevo enfoquehace hincapi en las dimensiones de carcter ms cualitativas de lagestin. A modo de ejemplo, ya no interesa slo aumentar la coberturaescolar, sino que se incorpora el tema de la calidad de la educacinimpartida por el Estado. El modelo de gestin orientado a los resultadosasume que los propios ciudadanos interesados pueden evaluar la calidad,cantidad y oportunidad de los bienes y servicios recibidos, por lo que enalgunos programas se incorpora la evaluacin de resultados por partede los destinatarios o actores interesados (stakeholders)5 .

Para avanzar en esta transicin de modelos de gestin pblica se haexperimentado en los distintos gobiernos con una serie de instrumentosde mejoramiento de la gestin e innovaciones gerenciales6 . Por su bajocosto y rapidez de aplicacin, una de las herramientas ms utilizadas enlos gobiernos de la regin han sido los programas de indicadores deevaluacin del desempeo o indicadores de gestin.

La incorporacin eficaz de esta herramienta al aparato pblicoconlleva una serie de problemas y desafos estratgicos que es precisoanalizar, tanto en la fase de diseo como en la fase de implementacin yevaluacin de los mismos. Este documento tiene por objeto sistematizarlas principales reflexiones tericas y evaluaciones empricas que hansurgido en los ltimos diez aos sobre el uso de los indicadores deevaluacin del desempeo.

Las primeras dos secciones abordan los aspectos operativos que estninvolucrados en la construccin del sistema de indicadores, con particularnfasis en los problemas que han afectado a los pases de Amrica Latinaque han desarrollado las experiencias de mayor extensin en el tiempo.

5 El trmino stakeholder da cuenta de un amplio grupo de personas naturales yjurdicas que son afectadas por las decisiones y acciones pblicas. El derechoadministrativo moderno reconoce a stos como los titulares de derechos o intereseslegtimos individuales o colectivos, a quienes pudieren resultar afectados en sus derechosy a los grupos intermedios que la ley reconozca ser titulares de intereses colectivos.

6 Para una revisin de las principales herramientas utilizadas, ver las secciones IVy VI de Schick (2002).

11

La tercera seccin de este documento analiza los principales desafosque estn surgiendo para el diseo y puesta en marcha de un sistema deindicadores de evaluacin del desempeo.

12

II. BASES CONCEPTUALES DE LOS INDICADORESDE EVALUACIN DEL DESEMPEO

La evaluacin del desempeo ha reclutado expertos de distintasdisciplinas, los cuales han desarrollado esta rea con enfoques marcadospor su formacin inicial: economistas (que tradicionalmente se hancentrado en la evaluacin de proyectos), evaluadores de programas(quienes tpicamente tienen una formacin en ciencias sociales) yauditores (quienes enfatizan en el cumplimiento de estndares y normas).Lo que en un principio puede parecer un notable trabajointerdisciplinario, en la prctica ha significado que se usan distintosconceptos, a menudo con similar o incluso idntico vocabulario. Estasituacin ha generado confusin y gran discusin en torno a lossignificados precisos de cada trmino (Mackay, 1998).

Para enfrentar esta virtual Torre de Babel, se hace necesario alcanzarun acuerdo mnimo operacional que precise conceptualmente qu seentiende por indicadores de evaluacin del desempeo, cul es su mbitode aplicacin y principales caractersticas. Las secciones siguientes seconcentran en esta tarea.

A. Qu es un Indicador de Evaluacin del Desempeo?A. Qu es un Indicador de Evaluacin del Desempeo?A. Qu es un Indicador de Evaluacin del Desempeo?A. Qu es un Indicador de Evaluacin del Desempeo?A. Qu es un Indicador de Evaluacin del Desempeo?

Si se analiza la experiencia de pases de Amrica Latina y pases miembrosde la Organizacin de Cooperacin y Desarrollo Econmico (OCDE) queutilizan indicadores en sus sectores pblicos se puede encontrar distintasdenominaciones tales como indicadores de gestin, indicadores dedesempeo, indicadores claves de xito e indicadores de control. En estedocumento se ha considerado que el desempeo tiene un mbito msamplio que el concepto de gestin y que la evaluacin presentadimensiones ms completas que el control, por lo que se considera msapropiada la expresin indicador de evaluacin del desempeo.

En la administracin pblica el desempeo es un conceptorelativamente nuevo. Segn la Real Academia Espaola el desempeose refiere a actuar, trabajar, dedicarse a una actividad, lo cual nos dauna idea bsica, pero que requiere una elaboracin conceptual ms ampliapara el mbito de la gestin pblica. Tal desarrollo a menudo se haasimilado al concepto anglosajn de government performance, el cual serefiere a la productividad, calidad, oportunidad, responsabilidad yeficacia de los servicios y programas pblicos7 . Dado que la gestinpblica implica el actuar o dedicarse a las responsabilidades gerenciales,entonces el desempeo involucra los aspectos organizacionales y surelacin con el entorno como lo describe Hernndez (2002): desempeo

7 Wholey y Newcomer (1989), traduccin propia.

13

implica la consideracin de un proceso organizacional, dinmico en eltiempo y refleja modificaciones del entorno organizativo, de lasestructuras de poder y los objetivos.

El concepto de desempeo en el mbito gubernamental normalmentecomprende tanto la eficiencia como la eficacia de una actividad de carcterrecurrente o de un proyecto especfico. En este contexto la eficiencia serefiere a la habilidad para desarrollar una actividad al mnimo costoposible, en tanto que la eficacia mide si los objetivos predefinidos parala actividad se estn cumpliendo. Adems de estas dos dimensiones deldesempeo pblico, recientemente se han incorporado los criterios dedesempeo presupuestario, focalizacin y calidad en la prestacin delos servicios pblicos.

Para evaluar el desempeo en los trminos descritos anteriormente,se han desarrollado una gran cantidad de herramientas metodolgicas,pero su uso puede conducir a confusiones dado que distintos autores yexpertos utilizan diferente terminologa para referirse a mtodossimilares. El campo acadmico de la evaluacin del desempeo haincluido dentro de la evaluacin del desempeo a distintosinstrumentos tales como:

Informacin de monitoreo y seguimiento; Evaluacin de proyectos y programas (tipo ex-ante, de seguimiento

fsico-financiero o ex-post); Auditora de desempeo y Auditora financiera.

La amplitud de estas metodologas se puede observar por ejemploen una base de datos de prcticas y procedimientos presupuestarios quese encuentra desarrollando durante el ao 2003 la OCDE en conjuntocon el Banco Mundial para ms de 60 pases. A la fecha de publicacinde este documento 38 pases han ingresado sus datos, incluyendo seispases latinoamericanos: Argentina, Bolivia, Colombia, Chile, Mxico yUruguay. El Cuadro 1 muestra la extensin del uso de mecanismos paraestimar la eficiencia, eficacia y costo-efectividad del gasto de lasactividades pblicas. Como se puede observar en el Cuadro 1, la OCDEhace una distincin entre revisin (review) y evaluacin. La revisinconsiste en una evaluacin del desempeo de una intervencin, en tantoque la evaluacin se utiliza para una valoracin en mayor profundidady ms comprehensiva que la revisin.

Algunas experiencias de indicadores de evaluacin del desempeohan restringido su uso a la informacin proveniente del monitoreo yseguimiento. Sin embargo, dado la experiencia emprica para efectos deeste documento, se asume que todas las herramientas antes mencionadaspueden generar indicadores de evaluacin del desempeo.

Con la finalidad de incorporar definiciones conceptuales que surgende la praxis latinoamericana, a continuacin se presenta la definicinutilizada por el sistema de indicadores del Per:

14

Los indicadores de desempeo son instrumentos de medicinde las principales variables asociadas al cumplimiento de losobjetivos, que a su vez constituyen una expresin cualitativa ocuantitativa concreta de lo que se pretende alcanzar con unobjetivo especfico establecido. (...) La evaluacin del desempeose asocia al juicio que se realiza una vez culminada la accin o laintervencin. Busca responder interrogantes claves sobre cmose ha realizado la intervencin, si se han cumplido los objetivos(concretamente, la medida en que stos han sido cumplidos), elnivel de satisfaccin de la poblacin objetivo, entre otras. En suma,se busca evaluar cun bien o cun aceptable ha sido el desempeode determinado organismo pblico con el objetivo de tomar lasacciones necesarias para perfeccionar la gestin (Ministerio deEconoma y Finanzas del Per, 2000).

Como se desprende de la definicin anterior, el sistema de indicadoresde desempeo en los organismos pblicos del Per ha enfatizado elvnculo entre desempeo y evaluacin, estableciendo que la meta delsistema es tomar acciones para mejorar la gestin.

B. Los Indicadores de Evaluacin del Desempeo: una NecesidadB. Los Indicadores de Evaluacin del Desempeo: una NecesidadB. Los Indicadores de Evaluacin del Desempeo: una NecesidadB. Los Indicadores de Evaluacin del Desempeo: una NecesidadB. Los Indicadores de Evaluacin del Desempeo: una Necesidadpara la Gestin por Resultadospara la Gestin por Resultadospara la Gestin por Resultadospara la Gestin por Resultadospara la Gestin por Resultados

Como se seal en la Introduccin de este documento, la gestin pblicaen Amrica Latina se encuentra en una transicin desde un modeloburocrtico tradicional hacia un modelo de gestin pblica orientada alos resultados. Este nuevo modelo se centra en los impactos de la accinpblica, donde lo ms importante son los resultados, las metas y losestndares de desempeo.

Cuadro 1Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/Qu mecanismos se utilizan para estimar la eficiencia, eficacia y costo efectividad/

eficiencia del gasto (value for money) de las actividades pblicaseficiencia del gasto (value for money) de las actividades pblicaseficiencia del gasto (value for money) de las actividades pblicaseficiencia del gasto (value for money) de las actividades pblicaseficiencia del gasto (value for money) de las actividades pblicas?

TTTTTotalotalotalotalotal PorcentajePorcentajePorcentajePorcentajePorcentaje Porcentaje 6Porcentaje 6Porcentaje 6Porcentaje 6Porcentaje 6PasesPasesPasesPasesPases (N=38 pases) pases de LApases de LApases de LApases de LApases de LA

Revisin del xito de los principales programasen el logro de sus objetivos anunciados 18 47.3 % 33.3%

Revisiones especiales (ad-hoc) sectorialeso de programas 29 76.3 % 50.0%

Evaluacin sistemtica de la eficiencia, eficaciay economa 7 18.4 % 33.3%

Evaluaciones especiales (ad-hoc) de la eficiencia,eficacia y de la economa 14 36.8 % 16.7%

Evaluaciones ad-hoc de costos de efectividad(cost effectiveness/value for money) 10 26.3 % 0.0%

Acuerdos del desempeo detallando resultadosdeseados 12 31.5 % 16.7%

Revisiones realizadas por organizaciones externas(por ejemplo, Banco Mundial, oficinasuprema de auditora) 15 39.4 % 33.3%

FuenteFuenteFuenteFuenteFuente: OECD/World Bank Survey on Budget Practices and Procedures, 2003.

15

La introduccin de indicadores de evaluacin del desempeo generamltiples puntos de apoyo para la implementacin de una gestinorientada a los resultados. En primer lugar, los indicadores apoyan elconocimiento y el aprendizaje del accionar que a menudo se desarrollaen forma bastante irreflexiva y rutinaria. Si el proceso de construccinde los indicadores se realiza en forma amplia y participativa, tanto losdirectivos pblicos como los funcionarios inician un proceso de reflexine introspeccin acerca del quehacer institucional que los lleva a un darsecuenta de las fortalezas y debilidades de los resultados de cada unidady de la institucin en su conjunto. Este proceso de aprendizaje tiene suvertiente ms rica en el cambio del eje de anlisis que realizan losfuncionarios desde una visin centrada en los procesos (sobre lo quenormalmente hay ms conciencia pues son las acciones que se ejecutandiariamente) hacia una visin que se orienta a los resultados e impactosdel accionar institucional.

Un segundo aspecto se refiere al apoyo que proveen los indicadorespara adoptar medidas de mejoramiento de la gestin que se refieren alre-diseo de los programas modificando sus estrategias de entrega delos bienes y servicios a las poblaciones destinatarias. De igual modo, lasconclusiones que emanan de la evaluacin del desempeo permitenrealizar ajustes en la operacin y valorar la pertinencia de las accionesrealizadas en pos del logro de los objetivos institucionales.

Un tercer punto de apoyo para la implementacin de una gestinorientada a los resultados es que la utilizacin de los indicadores favorecela contestabilidad o competencia por recursos pblicos. Con la finalidadde romper la inercia presupuestaria, los distintos programas y sectorescompiten en igualdad de condiciones para obtener fondos durante lafase de formulacin presupuestaria. Si bien la contestabilidad en el mbitopblico inicialmente se concentr en el uso de proveedores privados paraentregar bienes y servicios, recientemente se ha incorporado la nocinde comparar los impactos y gestin entre distintos servicios pblicoscomo un medio de utilizar en forma ms eficiente los recursos8 .

Finalmente, el cuarto punto de apoyo tiene relacin con latransparencia y rendicin de cuentas. La bsqueda de la eficiencia no sepuede desentender de la participacin ciudadana. Para que laaccountability sea operativa la ciudadana, las redes sociales y las ONGdeben disponer de informacin sobre el accionar pblico, particularmenteen lo que se refiere a los niveles de cobertura y criterios de focalizacinde los programas pblicos.

8 Un ejemplo clsico de este tipo de competencia se podra dar en los programasque apoyan el sector de la pequea y mediana empresa. Los programas de PYME segeneran a travs de ministerios de fomento productivo, de agricultura, gobiernos locales,universidades, agencias promotoras de exportaciones, fondos de apoyo social, agenciasque promueven el cooperativismo, entre otros. La medicin de su eficacia y eficienciapermite comparar el impacto sobre la poblacin objetivo de cada instrumento deintervencin o programa.

16

Cabe sealar que de las experiencias de indicadores de evaluacindel desempeo que se han implementado en Amrica Latina, estabsqueda de transparencia y rendicin de cuentas ha sido el objetivoque menos ha avanzado por los problemas polticos que se generan alpublicitar desempeos que no son considerados ptimos por laciudadana o los medios de comunicacin. Persiste una culturainstitucional que no ve con buenos ojos la sancin social o poltica quecae sobre los directivos pblicos que encabezan organizaciones pblicasque no tienen una buena evaluacin externa de su desempeo.

A modo de ejemplo, en el Recuadro 1 se presentan los fundamentosque llevaron en 1994 a la Comisin Interministerial de Modernizacindel Estado de Chile a implementar los indicadores de desempeo en losservicios pblicos del gobierno central. Como se puede observar, slo elquinto punto establece como fundamento para crear los indicadores eldisponer con informacin sobre desempeo por parte de entidades queestn fuera del Gobierno (en este caso el Parlamento). El sistema chilenoha evolucionado con el tiempo e incluso se discontinu en los aospresupuestarios 1999-2000. A partir del 2001 los indicadores dedesempeo se restablecieron y se le dio mayor nfasis a las medicionespara uso externo como instrumento de accountability, donde se debeprivilegiar productos estratgicos y orientados a los resultados, ya seanfinales o intermedios (Guzmn, 2003).

Recuadro 1Fundamentos para la Construccin de Indicadores de DesempeoFundamentos para la Construccin de Indicadores de DesempeoFundamentos para la Construccin de Indicadores de DesempeoFundamentos para la Construccin de Indicadores de DesempeoFundamentos para la Construccin de Indicadores de Desempeo

1. Posibilita la evaluacin cualitativa y cuantitativa del desempeo global dela institucin, por medio de la evaluacin de sus principales programas y/odepartamentos.

2. Induce un proceso de transformaciones estructurales y funcionales quepermita eliminar inconsistencias entre el quehacer de la organizacin y susobjetivos prioritarios.

3. Apoya el proceso de desarrollo organizacional y de formulacin de polticasde mediano y largo plazo.

4. Mejora la coordinacin de los Servicios Pblicos con la Direccin dePresupuestos, extendiendo el proceso presupuestario hacia la discusinfundamentada de los resultados y el establecimiento de compromisos entorno a stos.

5. Mejora cualitativa y cuantitativamente la informacin sobre desempeo delos Servicios que recibe el Parlamento.

6. Apoya la construccin de sistemas de reconocimiento al buen desempeo,tanto institucionales como individuales.

7. Genera un mayor grado de confiabilidad de la gestin institucional,permitiendo eliminar trmites innecesarios en este contexto.

FuenteFuenteFuenteFuenteFuente: Gua para la Construccin de Indicadores de Desempeo en losServicios Pblicos, Direccin de Presupuestos, Ministerio de Hacienda de Chile,1995.

17

C. Los problemas de medicin y disponibilidad de informacinC. Los problemas de medicin y disponibilidad de informacinC. Los problemas de medicin y disponibilidad de informacinC. Los problemas de medicin y disponibilidad de informacinC. Los problemas de medicin y disponibilidad de informacin

La distincin entre productos (outputs) y resultados (outcomes) tiene unalarga discusin entre acadmicos y practicantes. En esencia, los productosestn relacionados con los bienes y servicios producidos directamentepor un organismo pblico, en tanto que los resultados se relacionan conlos objetivos finales de la poltica gubernamental. A modo de ejemplo,en un programa de erradicacin del trabajo infantil el producto es laentrega de becas escolares a estudiantes que viven en condiciones deriesgo de trabajo infantil, en tanto que el resultado se puede expresarmediante la disminucin del trabajo infantil o en la desercin del sistemaescolar.

Si bien la mayor parte de los pases de la OCDE coinciden en lacomparacin de resultados, cada pas tiene un esquema distinto. En elReino Unido se define un pequeo nmero de metas de gestin paracada agencia y luego estos son publicados anualmente en un documentonico de todo el gobierno que compara los objetivos y resultados delao y fija nuevos objetivos para el ao siguiente. La ventaja de las metases que estn muy acotadas, pero su desventaja es que pueden excluirelementos importantes del desempeo. En el caso de Estados Unidos,cada ministerio o agencia debe producir un plan anual de desempeo,en el cual se analiza qu se espera cumplir el ao siguiente yposteriormente un informe que evala lo que efectivamente se cumpli(Ruffner, 2003). El Recuadro 2 presenta los esfuerzos de estandarizacinde la nomenclatura propuesto por la OCDE.

En Amrica Latina igualmente existe un abanico de combinacionesen la incorporacin de metas de desempeo en el proceso presupuestario.El Cuadro 2 muestra los resultados de la base de datos de prcticas yprocedimientos presupuestarios de la OCDE/Banco Mundial para losseis pases de la regin que han completado la encuesta. La mayora delos pases introducen metas de desempeo en una combinacin deproductos y resultados, en tanto que Colombia es el nico pas que noconsidera metas en el proceso presupuestario.

Cuadro 2Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?Qu tipos de metas del desempeo se incluyen en el proceso presupuestario?

Una Una Unacombinacin combinacin combinacin

Mayormente Mayormente de Productos de Productos de ProductosProductos Resultados y Resultados y Resultados y Resultados Ninguno

en todos los en algunos en la mayoraprogramas programas de los programas

ARGENTINA XBOLIVIA XCHILE XCOLOMBIA XMXICO XURUGUAY X

FuenteFuenteFuenteFuenteFuente: OECD/World Bank Survey on Budget Practices and Procedures, 2003.

18

Recuadro 2La medicin de resultados y los problemasLa medicin de resultados y los problemasLa medicin de resultados y los problemasLa medicin de resultados y los problemasLa medicin de resultados y los problemas

de nomenclaturade nomenclaturade nomenclaturade nomenclaturade nomenclatura

Al traducir del ingls trminos como outcomes y outputs, la confusin se incrementapues muchos pases slo se refieren a resultados, pero la distincin entreresultados y productos generalmente no se realiza. Incluso entre pasesanglosajones existen notables diferencias. A modo de ejemplo, el trmino outcome(resultado o impacto) se utiliza en Estados Unidos como las consecuenciasintencionadas del accionar gubernamental, en tanto que Australia analiza losoutcome como el impacto real, independiente de que ste haya sido intencionadoo no.

La OCDE ha intentado ordenar esta prolfica y diversa nomenclatura. Enprimer lugar asume que los insumosinsumosinsumosinsumosinsumos son recursos que la organizacin o un gerentetiene disponible para lograr un producto o resultado. Los insumos pueden incluirlos funcionarios, equipos o instalaciones, materiales fungibles y los bienes oservicios recibidos. Los costoscostoscostoscostoscostos constituyen los gastos incurridos al usar los insumos.Los prprprprproductos oductos oductos oductos oductos estn relacionados con los bienes y servicios producidosdirectamente por un organismo pblico para los ciudadanos, negocios y/o otrasagencias gubernamentales. Los rrrrresultados esultados esultados esultados esultados se relacionan con los impactos oconsecuencias para la comunidad de los productos o actividades del gobierno.Los resultados reflejan los impactos intencionados y no intencionados de lasacciones gubernamentales, estos proveen la racional para las intervencionesgubernamentales. El esquema siguiente presenta la interrelacin entre los cuatroconceptos y las relaciones que establecen los indicadores de eficiencia, efectividad,economa y costo-efectividad.

Resultados

Productos

Procesos

Insumos

Costos

FuenteFuenteFuenteFuenteFuente: Kristensen, Groszyk y Bhler (2002).

Costo-Efectividad

Efectividad

Eficiencia

Economa

19

Ms all de las discusiones de nomenclatura, lo que importa es pensaren los resultados como seales direccionales y no como afirmaciones decausalidad. En este sentido, es relevante al momento de formular elpresupuesto saber si la tasa de desercin escolar aumenta o disminuye,ms all de si este dato es imputable o no a un determinado programa.Adems, los indicadores de resultados pueden establecer metas ex-antea alcanzar en trminos de output por parte de los gobiernos, lo cualcompromete decisiones presupuestarias. A modo de ejemplo, en Brasilen los anexos de la Lei de Diretrizes Oramentrias (LDO) de 2003, sedefinen 116 programas prioritarios y se establecen las metas en trminosde producto de las acciones que realizan dichos programas9 .

Relacionado con los problemas de medicin se encuentra la debilidadde los sistemas de informacin administrativa. Con frecuencia losservicios pblicos en Amrica Latina no disponen de sistemas queprovean informacin respecto de aquellas variables que efectivamentepueden ser influenciadas el accionar de las instituciones. Esta debilidadobliga a disear indicadores de acuerdo a la informacin disponible, laque no necesariamente se refiere a los factores crticos para los objetivosestratgicos de la institucin y/o a los productos / servicios principalesde una entidad pblica.

Durante la ltima dcada los organismos multilaterales que operanen la regin han invertido cuantiosos recursos en el desarrollo de lossistemas integrados de administracin financiera (SIAF), los cuales sondiseados centrados en los sub-sistemas de informacin relativos apresupuesto, contabilidad y crdito pblico. Sin embargo, en la mayorade los pases el aprovechamiento de la informacin relacionada con lagestin y los resultados que proveen los SIAF contina siendo sub-utilizada para la toma de decisiones.

9 Por ejemplo en la LDO 2003 el Programa de Erradicacin del Trabajo Infantil quese mencion tiene una meta de productos de entregar 650.400 becas para escolares; elPrograma de Prevencin de Incendios Forestales tiene una meta de rea fiscalizada de6.000.000 de hs. para el 2003; el Programa de Transporte Ferroviario Urbano tiene unameta de 385.600 pasajeros transportados por da til (Ministrio do Planejamento,Oramento e Gesto, 2002 a).

20

III. LA CONSTRUCCIN DE INDICADORESEN LA PRCTICA

Un requisito previo para formular indicadores de evaluacin deldesempeo es que la institucin pblica defina los objetivos queorientarn en el mediano y largo plazo su accionar, y que estosobjetivos se traduzcan en planes de accin con metas concretas yverificables. Para disponer de estas definiciones existen distintasmetodologas que apuntan a la elaboracin de cartas de navegacin,escenarios deseados o imagen-objetivo de hacia dnde necesita yquiere ir la organizacin. La metodologa ms difundida para obtenerestas definiciones al interior de las instituciones pblicas en losltimos quince aos ha sido la planificacin estratgica. Si bien estametodologa ha estado presente en el sector privado desde la dcadade 1950, su popularidad para el sector pblico surgi en la segundamitad de los ochenta.

A. Condiciones previas para la construccin de indicadoresA. Condiciones previas para la construccin de indicadoresA. Condiciones previas para la construccin de indicadoresA. Condiciones previas para la construccin de indicadoresA. Condiciones previas para la construccin de indicadoresdel desempeodel desempeodel desempeodel desempeodel desempeo

La planificacin estratgica es un proceso estructurado que permite a laorganizacin especificar su misin y papel dentro de la estructura delEstado. A partir de esta misin, se definen sus objetivos estratgicos y seestablecen metas de gestin, estos insumos orientan y priorizan el procesode construccin de indicadores al concentrar los recursos y la evaluacindel desempeo en las reas estratgicas. En el Recuadro 3 se resumen lasdefiniciones conceptuales que guan el proceso de definicionesestratgicas e identificacin de productos relevantes de las institucionespblicas en Chile.

Una vez definidas la misin, los objetivos estratgicos y losproductos relevantes de la institucin, se requiere establecer metasde gestin que establezcan los logros que se quiere alcanzar en cadauna de las reas o mbitos de accin que surgen a partir de losobjetivos estratgicos. Los objetivos estratgicos se pueden enunciarpara un quinquenio o un perodo presidencial, pero las metas degestin tienen un horizonte de tiempo ms acotado, normalmente deuno o dos aos. Estas metas de gestin contienen una declaracinexplcita de niveles de actividad o estndares de calidad que sepretende alcanzar. En Uruguay se desarroll a partir de 1996 el Sistemade Evaluacin de la Gestin Pblica (SEV), el cual es un sistema deinformacin para la evaluacin de los resultados de la gestin de lasUnidades Ejecutoras e Incisos del Presupuesto Nacional. En elRecuadro 4 se presentan los requisitos que de acuerdo al SEV debencumplir las metas de gestin.

21

Recuadro 3Definiciones Estratgicas del Sistema de Control de Gestin de ChileDefiniciones Estratgicas del Sistema de Control de Gestin de ChileDefiniciones Estratgicas del Sistema de Control de Gestin de ChileDefiniciones Estratgicas del Sistema de Control de Gestin de ChileDefiniciones Estratgicas del Sistema de Control de Gestin de Chile

1. Misin Institucional: Definicin del propsito o razn de ser de un servicioque permite orientar las acciones que realicen los funcionarios hacia el logrode un resultado esperado.

2. Objetivos Estratgicos: En el contexto de la administracin pblica son laexpresin de los logros que se espera que los Ministerios y sus serviciosalcancen en el mediano plazo.

3. Productos Relevantes o Estratgicos: Son aquellos bienes y/o servicios quematerializan la misin institucional y cuyo objeto es satisfacer las necesidadesde sus clientes, beneficiarios o usuarios.

4. Clientes / Beneficiarios / Usuarios: Son aquellos que reciben o utilizan, losproductos relevantes que se generan bajo la responsabilidad de la institucin.

Se define la misin considerando los siguientes aspectos:

mbito actual donde opera el servicio y los cambios esperados futuros,lo que requiere conocer previamente: Los productos estratgicos (bienes y/o servicios) otorgados a los

clientes / beneficiarios / usuarios de la institucin. La estructura organizacional y las funciones especficas. Los sistemas de informacin utilizados en la institucin.

La legislacin que enmarca su misin. Las percepciones del equipo directivo y los funcionarios del servicio. La opinin de los clientes del servicio.

FuenteFuenteFuenteFuenteFuente: Programa de Mejoramiento de la Gestin Ao 2004, Documento Tcnico,Direccin de Presupuestos de Chile, 2003.

Recuadro 4Requisitos de las Metas de Gestin del SEV de UruguayRequisitos de las Metas de Gestin del SEV de UruguayRequisitos de las Metas de Gestin del SEV de UruguayRequisitos de las Metas de Gestin del SEV de UruguayRequisitos de las Metas de Gestin del SEV de Uruguay

Una meta de gestin debe cumplir a lo menos los siguientes requisitos:

Contener el propsito de mejorar en forma significativa el desempeoinstitucional en alguna de sus dimensiones (calidad, eficiencia, eficacia,desempeo financiero).

Ser un compromiso interno, en el sentido que su cumplimiento no dependade la accin de otras entidades pblicas (Tribunal de Cuentas, Secretara,Contadura General, etc.) o de factores exgenos, como el nivel de actividadeconmica, las decisiones que tomen agentes privados, cambios bruscos enla demanda por prestaciones, etc.

Ser factible de alcanzar y, por lo tanto, ser realista respecto a los plazos y a losrecursos humanos y financieros que involucran.

Tener un componente de innovacin ya sea referido a los productos queofrece la institucin, a la calidad de ellos, o a los procesos y tecnologas quese utilizan para generarlos.

FuenteFuenteFuenteFuenteFuente: Gua para la Construccin de Indicadores de Gestin, CEPRE - ComitEjecutivo para la Reforma del Estado, Uruguay, 1999.

22

B.B.B.B.B. Plan Operativo para la construccin de indicadores del desempeoPlan Operativo para la construccin de indicadores del desempeoPlan Operativo para la construccin de indicadores del desempeoPlan Operativo para la construccin de indicadores del desempeoPlan Operativo para la construccin de indicadores del desempeo

Disponiendo de las condiciones previas de claridad estratgica antessealadas, uno de los primeros pasos que debe adoptar la institucin esel diseo de un sistema de informacin que permita medir el desempeocon niveles de certeza y confiabilidad aceptables. La primera etapa parala construccin de este sistema de informacin consiste en determinartericamente los datos que se requieren para construir los indicadores ygenerar un catastro con la informacin que se encuentra disponible alinterior de la institucin.

Con el cuadro de requerimientos y disponibilidades de informacin,se puede identificar las fuentes de datos y si la informacin es fcil yeconmica de recolectar, o bien si se requieren levantamientos de datosespeciales. Usualmente las instituciones disponen de informacin quese refiere a la eficacia, eficiencia y desempeo presupuestario. Sinembargo existe escasa informacin disponible relativa a la satisfaccinde usuarios o a los tiempos de tramitacin de solicitudes o expedientes,para lo cual se requiere instalar sistemas de medicin adicionales talescomo encuestas, sondeos de opinin y seguimiento automatizado detramitacin de expedientes.

Existen varios factores que desaconsejan el desarrollo de un sistemade indicadores para todas y cada una de las actividades y programasque desarrolla un gobierno o incluso una secretara. Principalmente estosfactores se relacionan con la restriccin de recursos humanos y financierospara recolectar y procesar dicha informacin; con la sobrecarga de trabajoque genera en las reas operativas; con la saturacin de informacin(information overflow) para las instancias de toma de decisiones comounidades presupuestarias sectoriales o centrales; con el exceso de detallesque se entregan a las instancias de gestin y/o fiscalizacin (tales comogerente del programa, parlamento, contralora, medios de comunicacinsocial, ciudadana) que tienden a confundir al receptor en trminos dediscriminar lo urgente, lo importante, lo redundante y lo insignificante.

No obstante lo anterior, el surgimiento de bases de datos que se handesarrollado al amparo de sistemas integrados de administracin financiera(SIAF) ha permitido a algunos gobiernos establecer complejos sistemas demedicin en que se definen cientos de indicadores de desempeo de los procesos,resultados o impactos de las acciones pblicas. El hecho que la computacinpermita administrar estas grandes cantidades de indicadores no es garantaque se mejorar el proceso de toma de decisiones, o que se logre una gestinms eficiente y una fiscalizacin ms eficaz. Por esta razn, una actividadmedular en el diseo del sistema de informacin consiste en la jerarquizacinde los indicadores de acuerdo a su relevancia estratgica, lo cual implica que elindicador propuesto tericamente debe ser la medicin o expresincuantitativa de una actividad o producto que aporta directamente a laconsecucin de los objetivos estratgicos y metas de gestin de la institucin.

Diseado el sistema de informacin que apoya el levantamiento delos datos necesarios para el seguimiento de los indicadores de evaluacin

23

Cuadro 3Criterios Prcticos para la Construccin de IndicadoresCriterios Prcticos para la Construccin de IndicadoresCriterios Prcticos para la Construccin de IndicadoresCriterios Prcticos para la Construccin de IndicadoresCriterios Prcticos para la Construccin de Indicadores

CriterioCriterioCriterioCriterioCriterio DescripcinDescripcinDescripcinDescripcinDescripcin

Debe referirse a los procesos y productos esenciales que desarrolla cadainstitucin para reflejar el grado de cumplimiento de sus objetivosinstitucionales.La medicin de todos los productos o actividades que realiza la institucingenera una saturacin de informacin, tanto al interior de la organizacincomo fuera de sta.

La unidad de producto debe ser equivalente entre s, en trminos de volumende trabajo y de recursos.Si no se da la equivalencia, para alcanzar las metas se tender a ejecutar slolas acciones que demandan relativamente menos recursos, postergando oanulando las ms costosas o complejas, que a menudo son las que tienen unmayor impacto sobre la gestin institucional.

Los indicadores deben responder en lo fundamental a las acciones quedesarrolla y controla la institucin o a las variables del entorno que se veanafectadas directamente por esas acciones.No puede estar condicionado a factores externos, tales como la situacingeneral del pas, la labor legislativa del parlamento o la actividad conexa deterceros (pblicos o privados).

La obtencin de la informacin para la elaboracin del indicador debe ser acostos que tengan correlacin con los recursos que se invierten en la actividad.

Digno de confianza, independiente de quin realice la medicin. En principiola base estadstica de los indicadores debe estar en condiciones de ser auditadapor las autoridades de la institucin y examinada por observadores externos.

Existe una tensin entre ambos criterios: se deben cubrir los aspectos mssignificativos del desempeo, pero la cantidad de indicadores no puedeexceder la capacidad de anlisis de los usuarios, tanto internos como externos.Los indicadores deben ser de fcil comprensin, libre de complejidades.

Debe ser generado en el momento oportuno dependiendo del tipo de indicadory de la necesidad de su medicin y difusin.

Debe ser nico y no repetitivo.

Focalizado en reas susceptibles de corregir en el desempeo de los organismospblicos generando a la vez responsabilidades directas en los funcionarios yel personal.

Su elaboracin debe involucrar en el proceso a todos los actores relevantes,con el fin de asegurar la legitimidad y reforzar el compromiso con los objetivose indicadores resultantes. Esto implica adems que el indicador y el objetivoque pretende evaluar sea lo ms consensual posible al interior de laorganizacin.

FuenteFuenteFuenteFuenteFuente: Elaboracin del autor sobre la base de Direccin de Presupuestos de Chile (1995), Marcel(1998), National Center for Public Productivity (1997) y Shack (2003).

Pertinencia

Homogeneidad

Independencia

Costo

Confiabilidad

Simplicidad yComprehensividad

Oportunidad

No-redundancia

Focalizado enreas controlables

Participacin

del desempeo, se requiere una accin de validacin de los indicadoresque se han propuesto. Dado que el indicador es slo un instrumento queapoya la evaluacin, su calidad y provecho para este fin estarcondicionada por la claridad y pertinencia del indicador. Las experienciasde pases de la OCDE y de Amrica Latina han identificado al menosdiez criterios que preferentemente deben cumplir los indicadores dedesempeo. En el Cuadro 3 se describen estos criterios.

24

La mayor parte de los criterios son de sentido comn, pero lageneracin en forma participativa es consustancial al xito de laimplementacin y merece un comentario aparte. En muchos pasesdurante la formulacin presupuestaria se detecta un divorcio al interiorde las instituciones entre los funcionarios responsables de la unidad depresupuestos y las unidades operativas, o entre stas y la unidad deplanificacin. Si esta situacin se reproduce en el proceso de construccinde indicadores, estos no reflejarn cabalmente el desempeo de lainstitucin, producindose un sesgo operativo, presupuestario o deplanes, segn sea el caso.

C. Las Dimensiones de la Evaluacin del DesempeoC. Las Dimensiones de la Evaluacin del DesempeoC. Las Dimensiones de la Evaluacin del DesempeoC. Las Dimensiones de la Evaluacin del DesempeoC. Las Dimensiones de la Evaluacin del Desempeo

Para asegurar su apropiacin por parte de las instituciones, un indicadorde evaluacin del desempeo debe ser sencillo y expresar la realidadque mide. Un mismo indicador puede expresar significados y criteriosdiversos, dependiendo de lo que se quiera medir y de los elementos quese desee incluir en su anlisis. Como se ha destacado, los problemassociales que enfrenta la gestin pblica moderna son de carctermultidimensional. De igual manera, la evaluacin del desempeotambin se puede abordar desde distintas perspectivas. La visintradicional sobre la cual se han construido los indicadores es sobre ladimensin de la eficacia y eficiencia, como se ver ms adelante estavisin se ha ampliado en los ltimos aos incorporndose nuevasdimensiones del desempeo.

La eficaciaeficaciaeficaciaeficaciaeficacia se relaciona con la teora implcita que sustenta laintervencin pblica. Esta teora presenta un conjunto de medidas dediseo e implementacin (cmo realizar la intervencin, a quinesfocalizar, durante qu perodo de tiempo, en qu localidades, etc.), lascuales pretenden alcanzar ciertos objetivos o resultados en la poblacindestinataria. Por lo tanto, los indicadores de eficacia miden si laintervencin alcanz los cambios que se requieren y gener un grado decumplimiento de los objetivos predeterminados.

Las organizaciones pblicas que son capaces de identificar losproductos o servicios que son estratgicos para el cumplimiento de sumisin, pueden acotar adecuadamente las prestaciones que se debenmedir y la poblacin objetivo que recibir esos bienes o servicios. Losindicadores de eficacia a su vez se pueden sub-clasificar en distintoselementos de la eficacia:

Indicadores de Cobertura: son aquellos que reflejan la relacin entre lademanda total por los bienes o servicios que ofrece la institucin y lacantidad efectivamente entregada. En otras palabras, el porcentajede cobertura o porcentaje de la poblacin objetivo atendida es unacomparacin entre la situacin actual y el potencial mximo que sepodra entregar. Dado que los sistemas de informacin geogrficosproveen cada vez una mayor cantidad de datos desglosados

25

territorialmente en ocasiones puede ser recomendable que los nivelesde cobertura se segmenten segn reas geogrficas.

Indicadores de Focalizacin: como se indic anteriormente la eficaciaincorpora una definicin precisa de beneficiarios. Por lo tanto, losindicadores de focalizacin miden el nivel de precisin con que losproductos y servicios estn llegando a la poblacin objetivo que sedefini inicialmente. Existen distintas formas de medir la focalizacin,todos ellos se centran en medir las filtraciones identificando la fugade beneficios del programa a los usuarios no elegibles (error deinclusin), o bien en la cantidad de usuarios elegibles que no accedena los beneficios del programa (error de exclusin).

Indicadores de Capacidad para Cubrir la Demanda Actual: las institucionesque otorgan autorizaciones a los privados o procesan expedientes dediverso tipo en ocasiones no son capaces de responder a la demandatotal de los usuarios en condiciones de tiempo y calidad adecuadas.En estos casos, ya sea para generar mejoras en la gestin o paraevaluar procesos de optimizacin de tramitacin de expedientes, losindicadores de capacidad permiten medir los niveles de demandaque se pueden asumir.

Indicadores de Resultados: como la eficacia se relaciona con el logro delos objetivos, resulta medular que los indicadores de evaluacin deldesempeo deban centrar su atencin en el efecto final o intermediode la intervencin que se est evaluando. Como se seal en elRecuadro 2, los resultados se relacionan con los impactos oconsecuencias que tienen para la comunidad los productos oactividades de las instituciones pblicas.

Los indicadores de eficacia descritos anteriormente miden si losobjetivos predefinidos para la actividad se estn cumpliendo, perono se analiza el tema de la cuanta de los recursos otorgados. Unaencuesta aplicada a 262 participantes de los cursos de gerencia socialdel INDES-BID revel que el 84% estimaba que el concepto de eficaciaequivale al cumplimiento de metas y objetivos o a la satisfaccin dela necesidad que motiv el diseo y desarrollo de la iniciativa, sinimportar los costos y el uso de recursos (Mokate, 2001). Si se estdesarrollando un indicador de focalizacin evidentemente que losresultados sern ms precisos si se dispone de mayores recursos paraseleccionar a los beneficiarios, por lo que no puede evaluarse sinconsiderar los costos. El mismo anlisis se puede realizar respecto delos indicadores de cobertura. Se podra eventualmente proponer unadimensin de indicadores que evale el logro en relacin con loprogramado, pero este tipo de indicadores son de poca utilidadgerencial por las conductas adaptativas que se pueden generar al fijarlas metas. Adicionalmente, cabe preguntarse si una clasificacin msamplia de dimensiones de los indicadores contribuir mayor claridada los funcionarios que construyen stos o bien se generar unacomplejidad innecesaria.

26

La otra dimensin de importancia es la de eficienciaeficienciaeficienciaeficienciaeficiencia; estosindicadores se relacionan con la maximizacin del impacto del gastopblico. Esta maximizacin se puede medir desde dos ngulos distintos:a) si se est produciendo la mayor cantidad de productos o prestacionesposibles ante el nivel de recursos de que se dispone, o b) cmo alcanzarun nivel determinado de servicios utilizando la menor cantidad derecursos posible.

El indicador de eficiencia ms utilizado es el costo unitario deproduccin, el que relaciona la productividad fsica con los costos directose indirectos utilizados en la entrega del producto o servicio. Laproductividad fsica es relativamente simple de medir, pues se relacionacon el nivel de actividad, expresado en nmero de fiscalizaciones,solicitudes resueltas, personas capacitadas, usuarios atendidos, etc. Sinembargo, la medicin de los costos presenta una mayor complejidad pueslos sistemas contables registran en forma agregada la utilizacin derecursos para todos los bienes y servicios que entrega la institucin.

Uno de los problemas ms recurrentes en la generacin de este tipode indicadores es la ausencia en la contabilidad de centros de costos quepermitan identificar claramente los costos que estn asociados a unproducto determinado de los restantes productos o servicios que proveela institucin. Relacionado con lo anterior, en cada institucin sedesembolsan costos indirectos que estn asociados, por ejemplo a losgastos de la direccin superior de la organizacin, gastos de mantencinde inmuebles, servicios de apoyo y gastos en energa10 .

El prorrateo o distribucin de estos costos indirectos sobre los costosde los principales productos de una institucin es una tarea bastantecompleja en empresas manufactureras, en empresas de servicios es mscomplejo y en servicios pblicos puede llegar a ser absolutamenteenmaraado. Algunas organizaciones pblicas han introducido lasnuevas tcnicas de distribucin de costos tales como el costeo basado enactividades (ABC o activity-based costing), pero en la mayora de lasinstituciones pblicas la identificacin ms rigurosa de los costos siguesiendo un desafo pendiente11 .

Atendidas las limitaciones sealadas anteriormente en el uso deindicadores de costo medio o costo unitario, crecientemente se harecurrido al uso de otro tipo de indicador de eficiencia que mide laproductividad media de los factores que intervienen en la provisin delbien o servicio, con particular nfasis en la productividad media de los

10 Cabe sealar que la contabilidad ms tradicional en el sector pblico es de basecaja, por lo que no se incorporan otros gastos indirectos tales como la depreciacin deedificios y equipos que caracteriza a la contabilidad sobre base devengado.

11 El costeo ABC asigna costos a las actividades basndose en cmo stas usan losrecursos. El proceso de asignacin de costos a actividades y objetos de costos se apoyaen criterios llamados drivers (generador o inductor de costos), que explican la relacinde causa y efecto entre estos elementos. Elegir un driver correcto requiere comprenderlas relaciones entre recursos, actividades y objetos de costos. (Lizana, 2002)

27

recursos humanos que participan en el proceso productivo. Este tipo deindicadores es particularmente til para servicios que se dedican afiscalizar, en los cuales la cantidad de fiscalizaciones por inspector dacuenta del desempeo de sus recursos humanos. El cuidado que se debetener al momento de construir este tipo de indicadores es que losproductos sean efectivamente homogneos, pues establecer una mediaque comprende fiscalizaciones que tardan algunos minutos no se puedemezclar con fiscalizaciones que demoran das o meses en su ejecucincompleta.

No obstante que la mayor profusin se da entre los indicadores deeficacia y eficiencia, la necesidad de indicadores que entreguen sintonafina para el mejoramiento de la gestin ha empujado a los gobiernos amedir otras dimensiones que den cuenta de la multiplicidad de objetivosde la gestin orientada a los resultados. Las principales dimensiones deevaluacin del desempeo que se han introducido son las siguientes:

Calidad en la prestacin de los servicios: estos indicadores estnrelacionados con las caractersticas de cmo est siendo provisto elproducto o servicio, para lo cual busca cuantificar la capacidad delos organismos pblicos para responder en forma rpida, directa yadecuada a las necesidades de los usuarios. Estos indicadorespueden ser evaluados a travs del nivel de satisfaccin manifestadopor los beneficiarios de los servicios sobre determinados aspectosde la provisin de bienes y prestacin de servicios, tales como laoportunidad (tiempo de espera o tiempo de respuesta), simplicidadde postulacin o tramitacin, accesibilidad, amabilidad de laatencin de pblico, exactitud y continuidad en la provisin delservicio.

Indicadores de Desempeo Presupuestario: consiste en la capacidad deuna institucin para generar y utilizar adecuadamente los recursosfinancieros para el cumplimiento de su misin institucional. En estacategora, las instituciones pblicas que tienen atribuciones legalespara generar ingresos propios establecen indicadores deautofinanciamiento; las organizaciones que otorgan prstamosmiden su capacidad para recuperar los crditos otorgados y elmanejo de cartera de pasivos; toda organizacin que administrafondos puede establecer una relacin entre los gastosadministrativos y los gastos totales, lo cual en trminos agregadosse puede utilizar como un proxy de las ganancias de eficiencia delsector pblico; relevante para este tipo de indicadores es lacomparacin entre los gastos ejecutados y los programados, temasensible tanto para el gasto corriente como para el de proyectos deinfraestructura que suelen terminar a valores muy superiores de laprogramacin respectiva; por ltimo, para medir la inversin enlos recursos humanos, se pueden establecer indicadores querelacionen los gastos en capacitacin con los gastos totales enpersonal.

28

D. La integracin de las distintas dimensiones de evaluacinD. La integracin de las distintas dimensiones de evaluacinD. La integracin de las distintas dimensiones de evaluacinD. La integracin de las distintas dimensiones de evaluacinD. La integracin de las distintas dimensiones de evaluacindel desempeodel desempeodel desempeodel desempeodel desempeo

La distincin en dimensiones del desempeo slo se realiza para finesanalticos y facilitar la aplicacin del instrumento por parte de losusuarios. Dependiendo de las prioridades de la institucin ciertosindicadores pueden perfectamente ser clasificados en dos categoras. Lagestin orientada a los resultados es de carcter multidimensional y comotal no hay una dimensin del desempeo que sea ms relevante queotra. La evaluacin de la gestin global de un servicio pblico surgir apartir de la interaccin de los componentes de eficiencia, eficacia, calidady desempeo presupuestario. Dependiendo de la naturaleza de lasactividades que ejecuta la institucin algunas dimensiones son msrelevantes que otras. A modo de ejemplo, los indicadores de coberturason particularmente relevantes para las instituciones que trabajan contemticas de salud pblica, donde los errores de exclusin pueden generarbrotes epidmicos. En tanto, los indicadores de calidad de la atencintendrn un peso mayor en instituciones que atienden grandes flujos depblico tales como servicios de impuestos y direcciones de registro civile inmigracin.

Independiente del nfasis principal que presente una institucin, espreciso destacar que en una perspectiva global se pueden generarconflictos entre las distintas dimensiones que obligan a evaluar los costosy beneficios de una decisin de mejoramiento. Evidentemente se puedeincrementar la cobertura de una determinada prestacin, pero porproblemas de escalamiento de las inversiones podra generar mayorescostos unitarios (en el caso que un aumento de la cobertura obligue aconstruir un nuevo hospital o escuela). De igual modo, las mejoras en lacalidad de entrega de un servicio a veces slo pueden ser logradas endetrimento de la cobertura, a costa de un mayor costo o generandotiempos de respuesta ms prolongados. La evaluacin del desempeode toda la institucin debe ponderar la contribucin a los objetivosestratgicos de cada uno de los productos y servicios. Los indicadorespara cada producto y sus respectivas dimensiones deben desarrollarseen forma integral, considerando las posibles interdependencias y trade-offs entre ellos.

Por razones operativas existe un sesgo natural hacia mediciones queenfatizan la eficiencia. Este problema no slo se ha dado en AmricaLatina, el propio gobierno de Nueva Zelanda ha reconocido en unaevaluacin del ao 2001 que el enfoque de sus reformas pblicas ha tenidoun foco excesivo hacia la eficiencia y no tanto en la efectividad, con unaausencia de vnculos claros hacia las polticas (New Zealand Treasury,2001).

Una de las metodologas que se ha desarrollado para integrar enforma armnica las dimensiones cuantitativas y cualitativas que emanande los indicadores de desempeo lo constituye el Cuadro de MandoIntegral (Balanced Scorecard-BSC). El BSC es una metodologa

29

desarrollada en el sector privado en 1992 por Robert Kaplan y DavidNorton que intenta integrar los aspectos de la gerencia estratgica y laevaluacin del desempeo de la empresa. Esta herramienta se desarrollbajo la conviccin de que la medicin basada slo en indicadorescuantitativos y financieros no capturaba de un modo adecuado aquelloque crea valor en una organizacin, y que era necesario aadir otrasperspectivas de anlisis de carcter ms cualitativo o de activosintangibles.

En el sector pblico se han desarrollado iniciativas de Cuadro deMando Integral, pero en el mundo hispanoamericano la mayor parte secircunscriben a experiencias de gobiernos locales12 , o bien no contemplanla complejidad de los cuadros desarrollados para las empresas queconsideran los intereses de distintos stakeholders como los accionistas yclientes. La Generalitat de Catalunya lleva tres aos aplicando este sistema;en el Recuadro 5 se describen sus principales caractersticas.

12 Ver la experiencia del municipio espaol de Sant Cugat del Valls en Turull yVivas (2003).

30

Recuadro 5Cuadro de mando Catalunya Progrs de la Generalitat de CatalunyaCuadro de mando Catalunya Progrs de la Generalitat de CatalunyaCuadro de mando Catalunya Progrs de la Generalitat de CatalunyaCuadro de mando Catalunya Progrs de la Generalitat de CatalunyaCuadro de mando Catalunya Progrs de la Generalitat de Catalunya

El cuadro de mando Catalunya Progrs (CMCP) intenta recoger de manerasinttica y sistematizada la informacin ms relevante sobre la gestin, larealizacin de actuaciones y la consecucin de los objetivos previstos. EL CMCPintegra desde una visin interdepartamental la informacin cualitativa msrepresentativa de la gestin pblica haciendo especial hincapi en el anlisis delimpacto de las actuaciones pblicas.

Como su nombre indica se trata de construir un sistema de informacin quepermita evaluar el progreso de la Comunidad Autnoma, entendido en una doblevertiente: progreso como sinnimo de cambio y como sinnimo de mejora. En elfondo, la idea subyacente es conocer si la regin avanza de manera continua. Aspues, el objetivo del CMCP consiste en monitorear el estado de la sociedad catalanarecogiendo de forma sistemtica informacin relevante sobre la gestin delgobierno, sobre el grado de consecucin de los fines previstos y analizando elimpacto de las actuaciones pblicas. En ltima instancia se pretende que el cuadrode mando sea utilizado para tomar decisiones pblicas de mejor calidad. Es portanto, un instrumento de gestin orientado a facilitar el pilotaje del conjunto de laaccin de gobierno.

Catalunya Progrs prioriza aquellos aspectos de la informacin difcilmenteevaluables desde el seguimiento de la gestin presupuestaria. Por ello, el nfasisrecae en interpretar informacin eminentemente cualitativa procedente de fuentesdiversas pero siempre bajo el marco conceptual de los seis ejes-valor del PlanCAT21.

Partiendo de la multidimensionalidad de la informacin, Catalunya Progrsse estructura de forma modular, en la cual cada mdulo se especializa en eltratamiento de la informacin desde un determinado punto de vista. En estosmomentos estn definidos y en funcionamiento tres mdulos:

Mdulo 1: indicadores de entorno y de seguimiento de la accin de gobierno Mdulo 2: indicadores y estudios de percepcin ciudadana Mdulo 3: seguimiento de proyectos prioritarios

El mdulo 1 se caracteriza por una aproximacin objetiva a la evaluacinde las polticas pblicas. Este mdulo es un documento con una estructura parecidaa los cuadros de indicadores utilizados sobretodo en los pases anglosajones y delnorte de Europa. Este mdulo est constituido por 100 indicadores divididos endos bloques:

Indicadores de entorno: se trata de 35 indicadores genricos que analizan elestado de la sociedad catalana en relacin con su entorno socioeconmico. Seagrupan en las reas siguientes: indicadores sintticos, de capital humano,de situacin econmica y mercado de trabajo y de medio ambiente.

Indicadores de seguimiento CAT21: son 65 indicadores que evalan el gradode cumplimiento alcanzado de los 18 objetivos estratgicos del Plan CAT21.

Fuente: Or i Vendrell (2002).

31

IV. DESAFOS DE IMPLEMENTACIN DE LA GESTINPBLICA ORIENTADA A LOS RESULTADOS

Las potencialidades del modelo de gestin pblica orientada a losresultados se pueden observar en mltiples dimensiones del gastopblico. Sin embargo, dado los desafos de superacin de la pobreza queenfrenta la regin, uno de los casos en que se visualiza esta relacin serefiere al impacto del gasto pblico en funciones sociales. En trminosestilizados, se puede apreciar que durante la ltima dcada los gobiernosde Amrica Latina han destinado una proporcin creciente de su gastopblico a funciones sociales, generndose un aumento del 58% en elgasto social por habitante. En trminos agregados, el gasto social para17 pases que informan regularmente su clasificacin funcional aumentsu peso relativo en el PIB entre 1990/91 y 2000/01 de 10,1% a 13,8%13 .No obstante estos avances, el nivel del gasto social per se no constituyeun adecuado indicador de desarrollo social, porque no permite evaluarsi efectivamente se est alcanzando el impacto deseado en las poblacionesdestinatarias de los programas sociales.

Efectivamente, pese al incremento significativo del gasto pblicosocial, la disminucin de la pobreza no alcanz magnitudes similares. Sibien inicialmente entre 1990 y 1997 el porcentaje de poblacin en situacinde pobreza disminuy de un 48.3% a un 43.5%14 , como se observa en elGrfico 1 despus de 1997 las reducciones en los niveles de pobreza noregistraron disminuciones de magnitud similar a los incrementos delgasto pblico social.

La evolucin del gasto social, as como la dinmica de adaptacin delos mercados nacionales que demanda la globalizacin, exigen cada vezmayor objetividad y racionalidad en el uso y asignacin de los recursospblicos. La discusin acerca de la eficiencia y eficacia en los organismospblicos, as como de la medicin de resultados del accionar pblico, seha instalado con fuerza en los medios de comunicacin, debates polticosy crculos acadmicos.

En esta seccin se describen algunos desafos de implementacin quehan sido sealados como ms relevantes en diversos anlisis llevados acabo por parte de los gobiernos nacionales y sub-nacionales que han

13 CEPAL, Panorama Social de Amrica Latina 2002-2003. Por gasto pblico en funcionessociales se entiende el gasto corriente y de inversin efectuado en educacin, salud ynutricin, seguridad y asistencia social, vivienda, agua y saneamiento.

14 Cabe destacar que en 1997 15 de 17 pases aumentaron su gasto pblico social,permitiendo que en 12 de ellos se compensaran con creces el descenso del gasto socialpredominante en los aos ochenta, superando los niveles de 1980-1981. Sin embargo enel bienio 1996-1997 el ritmo de crecimiento se desaceler significativamente, alcanzandouna tasa promedio anual de 3.3%, equivalente a la mitad de la del perodo 1990-1995,que fue de 6.4%. CEPAL, Panorama Social de Amrica Latina 1998.

32

establecido programas de gerencia pblica orientada a los resultados,particularmente en aquellos aspectos que se relacionan con losindicadores de evaluacin del desempeo.

A. Ambigedad en la definicin de la misin organizacionalA. Ambigedad en la definicin de la misin organizacionalA. Ambigedad en la definicin de la misin organizacionalA. Ambigedad en la definicin de la misin organizacionalA. Ambigedad en la definicin de la misin organizacional

El problema ms importante al momento de iniciar la transicin a unmodelo de gestin orientada a los resultados es que la misin de lasinstituciones pblicas est definida en muchos casos de una manera muyamplia y ambigua. Esta situacin surge de la lgica del proceso poltico,donde para responder a presiones de mltiples grupos de inters y/obeneficiarios se deja en la nebulosa la esencia de la misin organizacional.En la prctica, este hecho implica que las instituciones proveen unamultiplicidad de bienes y servicios, dirigidos a beneficiarios diversos ycon distintas expectativas de satisfaccin de sus necesidades.

Sin embargo, lo que es funcional para el proceso poltico puede seraltamente disfuncional para la gestin, pues al no existir claridad respectode las expectativas institucionales, tampoco puede existir precisinrespecto a la medicin de los resultados y del impacto del accionarpblico. Para enfrentar este problema, varios pases de la regin hanllevado a cabo amplios ejercicios de planificacin estratgica en susinstituciones pblicas. Las experiencias de Mxico, Costa Rica y Colombiamuestran que se han implementado exitosamente los ejercicios dedefinicin de misin y de anlisis de fortalezas y debilidades, pero lavinculacin de estos niveles con la evaluacin de resultados operativossigue siendo altamente compleja.

48.3

43.8 42.542.143.510.1

13.813.312.1

0

10

20

30

40

50

60

1990 1997 1999 2000 20010

2

4

6

8

10

12

14

16

% de personas en situacin de pobreza

Gasto Social como % del PIB

Grfico 1Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001Evolucin de la Pobreza y del Gasto Pblico Social 1990-2001

en Amrica Latinaen Amrica Latinaen Amrica Latinaen Amrica Latinaen Amrica Latina

FuenteFuenteFuenteFuenteFuente: Elaboracin propia a partir del Panorama Social de Amrica Latina de CEPAL de diferentesaos.

33

Es importante destacar que los organismos financieros multilateralesestn otorgando especial importancia a la planificacin estratgica no slode instituciones, sino tambin de proyectos nacionales de desarrollo. Seestima que los proyectos de pas que estn respaldados por esquemasde concertacin multisectoriales y multipartidarios cuentan con mayorviabilidad de financiamiento y sostenibilidad en el largo plazo. A partirde 1997 las distintas agencias de las Naciones Unidas han asumido en lospases la formulacin de los Marco de Asistencia de las Naciones Unidaspara el Desarrollo (UNDAF), con el propsito de enfocar en conjunto susesfuerzos de cooperacin optimizando acciones e incrementando elimpacto de stas a favor del desarrollo humano sostenible.

Con un enfoque similar, el Banco Mundial ha solicitado a los pasesde menores ingresos la generacin de Estrategias de Reduccin de laPobreza (PRSP), las cuales orientan estratgicamente el uso de los recursosderivados de programas de reduccin de deuda. Vinculado a los PRSPsest la formulacin del Marco Integral del Desarrollo, MID (ComprehensiveDevelopment Framework). El MID es un enfoque integral con respecto aldesarrollo que procura un mejor equilibrio en la formulacin de laspolticas, destacando la interdependencia entre los aspectos sociales,estructurales, humanos, de buen gobierno, ambientales, econmicos yfinancieros (Banco Mundial, 2003).

B. El impacto en el proceso presupuestarioB. El impacto en el proceso presupuestarioB. El impacto en el proceso presupuestarioB. El impacto en el proceso presupuestarioB. El impacto en el proceso presupuestario

Los esfuerzos de implementacin de sistemas de evaluacin de la gestinpblica son costosos y consumen tiempo y energa por parte de losdirectivos de los servicios pblicos. Asimismo, la dinmica inercial de laasignacin presupuestaria no siempre ofrece incentivos para seguirprofundizando en la evaluacin de la gestin. En numerosos pases laorientacin a los resultados ha servido para definir prioridadesprogramticas y modificar los procedimientos de trabajo, pero sloocasionalmente sus resultados se incorporan en el proceso de fijacinpresupuestaria.

En trminos generales, la restriccin fiscal que afecta a casi todos lospases de la regin, otorga seales negativas para aquellos gerentes quemejoran sus indicadores de eficiencia pues se establece como un hechoque estos sern capaces de funcionar con menores recursos. Si bienalgunos gobiernos intentaron establecer premios a la eficiencia en losperodos de mayor holgura fiscal, los recortes presupuestarios a finalesde la dcada de los noventa obligaron a eliminar o reducir drsticamenteestos fondos. El mayor peligro de estas seales negativas es que al interiorde las organizaciones pblicas se tienda a asociar la gestin por resultadoscon un instrumento diseado por los ministerios de hacienda paraimplementar procesos de ajuste fiscal, afectando de esta manera laaceptacin e institucionalizacin de la evaluacin del desempeo.

La forma y velocidad en que se genere una vinculacin entre laevaluacin del desempeo y el proceso presupuestario depende en gran

34

medida del contexto poltico-institucional de cada pas, por ejemplo eltipo de modelo de evaluacin que se adopta. Un reciente estudiocomparativo de las polticas nacionales encaminadas a crear sistemas deevaluacin de resultados de la gestin pblica en Chile, Colombia, CostaRica y Uruguay ha propuesto una tipologa de modelos de evaluacin.La tipologa se construye a partir del referente institucional utilizadopara estructurar el sistema de evaluacin y el tipo de proceso de toma dedecisiones al que pretenden servir sus resultados. Sobre la base de laevidencia de los cuatro pases analizados, estos modelos de evaluacinse categorizan en el modelo Plan y el modelo Presupuesto (Cunill yOspina, 2003).

El modelo de evaluacin tipo Plan busca reforzar el proceso detoma de decisiones propiamente polticas, ms que las decisionespresupuestarias, y generalmente es coordinado o promovido por lasunidades encargadas de la planificacin. Este es el caso de Costa Rica yColombia, cuyos sistemas de evaluacin presentan una fuerte inclinacina la metaevaluacin y una desarticulacin del ciclo presupuestario. Encontraste, el modelo de evaluacin tipo Presupuesto desarrollainstrumentos de evaluacin que estn orientado a mejorar los procesosde formulacin y discusin presupuestaria. Este es el caso de Chile, enque las herramientas de evaluacin se integran al ciclo presupuestario,una variante del modelo Presupuesto es aquellos pases donde elsistema de evaluacin del desempeo se aplica sobre las asignacionespresupuestarias, como sera el sistema de Uruguay y Mxico. Un modelomixto (Plan-Presupuesto) lo constituira la evaluacin del PlanPlurianual en Brasil, pues el anlisis anual de este instrumento orientael proceso de asignacin de los gastos presupuestarios y brindaconsistencia a los objetivos de polticas pblicas que requieren ms deun ao para su implementacin.

C. Ausencia de un enfoque de largo plazo en la gestin por resultadosC. Ausencia de un enfoque de largo plazo en la gestin por resultadosC. Ausencia de un enfoque de largo plazo en la gestin por resultadosC. Ausencia de un enfoque de largo plazo en la gestin por resultadosC. Ausencia de un enfoque de largo plazo en la gestin por resultados

Los procesos de modernizacin y de cambio de cultura organizacionalson de largo plazo. A nivel mundial, Nueva Zelanda es el nico caso enque las reformas hacia una gestin orientada a los resultados fueronimplementadas rpidamente. Otros pases, como Australia, Canad y elReino Unido han asumido a lo largo de ms de 15 aos cambiosincrementales en que algunos ministerios han evolucionado msrpidamente que otros. La asociacin de la gestin orientada porresultados a avances sustantivos en tcnicas de presupuestacinplurianual ha fomentado la adopcin de un enfoque de largo plazo entodas las esferas de gobierno.

En el caso de Estados Unidos, transcurridos ocho aos del GovernmentPerformance and Results Act de 1993, la implantacin de una cultura porresultados an no cubra el 50% del gobierno federal. Segn una encuestarealizada el ao 2000 por la General Accounting Office (GAO) a directivosde 28 agencias federales, en promedio slo un 44% de los gerentes

35

dispona de indicadores de resultados que pueden demostrar a alguienexterno si stos estaban siendo logrados15 . La variabilidad entre agenciases significativa, pues en la cota inferior slo el 28% de los gerentes en elServicio de Impuestos (IRS) disponan de indicadores, en comparacincon un 63% de la NASA y del Departamento de Vivienda.

La implementacin gradual y generalizada de un modelo de gestinorientada a los resultados requiere de un cambio en la culturaorganizacional de las instituciones pblicas, proceso que perfectamentese extiende ms all de dos o tres perodos presidenciales. No obstante,la dinmica poltica de corto plazo exige acciones inmediatas y resultadosque se puedan mostrar a la ciudadana, lo que entra en tensin con ellento proceso de cambio de cultura gerencial.

Un ejemplo del compromiso de largo plazo para implementar laevaluacin de resultados se ha dado en Costa Rica, donde no obstante loscambios de gobierno en 1998 y en el 2002, el sistema poltico logrinstitucionalizar la evaluacin de resultados en el mbito constitucional.Para ello, en junio del 2000 se modific el artculo 11 de la ConstitucinPoltica, incorporando la evaluacin por resultados y la rendicin de cuentascomo principios inspiradores del accionar pblico: la AdministracinPblica en sentido amplio, estar sometida a un procedimiento de evaluacinde resultados y rendicin de cuentas, con la consecuente responsabilidadpersonal para los funcionarios en el cumplimiento de sus deberes. La leysealar los medios para que este control de resultados y rendicin de cuentasopere como un sistema que cubra todas las instituciones pblicas.Posteriormente, en septiembre del 2001 la reforma a la Ley de AdministracinFinanciera y Presupuestos Pblicos estableci que las entidades y rganosregidos por dicha ley estn obligados a presentar informes peridicos yfinales de gestin, resultados y rendimiento de cuentas (Mora, 2003).

D. Escasez de mecanismos de participacin ciudadana a favor de laD. Escasez de mecanismos de participacin ciudadana a favor de laD. Escasez de mecanismos de participacin ciudadana a favor de laD. Escasez de mecanismos de participacin ciudadana a favor de laD. Escasez de mecanismos de participacin ciudadana a favor de lagestin por resultadosgestin por resultadosgestin por resultadosgestin por resultadosgestin por resultados

Las influencias externas que favorecen o entorpecen una adecuadaimplementacin de la gestin por resultados tienen dos vertientes. Poruna parte, existen directivos pblicos a favor de un mejoramiento de lagestin, pero stos a menudo se enfrentan con barreras institucionales yfalta de apoyo del entorno poltico y tcnico. Es decir, estos directivos notienen incentivos fuertes para comprometerse con una gestin orientadaa los resultados. Salvo aquellos contratados mediante un convenio dedesempeo, los estmulos tanto polticos como personales para la mayorade los directivos son difusos y confusos16 . El riesgo que un cambio de

15 Managing for Results: Federal Managers Views on Key Management Issues Vary WidelyAcross Agencies, U.S. General Accounting Office, GAO-01-592, 2001.

16 Una notoria excepcin es el Programa de Inversiones Multisectorial Avana Brasil,el que ha incorporado gerentes para la implementacin de 54 programas estratgicos,quienes son responsables por los costos y metas del programa respectivo.

36

gobierno pueda dejar a mitad de camino la implementacin de unareforma otorga seales negativas a los responsables de los serviciospblicos. Por otra parte, existe un contingente significativo defuncionarios que, por diversas motivaciones, favorecen el status quo ygeneran una gran resistencia al cambio.

Por ende, al no existir mecanismos de participacin ciudadana a favorde la gestin por resultados, se configurara un problema de relacinAgente-Principal debido a la asimetra de informacin que se produceen la relacin entre los directivos pblicos y la ciudadana. Losadministradores de los programas y/o servicios manejan gran parte dela informacin relativa a los productos de sus instituciones, las reas deineficiencia, el costo de proveer los servicios, las metas alcanzables yfortalezas, en tanto que los destinatarios, interesados e incluso losorganismos de fiscalizacin como el Poder Legislativo u ONGsespecializadas carecen de dicha informacin.

La asimetra de informacin frente a los destinatarios se ve reforzadapor la ausencia de una relacin transaccional con los beneficiarios. Lasorganizaciones pblicas no venden los bienes y servicios que producen,sino que los entregan en forma gratuita o subsidiaria, a menudo encondiciones monoplicas. Por lo tanto, las instituciones no tienen uncanal de retroalimentacin directa desde el cliente o usuario a travs dela compra de bienes y servicios. Al no existir retroalimentacin, esparticularmente difcil construir indicadores agregados de resultado dela gestin de los servicios pblicos equivalentes a la lnea final del balancede las empresas privadas17 .

E. Los Problemas de CausalidadE. Los Problemas de CausalidadE. Los Problemas de CausalidadE. Los Problemas de CausalidadE. Los Problemas de Causalidad

En la literatura de evaluacin de programas existen numerosos anlisisrespecto de las dificultades para establecer relaciones de causa-efecto,pues gran parte de los fenmenos sociales que intentan intervenir losprogramas pblicos tienen un origen y evolucin de tipo multifactorial,existiendo problemas de interaccin entre las variables que son atribuiblesal impacto del programa y aquellas que evolucionan en formaindependiente. Un ejemplo clsico de esta multidimensionalidad loconstituyen los programas de reduccin de la mortalidad infantil, dondeactan en forma dinmica factores tales como las intervenciones en saludpblica materna y perinatal, la ampliacin de la cobertura de agua potablee infraestructura sanitaria, el mejoramiento de frmacos y tratamientospara las enfermedades gastroentricas y el incremento de la coberturaeducacional.

17 Ver Marcel, Mario (1998): Indicadores de Desempeo como instrumento demodernizacin en el Estado de Chile, Perspectivas en Poltica, Economa y Gestin, N 1,Vol. 2, Mayo, Departamento de Ingeniera Industrial de la Universidad de Chile,Santiago.

37

Ms an, los programas o proyectos que desarrolla una determinadainstitucin pblica no responden a un solo objetivo, sino que a unconjunto de objetivos interrelacionados entre s en una jerarqua decausas-efectos. La transversalizacin de la poltica social y la introduccindel concepto de usuario nico para los ciudadanos beneficiarios deprestaciones y subvenciones que se otorgan a travs de distintosministerios brinda una complejidad an mayor a los intentos de aislarlos cambios en la poblacin beneficiaria que no son atribuibles al accionarde una institucin pblica determinada.

Una de las tendencias que se ha observado en la evolucin del gastopblico en la dcada de 1990 es el incremento de transferencias del sectorpblico a personas y empresas. El monitoreo de indicadores de resultadospara los programas de transferencias de subsidios monetarios esespecialmente problemtico, pues es uno de los muchos factores queafectan los resultados finales para los grupos destinatarios de lastransferencias.

FFFFF. La evaluacin de funcionarios y su vnculo con los sistemas. La evaluacin de funcionarios y su vnculo con los sistemas. La evaluacin de funcionarios y su vnculo con los sistemas. La evaluacin de funcionarios y su vnculo con los sistemas. La evaluacin de funcionarios y su vnculo con los sistemasde compensacinde compensacinde compensacinde compensacinde compensacin

Los pases de la regin que han intentado asociar el cumplimiento demetas con mejoras de salarios han enfrentado la frrea oposicin desindicatos de funcionarios pblicos. De igual modo, se ha generado unrechazo a los intentos de crear carreras funcionarias paralelas dondese fijan normas contractuales ms flexibles y con remuneraciones mayoresa las