William Orlando Prieto Bustos Carlos Alberto Barreto Nieto

Henry Antonio Mendoza

Eficiencia Técnica del

Sector Público

No. 11 2012

Facultad de

ECONOMIA

1

EFICIENCIA TÉCNICA DEL SECTOR PÚBLICO

William Orlando Prieto Bustos*

Carlos Alberto Barreto Nieto**

Henry Antonio Mendoza***

RESUMEN El documento presenta una propuesta de medición de la gestión del sector público en Colombia para el período 2002 – 2010. La metodología de medición es construida a partir de una discusión teórica en la cual se especifica una primera frontera definida a partir de los conceptos de eficiencia técnica, eficacia y efectividad. Utilizando un modelo envolvente de datos una frontera óptima es especificada sobre la concepción teórica de eficiencia en el sentido de Pareto según la cual el coeficiente de eficiencia técnica es igual a 1 y los vectores de holgura que indican excesos en la utilización de insumos para obtener un nivel dado de producción son iguales a cero. Los principales resultados indican que los indicadores de desempeño basados en productividad de la inversión resultan inapropiados para implementar el concepto de eficiencia técnica en el sentido de Pareto porque no contrastan usos de inversión por lo que no miden vectores de holgura. Así mismo, las unidades de decisión con menores niveles de inversión y con menor cantidad de programas de inversión registran mejores coeficientes de eficiencia técnica ajustados en una frontera óptima de mejores prácticas institucionales. Palabras claves: Gasto público, eficiencia del gasto público, DEA, evaluación de desempeño.

Clasificación JEL: H0, H1, H5, D60, D61.

* Magister en políticas públcias y estudios superiores en economía, Universidad de Rochester. Docente Investigador, Universidad Católica de Colombia, Bogotá, Colombia, [woprieto@ucatolica.edu.co]. ** Magíster en Economía, Docente Investigador, Universidad Católica de Colombia, Bogotá, Colombia, [cabarreto@ucatolica.edu.co]. *** Magister en Ciencias Económicas, Docente Investigador, Universidad Católica de Colombia, [hmendoza@ucatolica.edu.co]. Este artículo es parte del proyecto de investigación “Índice de Gestión al Ejecutivo” impulsado y financiado por la Universidad Católica de Colombia.

2

I. INTRODUCCION

El gobierno como institución democrática desempeña un papel fundamental en la prestación de servicios y producción de bienes para la construcción de una sociedad y la promoción de las condiciones equitativas en las cuales falla el mercado. Como construcción social, el gobierno, debe ser objeto de una evaluación crítica continúa acerca de su desempeño, en especial cuando no existen precios asociados a la producción de bienes públicos. Dicha evaluación, al menos en el caso de Colombia, suele enfrentar a un estado de opinión con un estado de política económica en un debate en la cual no existe acuerdo sobre los objetivos y los medios que debe utilizar el gobierno para cumplir con la responsabilidad para la cual se le contrató.

El documento presenta una estimación empírica para una metodología de evaluación basada en la concepción de la eficiencia técnica en el sentido de Pareto según la cual sobre la base de evidencia disponible, un unidad de decisión es eficiente si y solo si el desempeño de otras unidades no indica que uno de sus insumos o productos se puede reducir o aumentar sin empeorar el uso o la producción de otro de sus insumos o productos. La estimación es implementada con la información correspondiente a 13 ministerios públicos durante el periodo 2002-2010 utilizando la inversión y un índice de desempeño construido a partir de los indicadores de consecución de metas y un índice de transparencia pública. La investigación es presentada en cinco secciones además de la introducción. La segunda sección discute el marco teórico de la metodología de medición sugerida. La aplicación empírica utilizando una metodología envolvente de datos es descrita en la tercera sección. Los resultados y la discusión de resultados son presentados en la sección cuatro y cinco. Las conclusiones más importantes de la investigación se presentan en la última sección.

II. METODOLOGIA DE MEDICIÓN

Para la construcción del referente teórico se hace uso de la discusión sobre eficiencia en el sector público que se presenta en Antonis A., Manthos D. y Pantelis K. (2008), Afonso, A., Schuknecht, L. and V. Tanzi, (2006), Afonso, A., Schuknecht, L. and V. Tanzi, (2005), Crawford I., Klemm A., Simpson H.

3

(2003) relacionada con las dificultades que enfrenta la medición del sector público, Langlois, R. (1986), Aschauer D.(1989) relacionada con la interpretación del sector público como institución y como actividad productiva, y Schick A.(2009), Attanasio (2009), Serven(2009) relacionada con la cultura de control sobre desempeño, y la transferencias de la política social. La referencia que marca la aplicación de la estimación de la eficiencia relativa es Charnes A., Cooper W., Rhodes. E (1978) en donde se implementa la propuesta de Farrell (1957) que origina lo que posteriormente se conoce como el modelo envolvente de datos -MED- lo que se constituye en la delimitación metodológica del instrumento de medición a implementar. Revisiones de aplicaciones de la metodología se pueden encontrar en Cherchye L. (1998) sobre desempeño macroeconómico, Cooper W. , Seiford L., Tone K (2007) acerca del método de estimación, Cooper, W. Lawrence M, Seiford M., Zhu J. (2004) en relación a la historia de la metodología, Coelli T.J. (1995) sobre aplicaciones a diferentes sectores económicos, y Diamond A., Medewitz J. (1990) acerca de los alcances de la metodología.

Según Cooper et al. (2004, p. 3) dos definiciones se desprenden de interpretación desde la eficiencia técnica según Pareto para la medición del sector público;

Definición 1: Eficiencia en el sentido de Pareto-Koopmans

Una unidad de decisión es eficiente si y solamente si ninguno de sus insumos o sus productos puede ser reducido o incrementado sin empeorar la utilización o la producción de cualquier otro de sus insumos o productos.

Debido a que la eficiencia no es observable directamente se requiere especificar la relevancia empírica de la definición para incorporar una medida de eficiencia que aproxima la eficiencia relativa descrita en la definición 1 a partir del desempeño de otras unidades de decisión. Por lo tanto, una definición relevante para la medición de desempeño técnico será:

Definición 2: Eficiencia Técnica

Sobre la base de evidencia disponible, una unidad de decisión económica es eficiente si y solo si el desempeño de otras unidades de decisión no indica que alguno de sus insumos y/o productos puedan ser reducidos o incrementados sin empeorar la utilización o la producción de cualquier otro de sus insumos o productos.

4

Las ventajas de la definición 2 para el análisis aplicado de eficiencia técnica refieren a los requerimientos de información. En la especificación empírica de la definición 2 no es necesario obtener información sobre precios, y costos relevantes al proceso de producción –eficiencia económica-. Así mismo, la identificación de la definición 2 en el problema de programación (1) no requiere de una forma específica de la relación de producción entre insumos y productos al mismo tiempo que no impone restricciones exógenas sobre el uso de insumos excepto aquel relacionado con la maximización de la razón insumo-producto para cada unidad de decisión.

II.1 Eficiencia en el sector público.

La medición de eficiencia relevante para el diseño de política pública es aquella que informa acerca de la tecnología de producción que genera una mayor cantidad de productos a un menor costo (Diamond, y Medewitz (1990, p.338). La utilización de una medida de eficiencia técnica acorde a la definición 2 permite establecer falencias en la utilización plena de insumos dentro de la escala de producción que si bien no identifican la eficiencia económica permiten establecer metas en cuanto a la gestión de los recursos productivos al interior de cada unidad de decisión. Una utilización plena de recursos comporta unidades de decisión que no presentan excesos o déficits en la utilización de insumos a un nivel dado de producción, o que no presentan déficits en la producción a un nivel dado de insumos, en relación al conjunto de posibilidades de producción compuesto por todas las unidades de decisión. Lo anterior es particularmente apropiado en la evaluación de desempeño de las entidades públicas en las cuales las unidades de decisión no necesariamente son económicamente eficientes en el sentido de utilizar la combinación más “barata” de insumos para producir un nivel dado de producto. Bien pareciera por lo dicho hasta ahora que es necesario realizar una separación de la eficiencia económica de la eficiencia técnica sobre la cual se realiza la exposición metodológica.

Definición 3: Eficiencia Técnica y Eficiencia Económica.

La eficiencia técnica es una condición necesaria pero no suficiente para lograr la eficiencia económica en la asignación de recursos.

5

De la anterior definición se desprende que aunque no toda eficiencia técnica tiene sentido económico (Mandl et al (2008),p. 4), el conocimiento de los procesos de producción apoyados en indicadores de productividad factorial establecidos por la eficiencia relativa –definición 2-permiten una elaboración más precisa de política pública en cuanto a la gestión de desempeño de las entidades públicas (Smith P y Street A (2005,p 401).

Para la medición que atañe al ejercicio metodológico el conjunto de posibilidades de producción está compuesto por n unidades de decisión correspondientes a los sectores económicos especificados en base a la función principal de las instituciones del sector publico. Cada unidad de decisión al interior de cada sector se asume autónoma pero dependiente de un regulador central interesado en evaluar el desempeño en la utilización de recursos asignados. En consecuencia, la provisión de bienes y servicios en cada sector está orientada a promover el bienestar de la sociedad por lo que los objetivos de producción a los cuales se enfrentan las diferentes unidades de decisión son homogéneos en cuanto al resultado esperado, siendo especificados de manera exógena a la aproximación metodológica. A pesar de que los objetivos de producción están determinados por preferencias políticas, el grado de efectividad de la producción de cada sector en cuanto a la consecución de los resultados sobre el bienestar de la sociedad está en función de la gestión administrativa de recursos. De la misma forma, aunque los objetivos de producción están determinados por preferencias políticas, el grado de eficiencia en la producción de cada sector en cuanto a la producción de otros sectores está en función de la combinación técnica de insumos al interior del proceso de producción de cada sector económico. Por lo que es necesario distinguir entre la efectividad y la eficiencia técnica en la medición de la gestión pública.

Definición 4: Efectividad de la Gestión Pública.

La efectividad relaciona el insumo o el producto con los objetivos finales determinados por preferencias políticas y descritos por los resultados. Los resultados registran la observancia de metas de gestión pública en el bienestar social.

6

Definición 5: Eficiencia Técnica en la Gestión Pública.

Sobre la base de evidencia disponible, una unidad de decisión económica en el sector público es eficiente si y solo si el desempeño de otras unidades de decisión del sector público no indican que alguno de sus insumos y productos puedan ser reducidos o incrementados sin empeorar la utilización o la producción de cualquier otro de sus insumos o productos.

En el sentido de la definición 4 y la definición 5 los insumos monetarios y no monetarios asignados a las unidades de decisión públicas al interior de cada sector económico producen un determinado nivel de producto. La eficiencia técnica mide la utilización de insumos en relación al conjunto de posibilidades de producción óptima a cada nivel de producción. Por su parte, la efectividad mide el impacto de la producción sobre los objetivos de bienestar social a cada nivel de producción. Ambas medidas de gestión están afectadas por la eficiencia económica y por factores exógenos asociados al entorno. En tanto se desconocen los precios y los costos de la producción de las unidades de decisión pública no es posible distinguir el efecto de la eficiencia económica de la efectividad y la eficiencia técnica. Factores de entorno tales como el aspecto regulatorio institucional, las características socioeconómicas de los beneficiarios y de los empleados públicos, el grado de desarrollo económico en cuanto a la formación de capital social, y el funcionamiento de la administración pública son no discrecionales en el corto plazo para las unidades de decisión pública (Mandl et al (2008),p. 3 y (Smith P y Street A (2005,p 411)).

II.2. Insumos para la evaluación de la eficiencia del sector público.

Para implementar la aproximación metodológica se requiere de una elección de insumos y productos relevantes al objeto de medición. La elección de insumos se realiza a partir de la discusión que sugiere Mandl et al (2008, p. 5) sobre la dificultad de obtener información de insumos en el sector público debido a que los registros contables no están diseñados para realizar un seguimiento detallado de los costos de los insumos y a la necesidad de incorporar los costos de oportunidad de utilizar infraestructura pública. Así mismo la utilización del gasto público como insumo en los trabajos sobre eficiencia del sector publico de Afonso et. Al (2005), Afonso et. Al (2006),

7

las sugerencias sobre numero de insumos en una análisis de eficiencia del sector publico de Crawford et al (2003), las alternativas de medición de la eficiencia macroeconómica propuestas por Cherchye (1998), y la elección de gasto publico sectorial en Antonis A. et al (2008) fueron la base para la elección de un solo insumo en la determinación de la eficiencia pública en la presente exposición metodológica. Por tal motivo, la metodología de medición del sector público asume el gasto público en inversión para cada rubro en el registro contable del gobierno nacional como único insumo en los procesos de producción de cada unidad de decisión.

Definición 6: Insumos de producción.

La inversión pública correspondiente a cada uno de los sectores económicos con unidades de decisión pública se asume como el único insumo en el proceso de producción. Es por tanto un insumo monetario cuya medición no incluye los costos fijos y los costos de oportunidad de utilizar infraestructura pública para la producción de bienes y servicios de las unidades de decisión en cada sector económico.

Una observación relevante que concierne a la medición de eficiencia del sector público es aquella que relaciona la eficiencia no solo con la distribución de los ingresos tributarios en forma de gastos de inversión, sino también con la administración del sistema tributario (Afonso et. Al (2006, p.10). Manteniendo todo lo demás constante, cada dólar adicional de gasto requiere de un dólar adicional de ingreso por lo que impone un costo marginal más alto sobre las actividades productivas. Los costos totales de un dólar adicional gastado incluyen la reducción en los excedentes del consumidor y el productor, los costos administrativos que implican la recolección, los costos relacionados con las quejas de los ciudadanos, y el pago de sobornos asociado a una nuevo impuesto. Por otra parte, el beneficio social aumenta con incrementos en el gasto público. A medida que aumenta el gasto se requiere un aumento en el ingreso lo que ocasiona un incremento en el costo marginal. Aumentos en el costo marginal disminuyen el beneficio marginal de cada peso gastado. La asignación óptima de gasto público será aquella que iguala el costo marginal con el beneficio marginal de cada peso gastado.

De lo anterior se desprenden dos consecuencias para el análisis de eficiencia. La primera refiere a la calidad de la administración pública en cuanto a la recolección y distribución del ingreso tributario. La segunda comporta una mayor necesidad de medición de la eficiencia en términos del beneficio social

8

de tal modo que se identifiquen instancias alternativas para la rentabilidad del gasto público en el beneficio social. De otra forma, si el costo marginal del ingreso tributario fuere mayor al beneficio social la eficiencia del sector público en aumentar el potencial de beneficios para la población se reduce ya sea a través de la efectividad o a través de la eficiencia técnica.

Definición 7: Sistema tributario

La efectividad, la eficiencia técnica, y la eficiencia económica del sector público están en función de la calidad del sistema tributario. Incrementos en el gasto público aumentan el costo marginal en la recolección de impuestos. La asignación óptima de gasto público es aquella en la cual el costo marginal de cada peso recolectado es igual al beneficio marginal social de cada peso gastado.

La aproximación metodología a la medición de la gestión del sector público se realiza a partir de la definición 5. En consecuencia el interés de la investigación es develar la combinación óptima de insumos que garantiza la producción plena de productos y servicios públicos en cada sector económico manteniendo constante la efectividad, la eficiencia económica, los factores de entorno, y la calidad del sistema tributario. Con base en dicha combinación óptima de insumos se especifica la medición de eficiencia técnica para cada unidad de decisión del sector público.

II.3. Producción para la evaluación de la eficiencia en el sector público.

La elección del indicador de producción presenta a su vez desafíos metodológicos e interpretativos. En contraste con el sector privado el valor de mercado de los bienes y servicios del sector público se desconoce porque no se transan en el mercado. Mandl et al (2008, p. 8) discute la utilización del gasto público como proxy del valor de mercado de la producción del sector público en la medida que un incremento en el gasto público no necesariamente implica una mejor razón insumo-producto. Es necesario entonces elaborar un indicador de desempeño como medida de la producción publica para realizar el contraste con el insumo de producción “gasto público en inversión” de cada sector económico.

La representación de un índice de producción presenta un limitante metodológico al considerar que toda la producción pública implica aumentos

9

en el bienestar social. La posibilidad de que el gobierno produzca el bien o servicio equivocado en términos del bienestar social está más relacionada con una ineficiencia del sistema político que define los objetivos de producción, que con la efectividad del gasto –definición 4- , la eficiencia técnica en la gestión pública –definición 5-, o la eficiencia económica. La captura regulatoria de las instancias políticas reducen el potencial de beneficios sociales del gasto en inversión realizado en cada sector económico por unidades de decisión públicas. La dificultad interpretativa surge de la limitante metodológica al asumir que todo gasto público, sin importar el tipo de bien o servicio que se produzca, es equivalente a un incremento en el bienestar social, desconociendo las dificultades que enfrenta la productividad del sector público ante dislocaciones del sistema político con el bienestar social.

Para diferenciar las fallas del sistema político de las fallas de la gestión de las unidades de decisión públicas la presente exposición metodológica hace uso de la definición 4 y la definición 5. Las fallas del sistema político en orientar la producción pública se especifican en la relación de insumos, productos y resultados especificada en la definición 4. Por otro lado, las fallas de la gestión pública referentes a la utilización de recursos se identifican en la relación de insumos y producción que se identifica en la definición 5. De tal manera que el indicador de producción del sector público para efectos de la medición de la eficiencia de la gestión no hace referencia a resultados en términos del bienestar social sino a metas de producción para cada sector económico.

De lo anterior se infiere que el indicador de producción es un indicador de desempeño. Para su construcción se sigue la propuesta metodológica elaborada por Afonso et. Al (2006) en la cual se asume que el índice de desempeño del sector público (IDP) está en función de un determinado conjunto de p indicadores sociales y económicos (ISE). Si existen n unidades de decisión pública que distribuyen el gasto de inversión en j áreas de desempeño, el índice de desempeño para la k-ésima unidad de decisión es:

���� � � ������

� , � ���� ���� � � �� �����

� � � � � 1, … . �, �� 1, … . . �

Por lo que una mejora en el desempeño del sector publico depende de una mejora en los indicadores sociales y económicos (ISE):

10

∆����� � � � �����

� ∆����

Los indicadores sociales y económicos son de dos clases: indicadores de transparencia e indicadores de metas. Los indicadores de transparencia refieren a indicadores de gestión pública y los indicadores de metas establecen los porcentajes de logros sobre metas establecidas para el sector público. En el caso particular de Colombia, los indicadores de transparencia son las correspondientes estimaciones del índice de transparencia nacional elaborado por la corporación transparencia por Colombia, organización sin ánimo de lucro cuya misión es liderar esfuerzos sistemáticos de lucha contra la corrupción centrados en transformar las instituciones públicas y privadas en Colombia. Según Transparencia por Colombia (2010) el índice de transparencia es una herramienta diseñada para identificar las condiciones institucionales y prácticas de los actores gubernamentales con el objeto de identificar los riesgos de corrupción a los que se enfrentan las entidades públicas y privadas evaluadas. Los indicadores de metas están definidos por el sistema de gestión y seguimiento a las metas del gobierno SIGOB que registra las metas, el resultado y el avance de los programas de inversión pública de cada una de las unidades de decisión en los sectores económicos establecidos.

La producción de las unidades de decisión pública en cada sector económico queda definida en función de los índices de desempeño.

Definición 8: Producción de las unidades de decisión públicas.

La producción de las unidades de decisión se mide a través de un Índice de Desempeño Público (IDP) elaborado a partir de un índice de transparencia que mide riesgos de corrupción y un índice de cumplimiento de metas que mide la gestión de recursos públicos.

II.4. Índice de Productividad Parcial del sector público.

Los indicadores de desempeño para cada unidad de decisión pública ponderados por el correspondiente gasto público en inversión (GPI) establecen un primer indicador productividad parcial (IP) en cada sector, de tal manera que el IP para la k-ésima unidad de producción es:

11

��� � ����!��� � ���� ����!��� � � �����!�����

�

De modo que el índice de productividad parcial IP mide la eficiencia absoluta para cada unidad de decisión.

Definición 9: Eficiencia absoluta de cada unidad de decisión pública.

La eficiencia absoluta de cada unidad de decisión es la relación entre el Índice de Desempeño Publico –definición 8- y el gasto público en inversión correspondiente a cada sector económico –definición 6-. Al no tener en cuenta otros insumos o la utilización de insumos por parte de otras unidades de decisión pública es un indicador de eficiencia absoluta de la unidad de decisión correspondiente.

La principal desventaja del IP es que se trata de una medida parcial y no global de la eficiencia. Según Cooper W. et al (2007) las medidas de productividad son medidas parciales de la eficiencia porque atribuyen a un insumo las ganancias en productividad atribuibles a otro insumo. Aunque registran desempeños individuales pueden enviar mensajes conflictivos para la interpretación de la gestión pública al presentar a una unidad de decisión con indicadores positivos en algunos índices de productividad e indicadores negativos en otros. Debido a lo anterior Smith P y Street A (2005) concluye que no es posible determinar que tan bien se encuentra organizada una unidad de decisión pública a partir de indicadores de productividad. Es necesario entonces implementar una medida global de la eficiencia organizacional en relación a un conjunto de posibilidades de producción definido por similares unidades de decisión pública.

II.5. Índice global de eficiencia del sector publico

Las ventajas de la medición global en relación a los índices de productividad IP se encuentran en la estimación de la eficiencia con base a un sistema de unidades de decisión similares en cuanto a los objetivos del gasto en inversión pública. Así mismo facilitan a los gerentes de las unidades de decisión tener la

12

libertad de fijar prioridades de gasto en relación a la eficiencia en la producción (Smith P y Street A (2005, p.403).

La determinación de una medida global de eficiencia es la implementación empírica de la definición 5 acerca de la eficiencia en la gestión de las unidades de decisión públicas. Se pueden diferenciar dos métodos para estimar las medidas globales de eficiencia: un método paramétrico y un método no paramétrico. Los métodos paramétricos estiman la medida de eficiencia global como un promedio que incluye los mejores y los peores desempeños. Por su parte, los métodos no paramétricos estiman la medida de eficiencia global a partir de un subconjunto del conjunto de posibilidades de producción que registra los mejores desempeños. Coelli (1995), Cooper W. et al (2007), Cooper et al. (2004), Diamond A y Medewitz J (1990), Smith P y Street A (2005), Charnes et al (1978) discuten las diferencias más relevantes del método paramétrico y el método no paramétrico. Una de las más notorias diferencias se encuentra en la necesidad de especificar en el método estadístico una forma funcional de producción que no es necesario en el método no paramétrico.

Para utilizar el método no paramétrico, objeto de la presente exposición metodológica, es necesario replantear el problema de programación matemática descrito en la ecuación (1) para un solo insumo y un solo producto. De modo que el problema que enfrenta la k-esima unidad de decisión publica para determinar un índice de eficiencia global es:

"2$ %&' (� � )*�+'� �)� ,� & - ∑ )/*/�0/∑ +1'1��1 2 1, 3�� 4 � 1, … , 5 ; 7 � 1, … , �; � � 1, … . , �

)/ +1 8 0

Al igual que en el problema de programación descrito en la ecuación 1 la unidad de decisión publica maximiza la razón producto –definición 8- insumo –definición 6- tal que el conjunto de razones producto-insumos descritas en el conjunto de posibilidades de producción sea menor o igual a 1. La medida de eficiencia global se establece al obtener las intensidades de uso del gasto de inversión acordes al máximo índice de desempeño público. La unidad de

13

decisión k aparece tanto en la función objetivo como en la restricción por lo que la información de la producción de la unidad de decisión evaluada es utilizada en la elaboración del conjunto virtual de razones producto- insumo que conforman el conjunto de posibilidades de producción para el total de unidades de decisión.

Charnes at al (1978) demostró que el problema de programación no lineal descrito en la ecuación (2) puede ser transformado en un problema de programación lineal a cuya solución se puede acceder a través de un algoritmo matemático. El problema de programación lineal transformado para la k-esima unidad de decisión pública puede describirse de la siguiente manera:

"3$%&' ;�

�)� ,� & - < � *�=� > "*�;�? > �?@$ ;� 2 0��

� '1=� 2 '� < �?A��

=� B 0; � � 1, … . , �

En donde Zk y λj representan la medida de eficiencia globlal para la unidad de decisión publica k y las ponderaciones correspondientes a la intensidad de uso de los insumos –definición 6- . El programa se estima en dos etapas. En la primera se obtiene el índice de eficiencia óptimo Zk* y en la segunda etapa sea asegura que los índices S*+ y S*- que representan el déficit en la producción y el exceso de utilización de insumos con relación a las mejores utilización de insumos y producción es igual a cero. De tal manera que los ajustes realizados a partir de los índices de eficiencia estimados impulsan la producción de cada una de las unidades de decisión consideradas ineficientes a la frontera óptima de mejor utilización de recursos. La ecuación (3) resume el problema de programación lineal que se conoce en la literatura como análisis envolvente de datos.

La metodología DEA por sus siglas en ingles -Data Envelopment Analysis- maximiza para cada unidad de decisión la razón de insumo-producto sujeta a la restricción de que razones equivalentes para todas las unidades de decisión públicas son menores o iguales a 1. Los resultados del ejercicio de optimización para la k-esima unidad de decisión son un índice de eficiencia

14

global Zk, las ponderaciones λj que representan la intensidad en el uso de los insumos, y los índices de exceso en la utilización de insumos y de déficit en la producción de producto S*+ y S*- . Por lo anterior es posible identificar los movimientos de insumos necesarios para trasladar cualquier unidad de decisión pública considerada ineficiente a la frontera óptima de mejores prácticas productivas.

II.6. Índice de Gestión Pública

El índice de gestión pública es el resultado de implementar dada la información disponible las definiciones 5, 6 y 8 en un modelo de programación lineal no paramétrico conocido como análisis envolvente de datos. La aplicación empírica que orienta la presente exposición metodológica busca develar la combinación óptima de insumos que garantiza la producción plena de productos y servicios públicos en cada sector económico manteniendo constante la efectividad, la eficiencia económica, los factores de entorno, la calidad del sistema tributario, y la disponibilidad y calidad de la información concerniente a las definiciones del análisis.

Definición 10: Índice de gestión del Sector Público.

El índice de gestión del sector público es un índice que mide la eficiencia técnica del sector público en cada uno de los sectores económicos con presencia de unidades de decisión públicas. Es un índice globlal de eficiencia en el cual se mantiene constante la efectividad, la eficiencia económica, los factores de entorno, y la calidad del sistema tributario.

III. APLICACIÓN EMPIRICA

Para ilustrar el ejercicio analítico imagine por un momento trece participantes en una maratón. Cada uno de los participantes está dotado de unos recursos individuales iniciales que conforman sus restricciones. La capacidad física, los niveles de entrenamiento, el conocimiento de la ruta a transitar, son algunos de los recursos individuales de cada participante. No todos los participantes enfrentan las mismas restricciones en cuanto a las dotaciones iniciales por lo que existen diferencias de recursos de inversión. Para determinar el ganador de la prueba se requiere ante todo una meta. Una vez especificada la meta,

15

cada uno de los participantes decide una combinación de los recursos iniciales –gestión de la inversión- que le permite responder a las restricciones de manera que mejoran las posibilidades de ganar la maratón. Dada la tecnología de cada uno de los participantes el resultado eficiente será aquel que logre utilizar de mejor manera los recursos iniciales dadas la tecnología de los demás competidores.

Desde la perspectiva individual cada corredor puede estar interesado en evaluar su propio rendimiento haciendo abstracción de las demás tecnologías por lo que estaría interesado en una medida de productividad parcial. De la misma forma, el mismo corredor puede estar interesado en evaluar su rendimiento en relación al rendimiento de los demás competidores por lo que estaría interesado en una medida de productividad global. La primera le permite entender la administración de los recursos e imponer sobre la marcha cambios necesarios en objetivos individuales. La segunda le permite entender la organización de sus recursos en relación a los demás competidores dadas las restricciones e imponer sobre la marcha cambios en la gestión. Debido a que existe una sola meta el ejercicio no impone ninguna consideración política acerca de cuál meta es mejor dentro de un conjunto de metas que buscan incrementar el bienestar social.

Puesto en el lenguaje de programación matemática sea C el conjunto de 13 unidades de decisión en donde � D C representa cada unidad de decisión que pertenece a C y �E la unidad de decisión a evaluar. Sea )1� y +0� la intensidad

de uso de los insumos y el peso de cada uno de los productos elaborados por la unidad de decisión � sobre el total de la producción. El modelo de programación lineal estima la intensidad y la ponderación )1� y +0� que

maximiza la razón producción/insumo para la unidad de decisión �E restringida a que la suma de razones producto/insumo de todas las unidades de decisión sea igual a 1. De esta manera:

%&' (�F � ∑ )/ G/E0/∑ +1�1 H1E �)� ,� & - ∑ )/ G/�0/∑ +1�1 H1� 2 1 3�� � � 1, … . .13

16

)/ , +1 B I

Sea (�F el valor de la función objetivo que soluciona el problema para la

unidad de decisión �E mientras H y G representan las cantidades correspondientes a insumos y producción. Los valores de (�F para todo � D C están restringidos al intervalo J0,1K. De modo que unidades de decisión publica que alcanzan un de (�F � 1 son consideradas eficientes

mientras que aquellas unidades de decisión publica que alcanzan un (�F L 1

son consideradas ineficientes. Las unidades eficientes serán las que logran una mayor transformación de insumos en producción sin afectar la escala de producción en relación con la trasformación que realizan las demás unidades de producción.

III.1. ESTIMACION PARA COLOMBIA

En la estimación realizada para Colombia se identificó un solo insumo y un solo producto por lo que el modelo de programación lineal está orientado a la maximización de la producción. El insumo es la inversión pública realizada por cada secretaria de gobierno y la producción es un índice estimado de desempeño construido con un componente de transparencia y un componente de cumplimiento de metas1. La estimación flexibiliza la combinación de insumos al permitir rendimientos variables en cada unidad de decisión lo que permite incluir las ventajas que sobre la producción pueden tener infraestructuras con mayor inversión. La flexibilización sobre intensidades de uso de los insumos tiene la ventaja de que le permite a cada unidad de decisión obtener la mejor utilización de insumos factible pero dificulta la construcción de rankings. Los rankings se elaboran con base en el contraste inter temporal utilizando una medida radial del índice Malquist que mide el efecto del cambio en la eficiencia relativa de un periodo presidencial a otro

1 La construcción del índice agregado compuesto por índice de desempeño por el logro de metas y el índice

de transparencia asume que incrementos en la inversión pública están asociados con incrementos en la

consecución de metas y reducción en las posibilidades de corrupción. El criterio de agregación asume que la

disminución en las posibilidades de corrupción es relativamente más importante que la consecución de

metas dado que los indicadores de medición son elaborados por las propias unidades de medición. Las

ponderaciones son 40% al cumplimiento de metas y 60% a la reducción de posibilidades de corrupción.

17

ocasionado por la gestión de cada unidad de decisión y por el desplazamiento de la frontera de producción consecuencia de las actividades conjuntas de todas las unidades de decisión pública.

IV. RESULTADOS

Los resultados están contenidos en las tablas 1 a 4. En la tabla 1 se presentan la inversión total para cada uno de los cuatrienios presidenciales. La inversión del primer y el segundo periodo representan 16% y 29% del pib real a precios del 2010. En el primer cuatrienio de 2002 a 2006 los sectores con mayor inversión son el agropecuario, defensa, protección y transporte. Para el segundo cuatrienio se mantienen los sectores con inversión alta y se agregan los sectores de comunicaciones, justicia y minas. El incremento en la inversión no necesariamente se ve reflejado en un mejor índice de desempeño como es el caso de vivienda, justicia, y minas.

Tabla 1. Índice de Desempeño Público I.D.P

2002 -2006 y 2007-2010

Sector Inversión Total

2002 -2006

Inversión Total

2007 -2010

Índice de Desempeño 2002-2006§

Índice de Desempeño 2007-2010§

Agropecuario 2,043,664 4,701,855 0.71 0.94 Vivienda 1,076,597 3,938,243 1.02 0.92 Comercio 319,909 564,540 1.04 1.06

Comunicaciones 630,940 2,048,357 1.01 1.22 Cultura 457,360 823,839 0.64 1.15 Defensa 4,085,626 10,085,829 0.95 1.01

Educación 2,261,152 3,523,490 0.91 0.95 Hacienda 6,720,178 3,785,758 1.18 1.06 Justicia 635,252 3,514,092 2.89 0.95 Minas 3,102,234 14,290,417 0.95 0.86

Protección 17,698,573 24,694,569 0.77 1.01 Relaciones 25,311 46,990 0.90 0.91 Transporte 7,668,743 12,525,226 0.71 1.28

Total 46,725,537* 84,543,205*

18

Fuente: Elaboración del autor. *La inversión pública total de 2002 a 2010 fue de 131,268,742 lo que representa 45% del pib real de 2010 a precios del 2000. La inversión del primer y del segundo cuatrenio representan 16% y 29% del pib real de 2010. §Índice de desempeño se construye a partir de la relación metas y resultados registrados en el sistema de gestión y seguimiento a las metas del gobierno SIGOB, y el índice de transparencia de la corporación transparencia por Colombia. Las ponderaciones para los resultados Sigob y transparencia son de 60% y 40% respectivamente. Índices mayores a 1 registran avances por encima de las metas establecidas para cada cuatrenio dado el nivel de transparencia institucional.

El índice de eficiencia parcial elaborado a partir de las columnas de inversión y desempeño presenta en forma sintética el costo unitario de cada unidad de desempeño. Incrementos en la inversión están asociados a disminuciones en el costo unitario como es el caso de los sectores agropecuario, vivienda, comunicaciones, defensa, justicia y minas.

De la tabla 1 y 2 se puede concluir que incrementos en la inversión no conllevan incrementos en el desempeño pero siempre conducen a una reducción en el costo unitario de producción. La reducción en el costo beneficio ocurre como consecuencia de un incremento mayor en la inversión en relación al incremento en el desempeño. El índice de eficiencia parcial no es una medida acertada de gestión en la medida en que incrementos en la inversión siempre conllevan disminuciones en el costo unitario. Se requiere entonces de una medida relativa en la cual el manejo de recursos de las unidades de decisión se contrasta de manera relativa. Para tal efecto se estima el modelo de programación lineal cuyos resultados se presentan en la tabla 3.

19

Tabla 2. Índice de Eficiencia Absoluta I.E.A 2002 -2006 y 2007-2010

Sector Eficiencia Absoluta

2002- 2006 ¥

Eficiencia Absoluta 2007-2010 ¥

Agropecuario 0.16 0.17 Vivienda 0.44 0.20 Comercio 1.51 1.58

Comunicaciones 0.75 0.50 Cultura 0.66 1.18 Defensa 0.11 0.08

Educación 0.19 0.23 Hacienda 0.08 0.24 Justicia 2.13 0.23 Minas 0.14 0.05

Protección 0.02 0.03 Relaciones 16.55 16.32 Transporte 0.04 0.09

Fuente: Elaboración del autor. ¥El índice de eficiencia absoluta es un índice costo-beneficio. Es la razón de un indicador sintético de resultados -Índice de Desempeño- y la participación en la inversión total de cada ministerio. Índices mayores a 1 registran mayor productividad institucional dada la participación en la inversión total. £ El índice de eficiencia relativa se obtiene del modelo de programación lineal que estima una frontera óptima con las mejores prácticas en la utilización de recursos. Las mejores prácticas son aquellas que alcanzan los mejores resultados en el índice de desempeño. A diferencia del índice de eficiencia absoluta –productividad institucional- el índice de eficiencia relativa es un índice global por lo que tiene en cuenta todos los desempeños observados. Un índice de eficiencia relativa igual a 1 registra la mejor utilización de recursos dada la utilización de recursos de las demás unidades institucionales de decisión.

Los sectores considerados eficientes en el primer cuatrienio Justicia y Relaciones Exteriores al igual que los sectores considerados eficientes en el segundo cuatrienio no presentan incrementos en la inversión mayores a los observados en los sectores de Vivienda, Agricultura, Defensa y Minas cuyos índices costo-beneficio indicaban el menor costo unitario por unidad de desempeño. Utilizando el símil del maratón presentado anteriormente, incrementos en las dotaciones iniciales son importantes para aumentar la probabilidad de ganar la maratón, sin embargo la tecnología que combina los recursos disponibles dadas las restricciones demuestra, en el caso de la gestión pública, ser mucho más importante en términos de la eficiencia técnica –caso

20

Cultura, Comunicaciones, Justicia, y Relaciones Exteriores- que las dotaciones inicial de recursos –caso Vivienda, Agricultura, Defensa, Minas y Transporte-.

Tabla 3. Índice de Eficiencia Relativa I.E.R 2002 -2006 y 2007-2010

Sector

Eficiencia Relativa 2002 -2006£

Ranking

Eficiencia Relativa 2007 -2010£

Ranking

Agropecuario 0.24 12 0.76 11 Vivienda 0.35 5 0.74 12 Comercio 0.55 3 0.99 5

Comunicaciones 0.35 6 1.00 3 Cultura 0.27 10 1.00 1 Defensa 0.32 8 0.80 7

Educación 0.31 9 0.77 10 Hacienda 0.40 4 0.86 6 Justicia 1.00 1 0.77 9 Minas 0.33 7 0.67 13

Protección 0.26 11 0.79 8 Relaciones 1.00 1 1.00 1 Transporte 0.24 13 1.00 4

Fuente: Elaboración del autor. £ El índice de eficiencia relativa se obtiene del modelo de programación lineal que estima una frontera óptima con las mejores prácticas en la utilización de recursos. Las mejores prácticas son aquellas que alcanzan los mejores resultados en el índice de desempeño. A diferencia del índice de eficiencia absoluta –productividad institucional- el índice de eficiencia relativa es un índice global por lo que tiene en cuenta todos los desempeños observados. Un índice de eficiencia relativa igual a 1 registra la mejor utilización de recursos dada la utilización de recursos de las demás unidades institucionales de decisión.

Dada una sola meta, manteniendo constante el entorno las unidades de decisión pública con menores recursos de inversión tienden a tener mejores resultados de desempeño que las unidades de decisión pública con mayores recursos de inversión. Así mismo, las unidades de decisión con una menor cantidad de programas de inversión tienden a tener mejores resultados que las unidades de decisión con más programas de inversión. De la misma manera,

21

unidades de decisión con menores programas tienen a tener mejores resultados en transparencia y en desempeño por lo que presentan mejores resultados en desempeño medidos por el IDP.

En términos de gestión, la supervisión del gerente de cada unidad de decisión es menos costosa reduciendo la probabilidad de error en el cumplimiento de la normatividad y en la producción de los bienes correspondientes a cada sector aumentando la eficiencia técnica y en consecuencia incrementando la probabilidad de impacto positivo de cada programa sobre el bienestar social.

La estimación de eficiencia promedio para 2002-2006 de 0.43 implica que en promedio, dado los recursos de inversión utilizados, las unidades de decisión publica están produciendo 2/5 del desempeño público que podrían producir si fueran eficientes. La estimación de eficiencia promedio mejora para 2007-2010 registrando 0.85 por lo que las unidades de decisión publica están produciendo 4/5 del desempeño público que podrían producir si fueran eficientes. En promedio se registra un incremento importante en la eficiencia técnica del primer cuatrienio al segundo cuatrienio.

Finalmente, la tabla 4 presenta una descomposición del cambio observado en la eficiencia técnica utilizando una estimación del índice de Malquist siguiendo la exposición metodológica realizada por Cooper W., Seiford L., Tone K (2007). La estimación descompone el incremento de la eficiencia técnica en un efecto catch up y un efecto tecnología. El primero aísla el efecto sobre la eficiencia técnica de cambios en gestión y el segundo aísla el efecto que sobre la eficiencia tiene el desplazamiento de la frontera consecuencia de incremento en la eficiencia promedio. El índice de Malquist se elabora como el producto de ambos efectos. Los sectores con mejores desempeños en gestión desplazan la frontera imponiendo los estándares de gestión para las demás unidades de decisión pública como es el caso del sector agropecuario, cultura, protección, y transporte cuyos efectos catch up y tecnología encuentran por encima del promedio.

22

Tabla 4. Índice de Malmquist

Sector

Modelo Base

Eficiencia Relativa

2002 -2006*

Modelo Base

Eficiencia Relativa 2007 -2010*

Efecto U.D.E.§

Efecto Tecnología¥

Índice de Malmquist¤

Ranking£

Agropecuario 0.24 0.76 3.11 1.76 5.47 3

Vivienda 0.35 0.74 2.10 1.45 3.05 8

Comercio 0.55 0.99 1.78 1.33 2.38 9

Comunicaciones 0.35 1.00 2.86 1.69 4.83 5

Cultura 0.27 1.00 3.58 1.89 6.77 2

Defensa 0.32 0.80 2.44 1.56 3.81 6

Educación 0.31 0.77 2.44 1.56 3.81 6

Hacienda 0.40 0.86 2.12 1.46 3.09 7

Justicia 1.00 0.77 0.77 0.88 0.68 12

Minas 0.33 0.67 2.03 1.43 2.90 10

Protección 0.26 0.79 2.95 1.72 5.08 4

Relaciones 1.00 1.00 1.00 1.00 1.00 11

Transporte 0.24 1.00 4.08 2.02 8.23 1

Fuente: Elaboración del autor. * Modelo DEA orientado a la producción en donde el input es la inversión pública y el output es el índice sintético de desempeño. § El efecto U.D.E. refiere al cambio en la eficiencia consecuencia del cambio en la asignación de recursos de cada unidad de decisión económica. ¥ El efecto tecnología refiere al cambio en la eficiencia consecuencia del cambio en la frontera óptima de un periodo a otro. ¤ El índice de Malmquist registra el cambio en la eficiencia relativa de una unidad de decisión económica en dos momentos del tiempo. Es el producto del efecto U.D.E. y del efecto tecnología. £ Ranking institucional refiere a la estimación del índice de Malmquist.

V. DISCUSION

Los alcances de la implementación de la métrica están en consonancia con las limitaciones impuestas por los supuestos realizados. El primer supuesto fuerte es la escogencia de un solo producto para cada unidad de decisión. Las entidades públicas responden más a preferencias políticas en las cuales existe diversidad de objetivos ocasionado por la diversidad de intereses políticos, por lo que la elección de un solo producto resulta restrictiva.

23

El segundo supuesto fuerte corresponde a la variabilidad de las ponderaciones lo que en principio fue considerado una ventaja pero que al momento de contrastar dificulta la construcción de un ranking de eficiencia. Para tal efecto se puede implementar estimaciones del índice de Malquist en una versión no radial que incorpora impacto de cambios en la eficiencia sobre los rendimientos a escala o un análisis de ventana como lo presenta Cooper W., Seiford L., Tone K (2007) para una serie de datos con más observaciones. Así mismo es posible estimar un segundo problema de programación lineal solo con las unidades de decisión que resultan óptimas para identificar ponderaciones comunes de modo que sea posible establecer el ranking directamente sin la estimación inter temporal como lo realiza Despotis (2004).

El tercer supuesto restrictivo hace referencia a las variables del entorno que se asumen constantes pero que pueden afectar la manera como una unidad de decisión pública transforma inversión en desempeño. Variables del entorno como la educación, derechos de propiedad, apertura económica, y confianza en las instituciones son definitivos al momento de evaluar la gestión del sector público. Una alternativa es realizar un ajuste paramétrico del índice de eficiencia con variables de capital humano y capital social como lo sugiere Afonso et al (2006).

VI. CONCLUSIONES

Aunque los indicadores parciales de costos beneficio sugieran una disminución en el costo unitario por unidad de desempeño, aumentos en la inversión pública no necesariamente están asociados a incrementos en el desempeño público. Así mismo, unidades de decisión pública con menores niveles de inversión y con menor cantidad de programas de inversión registran mejores coeficientes de eficiencia técnica. La gestión del sector público orientada a una menor cantidad de programas con mayor eficacia es definitiva a la hora de explicar los cambios de la eficiencia técnica inter-temporales.

Las conclusiones se enmarcan en la hipótesis organizacional que argumenta la institución pública como una red de contratos. Incrementos en el tamaño de la institución o en el número de contratos realizados a través de los programas de

24

inversión aumentan el costo marginal de supervisión del gerente de la unidad de decisión pública. Debido a que las unidades de decisión pública no compiten en el mercado el costo marginal asociado a la supervisión del gerente no determina el tamaño de la unidad de decisión. Por lo tanto, no es posible determinar cuál es el tamaño óptimo de una organización pública sin hacer uso de criterios políticos por fuera de la definición de eficiencia económica, eficiencia técnica y efectividad de los programas sociales. A medida que se incrementa el tamaño de las unidades de decisión publica, aumentan las necesidades de financiación, aumenta la inversión pública, aumenta el costo marginal de supervisión debido al incremento en los costos directos de administración de recursos, lo que incrementa la probabilidad de ineficiencia en la gestión de los recursos públicos. Los resultados de las estimaciones presentadas anteriormente parecen confirmar la hipótesis de que a mayor tamaño menor eficiencia en la gestión pública.

25

REFERENCIAS

Antonis A., Manthos D. y Pantelis K. (2008), “Public sector efficiency: leveling the playing field between OECD countries” Munich Personal Repec Archive, Working Paper No.16493.

Afonso, A., Schuknecht, L. and V. Tanzi, (2006), “Public sector efficiency: Evidence for new EU member states and emerging markets,“ European Central Bank Working Paper No. 581.

Afonso, A., Schuknecht, L. and V. Tanzi, (2005), "Public sector efficiency: an international comparison", European Central Bank Working Paper, No. 242.

Banco Mundial y Banco Internacional de Reconstrucción y Fomento (2000). Designing and Buidling a Results-Based Monitoring and Evaluation System: a Tool for Public Sector Management. Washington D.C.

Charnes A., Cooper W., Rhodes. E (1978) “Measuring the efficiency of decision making units”. En: European Journal of Operational Research. Volumen 2. Pp. 429-444.

Cherchye L. (1998), “The measurement of macroeconomics performance: comparison of DEA-based Alternatives” Katholieke Universiteit Leuven, Centrum voor Economische Studiën. Public Economics Working Paper No. 9829.

Cooper W. , Seiford L., Tone K (2007). Data Envelopment Analysis. Nueva York . Springer Science+Business Media, LLC. Segunda Edición. 483 p.

Cooper, W. Lawrence M, Seiford M., Zhu J. (2004) “Data Envelopment Analysis: History, Models and Interpretations”. En: Handbook on Data Envelopment Analysis, Capitulo 1. Cooper, William W.; Seiford, Lawrence M.; Zhu, Joe (Eds.) . International Series in Operations Research & Management Science, Vol. 71. 608 p.

Coelli T.J. (1995) “Recent Developments in Frontier Modeling and Efficiency Measurement”, En: Australian Journal of Agricultural Economics, Vol. 39, No.3 Diciembre, pp.219-245.

Crawford I., Klemm A., Simpson H. (2003) “Measuring public sector efficiency”. Institute for fiscal Analysis. Reino Unido. En línea : http://www.ifs.org.uk/budgets/gb2003/ch8.pdf, fecha de consulta: Mayo 2, 2011.

26

Departamento Administrativo Nacional de Estadística-DANE (2010). Guía para Diseño, Construcción e Interpretación de Indicadores. Estrategia para el Fortalecimiento Estadístico Territorial. Herramientas estadísticas para una gestión territorial más efectiva. Disponible en internet en http : // www.dane.gov.co / files / planificacion / fortalecimiento / cuadernillo / Guia_construccion_interpretacion_indicadores.pdf

Departamento Nacional de Planeación (2008). Guía para elaboración de indicadores. Disponible en internet en http: // www.dnp.gov.co / PortalWeb / Portals / 0 / archivos / documentos / DIFP / Bpin / Guia_para_elaboracion_de_indicadores.pdf. Grupo Asesor de la Gestión de Programas y Proyectos de Inversión Pública– GAPI & SINERGIA.

Diamond A., Medewitz J. (1990), “Use of data Envelopment Analysis in an evaluation of the Efficiency of the DEEP program for economic education” En: The journal of economic education, Volumen 21,. No.3, pp. 337-354.

Fondo Monetario Internacional (2008). Manual de Transparencia Fiscal. Disponible en línea en http://www.imf.org/external/np/fad/trans/spa/manuals.pdf. ISBN 978-1-58906-661-8. Washington, D.C

, (2006). Indicadores de solidez financiera. Guía de compilación. ISBN 978-1-58906-398-3. Washington, D.C. Disponible en línea en http://www.imf.org.

, (2001). Manual de Estadísticas de Finanzas Públicas. ISBN 1-58906-136-5. Washington, D.C. Disponible en línea en http://www.imf.org/external/pubs/ft/gfs/manual/esl/pdf/all.pdf. Diciembre 2001.

, (1997). Good Governance. The IMF’s Role. ISBN 1-55775-690-2. Disponible en Internet en http://www.imf.org/external/pubs/ft/exrp/govern/govindex.htm. Washington, D.C.

Lahera, P. E. (2004). Política y políticas públicas, Serie 95. Recuperado Abril 9 de 2011. Disponible en línea en http://tramites.jalisco.gob.mx/images/politicaspublicas.pdf

Langlois, R. (1986). Economics as a process: Essays in the new Institutional Economics, Cambriidge University Press, 256.p.

27

Lora, Eduardo. 2005. Técnicas de Medición Económica: Metodología y Aplicaciones en Colombia. Alfaomega.

Mandl U. Dierx A. Ilzkovitz (2008). “The effectiveness and efficiency of public spending”. Directorate-General for Economic and Financial Affairs. Economics Papers No. 301.

OECD, 2009. Measuring Government Activity.

Naciones Unidas (2011). Classification of the Functions of Government-COFOG. Disponible en línea en http://unstats.un.org/unsd/cr/registry/regcst.asp?Cl=4.

Smith P. , Street A. (2005), “Measuring the efficiency of public services: the limits of analysis” En: Journal of the Royal Statistical Society Series A. Volumen 168. No 2. Pp. 401-417.

Transparencia por Colombia (2010) “Índice de transparencia por Colombia, resultados 2007 -2008”. Corporación Transparencia por Colombia. En línea: http://www.transparenciacolombia.org.co/LinkClick.aspx?fileticket=c-628IlJPJI%3d&tabid=36&language=es-ES, fecha de consulta: Mayo 2, 2011.

World Bank (2002). Building Results-Based Monitoring and Evaluation Systems. Assessing Developing Countries Readiness. Disposable Internet in http://www.zfev.de/fruehereAusgabe/ausgabe2002-1/download/kusek_rist.pdf