EVALUACIÓN DE EFICIENCIA

Nuria Badenes PláInstituto de Estudios Fiscales

Madrid, Españanuria.badenes@ief.minhap.es

Montevideo, Uruguay19 a 23 de Octubre de 2015

IntroducciónEl concepto de eficiencia (técnica, asignativa, económica)Métodos para medir la eficiencia técnica

- no paramétricos DEA- paramétricos deterministas

estocásticos

Introducción La medición de la eficiencia en el Sector Público es fundamental por varias razones: 1. Al igual que en el sector privado, los recursos son limitados,

pero en el público, una gran parte proviene de las contribuciones coactivas exigidas a los contribuyentes, que en consecuencia quieren que se rindan cuentas sobre los objetivos logrados.

2. Por otra parte, si se logra el ahorro de recursos en un área determinada por parte del Sector Público, el excedente puede dedicarse un área alternativa, lo que facilita el logro del objetivo de maximización del bienestar social. En tiempos en los que la eficiencia del Sector Público se cuestiona y se califica de ineficiente, las técnicas de evaluación de la eficiencia cobran especial relevancia.

La eficiencia no es el único objetivo que el Sector Público persigue, es más, dado que normalmente entrará en conflicto con consideraciones de equidad, incluso puede renunciarse voluntariamente a conseguir la máxima eficiencia y pasar a considerarse un objetivo secundario. En cualquier caso, y aunque no sea el único objetivo ni el prioritario, medir la eficiencia con diferentes herramientas técnicas (entre ellas el análisis de envolvente de datos) constituye una habilidad útil en el proceso de toma de decisiones. 

Eficiencia y productividad son conceptos se utilizan a veces de forma intercambiable aunque no significan la misma cosa. La productividad es el ratio entre el valor de algún o todos los outputs que produce una organización con respecto al valor de algún o todos los inputs utilizados en la producción. La eficiencia compara lo que se produce o consume con la producción o consumo óptimos.

El caso más sencillo implica una producción con un solo input y un solo output

Input

Output

Rendimientos variables

Rendimientos constantes

X0

P0

P0*

Medida de eficiencia: comparación ente lo que ocurre y lo que debería ocurrir: X0P0/X0P0*

Antes de definir lo que es la eficiencia, es conveniente recordar algunos conceptos, como FPP (Frontera de Posibilidades de Producción). Si contamos con un solo factor productivo, trabajo (L= Lx+Ly) para producir dos bienes, X o Y. La frontera se grafica como:

Y

X

Ineficiente

Inalcanzable

Implícitamente hemos asumido que la productividad del trabajo es decreciente en la producción de X e Y, y por eso la FPP es convexa X

LxContratar más trabajo (Lx) permite producir más (X), pero cada vez menos! Productividad decreciente

X

Y

LY

LX

El concepto de eficiencia:

Concepto más amplio que la eficacia: grado en que se logran los objetivos propuestos, sin considerar:

a) ni el coste ni los beneficios de lograr el objetivob) las formas alternativas de procederc) adecuación del objetivo al coste

Eficiencia productiva (eficiencia técnica y asignativa)

Eficiencia técnica: el SP está sobre su frontera de posibilidades de producción: no es posible producir más de algún bien o servicio sin reducir la cantidad de inputs utilizada o alternativamente, no es posible producir los mismos bienes o servicios y reducir simultáneamente el uso de inputs (Dado el input no es posible elevar el output, o dado el output no es posible reducir el input)

Ejemplos: a) Mala ubicación de unos almacenes, que incrementa el coste de

personal y transporteb) Ineficiencia X: limitar el esfuerzo laboral, o utilizar más factores

productivos de los necesarios

Y1

Y0

A

B

O Input 1 (L)

Input 2 (K)

Si en A se está produciendo la cantidad Y0 (Isocuanta)Se da ineficiencia técnica, ya que se utilizan los inputs correspondientes a una producción mayor, Y1

Eficiencia input=OB/OA

(input mínimo/input real)

Eficiencia output= Y0 /Y1 Y

(output real/output máximo)

Medida de Debreu-Farrell , comprendida entre 0 y 1

Y1

Y0

A

B

O Input 1 (L)

Input 2 (K)

Eficiencia asignativa

Exige no solo el logro de la eficiencia técnica, sino escoger la forma de producción más barata: punto D (Isocoste)

Medición:

Eficiencia global=OB/OA*OC/OB=

OC/OAC

D

Eficiencia en términos de input y output con 1 input y 1 output

output

input

A

O F G

C

D

A’

A’’

A es ineficiente. Para ser eficiente tendría que situarse en A’, A’’ o en un punto entre ambos.

En términos de output: para la utilización de inputs que hace (OG), debería producir OC en lugar de OD.

Eficiencia (términos output): output real/output máximo=OD/OC

En términos de input: para el output que produce (OD) debería gastar OF inputs en lugar de OG

Eficiencia (términos input): input mínimo/input real=OF/OG

Eficiencia económica: Evaluación de proyectos

Una intervención pública es eficiente “económicamente” cuando los beneficios sociales que reporta son mayores que los costes. La eficiencia técnica o asignativa se ocupan de cómo debe realizarse un gasto. La económica trata de si el gasto debe realizarse o no.Beneficios- Costes>0 = Eficiencia económica.

Cuanto mayor sea la eficiencia técnica y asignativa, mayor será la económica

El problema reside en las valoraciones, tanto de costes (más sencilla) como de los beneficios.

Existen técnicas alternativas de comparación de los costes en los que se incurre y los beneficios o los logros conseguidos.

Centrándonos en las evaluaciones económicas, y dependiendo de la comparación de costes y resultados que se utilice, es posible distinguir cinco tipos de evaluación alternativa.

Las evaluaciones económicas se basan en un análisis comparativo y sistemático de dos o más alternativas sobre la base de los costes y resultados que cada una de ellas genera. El término “evaluación económica” debe reservarse los casos para los que se incorpora tanto una medida de coste como de resultado.

Sin negar la utilidad de los estudios que comparan simplemente resultados, o simplemente costes, hay que tener en cuenta que son insuficientes como mecanismos para la evaluación de la actuación pública, ya que tan poco sentido tiene escoger la actuación más barata sin conocer los resultados que genera, como escoger la de mejores resultados sin haber considerado lo que cuesta.

La forma de medición de los resultados es lo que determina la tipología:

- coste-minimización- coste-efectividad- coste-consecuencias- coste-utilidad y- coste-beneficio.

Coste minimización:

Entre las evaluaciones económicas, es la más sencilla, porque al centrarse exclusivamente en la comparación de los costes, no presenta dificultades de medición de los resultados.

Simplemente compara los costes de distintas alternativas, por lo que su resultado es válido exclusivamente en casos en los que se presupone que los efectos logrados por las actuaciones son los mismos. Esta situación se da cuando los objetivos que han de alcanzarse están preestablecidos por alguna norma, ley o acuerdo. Por ejemplo la escolarización obligatoria entre determinadas edades, la prestación universal de determinado servicio sanitario, la reducción de gases contaminantes hasta un nivel predeterminado, o la construcción de un número fijo de kilómetros de autovía.

La evaluación del output público presenta numerosas dificultades, por ello, dentro del ámbito de la evaluación económica existen distintas metodologías que comparan el coste de la intervención pública (más fácil de cuantificar) con distintas medidas de los efectos causados por la intervención pública, en función de las alternativas de medición. Es importante tener en cuenta que no siempre es posible comparar el coste de la intervención y los resultados en términos monetarios, solamente el análisis coste-beneficio realiza ese tipo de comparación, con las dificultades que implica la valoración económica por el lado del beneficio.

Coste-efectividad:

Dentro del concepto de evaluación coste efectividad se entiende la opción de valoración de resultados en unidades no monetarias (ya sean físicas o naturales) y compararlas con los costes monetarios de la actuación.

El objetivo final pretendido es obtener el cociente entre coste y efectividad, que indique lo que cuesta generar un incremento en la unidad que mide los resultados (por ejemplo años de vida ganados, número de niños escolarizados, delitos evitados, pasajeros transportados…).

Debido a que el análisis coste efectividad se utiliza para comparar distintos proyectos, los ratios coste-efectividad se han de calcular en términos incrementales, es decir, de modo que expresen cuál es el coste adicional del programa A frente al B por conseguir un pasajero más transportado, un delito más evitado o un año más de vida.

Programa 2

Programa 1

Coste

Efectividad • Utilizar medidores de efectividad, no de carga de trabajo (no miden calidad ni efectividad, ej. Alumnos por clase)• Para elegir es preciso saber si hay un objetivo marcado o una restricción en el coste• El máximo ratio efectividad coste no es un buen criterio si hay restricciones de coste u objetivos predeterminados, pero es una buena guía• Dada una limitación de coste C*, es más efectivo el programa 1• Fijado el objetivo E*, es más barato el programa 2

C*: más efectivo programa 1

E*: más barato programa 2

El análisis coste-efectividad no ofrece una regla infalible para la toma de decisiones, ya que en muchas ocasiones, la medida de efectividad empleada no es una medida final, sino intermedia con respecto al objetivo que se quiere conseguir, y no se sabe cómo se vinculan los avances en un indicador intermedio con un resultado final.

Ejemplo: si se están comparando programas alternativos que pretenden mejorar la alfabetización de niños pero se utiliza como indicador de resultado la cantidad de niños escolarizados, no sabremos si el programa menos coste efectivo es el que finalmente logrará mayor alfabetización.

Esto se debe a que llevar a los niños al aula no es no es ni condición estrictamente necesaria ni suficiente para que aprendan a leer. La pregunta que se plantea es si es aconsejable gastar una unidad adicional en un programa que consigue más escolarización que otro sin saber si el alternativo finalmente formará mejor a los niños. Para la resolución de este tipo de problemas es aconsejable proceder de la forma siguiente:

1) Escoger indicadores de efectividad finales, o lo más cercanos posibles al resultado final2) Si solamente se dispone de indicadores intermedios, es necesario acudir a la teoría o a la experiencia previa para vincular resultados intermedios y finales, y así escoger con coherencia.

Como complemento al análisis coste-efectividad se puede utilizar el análisis coste-consecuencias. Al contrario que en el análisis de efectividad que sintetiza los resultados en una sola medida, el de consecuencias presenta todos los resultados derivados de una actuación frente al coste, dejando sea el decisor el que los pondere según su criterio.

El principal inconveniente de este método (Ivàlua, 2009, página 9) reside en que no permite elaborar un ranking de las actuaciones en función de su eficiencia porque los resultados están expresados en unidades de medida diferentes. Su principal fortaleza es ofrecer una idea clara y exhaustiva de todos los resultados de una intervención.

El análisis coste-utilidad se utiliza cuando una actuación pública genera varios resultados y éstos se miden utilizando un indicador sintético en términos de utilidad. Se ha utilizado con profusión en el ámbito sanitario, donde las intervenciones públicas se destinan no solamente a aumentar los años de vida, sino al bienestar de los pacientes durante los años de supervivencia (cantidad y calidad). Con este fin se utilizan los AVAC (Años de Vida Ajustados por Calidad).

Análisis coste-beneficio

El análisis coste-beneficio es una metodología que consiste en valorar de manera exhaustiva todos los costes y beneficios vinculados a una actuación o política en términos monetarios, con el fin de comparar la diferencia entre los mismos, y así obtener el beneficio neto para la sociedad en su conjunto. La dificultad de este método radica en la cuantificación monetaria de todos los costes y beneficios implicados, que exceden de los estrictamente contables.Los pasos a seguir para realizar un análisis coste-beneficio se pueden resumir como sigue:

1. Identificación del proyecto y conocimiento de cómo se va a ejecutar. Ello incluye aclarar los objetivos socioeconómicos y determinar los colectivos cuyo bienestar va a ser evaluado. Con estas consideraciones se comprueba la viabilidad técnica y la consideración de alternativas.

2. Consideración de la distribución temporal de los beneficios y los costes, y aplicación del descuento para contar con magnitudes actualizadas al momento presente tanto de los costes como de los beneficios. Este análisis se realiza primero utilizando una tasa de descuento financiero, para simplemente asegurar la viabilidad financiara del proyecto en su conjunto, y para todos los años en los que se prolongue.

3. Identificación de los beneficios y costes sociales y su distribución temporal, incluyendo los efectos externos (positivos o negativos).

4. Cuantificación de los costes y los beneficios, teniendo en cuenta que en ocasiones hablaremos de bienes y servicios para los que sí existe un mercado y es posible utilizar los precios como mecanismo de valoración, y otras veces no, bien porque no hay mercado, o porque existen imperfecciones que hacen que los precios no sean elementos válidos en la valoración. Además hay que eliminar el efecto de los impuestos, debido a que son transferencias entre los agentes implicados. En este punto del análisis existen multitud de métodos de valoración desarrollados con el fin de cuantificar en términos monetarios.

5. Actualización de los valores de todos los costes y beneficios eligiendo una tasa de descuento social, que no tiene por qué coincidir con la financiera, ya que la tasa social es el reflejo de la preferencia por el presente frente al futuro.

6. Estimación del riesgo y la incertidumbre

7. Consideración de los efectos distributivos de los proyectos

8. Presentación sistematizada de los resultados, incluyendo la regla de decisión utilizada.

Técnicas para la medición de la eficiencia técnica

Se requiere la comparación del modo en que se está desarrollando la actividad (inputs y outputs) con la mejor situación posible según la mejor función de producción.

Problemas:

-¿Cuál es la función de producción del sector público? Sanitaria, educativa, infraestructuras, servicios judiciales-¿ Cómo medir el output público?

En los casos en que estos dos obstáculos sean salvables, es posible aplicar técnicas cuantitativas, en otro caso habrá que realizar una evaluación cualitativa, descriptiva, con aplicación de indicadores.

En función de si se asume o no una forma funcional determinada para función de producción:

- Métodos paramétricos: asumen función de producción. Análisis econométrico.

- Métodos no paramétricos: Aproximaciones de frontera, función determinada por las observaciones

En función de cómo se califique la distancia entre los valores observados y la referencia eficiente:

- Métodos deterministas: toda la distancia entre los valores observados y la

referencia eficiente se califica como ineficiencia- Métodos estocásticos: se asume que en esa distancia hay un

componente de error

MÉTODOS NO PARAMÉTRICOS

¿En qué consiste el Análisis de Envolvente de Datos (DEA: Data Envelopment Analysis)? Se trata de una técnica de medición de la eficiencia relativa basada en la programación lineal. La primera aproximación a la técnica la propone Farell (1957) a través del concepto radial de eficiencia, pero serán Charnes, Cooper y Rhodes (1978) quienes desarrollen y pongan en marcha una técnica que se ha convertido en una de las más populares. Para llevar a cabo un DEA necesitamos conocer los inputs y outputs que entran en juego en el proceso productivo de las distintas unidades cuya eficiencia se pretende evaluar.

Veamos la intuición, (y el detalle, más adelante).

Por ejemplo, si queremos conocer la eficiencia comparada entre tres estudiantes que estudian un total de 100 horas y que obtienen las siguientes calificaciones en las asignaturas de Matemáticas e Inglés:

Horas estudio(input)

Nota Matemáticas

(output 1)

Nota Inglés(output 2)

Alumno 1 100 8 1Alumno 2 100 5 2Alumno 3 100 2 5

A partir de los resultados de los tres alumnos, vamos a tratar de construir una combinación teniendo en cuenta a los tres alumnos qué debemos “imitar” de cada uno. Es decir, que dadas las horas de estudio nos diga cómo sacar mejores notas (maximización de output), o si las notas nos parecen satisfactorias, cómo minimizar las horas de estudio para conseguirlas (minimización de input). En definitiva, cómo lograr la eficiencia relativa.

El alumno 1 obtiene muy buenos resultados en Matemáticas, de manera que ninguna combinación de los alumnos 2 y 3 permite un mejor resultado. El aluno 3, al contrario, es el más eficiente en Inglés. El alumno 2 podría imitar un poco a cada uno de sus compañeros, y obtendría un mejor resultado: Lambda Y=[0,5*8+0,5*2; 0,5*1+0,5*5]=[5,3]>[5,2] No siempre la mejor combinación de otras unidades es 50% de cada una. Podría necesitarse otra proporción, y para ello se utiliza un programa de optimización lineal. En términos gráficos podemos representar la frontera eficiente por trazo más grueso, determinada por dos observaciones, el alumno 3 y el alumno 1, mientras que el alumno 2 es ineficiente comparado con los otros dos, al situarse por debajo de la frontera.

Alumno 3[2,5]

Alumno 1

[8,1]

Alumno 2[5,2]

Nota Matemáticas (output 1)

Nota Inglés Output 2

Horas estudio(input)

Nota Matemáticas

(output 1)

Nota Inglés(output 2)

Alumno 1 100 8 1Alumno 2 100 5 2Alumno 3 100 2 5

La eficiencia se lograría con una combinación lineal de las actuaciones de los otros dos alumnos para situarse sobre la frontera. Nótese que se trata de una medición relativa de la eficiencia, ya que si los alumnos considerados en la comparación fuesen diferentes, los resultados también lo serían.

El análisis gráfico puede utilizarse para mostrar otro ejemplo sencillo, esta vez con dos inputs y un solo output. Supongamos que el output hospitalario viene medido por el número de operaciones anuales de una determinada dolencia, y los inputs son el número de cirujano/as y enfermero/as. Si contamos con la información relativa a 4 hospitales:

Input 1Nº médicos

Input 2Nº

enfermero/as

Output (nº operaciones /

año)Hospital 1 1 5 100Hospital 2 2 3 100Hospital 3 5 2 100Hospital 4 2 5 100

Hosp. 1

Hosp. 2

Hosp. 3

Hosp. 4

Input 1

Input 2

MÉTODOS PARAMÉTRICOS

Asumen que un proceso productivo sigue una función determinada (CES, translog, Cobb Douglas…) y tratan de ver cómo los valores de producción se acercan a esa función que determina la frontera eficiente (Ya que la función de producción representa la máxima producción alcanzable de un producto a partir de los inputs utilizados en la producción).

Como la estimación econométrica requiere linealidad, normalmente las funciones se linealizan tomando logaritmos. (Ver ejemplo en frontera estocastica.xls)

n1iexy i

Kk

1kikki

K inputs

Supongamos que la función de producción (conocida) es:

Donde: yi representa la producción o output

xik son los inputs,

ei es el residuo para la unidad productiva i. Este residuo ei captura cualquier ineficiencia, incluyendo variables no incluidas en la especificación, errores en la medición, y todo esto se achacará a ineficiencia.

En función de cómo se considere el efecto aleatorio se tienen modelos deterministas o estocásticos.

FRONTERA DETERMINISTA:Si se ignora el efecto aleatorio en el residuo significa que el residuo ei SOLAMENTE captura ineficiencia, e ignora otros efectos.

Si utilizamos Mínimos cuadrados ordinarios para para estimar el modelo ui tiene media cero, lo que significa que habrá ineficiencia positiva y negativa, porque hay valores por encima y por debajo de la media. Esto se puede corregir desplazando la constante α en la cuantía del máximo residuo. (Mínimos cuadrados ordinarios corregidos).

ui >= 0.

n1iuxyi

Kk

1kikki

K inputs

donde

0 20 40 60 80 100 1200

20

40

60

80

100

120

140

Input

Máximo residuo

Tras la corrección, el modelo resultante es:

Cuando esta corrección se realiza:- todos los residuos (que miden la ineficiencia) pasan a ser no

negativos- y al menos uno es cero (que presentará eficiencia máxima)- la eficiencia no excederá el 100%, como ocurría antes, cuando

era posible encontrar ineficiencias negativas (eficiencia superior al 100%).

Veamos un ejemplo:

Imaginemos que queremos medir la eficiencia en un proceso de vacunación de malaria.El único input (X) se representa por el porcentaje de vacunados entre la población de riesgoEl único output (Y) viene dado por el porcentaje de no infectados por malariaLa función de producción que liga y con X la asumimos lineal

Ejemplo fronteras: Nota: puede ocurrir (y,x) tal como (100, <100) porque hay otros factores que evitan la malaria

Y: % NO infectados de malaria Nota: NO puede ocurrir (y,x) tal como (<100, 100) porque la vacuna es eficaz

X: % vacunación entre la población de riesgo

PRONÓSTICO U^ Gráfico

Output Y Input X beta^y^=alfa^+x*beta^ RESIDUOS x nube puntos recta ajustada recta +máx residuo Eficiencia Técnica

100 100 1,00079289 110,4933608 -10,4933608 100 100 110,4933608 131,032508 0,76 No hay eficiencia

100 80alfa^ 90,4775031 9,5224969 80 100 90,4775031 111,016651 0,90 máxima a pesar

100 75 10,4140722 85,47353867 14,5264613 75 100 85,47353867 106,012686 0,94 de output 100%

98 96 106,4901893 -8,49018928 96 98 106,4901893 127,029337 0,77

98 75 85,47353867 12,5264613 75 98 85,47353867 106,012686 0,92

95 80 90,4775031 4,5224969 80 95 90,4775031 111,016651 0,86

90 59 69,4608525 20,5391475 59 90 69,4608525 90 1,00 Máxima eficiencia

78 66 76,4664027 1,5335973 66 78 76,4664027 97,0055502 0,80

76 79 89,47671022 -13,4767102 79 76 89,47671022 110,015858 0,69

75 56 66,45847384 8,54152616 56 75 66,45847384 86,9976213 0,86

67 45 55,4497521 11,5502479 45 67 55,4497521 75,9888996 0,88

58 56 66,45847384 -8,45847384 56 58 66,45847384 86,9976213 0,67

56 57 67,45926673 -11,4592667 57 56 67,45926673 87,9984142 0,64

54 58 68,46005962 -14,4600596 58 54 68,46005962 88,9992071 0,61

50 34 44,44103036 5,55896964 34 50 44,44103036 64,9801779 0,77

41 24 34,4331015 6,5668985 24 41 34,4331015 54,972249 0,75

31 12 22,42358687 8,57641313 12 31 22,42358687 42,9627344 0,72

24 30 40,43785881 -16,4378588 30 24 40,43785881 60,9770063 0,39

23 5 15,41803667 7,58196333 5 23 15,41803667 35,9571842 0,64

23 6 16,41882955 6,58117045 6 23 16,41882955 36,9579771 0,62

11 23 33,43230861 -22,4323086 23 11 33,43230861 53,9714561 0,20

5 7 17,41962244 -12,4196224 7 5 17,41962244 37,9587699 0,13

máx residuo= 20,5391475

FRONTERA ESTOCÁSTICA:

La frontera estocástica de producción fue propuesta independientemente por Aigner, Lovell y Schmidt (1977) y Meeusen y van den Broeck (1977).

La especificación original involucraba una función de producción para datos de corte transversal (cross-sectional data) con un término de error con dos componentes:

- Uno para medir el efecto aleatorio (vi)- Otro para medir la ineficiencia técnica (ui).

El modelo puede expresarse como: Yi = xi + (vi - ui)

donde• Yi es la producción (o el logaritmo de la producción) de la unidad

productiva i;• xi es un vector k1 de cantidades de input de la unidad i;• es un vector de los parámetros a estimar;• vi son variables aleatorias independientes de los ui que son

variables aleatorias no-negativas, y que miden la ineficiencia técnica en la producción.

Esta especificación original ha sido usada en un amplio número de aplicaciones empíricas en las dos últimas décadas.

Esta especificación ha sido modificada y extendida de diferentes formas. Estas extensiones incluyen:- La especificación de funciones de distribución más generales

respecto de ui, tales como: las distribuciones normal truncada o gamma de dos parámetros

- El análisis de datos de panel y eficiencias técnicas que varían en el tiempo

- La extensión de esta metodología a las funciones de coste en lugar de producción (dualidad), o a la estimación de sistemas de ecuaciones.

Y

x

Nivel de Producción Observado

IneficienciaEstocástica

Frontera de Producción determinista

•

Error Aleatorio

Frontera estocástica y determinista

xjxi

Output Frontera estocásticaf(xiβ+vi), si vi>0

Output Frontera estocásticaf(xiβ+vi), if vi<0

y = f(xiβ+vi)

La clave en el análisis de fronteras estocásticas es que el residuo incluye tanto un componente aleatorio como de ineficiencia.

εi=vi+ui, cov(vi, ui)=0 Componente estocástico (vi)Por eventos fuera del control de la organización:

- Condiciones climáticas- Fallos en maquinaria- Errores en

identificación de variables relevantes

- Azar…..

Componente de ineficiencia (ui) NO NEGATIVO

La frontera estocástica:1. NO se corresponde con la línea de mejor ajuste (como en

MCO)2. No pasa necesariamente por el punto más eficiente (como

en MCOC)

Muchas gracias por su atención