Marco de Medición del Desempeño de las EFS

Introducción al Marco de Gestión del Desempeño de las EFS

Programa de capacitación para los usuarios del MMD-EFS: Módulo 3

Marco de Medición del Desempeño de las EFS 2

Resumen de la presentación 1. Medición del desempeño 2. Estructura y características de diseño del

MMD- EFS 3. Problemas relacionados con la medición del

desempeño de las EFS 4. Indicadores del MMD-EFS 5. Informe de desempeño de la EFS

Marco de Medición del Desempeño de las EFS 3

1. Medición del desempeño

Marco de Medición del Desempeño de las EFS 4

Análisis en grupo – ¿Qué es la medición del desempeño?

En cada una de las mesas y de forma grupal analice e identifique:

a) Las características de la medición del desempeño

b) Desafíos potenciales para la medición del desempeño de la Entidades Fiscalizadoras Superiores

Tiempo: 5-10 minutos Comentarios de los grupos y plenario

Marco de Medición del Desempeño de las EFS 5

¿Qué es un marco para la medición del desempeño? • Herramienta para medir el desempeño

– ...de un individuo, un sistema o una organización

– ...en función de una escala de desempeño acordada

– ...teniendo en cuenta las circunstancias locales

• Para posibilitar – Una mejor gestión del desempeño – Supervisión a lo largo del tiempo – Evaluación y aprendizaje de lecciones

• Contribuyendo a – Comprender el desempeño – Mejorar el desempeño

Marco de Medición del Desempeño de las EFS 6

¿Qué es el Marco para la Medición del Desempeño de las EFS?

• Un Marco para la Medición del Desempeño adaptado a las EFS

• Concebido para brindar una evaluación holística y de alto nivel del desempeño de la EFS en función de buenas prácticas aceptadas por la INTOSAI: – El marco de las Normas Internacionales de las Entidades Fiscalizadoras

Superiores (las ISSAI); – El Marco sobre el Valor y los Beneficios de las EFS; – Otros materiales orientativos de la INTOSAI y buenas prácticas

internacionales. • Combinación de medición objetiva y evaluación cualitativa

• Evalúa el desempeño de la EFS en el contexto de un país y

contribuye a identificar el valor y los beneficios de la EFS para los ciudadanos

Marco de Medición del Desempeño de las EFS 7

2. Estructura y características de diseño del MMD-EFS

Marco de Medición del Desempeño de las EFS 8

Terminología del MMD-EFS .

• (A) Desempeño de la EFS Dominio

• (EFS-5) Informe anual de la EFS Indicador

• (iii) Medición y presentación de informes sobre el desempeño de la EFS

Dimensión

• (b) Uso de indicadores de desempeño... Criterios

B. Independencia y marco legal

A. Presentación de informes de la EFS

Valor y beneficios de las Entidades Fiscalizadoras Superiores

Entorno de la EFS Capacidad de la EFS

Contexto del país, gobernanza y gestión de las finanzas públicas

D. Normas y metodología de auditoría

SERVICIOS DE APOYO A LA EFS

E. Estructuras de gestión y apoyo

F. Recursos humanos y liderazgo

G. Gestión de la comunicación y las partes interesadas

C. Estrategia para el desarrollo organizacional

ESTRATEGIA DE LA EFS

ACTIVIDAD BÁSICA DE LA EFS

Marco de Medición del Desempeño de las EFS Presentación de

informes de la EFS Impacto de la EFS

Marco de Medición del Desempeño de las EFS 10

Criterios de diseño subyacentes al MMD- EFS

1. Integralidad: Cobertura amplia de todos los aspectos clave de la labor de una EFS y su contribución a la buena gobernanza, la rendición de cuentas y la transparencia

2. Objetividad: Los indicadores para medir el desempeño y el progreso son objetivos

3. Subjetividad: También pueden captarse factores subjetivos, p. ej., mediante un informe de desempeño descriptivo

4. Aceptación internacional: Los indicadores de desempeño y las escalas de medición reflejan normas y buenas prácticas internacionalmente aceptadas, en los casos posibles*

5. Pertinencia: Pertinencia para todas las EFS, independientemente de sus antecedentes administrativos o niveles de desarrollo

* En la medida en que ello resulta posible, la Versión 3.0 del MMD-EFS incluye citas directas de normas internacionales pertinentes, para luego ofrecer una interpretación de las normas

Marco de Medición del Desempeño de las EFS 11

6. Desempeño: Posibilita el análisis del desempeño de la EFS y la identificación de desafíos y oportunidades para el desarrollo

7. Progreso: Facilita la medición sistemática del desempeño de la EFS a lo largo del tiempo

8. Congruencia: Congruente con herramientas preexistentes (tanto en términos de cobertura de la EFS dentro de marcos amplios de medición de la gestión de las finanzas públicas, como de herramientas específicas para la medición del desempeño de la EFS)

9. Cumplimiento: Mide las prácticas de auditoría reales, como así también la calidad del marco legislativo / regulatorio de la EFS y de sus directrices / manuales internos

10. Brevedad: Comprende la mínima cantidad posible de indicadores de desempeño para abarcar aspectos clave del desempeño de la EFS, procurando lograr que la herramienta tenga un beneficio práctico para las EFS

11. Facilidad de uso: Facilita una utilización sencilla por parte de las EFS como herramienta de autoevaluación o evaluación entre pares

Características de diseño adicionales: • Mide criterios bajo el control de la EFS – en la medida de lo posible (excepto Dominio B) • Sin dobles penalizaciones: La EFS no debería ser penalizada dos veces por sus debilidades – en

la medida de lo posible

Marco de Medición del Desempeño de las EFS 12

3. Problemas relacionados con la medición del desempeño de las

EFS

Marco de Medición del Desempeño de las EFS 13

Problemas relacionados con la medición del desempeño (1)

Problema 1: No debería responsabilizarse a la EFS por cuestiones sobre las que no tiene control Solución al problema 1: El MMD-EFS establece una distinción entre: - Un grupo de indicadores estandarizados centrados en la presentación de informes de la EFS,

atribuibles a la EFS pero no constreñidos por su entorno - Un grupo de indicadores estandarizados centrados en la capacidad de la EFS, en buena parte

bajo el control directo de la EFS - Un grupo de indicadores estandarizados centrados en el entorno de la EFS (como la

independencia y el marco legal) específico de ella pero sólo bajo la influencia indirecta de la entidad.

Problema 2: Algunos aspectos del desempeño de la EFS son difíciles de medir, especialmente la ‘calidad’ Solución al problema 2: - Elaborar un informe descriptivo del desempeño de la EFS en el que se incluyan factores

relevantes para el desempeño de una EFS, pero que no pueden ser medidos; - El MMD-EFS se centra en la presencia de procesos y sistemas que, de ser aplicados, deberían

dar como resultado informes de auditoría de alta calidad

Marco de Medición del Desempeño de las EFS 14

Problema 3: El mandato de las EFS difiere de un país a otro y puede no estar alineado con las ISSAI. En esos casos, no resulta apropiado calificar a la EFS en función de las ISSAI Solución al problema 3: • Evaluar a la EFS en función de su propio mandato legal Ejemplos: • La norma referida a la puntualidad de la presentación de los

informes debería basarse en el mandato de la EFS o las leyes nacionales

• Cuando la EFS no tenga mandato, reflejado en el dominio B y considerado N/A en otros dominios (el uso de N/A debería decidirse en la etapa de planificación)

Problemas relacionados con la medición del desempeño (2)

Marco de Medición del Desempeño de las EFS 15

Problema 4: Es posible que los recursos financieros asignados a la EFS no resulten suficientes para el cumplimiento de su mandato. En tales casos, posiblemente no resulte apropiado penalizar a la EFS por un bajo desempeño en términos de 'cobertura', capacitación profesional, etc. Solución al problema 4: 1. Evaluar a la EFS en función de su propio mandato legal,

independientemente de sus recursos financieros 2. Además, EFS 5 (i) evalúa si la EFS ha informado al Parlamento en qué

medida le fue imposible cumplir con su mandato debido a la insuficiencia de recursos

3. El ID de la EFS incluye la solicitud de presupuesto de la EFS, su aprobación y su asignación efectiva; incluir las cuestiones pertinentes en el informe descriptivo

Problemas relacionados con la medición del desempeño (3)

Marco de Medición del Desempeño de las EFS 16

4. Indicadores del MMD-EFS

Marco de Medición del Desempeño de las EFS 17

Diseño de indicadores y escala de medición • Inspirado en la metodología de puntuación de la AFROSAI-E y PEFA

• Cada indicador proporciona una medida objetiva del desempeño

actual, no del planificado

• ... a través de 1-4 dimensiones para cada indicador

• Medidas en una escala de 0-4

• Que se traducen en una puntuación única por indicador

• No se recomienda totalizar puntuaciones por indicador en puntuaciones de dominios para obtener una puntuación global de la EFS

Marco de Medición del Desempeño de las EFS 18

El riesgo asociado a la sumatoria de puntuaciones • El MMD-EFS no está diseñado para evaluar y clasificar las EFS comparándolas entre

sí

• El MMD-EFS apunta a identificar la fortalezas y debilidades de cada EFS individual

• Las puntuaciones asignadas a los indicadores no deberían combinarse en una puntuación totalizada, porque:

– ¿Cómo ponderaríamos la importancia relativa de un 4 en auditoría de cumplimiento frente a un 2 en mandato de la EFS?

– ¿Podrían utilizarse los mismos factores de ponderación para las EFS anglófonas que para aquellas que siguen el modelo de tribunal?

– Los factores de ponderación variarían a medida que la EFS madura y prioriza nuevas áreas

• Una EFS con bajas puntuaciones en el MMD-EFS puede tener un mejor desempeño que una EFS con una puntuación más alta, debido a sus recursos, mandato y antecedentes.

Marco de Medición del Desempeño de las EFS 19

Escala de medición

Actividad no establecida o

no funciona

NIVEL 0

Nivel de base

NIVEL 1

Nivel establecido

(responde en líneas generales a los niveles 1-3

de las ISSAI)

NIVEL 3

Nivel gestionado

NIVEL 4

Nivel de desarrollo

NIVEL 2

Se responsabiliza

a los representantes

del ejecutivo

Rendición de cuentas por el uso

de los fundos públicos

La EFS posibilita una mejora constante

Rendición de cuentas por el desempeño

gubernamental

Cada nivel brinda un fundamento para la

rendición de cuentas

Marco de Medición del Desempeño de las EFS 20

Puntuación • Muchos indicadores constan de varias dimensiones • Primero, debe calificarse a cada dimensión de forma

separada • El documento del MMD-EFS contiene información

orientativa sobre cómo calificar cada dimensión • Para la sumatoria de las puntuaciones dimensionales en una

puntuación que abarque a todo el indicador, se brindan tablas de conversión (págs. 33-34)

• Criterios para una puntuación de 3 asignadapara demostrar que en líneas generales la EFS responde al espíritu de las ISSAI – Medido en función de los niveles 1-3 del marco de las ISSAI – Evaluación a nivel 4 (Directrices de auditoría) – Utilizar las

Herramientas de evaluación de cumplimiento de las ISSAI (las ICAT)

Marco de Medición del Desempeño de las EFS 21

Metodología Sin Puntuación En algunos casos es posible que los indicadores resulten No Aplicables (NA) o Sin

Calificación (SC)

• No aplicable (NA) si: Proceso fuera del mandato de la EFS -> consejo: identificar los indicadores 'no aplicables' en el diseño de la evaluación • Sin calificación (SC), si: Información insuficiente para asignar una puntuación a los criterios o la dimensión, y no se trata de algo que se debería esperar que la EFS tenga implementado -> p. ej., sensibilidad de la información sobre contrataciones recientes Cuando la EFS no pueda brindar información que se esperaría debería estar en condiciones de facilitar, calificar como no cumplido. • Puntuación y sumatoria en casos Sin Calificación (MMD-EFS pág. 32)

Marco de Medición del Desempeño de las EFS 22

Método de puntuación - ejemplo EFS 5, dimensión (iii) – siete criterios Para garantizar la gestión eficaz de sus recursos financieros, la EFS debería: a) "Las EFS evalúan y presentan públicamente informes sobre sus operaciones y

desempeño en todas las áreas" ISSAI 20:6 (Incluida una breve reseña del desempeño de la EFS en función de su estrategia y objetivos anuales).

b) Las EFS usan indicadores de desempeño para medir el logro de objetivos de desempeño internos.

c) "Las EFS... utilizan indicadores de desempeño para determinar el valor de su labor de auditoría para el Parlamento, los ciudadanos y otras partes interesadas" ISSAI 20:6

Etc.

Puntuación = 4: Se cumplen todos los criterios señalados. Puntuación = 3: Se cumplen por lo menos cinco de los criterios señalados. Puntuación = 2: Se cumplen por lo menos tres de los criterios señalados. Puntuación = 1: Se cumple por lo menos uno de los criterios señalados. Puntuación = 0: No se cumple ninguno de los criterios señalados.

Marco de Medición del Desempeño de las EFS 23

5. Informe de desempeño de la EFS

Marco de Medición del Desempeño de las EFS 24

MMD-EFS: Evaluación del desempeño basada en evidencias

Evaluación cualitativa (Informe de desempeño)

Indicadores mensurables

Medición objetiva para informar la evaluación cualitativa y observar el progreso a lo largo del tiempo

Evaluación holística de la EFS y su entorno – incluidos factores que no son cubiertos por los indicadores

Marco de Medición del Desempeño de las EFS 25

Cierre