documento metodológico mdi vigencia 2019

1

Documento Metodológico

Operación Estadística

Medición del Desempeño Institucional

MDI

Segunda Versión

Diciembre de 2020

2

Documento Metodológico de la Operación Estadística Medición del Desempeño Institucional MDI Segunda Versión Departamento Administrativo de la Función Pública © Todos los derechos reservados Fernando Antonio Grillo Rubiano Director Claudia Patricia Hernández León Subdirectora Juliana Valencia Andrade Secretaria General María del Pilar García González Directora de Gestión y Desempeño Institucional Carlos Orjuela Jefe Oficina de Tecnología de la Información y las Comunicaciones Carlos Andrés Guzmán Rodríguez Jefe Oficina Asesora de Planeación Elaborado por: Grupo de Análisis y Política Dirección de Gestión y Desempeño Institucional Diciembre de 2020 Departamento Administrativo de la Función Pública Carrera 6 No.12-62, Bogotá, D.C., Colombia Conmutador: 73956566 – Fax: 571-7395657 www.funcionpublica.gov.co Email: [email protected] Línea gratuita de atención al usuario: 018000 917770

http://www.funcionpublica.gov.co/

3

Control de Cambios al Documento

Fecha Cambios Introducidos

Junio de 2020 Versión 1

Versión Inicial del documento

Diciembre de 2020 Versión 2

• Modificación y complemento a los contenidos del punto referente a necesidades de información.

• Complemento al contenido del punto referente a Marco conceptual, con información sobre referentes internacionales.

• Inclusión de fecha y versiones usadas de DIVIPOLA y Código SIGEP en el punto de Nomenclaturas se

• Inclusión de apartes en el documento que permiten diferenciar el registro administrativo del aprovechamiento de este y del uso de la información estadística.

• Ajuste al punto referente a fuentes de datos, incluyendo una tabla que indica las preguntas que se homologan del SIIF y el SUIT (se eliminó de este apartado el SIGEP).

• Modificación del contenido referente al punto de Unidades Estadísticas

• Modificación y complemento a los contenidos de los puntos referentes al análisis de contexto y al análisis de comparabilidad.

• Inclusión, en el punto referente a evaluación y mejora, una breve explicación sobre los indicadores de eficacia para el monitoreo y seguimiento de las actividades que se realizan por cada fase del proceso estadístico.

• Redacción del punto referente a la especificación del modelo estadístico en lenguaje sencillo y elaboración de un anexo técnico que detalle dicho modelo.

• Actualización de enlaces a documentos publicados en la web

4

Contenido Introducción ...................................................................................................................................................... 6 1. Antecedentes ........................................................................................................................................... 7 2. Diseño de la Operación Estadística ....................................................................................................... 9

2.1 Diseño Temático ................................................................................................................................. 9 2.1.1 Información estadística ............................................................................................................... 9 2.1.2 Usuarios y Necesidades de la información estadística ............................................................. 10 2.1.3 Objetivo de la Operación Estadística ........................................................................................ 15 2.1.4 Alcance Temático ...................................................................................................................... 16 2.1.5 Marco de Referencia ................................................................................................................. 18 2.1.6 Variables ................................................................................................................................... 21 2.1.7 Cuadros de salida (Plan de resultados) .................................................................................... 21 2.1.8 Nomenclaturas .......................................................................................................................... 23

2.2 Diseño Estadístico ........................................................................................................................... 24 2.2.1 Universo de estudio .................................................................................................................. 24 2.2.2 Población objetivo ..................................................................................................................... 24 2.2.3 Cobertura geográfica ................................................................................................................ 24 2.2.4 Desagregación geográfica ........................................................................................................ 24 2.2.5 Fuentes de datos ...................................................................................................................... 25 2.2.6 Unidades Estadísticas............................................................................................................... 27 2.2.7 Período de referencia................................................................................................................ 27 2.2.8 Período de recolección de la Información ................................................................................. 27 2.2.9 Registro Administrativo FURAG ................................................................................................ 27 2.2.10 Registro administrativo y su aprovechamiento en el marco de la MDI...................................... 28 2.2.11 Especificación del modelo estadístico ...................................................................................... 29

2.3 Diseño de la Ejecución (Recolección de Datos) ............................................................................ 29 2.3.1 Diseño del cuestionario ............................................................................................................. 32 2.3.2 Esquema de entrenamiento de los servidores del Departamento ............................................ 35 2.3.3 Estrategia de Sensibilización a las entidades Públicas ............................................................. 35 2.3.4 Alistamiento para la puesta en producción del Aplicativo FURAG ............................................ 35 2.3.5 Pruebas al Diseño ..................................................................................................................... 36 2.3.6 Habilitación del Aplicativo FURAG ............................................................................................ 38

2.4 Diseño del Procesamiento ............................................................................................................... 39 2.4.1 Software empleado en el procesamiento .................................................................................. 40 2.4.2 Comparativo entre herramientas de procesamiento ................................................................. 42 2.4.3 Codificaciones empleadas en la medición ................................................................................ 43

2.5 Diseño del Análisis de Resultados ................................................................................................. 47 2.5.1 Análisis de contexto .................................................................................................................. 47 2.5.2 Análisis de coherencia .............................................................................................................. 48 2.5.3 Análisis de comparabilidad ....................................................................................................... 50 2.5.4 Aprovechamiento del registro estadístico ................................................................................. 52

2.6 Diseño de la Difusión ....................................................................................................................... 53 2.6.1 Plan de Difusión ........................................................................................................................ 53 2.6.2 Difusión y Socialización de Resultados .................................................................................... 53 2.6.3 Administración del repositorio de datos .................................................................................... 55

3. Evaluación y Mejora .............................................................................................................................. 56 4. Bibliografía............................................................................................................................................. 57 5. Anexos ................................................................................................................................................... 59

5

Índice de tablas Tabla 1 - Entidades líderes de política ................................................................................................ 11 Tabla 2 Entidades objeto de medición (Decreto 1499 de 2017) ......................................................... 13 Tabla 9 - Comparativo entre herramientas de procesamiento estadístico ......................................... 42 Tabla 10 - Tabla de codificación de preguntas ................................................................................... 44 Tabla 11 - Codificación de ítems ........................................................................................................ 44 Tabla 12 - Nuevas variables ............................................................................................................... 45 Tabla 13 - Nombres de tablas empleadas en la medición .................................................................. 46 Tabla 14 - Nombres de códigos empleados en la medición ............................................................... 46 Índice de gráficos Gráfico 1 - Dimensiones Operativas de MIPG ................................................................................... 17 Gráfico 2 - Estructura MECI ............................................................................................................... 17 Gráfico 5 - Estructura temática de los índices de desempeño institucional vigencia 2019 ................ 54 Principales siglas y abreviaturas DAFP: Departamento Administrativo de la Función Pública DANE: Departamento Administrativo Nacional de Estadísticas DGDI: Dirección de Gestión y Desempeño Institucional (Función Pública) FURAG: Formulario Único de Reporte y Avance de Gestión IDI: Índice de Desempeño Institucional MDI: Medición del Desempeño Institucional MECI: Modelo Estándar de Control Interno MIPG: Modelo Integrado de Planeación y Gestión MRG: Modelo de Respuesta Graduada PND: Plan Nacional de Desarrollo SIGEP: Sistema de Información de Gestión del Empleo Público TRI: Teoría de Respuesta al ítem

6

Introducción El Modelo Integrado de Planeación y Gestión – MIPG es el marco de referencia que tienen las entidades públicas para llevar a cabo sus procesos de gestión institucional, cuyos lineamientos se han emitido a través de las políticas de gestión y desempeño previstas en el Decreto 1083 de 2015 y sus respectivas modificaciones al respecto. MIPG cuenta con una metodología de medición que se materializa en la operación estadística Medición del Desempeño Institucional MDI la cual se implementa en las entidades que están en el ámbito de aplicación de MIPG y del Modelo Estándar de Control Interno, y su principal razón de ser es brindar insumos para que las entidades puedan establecer un diagnóstico de sus fortalezas y debilidades en materia de gestión y desempeño institucional, realizar un ejercicio de retroalimentación y llevar el registro año a año de sus avances, para cumplir de manera efectiva con los objetivos propuestos por el Modelo. Esta operación estadística se fundamenta en el análisis de los datos recolectados a través del Registro Administrativo Formulario Único de Reporte y Avance de Gestión FURAG. Para el Departamento Administrativo de la Función Pública y para las otras 10 entidades líderes de política encargadas de direccionar y acompañar el fortalecimiento de la gestión institucional en las entidades públicas, es de suma importancia evaluar y analizar la información de la medición de manera que se puedan ajustar las herramientas brindadas para el fortalecimiento institucional. Cabe resaltar que esta medición es un indicio del impacto de la aplicación de MIPG, y una fuente de datos abiertos que está al servicio de distintos intereses investigativos posteriores por parte del Gobierno Nacional, los líderes de política, los organismos de control, las entidades mismas y la ciudadanía. En este sentido, el presente documento recoge los principales aspectos de la operación estadística, a fin de articular el proceso estadístico al sistema de gestión institucional, contribuyendo a la estandarización de los procesos de producción y difusión estadística, así como a la generación de prácticas que permitan una planificación de la operación estadística en términos de recursos, estructura y organización en Función Pública, y a su vez se cumplan los requisitos de calidad para la generación de estadísticas NTC PE 1000:2017 expedidas por el DANE.

7

1. Antecedentes La MDI está contextualizada en el actual modelo colombiano de gestión pública - Modelo Integrado de Planeación y Gestión MIPG; este Modelo tiene sus antecedentes en las iniciativas tanto del Gobierno Nacional como del Congreso de la República, encaminadas a diseñar sistemas y modelos para guiar a las entidades en el ejercicio de la gestión institucional, y cuya evolución se puede sintetizar de la siguiente manera:

1993 – Ley 87: creó el Sistema Institucional de Control Interno, con el propósito de dotar a la administración de un marco para el control de las actividades estatales, directamente por las mismas autoridades. 1998 – Ley 487: creó el Sistema de Desarrollo Administrativo con el propósito de articular la planeación estratégica de las entidades con la de su quehacer administrativo, a través de las políticas y los planes sectoriales de desarrollo administrativo. Así mismo, se fortalece el Control Interno, con la creación del Sistema Nacional de Control Interno a fin de darle una connotación más estratégica. 2003 – Ley 872 y 2004 – Decreto 4110: incorporó el sistema de gestión de la calidad en el sector público, a partir del establecimiento de la primera Norma Técnica de Calidad para este sector, conocida como la NTCGP 1000. 2005 – Decreto 1599: adoptó un marco general para el ejercicio del Control Interno, a través del Modelo Estándar de Control Interno -MECI, el cual pretendió dotar al Estado colombiano de una estructura única que facilitara este ejercicio por parte de las entidades, mediante la estandarización de controles mínimos para garantizar de manera razonable el cumplimiento de los objetivos de las organizaciones y la adopción de un instrumento de evaluación de los sistemas de control interno. 2012 - Decreto 2482: estableció los lineamientos generales para la integración de la planeación y la gestión, adoptando el Modelo Integrado de Planeación y Gestión -MIPG como instrumento de articulación y reporte de la planeación. 2015 – Ley 1753: dispuso la fusión del Sistema de Desarrollo Administrativo y el de Gestión de Calidad y su articulación con el de Control Interno, para lo cual se adoptará un Modelo. 2017 – Decreto 1499 (modificatorio del Decreto 1083 de 2015 Decreto único Reglamentario de Función Pública): integró en un solo Sistema, los sistemas de Desarrollo Administrativo y de Gestión de la Calidad, y se articuló con el Sistema de Control Interno. Así mismo, se actualizó el Modelo Integrado de Planeación y Gestión MIPG para operar dicha integración y articulación bajo 7 dimensiones operativas y un conjunto de políticas públicas que materializan la gestión institucional.

Con la adopción de MIPG en el año 2017, se trabajó en el fortalecimiento conceptual y operativo, no solo del Modelo sino del esquema de Medición que lo acompaña, cuyo instrumento de recolección de datos es el elemento tal vez más visible, denominado Formulario Único de Reporte y Avance de Gestión FURAG, el cual también fue robustecido con un método estadístico para el procesamiento de la información. El Decreto Único Reglamentario 1083 de 2015 del Sector Función Pública, modificado por el Decreto 1499 de 2017, determina las instancias y los mecanismos mediante los cuales se debe llevar a cabo la evaluación a la gestión de las entidades públicas y su mejoramiento a través de la implementación de MIPG, así como el cumplimiento de los requerimientos de las políticas que lo integran.

8

De manera que, al Consejo para la Gestión y el Desempeño Institucional, órgano de dirección y coordinación del Sistema de Gestión, le fueron asignadas funciones de evaluación, tal como lo indican los numerales tercero y noveno del artículo 2.2.22.1.4 del Decreto en mención, así: Artículo 2.2.22.1.4 Funciones del Consejo para la Gestión y el Desempeño Institucional. El Consejo para la Gestión y el Desempeño Institucional cumplirá las siguientes funciones: 3. Definir los criterios de evaluación y seguimiento de las políticas de gestión y desempeño institucional, buscando la simplificación y racionalización de reportes de información y requerimientos para su implementación y operación. 9. Evaluar el logro de los objetivos del Modelo Integrado de Planeación y Gestión – MIPG y del cumplimiento permanente de sus principios.” En este sentido, se diseñó un mecanismo de medición de MIPG que permite valorar el estado en que cada organización pública se encuentra frente al marco de referencia que éste propone, en concordancia con lo establecido mediante el artículo 2.2.22.3.10 del mismo Decreto, que indica: “Artículo 2.2.22.3.10 Medición de la Gestión y Desempeño Institucional. La recolección de información necesaria para dicha medición se hará a través del Formulario Único de Reporte y Avance de Gestión – FURAG. La medición de la gestión y desempeño institucional se hará a través del índice, las metodologías o herramientas definidas por la Función Pública, sin perjuicio de otras mediciones que en la materia efectúen las entidades del Gobierno.” El Departamento Administrativo de la Función Pública, en coordinación con el Consejo para la Gestión y Desempeño Institucional, establecerá la metodología, la periodicidad y demás condiciones necesarias para la aplicación del citado formulario o de otros esquemas de medición que se diseñen. La primera medición de FURAG estuvo orientada a determinar la Línea Base como punto de partida para que cada entidad avance en la implementación y desarrollo de MIPG. De otro lado, el Control Interno establecido a través de la Ley 87 de 1993, desarrollado a través del Modelo Estándar de Control Interno, venía siendo evaluado a través del aplicativo MECI desde el año 2006. Sin embargo, considerando que el Control Interno se constituyó como la séptima dimensión de MIPG y que es la clave para asegurar razonablemente que las demás dimensiones cumplan su propósito, se estableció al FURAG como mecanismo único de evaluación. Así quedó explicado en el Decreto 1083 de 2015: “Artículo 2.2.23.3 Medición del Modelo Estándar de Control Interno. Los representantes legales y jefes de organismos de las entidades a las que les aplica la Ley 87 de 1993 medirán el estado de avance del Modelo Estándar de Control Interno. Los jefes de control interno o quienes hagan sus veces realizarán la medición de la efectividad de dicho Modelo. La Función Pública establecerá la metodología, la periodicidad y demás condiciones necesarias para tal medición y recogerá la información a través del Formulario Único de Reporte y Avance de Gestión – FURAG.” La operación estadística Medición de la Gestión y el Desempeño Institución a través del registro administrativo del FURAG, así como los resultados generados por esta medición, constituyen un insumo fundamental para que las entidades puedan establecer un diagnóstico de sus fortalezas y debilidades, realizar un ejercicio de retroalimentación y llevar el registro año a año de su avance, para

9

cumplir de manera efectiva con los objetivos propuestos por el MIPG. Así mismo, para los 11 líderes de política encargados de direccionar y acompañar el fortalecimiento de la gestión institucional en las entidades públicas, es de suma importancia evaluar y analizar la información de la medición de manera que se puedan ajustar las herramientas brindadas para el fortalecimiento institucional.

• ¿Cuál es la Importancia y relevancia de esta Operación Estadística? Es importante destacar el interés expresado por el Gobierno Nacional al subrayar la necesidad de mejoramiento en el desempeño de los sectores e instituciones en términos de eficiencia y eficacia. Por lo que cabe señalar que en el marco del “Pacto por una gestión pública efectiva” del Plan de Desarrollo 2018 – 2022 – Pacto por Colombia, Pacto por la equidad, se ha establecido una meta en la que indica su pretensión de avanzar hacia una gestión pública más efectiva con una administración pública transformada y al servicio del ciudadano. La responsabilidad del Departamento Administrativo de la Función Pública radica en el objetivo 2 de dicho pacto que establece que se deberá mejorar la eficiencia y productividad en la gestión y las capacidades de las entidades públicas de los sectores. Para alcanzar dicha meta, las bases para el Plan Nacional de Desarrollo 2018-2022, indican que es necesario avanzar en la evaluación institucional dentro de cada sector, con el fin de identificar los cuellos de botella que impiden una mayor sinergia intra e intersectorial. Para ello, la Función Pública deberá consolidar MIPG en las entidades públicas del orden nacional y territorial, y diseñar un esquema de asesoría técnica integral de acompañamiento por parte de las entidades líderes de las políticas de gestión y desempeño. Como meta del cuatrienio, el PND 2018-2022, asigna al sector Función Pública incrementar el índice de desempeño institucional para las entidades del orden nacional (rama ejecutiva) 10 puntos y para las entidades del orden territorial (alcaldías y gobernaciones) 5 puntos. Razón por la cual, anualmente las entidades públicas serán objeto de medición a través del FURAG, por medio del cual se llevará un registro año a año del avance en la implementación de MIPG y cumplimiento de las políticas de gestión y desempeño institucional. El punto de referencia o partida será la medición llevada a cabo en la primera parte del año 2019, y que evaluó la gestión del año 2018, cuyos resultados fueron publicados en el mes de mayo de 2019 en el sitio web de Función Pública. Bajo este marco normativo, anualmente la Función Pública es la entidad encargada, según las disposiciones del Consejo de Gestión y Desempeño Institucional, de coordinar y disponer los medios para realizar la MDI.

2. Diseño de la Operación Estadística

2.1 Diseño Temático

2.1.1 Información estadística La información de la operación estadística MDI se concreta en los resultados de la medición de la implementación del Modelo Integrado de Planeación y Gestión MIPG, en las entidades públicas de la Rama Ejecutiva; así mismo, en la medición de la implementación del Modelo Estándar de Control

10

Interno en las entidades que están en el ámbito de aplicación de la Ley 87 de 1993. La métrica de esta medición se plasma en los Índices que se definen a continuación: Índice de Desempeño Institucional IDI: mide la capacidad de las entidades públicas colombianas

de orientar sus procesos de gestión institucional hacia una mejor producción de bienes y prestación de servicios, a fin de resolver efectivamente las necesidades y problemas de los ciudadanos con criterios de calidad y en el marco de la integridad, la legalidad y la transparencia.

Índices por dimensiones: miden las capacidades de las entidades públicas de implementar los grandes procesos de la gestión pública colombiana, agrupados en las dimensiones operativas del Modelo Integrado de Planeación y Gestión. En total son siete índices por dimensión.

índices por políticas: miden las capacidades de las entidades públicas de implementar los lineamientos de las políticas de gestión y desempeño que hacen parte del Modelo Integrado de Planeación y Gestión. En total son 18 índices por política.

Índices desagregados: son mediciones desagregadas en cada política, que permiten entender de manera más detallada la implementación de aspectos puntuales y claves de cada una de ellas. Estos índices pueden variar para cada vigencia, dependiendo de las necesidades de información de cada líder.

El Índice de Control Interno se calcula a partir de la séptima dimensión de MIPG; para algunas entidades, se calcula de manera individual (ver Tabla 2 Entidades Objeto de Medición)

Las definiciones de todos los índices calculados están disponibles en el documento “Lista Índices de Gestión y Desempeño” publicado en el micrositio de MIPG. https://www.funcionpublica.gov.co/web/mipg/resultados-medicion botón Resultados Consolidados.

2.1.2 Usuarios y Necesidades de la información estadística El universo de los usuarios que requirieren de información de la operación estadística MDI, se pueden ubicar en tres grandes grupos:

• Líderes de política Quiénes son Corresponde a las once entidades que, por su misión, tienen a cargo funciones transversales de gestión y desempeño a nivel nacional y territorial, los cuales emiten lineamientos en diversas materias, que deben ser implementados por las demás entidades públicas; de igual manera, diseñan herramientas técnicas, guías, instructivos, aplicativos que soportan la implementación de las políticas. Estas entidades integran el Consejo para la Gestión y el Desempeño Institucional, creado mediante Decreto 1499 de 2017 como única instancia intersectorial del Gobierno Nacional en la que se tratan y deciden los temas relacionados con la gestión y el desempeño institucional. El Consejo cuenta con un equipo técnico que apoya el cumplimiento de sus funciones y su secretaría técnica es ejercida por la Dirección de Gestión y Desempeño Institucional DGDI de Función Pública, dependencia que apoya logísticamente el trabajo del Consejo y convoca al equipo técnico en las diversas actividades, a través de mesas de trabajo u otras acciones que se requieren para fortalecer la implementación del Modelo.

https://www.funcionpublica.gov.co/web/mipg/resultados-medicion

https://www.funcionpublica.gov.co/documents/28587410/34112007/Acuerdo+01+de+2017+Reglamento+del+Consejo+para+la+Gestion+y+Desempe%C3%B1o.pdf/43b00594-369a-dab0-ef1a-78ca32fb0243?t=1570630459622

11

Tabla 1 - Entidades líderes de política Entidades Políticas de Gestión y Desempeño

Ministerio de Hacienda y Crédito Público, Agencia Nacional de Contratación Pública – Colombia Compra Eficiente* Contaduría General de la Nación

Gestión Presupuestal y eficiencia del gasto público

Ministerio de las Tecnologías de la Información y las Comunicaciones

Gobierno Digital Seguridad Digital

Ministerio de Justicia y del Derecho Mejora Normativa Departamento Administrativo de la Presidencia de la República

Transparencia, lucha contra la corrupción y acceso a la información

Departamento Nacional de Planeación

Planeación Institucional** Evaluación de resultados** Mejora Normativa (comparte responsabilidad con el Ministerio de Justicia)

Departamento Administrativo de la Función Pública

Gestión del Talento Humano Integridad Fortalecimiento organizacional y simplificación de procesos Racionalización de Trámites Participación Ciudadana Gestión del Conocimiento y la Innovación Control Interno Servicio al ciudadano***

Departamento Nacional de Estadísticas Gestión de la Información Estadística Agencia Nacional de Defensa Jurídica del Estado Defensa Jurídica Archivo General de la Nación Gestión Documental * En diciembre de 2020 el Consejo de Gestión Aprobó la nueva política de Compras y Contratación Pública, la cual se encuentra en trámite de adopción por parte del Gobierno Nacional mediante Decreto. ** En temas relacionados con el Plan Nacional de Desarrollo y los Planes Territoriales de Desarrollo *** A partir de la vigencia 2021, esta política está a cargo de Función Pública.

Fuente: elaboración propia Necesidades de información El Consejo para la Gestión y el Desempeño Institucional y los líderes de política, requieren de la información de la operación estadística para hacer análisis de los comportamientos diferenciales en las entidades públicas, con el fin de identificar: Cuál es el nivel de desempeño de las entidades públicas en cada política Qué tanto han avanzado las entidades a través del tiempo en la adopción de cada política Cuáles son las políticas de MIPG con mayor y menor nivel de desempeño Cuáles son las principales fortalezas y cuales los puntos débiles de cada política Cuáles son las entidades públicas con mejor desempeño en cada política (referentes de buenas

prácticas) Con base en esta información, los líderes podrán focalizar los análisis en los aspectos sustantivos de sus políticas, para las entidades de manera individual o consolidada por sector administrativo,

12

departamentos, municipios u otro conjunto agregado de organizaciones que se considere. Esto con el fin ajustar los lineamientos, las herramientas o incluso el marco normativo de cada política y priorizar las entidades y sectores a intervenir a través de esquemas puntuales de asesoría y acompañamiento técnico. Cada líder define los índices que anualmente se deben medir, y el alcance de cada uno; no obstante siempre como mínimo se mide el índice de la Política y los índices desagregados que considere necesario, dependiendo de las acciones, componentes o elementos a través de los cuales cada líder considera que se mide el cumplimiento del propósito de su política. Mecanismos de recolección y análisis de la información MIPG es el resultado del trabajo de coordinación interinstitucional. De ahí que el mecanismo para recolectar y analizar las necesidades de información de las entidades líderes de política para la MDI se ha dado mediante el trabajo articulado entre las entidades líderes de política, por ello, los principales canal de recepción de necesidades son: Mesas de trabajo - reuniones con expertos en la temática Mesas intersectoriales Solicitudes escritas por política En estas mesas se discuten temas planes de acción o tareas puntuales; para ello, por lo general, se diseñan formatos a través de los cuales se recoge la información de cada política, para revisión, análisis y consolidación por parte de la Dirección de Gestión y Desempeño Institucional y su posterior documentación. Algunos documentos que consolidan esta información son: Marco General y Manual Operativo de MIPG, en los cuales se desarrolla el marco conceptual de

la operación estadística (estos documentos se pueden descargar en el Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg - página principal – Documentos de Interés)

La Lista de Índices de Gestión y Desempeño (este documento se pueden descargar en el Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg/resultados-medicion botón Resultados Consolidados)

El Banco de Preguntas - Cuestionario FURAG (este documento se pueden descargar en el Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg/resultados-medicion botón Resultados Consolidados)

• Entidades públicas objeto de la medición del desempeño institucional Quiénes son Corresponde al conjunto de entidades públicas a nivel nacional y territorial, a las que de acuerdo con el ámbito de aplicación tanto de MIPG como MECI, son objeto de medición y, por tanto, utilizan los resultados y los índices de la MDI y sus análisis de política como insumo para un ejercicio de mejoramiento permanente, que garantice la eficiencia en su gestión; en el siguiente cuadro se ilustra

https://www.funcionpublica.gov.co/web/mipg



13

con mayor detalle los grandes grupos en los que se dividen las entidades públicas objeto de la medición: Tabla 2 Entidades objeto de medición (Decreto 1499 de 2017)

Entidades a las que les aplica el Modelo Integrado de Planeación y Gestión de manera integral

Entidades de la Rama Ejecutiva del Orden nacional y territorial; en el caso de las entidades descentralizadas con capital público y privado, el Modelo solo aplica en aquellas en que el Estado posee el 90% o más de capital social.

Entidades a las que solo les aplican unas políticas del Modelo

De acuerdo con lo previsto en el marco normativo que rige para cada una de las políticas.

Entidades a las que les aplica el Modelo Estándar de Control Interno

Organismos y entidades de las Ramas del Poder Público en sus diferentes órdenes y niveles, así como en la organización electoral, en los organismos de control, en los establecimientos públicos, en las empresas industriales y comerciales del Estado, en las sociedades de economía mixta en las cuales el Estado posea el 90% o más de capital social, en el Banco de la República y en los fondos de origen presupuestal.

Fuente: elaboración propia. Cada líder, teniendo en cuenta el marco normativo que rige para cada política, determina su ámbito de aplicación y define para las entidades, si estas les aplican de manera total o parcial, y que se consolida en el documento Matriz de Ámbitos de Aplicación. El universo de entidades se encuentran registradas en el Sistema de Gestión e Información del Empleo Público SIGEP bajo la responsabilidad del Departamento Administrativo de la Función Pública, y cuya información se puede consultar en el Sistema de Información Estratégica SIE. No obstante, para efectos de la medición que se hace cada año a través del FURAG, se adicionan otras características particulares que se requieren tales como políticas que le aplican a cada entidad, niveles de desarrollo para entidades territoriales, o si son objeto de medición de MIPG o de MECI, entre otros. Necesidades de información La entidades objeto de medición requieren de la información de la operación estadística para hacer sus análisis respecto de sus fortalezas en materia de gestión y desempeño así como para identificar los aspectos en los que tienen mayores debilidades, en cada una de las políticas de MIPG. Adicionalmente, podrá identificar: Cuál es su nivel de desempeño en cada política y en el Modelo en general Qué tanto han avanzado la entidades a través del tiempo en la adopción de cada política y del

Modelo en general Cuáles son las políticas de MIPG con mayor y menor nivel de desempeño en la entidad Cuáles son las principales fortalezas y cuales los puntos débiles de cada política

A partir del auto registro de avance en cada requerimiento de cada política en cada dimensión las entidades harán las adecuaciones y ajustes correspondientes para el diseño, desarrollo o mantenimiento de aquellos aspectos de MIPG en los cuales se detectaron falencias o fortalezas.

https://www.funcionpublica.gov.co/web/sie/entidades-del-estado

14

Mecanismos de recolección y análisis de la información El mecanismo para identificar, recolectar las necesidades de información de las entidades públicas objeto de la MDI, se materializa a través de los siguientes canales: Asesoría especializada Reuniones de trabajo con partes interesadas especializadas Encuentros de difusión virtuales Solicitudes directas de información estadística Solicitudes de información estadística mediante peticiones, quejas, reclamos, solicitudes o

denuncias -PQRSD. El análisis de las necesidades de información de las entidades, se centra, por lo general, en los siguientes puntos: Ámbitos de aplicación de las políticas Resultados de los Índices de Desempeño Institucional y su interpretación y aplicación en la practica Lineamientos de las políticas y las herramientas o instrumentos metodológicos o normativos que

facilitan su implementación Acciones de mejora para cerrar las brechas identificadas en la MDI Los líderes de política son los responsables de analizar dichas necesidades, revisar su pertinencia y resolver de fondo los requerimientos que las entidades objeto de medición; en caso de que se presenten controversias, se pueden hacer mesas de trabajo a fin de llegar a los acuerdos correspondientes.

• Otros actores interesados: entes de control y academia Quiénes son Se han identificado otro tipo de usuarios que eventualmente pueden tener intereses en la información generada por la operación estadística. Dentro de estos actores se destacan los siguientes: Entes de control fiscal o disciplinario, de carácter nacional o territorial Universidades públicas o privadas Organismos de investigación nacional o internacional Estudiantes de pregrados o posgrados Ciudadanía en general, ya sea organizada como veedurías, o de manera individual Necesidades de información Entes de control: en su rol y funciones de vigilancia y control otorgado por la Constitución Política,

requieren información específica de entidades públicas sobre el avance de las políticas y de MIPG en general, cumplimiento de plazos normativos para el reporte de información, completitud y veracidad de la información reportada, acciones emprendidas por los líderes de política, entre otros aspectos.

15

Academia: desde una visión independiente en campos de conocimiento relacionados con la gestión pública, los entes autónomos universitarios, universidades privadas u organismos de investigación nacional o internacional, precisan de la información estadística sobre la MDI en desarrollo de sus estudios y trabajos académicos o investigativos en temas tales como desarrollo organizacional, sistemas de gestión, evaluación y validación de herramientas de gestión, consistencia y validez de herramienta de evaluación de gestión, entre otros.

Ciudadanía en general: en ejercicio de los mecanismos de participación ciudadana, pueden presentar peticiones de información sobre cualquiera de las fases de la operación estadística, tanto a Función Pública como a las entidades líderes de políticas.

Mecanismos de recolección y análisis de la información El mecanismo para identificar, recolectar las necesidades de información de otros actores interesados en la información de la MDI, se materializa a través de los siguientes canales: Requerimientos de información escrita Convenios interadministrativos Supervisión de investigaciones Mediante la atención de requerimientos de los entes de control y peticiones de información, los líderes de política ante quienes son presentados, deberán analizarlos y darles una respuesta de fondo en los términos de ley. De otra parte, a través del desarrollo de convenios interadministrativos y consultorías especializas, con entes autónomos universitarios u organismos de investigación nacional o internacional, se analizan los requerimientos desde el punto de vista académico y se podrán desarrollar acciones conjuntas que permitan aportar al fortalecimiento de alguna política o del Modelo en general, o para mejorar los instrumentos de medición en el ámbito público.

2.1.3 Objetivo de la Operación Estadística El objetivo de la Operación Estadística es medir anualmente la gestión y desempeño de las entidades públicas del orden nacional y territorial en el marco de los criterios y estructura temática tanto de MIPG como de MECI, con el fin de que las entidades públicas reconozcan fortalezas o debilidades en materia de gestión y emprendan acciones de mejora. Es claro que el desempeño de una entidad pública determina el éxito o no de la respuesta que le da a la ciudadanía a través de la prestación de servicios y generación de bienes servicios que resuelvan efectivamente sus necesidades y problemas. Por ello, medirlo de manera periódica, permite valorar el estado en que cada una de las entidades pública se encuentra frente los marcos de referencia propuestos en el Modelo Integrado de Planeación y Gestión y en el Modelo Estándar de Control Interno. La programación de las actividades, tiempos, recursos y responsables, para implementar las fases de la operación estadística que darán cuenta del cumplimiento de este objetivo, se detallan en el Plan General de la Operación a ser desarrollado en cada vigencia (Anexo 1).

16

Como objetivos específicos se tienen: Medir el nivel de avance de las políticas de gestión y desempeño institucional, por parte de las

entidades públicas. Medir el nivel de avance en la implementación del MIPG en las entidades públicas. Medir el nivel de avance en la implementación del Modelo Estándar de Control Interno MECI en las

entidades objeto de aplicación de la LEY 87 DE 1993. Proporcionar información mediante la cual las entidades públicas reconozcan fortalezas o

debilidades en materia de gestión, desempeño institucional y control interno. 2.1.4 Alcance Temático

Los aspectos temáticos objeto de la Operación Estadística se fundamentan en el esquema operativo del Modelo Integrado de Planeación y Gestión y de la estructura de controles y responsabilidades prevista en el Modelo Estándar de Control Interno. (Ver Manual Operativo Modelo Integrado de Planeación y Gestión el cual se puede descargar del Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg - página principal – Documentos de Interés) De una parte, el esquema operativo del Modelo Integrado de Planeación y Gestión se integra por siete dimensiones operativas y dieciocho políticas de gestión y desempeño institucional; MIPG es un marco de referencia para dirigir, planear, ejecutar, hacer seguimiento, evaluar y controlar la gestión de las entidades y organismos públicos, con el fin de generar resultados que atiendan los planes de desarrollo y resuelvan las necesidades y problemas de los ciudadanos, con integridad y calidad en el servicio. En ese sentido, los aspectos temáticos medidos a través de la Operación Estadística son las variables que construyen los líderes de política con base en las 7 dimensiones y las 18 políticas las cuales permiten ver de manera integral el nivel de desempeño institucional de las entidades públicas (Ver Gráfico 1) De otra parte, el Modelo Estándar de Control Interno está integrado por cinco componentes de control y una institucionalidad desarrollada a través de cuatro líneas de defensa, los cuales se constituyen en los aspectos temáticos medidos a través de la Operación Estadística (Ver Gráfico 2).


17

Gráfico 1 - Dimensiones Operativas de MIPG

Fuente: Función Pública, 2017

Gráfico 2 - Estructura MECI

Fuente: Función Pública, 2017 Estos aspectos son el insumo a partir del que se construye el esquema de medición de la gestión y el desempeño institucional, y el que genera la información estadística descrita anteriormente, la cual se materializa en el cálculo de los índices de desempeño previamente descritos: Índice de Desempeño Institucional, Índices por dimensiones, índices por políticas, Índices desagregados e Índice de Control Interno que se calcula a partir de la séptima dimensión para las entidades a las que les aplica de MIPG; y para las entidades a las que solo les aplica MECI, este índice se calcula de manera individual (ver Tabla 2 Entidades Objeto de Medición).

18

2.1.5 Marco de Referencia

• Marco Conceptual El marco teórico que soporta la operación estadística es la conceptualización de MIPG el cual tiene un enfoque hacia la generación de valor público1, es decir, hacia la generación de bienes y servicios que resuelvan efectivamente las necesidades y problemas de los grupos de valor de las entidades públicas. Se parte de entender que el Sistema de Gestión (adoptado mediante Ley 1753 de 2015) es el conjunto de entidades y organismos del Estado, políticas, normas, recursos e información, cuyo objeto es dirigir la gestión pública al mejor desempeño institucional y a la consecución de resultados para la satisfacción de las necesidades y el goce efectivo de los derechos de los ciudadanos, en el marco de la legalidad y la integridad. El Modelo Integrado de Planeación y Gestión materializa dicho Sistema, al articularse con otros sistemas, planes, comités, métodos e instrumentos que orientan las prácticas o procesos de la gestión, consolídense como la única herramienta del Gobierno Nacional para verificar que sus organizaciones estén bien gestionadas, asignen responsablemente sus recursos, rindan cuentas por su trabajo y que sus servidores ejemplifiquen los valores del servicio público colombiano. Entonces, el Modelo Integrado de Planeación y Gestión se entiende como el marco de referencia para dirigir, planear, ejecutar, hacer seguimiento, evaluar y controlar la gestión de las entidades y organismos públicos, con el fin de generar resultados que atiendan los planes de desarrollo y resuelvan las necesidades y problemas de los ciudadanos, con integridad y calidad en el servicio. (Ver Marco General Sistema de Gestión, documento que se puede descargar del Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg - página principal – Documentos de Interés) Los principales sustentos conceptuales, de MIPG se sintetizan de la siguiente manera:

El Modelo focaliza su atención en las organizaciones y sus servidores públicos, específicamente en las prácticas y procesos que adelantan para transformar insumos en

1 Entendido como los cambios sociales —observables y susceptibles de medición— que el Estado realiza como respuesta a las necesidades o demandas sociales establecidas mediante un proceso de legitimación democrática y, por tanto, con sentido para la ciudadanía. Esos cambios constituyen los resultados que el sector público busca alcanzar. (BID - CLAD 2007). En el proceso de generación de valor público, la cadena de valor se utiliza como la herramienta principal para representar las intervenciones públicas (DNP, 2015a) o las actividades gubernamentales (OCDE, 2009). Para entender cómo se asegura la creación de valor público, se puede acudir a referentes teóricos tales como el Modelo de Gestión para Resultados GpR, entendido como: “Un marco conceptual cuya función es la de facilitar a las organizaciones públicas la dirección efectiva e integrada de su proceso de creación de valor público, a fin de optimizarlo asegurando la máxima eficacia, eficiencia y efectividad de su desempeño, la consecución de los objetivos de gobierno y la mejora continua de sus instituciones. Su objetivo último es generar capacidad en sus organizaciones para que logren, mediante la gestión del proceso de creación de valor público, los resultados consignados en los objetivos del programa de gobierno”. (BID CLAD 2007).


19

resultados y en generar los impactos, es decir, su foco es tanto la gestión y el desempeño organizacional como la satisfacción de los intereses generales de la sociedad (garantizar los derechos, resolver problemas sociales, satisfacer una necesidad de la sociedad, implementar programas concretos, entre otros).

Para ello, el Modelo parte de una visión múltiple de la gestión organizacional, que incluye dimensiones claves que a su vez agrupan un conjunto de políticas, prácticas, elementos o instrumentos con un propósito común, generales a todo proceso de gestión, pero adaptables a cualquier entidad pública, y que, puestas en práctica de manera articulada e intercomunicada, permitirán que MIPG opere.

Para tal efecto, el MIPG propone agrupar las prácticas de gestión en siete Dimensiones operativas fundamentadas en el ciclo planear-hacer-verificar-actuar - PHVA y en otras cuestiones claves de la gestión pública como la relación Estado ciudadano y el control, las cuales son medidas en índices de gestión por política. Adicionalmente, reconoce las diferencias sustanciales que existen entre las entidades del orden nacional y las del orden territorial. Incluso, entre las mismas entidades territoriales se evidencian heterogeneidades que implican que desde el Modelo se les dé un tratamiento diferencial. Por tanto, el Modelo opera con criterios diferenciales asumidos como las características especiales de las entidades territoriales que condicionan y permiten identificar formas alternativas para la implementación de los requisitos e instrumentos de las políticas. Adicionalmente, y como complemento a este marco conceptual, se cuenta con un completo Glosario del Modelo Integrado de Planeación y Gestión, con conceptos y términos que dan contexto a la Operación Estadística MDI. Tango el Glosario como la información sobre los criterios diferenciales se puede descargar del Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg - página principal – Documentos de Interés)

• Marco Legal Ley 87 de 1993 Ley 1753 de 2015 Ley 1955 de 2019 Decreto 1083 de 2017, modificado por el Decreto 1499 de 2017 Marco normativo de cada una de las políticas de gestión y desempeño, el cual se puede apreciar

en el Manual Operativo Modelo Integrado de Planeación y Gestión documento que se puede descargar del Micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg - página principal – Documentos de Interés)

• Referentes internacionales La implementación de sistemas de evaluación de desempeño en el sector público, se relaciona con la necesidad de obtener información que retroalimente a las entidades públicas sobre los resultados de su ejercicio, el cumplimiento de metas y compromisos asociados con la planeación del gobierno y la



20

asignación de recursos, entre otros. Así lo expresa la CEPAL en el documento Serie Manuales 69 al indicar que, en la evaluación del desempeño de las entidades públicas, se busca apoyar la toma de decisiones de las estrategias para lograr mejores resultados y gestionar más eficientemente y eficazmente sus procesos, así como facilitar la rendición de cuentas a usuarios y diferentes grupos de interés, y como herramienta para el proceso presupuestario (CEPAL, 2011). En este sentido, la evaluación puede ser interna, realizada por la misma entidad como resultado como instrumento de apoyo en la toma de decisiones o a petición de un organismo de control; también podrá ser externa, cuando es efectuada por un ente independiente. Sin embargo, uno de los aspectos más importantes a la hora de llevar a cabo una evaluación, consiste en tener en cuenta el propósito y los usuarios de la misma, en ese sentido, la CEPAL (2011) explica cuatro tipos de evaluaciones aplicables al sector público.

Planes y Estrategias Nacionales de Desarrollo: donde se evalúa el cumplimiento de compromisos,

prioridades nacionales mediante Sistemas de Estadísticas Nacionales, encuestas, paneles de expertos y Evaluación de impacto.

Institucional (Ministerios), Entidades Públicas: donde se evalúa el cumplimiento de metas de gestión y resultados finales a través de sistemas de indicadores de desempeño, y/o se evalúa eficiencia, eficacia, calidad y economía con metodologías evaluación de programas como el marco lógico.

Programas Públicos: para los que se evalúan resultados, gestión e impacto mediante la evaluación o expost o a través de la metodología de marco lógico.

Inversiones: en donde se evalúa la rentabilidad social y el costo-beneficio, mediante evaluaciones exante y expost.

En el caso colombiano, la evaluación es efectuada por cada una de las entidades que hacen parte del universo de estudio, y consolidada por el Departamento Administrativo de la Función Pública a través la MDI, como se ha expresado previamente, está fundamentada en el esquema operativo del Modelo Integrado de Planeación y Gestión conformado por siete dimensiones operativas y dieciocho políticas de gestión y desempeño institucional. (Los aspectos temáticos medidos de la evaluación están contenidos en el numeral 2.1.3.) Ahora bien, la CEPAL (2011) retoma dos experiencias a nivel latinoamericano tanto en Chile con el programa de evaluaciones integradas al proceso presupuestario, y en México en que se han desarrollado una línea de evaluaciones (de programas y de impactos) cuyos resultados se incorporan a la discusión del proceso presupuestario. En Chile el sistema cuenta con varias líneas de evaluación de manera gradual que entregan información relevante para mejorar asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público. Consta de Evaluaciones de Programas Gubernamentales (EPG) (1997); Evaluaciones de Impacto (EI) (2001); Evaluaciones Comprehensivas del Gasto (ECG) (2002). Mientras que en México, el sistema de evaluación de políticas y programas de la administración pública federal de México cuenta con cuatro tipos de evaluación, de consistencia y resultados, procesos, impacto, estratégica y específica. (CEPAL, 2011) Estas experiencias, si bien tienen propósitos más concretos, tienen elementos comunes con la MDI.

21

2.1.6 Variables Las variables utilizadas para medir el nivel de desarrollo de las políticas de gestión y el desempeño de las entidades nacionales y territoriales objeto de aplicación son variables categóricas ordinales, es decir, variables cuyas categorías pueden ser ordenadas ascendentemente (o descendentemente) a partir de un criterio lógico que en este caso corresponde al nivel de cumplimiento. Adicionalmente, las variables objeto de medición se han definido a partir de la estructura de las políticas de gestión y desempeño, por lo cual, para cada una se han construido preguntas que permiten medir su nivel de cumplimiento a través de la MDI. En la siguiente tabla, se presentan los diferentes tipos de preguntas incluidas en el Formulario y su relación con las variables objeto de medición: Tabla 3 Variables de medición

Tipo de pregunta del FURAG Variable Tipo de variable

Pregunta de selección múltiple Opción de respuesta Dicotómica ordinal

Pregunta de selección única Pregunta Dicotómica ordinal y politómica ordinal

Pregunta matricial Subpregunta Dicotómica ordinal y politómica ordinal

Pregunta abierta numérica Nuevas variables Politómica ordinal

Fuente: Elaboración propia. Las variables de desempeño institucional se construyen a partir de las reglas que define cada líder de política y por medio de las cuales se crean los estándares lógicos para evidenciar el fenómeno de estudio, que en este caso es el desempeño en cada una de las políticas del modelo por parte de cada entidad objeto de medición. En este sentido, los líderes de política construyen preguntas que les permiten medir las variables requeridas para el cálculo de los índices. Adicionalmente, a partir de las preguntas construidas se definen relaciones lógicas para generar nuevas variables que posteriormente entran en el modelamiento estadístico. En este orden de ideas las tablas que describen de manera precisa la construcción de las variables son la T014_T2_reglas_nuevas_variables y la T015_Matriz_x_validada. La primera tabla contiene la información dispuesta lógicamente para el cálculo de nuevas variables definidas por los líderes de política y la Dirección de Gestión y Desempeño Institucional, mientras que la segunda contiene para cada índice las preguntas/ítems que se utilizan en el cálculo de cada uno, de acuerdo con el criterio de los líderes de política. Para este cálculo, esta tabla tiene la característica de haber pasado por un proceso de validación con respecto a la información recolectada y además incluye las nuevas variables definidas en la T014_T2_reglas_nuevas_variables. En el Anexo 2 se describe cada una de las tablas empleadas en la medición.

2.1.7 Cuadros de salida (Plan de resultados) La MDI es una operación estadística que mide anualmente la gestión y desempeño de las entidades públicas, proporcionando información para la toma de decisiones en materia de gestión. Los principales resultados que se obtienen de esta operación corresponden al Índice de Desempeño Institucional y a los demás índices de desempeño mencionados previamente. Los cuadros de salida de la operación, los cuales presentan sus resultados, tienen tres componentes que cumplen con el objetivo esencial de la medición:

22

Información de identificación y caracterización de las entidades objeto de medición y de los índices

de desempeño institucional. Puntaje estimado para cada entidad en cada índice de desempeño institucional. Datos complementarios: información resumen del puntaje obtenido de la entidad-indicador

seleccionado, con respecto a su grupo par que corresponde; se encuentra el promedio, el quintil, el mínimo y el máximo: valores de referencia para entender el rendimiento de la entidad en dicho indicador.

De acuerdo con la información recolectada, el cuadro de salida de resultados esperado debe contener, como mínimo, la siguiente información: Tabla 4 - Diseño del cuadro de publicación de resultados

Nombre campo Descripción

codigoSigep Código único de identificación de la entidad

NombreInstitucion Nombre de la entidad pública

idIndicador Identificador único del indicador

NombreIndicador Nombre del indicador

Puntaje Puntaje estimado

QuintilesGP Quintil de la entidad en su grupo par en ese indicador

MediaGrupoGP Promedio del grupo par en ese indicador

MinimoGrupoGP Mínimo del grupo par en ese indicador

MaximoGrupoGP Máximo del grupo par en ese indicador

Fuente: Función Pública 2019 Debido a que las entidades objeto de medición se dividen en dos grandes grupos: entidades del orden nacional y entidades del orden territorial, los cuadros de salida se construyen respetando dicha separación. En este orden de ideas, estos cuadros están identificados en el flujograma de tablas y algoritmos de la MDI con los siguientes nombres: T039_Resultados_nación y T040_Resultados_territorio, la estructura es similar para ambos y es coherente con la tabla 4 del presente documento. El documento que describe cada una de las tablas empleadas en la medición es el anexo 2.

• Diseño del cuadro de salida para entidades del orden nacional Contiene los puntajes estimados para las entidades del orden nacional en cada uno de los índices que le aplican, y unas variables de referencia (quintil grupo par, promedio grupo par, máximo grupo par y mínimo grupo par), , En este sentido, hay que tener en cuenta que la lógica para presentar los resultados conserva la proporción de lo general a lo particular, es decir, después de ilustrar la información de caracterización se muestra el índice de Desempeño Institucional, posteriormente se muestran los índices que corresponden a las siete dimensiones de MIPG, luego a los índices por cada una de las políticas que conforman el MIPG y, finalmente, los índices desagregados que permiten detallar aspectos puntuales que cada líder de política considera esenciales para su política. El cuadro de salida se construye con base en la experiencia y la estructura de datos utilizada para presentar los resultados correspondientes a la vigencia 2018, dado que este cuadro de salida contiene sesenta y

23

dos variables, el detalle de cada variable que compone la tabla se presenta en el documento que describe cada una de las tablas empleadas en la medición que es el anexo 2.

• Diseño del cuadro de salida para entidades del orden territorial Contiene los puntajes estimados para las entidades del orden territorial en cada uno de los índices que le aplican, y unas variables de referencia (quintil grupo par, promedio grupo par, máximo grupo par y mínimo grupo par). Al igual que la tabla diseñada para las entidades del orden nacional la información se presenta de manera similar, y se tomó de referencia para el diseño las tablas de resultados desarrolladas para la vigencia 2018, en este orden de ideas, esta tabla contiene sesenta y cinco variables que se detallan con mayor precisión el plan de pruebas (anexo 3) del presente documento. La definición de los diferentes índices estimados y la metodología para la definición de los grupos par, son la base para el diseño de los cuadros de salida. En dichos documentos que se encuentran en el micrositio de MIPG https://www.funcionpublica.gov.co/web/mipg/resultados-medicion botón Resultados Consolidados, se describe cada índice, así como la metodología para clasificar en grupos par.

2.1.8 Nomenclaturas Para la MDI se utilizan dos nomenclaturas oficiales, la primera es la codificación del Sistema de Información y Gestión del Empleo Público (SIGEP) el cual es producido y administrado por el Departamento Administrativo de la Función Pública y la segunda es la codificación de la División Político Administrativa (DIVIPOLA), el cual es producido y administrado por el Departamento Administrativo Nacional de Estadística. En este sentido cada código se define de manera general de la siguiente forma:

Código SIGEP: código que clasifica e identifica a todas las entidades públicas del país, desarrollado y particularmente utilizado por el Departamento Administrativo de la Función Pública en el ejercicio de sus funciones institucionales.

Código Divipola: La División Político-administrativa de Colombia Divipola es un estándar de codificación que permite contar con un listado organizado y actualizado de la totalidad de unidades en que está dividido el territorio nacional, dándole a cada departamento, municipio, corregimiento departamental y centro poblado, el máximo de estabilidad en su identificación. (Tomado del GeoPortal del DANE)

Para la MDI efectuada en el año 2020 correspondiente a la vigencia del año 2019, se usó la versión del código SIGEP vigente con corte del 1 de febrero de 2020 y la versión DIVIPOLA con corte a 2019 respectivamente. A continuación, se presentan las versiones y descripciones de las nomenclaturas usadas en las mediciones efectuadas cada año.


https://www.dane.gov.co/index.php/sistema-estadistico-nacional-sen/normas-y-estandares/nomenclaturas-y-clasificaciones/nomenclaturas/codificacion-de-la-division-politica-administrativa-de-colombia-divipola

24

Tabla 5. Nomenclaturas usadas en el FURAG

Año Nomenclatura Versión y fecha Descripción

2020 Medición

vigencia 2019

SIGEP 1 de febrero de

2020

Directorio de las entidades del Estado Colombiano registradas en el Sistema de Información y Gestión del Empleo Público - SIGEP. Se actualiza diariamente. (Tomado del portal del SIGEP)

DIVIPOLA Noviembre de

2020

Nomenclatura estandarizada para la identificación de entidades territoriales mediante la asignación de un código numérico único. Se actualiza cada vez que ocurre un evento. (Tomado del GeoPortal del DANE)

Fuente: Función Pública, 2020

2.2 Diseño Estadístico

2.2.1 Universo de estudio Las entidades que les aplica el MIPG y el MECI según el Decreto 1499 de 2017 el cual establece: “El Modelo Integrado de Planeación y Gestión - MIPG - se adoptará por los organismos y entidades de los órdenes nacional y territorial de la Rama Ejecutiva del Poder Público. En el caso de las entidades descentralizadas con capital público y privado, el Modelo aplicará en aquellas en que el Estado posea el 90% o más del capital social. Las entidades y organismos estatales sujetos a régimen especial, de conformidad con lo señalado en el artículo 40 de la Ley 489 de 1998, las Ramas Legislativa y Judicial, la Organización Electoral, los organismos de control y los institutos científicos y tecnológicos, aplicarán la política de control interno prevista en la Ley 87 de 1993; así mismo, les aplicarán las demás políticas de gestión y desempeño institucional en los términos y condiciones en la medida en que les sean aplicables de acuerdo con las normas que las regulan”.

2.2.2 Población objetivo La población objetivo en el marco de la MDI son las entidades definidas en el decreto 1499 de 2017 que se describen al detalle en el universo de estudio.

2.2.3 Cobertura geográfica Debido a lo establecido en el decreto 1499 de 2017 la MDI abarca las entidades que se desempeñan en los 32 departamentos que componen el país, por lo cual, la medición cubre el territorio colombiano.

2.2.4 Desagregación geográfica

Como se explicó previamente, la unidad de observación de la MDI corresponde a las entidades públicas y, por tanto, los resultados se generan a nivel de entidad. A partir de los resultados de las entidades se generan agregaciones para obtener resultados a nivel de municipio, departamento y

https://www.funcionpublica.gov.co/web/sigep/entidades

https://www.funcionpublica.gov.co/web/sigep/entidades

https://www.dane.gov.co/index.php/sistema-estadistico-nacional-sen/normas-y-estandares/nomenclaturas-y-clasificaciones/nomenclaturas/codificacion-de-la-division-politica-administrativa-de-colombia-divipola

25

región, por lo cual la desagregación geográfica de esta operación estadística es nacional, regional, departamental y municipal.

2.2.5 Fuentes de datos Las fuentes de datos de la operación Estadística son las mismas entidades públicas, quienes tienen la obligación de reportar la información a través del FURAG sobre la implementación, tanto de MIPG como de MECI (ver Tabla 3). De acuerdo con lo previsto en el Decreto 1499 de 2017, se establece la obligación de hacer una medición anual de la gestión y el desempeño institucional: Artículo 2.2.22.3.10. Medición de la Gestión y Desempeño Institucional. La recolección de información necesaria para dicha medición se hará a través del Formulario Único de Reporte y Avance de Gestión – FURAG. La medición de la gestión y desempeño institucional se hará a través del índice, las metodologías o herramientas definidas por la Función Pública, sin perjuicio de otras mediciones que en la materia efectúen las entidades del Gobierno. El Departamento Administrativo de la Función Pública, en coordinación con el Consejo para la Gestión y Desempeño Institucional, establecerá la metodología, la periodicidad y demás condiciones necesarias para la aplicación del citado formulario o de otros esquemas de medición que se diseñen. La primera medición de FURAG está orientada a determinar la Línea Base como punto de partida para que cada entidad avance en la implementación y desarrollo de MIPG. El Departamento Administrativo de la Función Pública, en coordinación con los líderes de política, pondrá a disposición de las entidades y organismos del Estado, un instrumento de autodiagnóstico, que permitirá valorar el estado y avance en la operación del Modelo Integrado de Planeación y Gestión - MIPG y emprender las acciones de mejora a que haya lugar. El uso de este instrumento es voluntario y no implica reporte de información a ninguna instancia gubernamental, ni a los organismos de control. Parágrafo. Las entidades que se creen con posterioridad a la expedición del presente Decreto deberán implementar el Modelo Integrado de Planeación y Gestión; el plazo para su primera medición a través del FURAG se efectuará dentro de las dos vigencias siguientes a la puesta en marcha de la entidad. Así mismo, dicha norma también establece la obligación de medir el Modelo Estándar de Control Interno: Artículo 2.2.23.3. Medición del Modelo Estándar de Control Interno. Los representantes legales y jefes de organismos de las entidades a las que les aplica la Ley 87 de 1993 medirán el estado de avance del Modelo Estándar de Control Interno. Los jefes de control interno o quienes hagan sus veces realizarán la medición de la efectividad de dicho Modelo. La Función Pública establecerá la metodología, la periodicidad y demás condiciones necesarias para tal medición y recogerá la información a través del Formulario Único de Reporte y Avance de Gestión – FURAG. Los resultados de esta medición servirán de base para el informe que sobre el avance del Control Interno en el Estado presentará el presidente de la República al Congreso de la República, al inicio de cada legislatura.

26

En este sentido, las fuentes de datos de la operación estadística se dividen en dos, una primaria que se conforma con las preguntas que responden directamente las entidades a través del FURAG, y una secundaria que se conforma con otras preguntas que traen cargadas las respuestas por medio de sistemas de datos como SUIT, SIIF, entre otros, que se presentan a continuación: Tabla 6. Fuentes de datos

Cód. Enunciado pregunta Cód. Opción de respuesta

Tipo de pregunta

Observaciones

GPR46 El porcentaje de ahorro que tuvo la entidad entre el 2018 y el 2019 con ocasión de la implementación de las medidas de austeridad del gasto público (Directiva Presidencial 09 de 2018), y teniendo como referencia lo reportado a través del SIIF, fue de:

GPR46A Si hubo ahorro durante este periodo y fue de (%):

Selección única

SIIF

GPR46B No hubo ahorro. El incremento en el gasto durante este periodo fue de (%):

Selección única

SIIF

GPR46C No aplica / no disponible

Selección única

SIIF

RTR02 ¿Cuántos trámites/ otros procedimientos administrativos tiene la entidad?

RTR02A Selección múltiple numérica

SUIT

RTR03 Del total de trámites que tiene la entidad, ¿cuántos se encuentran inscritos en el Sistema Único de Información de trámites - SUIT?

RTR03A Abierta numérica

SUIT

RTR04 Del total de otros procedimientos administrativos que tiene la entidad, ¿cuántos se encuentran inscritos en el Sistema Único de Información de trámites - SUIT?

RTR04A Abierta numérica

SUIT

RTR05 Del total de trámites inscritos en el SUIT que tiene la entidad cuántos pueden realizarse:

RTR05A Presencialmente: Selección múltiple numérica

SUIT

RTR06 Del total de otros procedimientos administrativos inscritos en el SUIT que tiene la entidad cuántos pueden realizarse:

RTR06A Presencialmente: Selección múltiple numérica

SUIT

RTR19 Seleccione los factores que la entidad tuvo en cuenta para priorizar los trámites u otros procedimientos:

RTR19A Planes de Desarrollo Selección múltiple

SUIT

27

Cód. Enunciado pregunta Cód. Opción de respuesta

Tipo de pregunta

Observaciones

RTR20 ¿La entidad formuló estrategia de racionalización de trámites en la presente vigencia?

RTR20A Si Selección única

SUIT

RTR21 ¿Cuántos trámites/otros procedimientos administrativos planeó racionalizar en la vigencia evaluada?

RTR21A Trámites: ____ Selección múltiple numérica

SUIT

RTR22 ¿Cuántos trámites/otros procedimientos administrativos racionalizó en la vigencia evaluada?

RTR22A Trámites: ____ Selección múltiple numérica

SUIT

Fuente: Función Pública 2019

2.2.6 Unidades Estadísticas La unidad de observación corresponde a cada una de las entidades objeto de medición durante la vigencia evaluada (Ver tabla 3). Por su parte, la unidad de análisis corresponde a los requerimientos de cada una de las políticas de gestión institucional cumplidos y evidenciados en las opciones de respuesta a cada una de las preguntas (Banco de preguntas) que seleccionó cada entidad para cada una de las preguntas habilitadas. Estos ítems son el soporte de los índices que explican y habilitan la medición de cada una de las políticas, dimensiones e índices desagregados que conformarán los resultados Versión: 02. La versión vigente reposa en el Sistema Integrado de Gestión (Intranet). 10 de la gestión institucional de cada entidad pública (Ver documento Lista Índices de Gestión y Desempeño).

2.2.7 Período de referencia La periodicidad bajo la cual opera la MDI es anual, y al llevarse a cabo la medición a partir de la vigencia inmediatamente anterior, se hace necesario acopiar datos durante el primer trimestre del año.

2.2.8 Período de recolección de la Información Por lo general, el periodo de acopio de información se hace entre los meses de febrero – marzo2 de cada año.

2.2.9 Registro Administrativo FURAG

2 Solo para la vigencia 2019, dada la coyuntura de cambio de gobiernos locales, se decidió partir el período de recolección de datos en dos fases para las entidades del orden territorial, la primera fase se llevó a cabo en noviembre – diciembre de 2019 y la segunda fase en febrero – marzo de 2020. En la segunda fase, reportaron entidades del orden nacional, territorial y de estas últimas se extendió la posibilidad a las entidades que no reportaron en la primera fase de recolección de información.

28

La operación estadística se basa en el procesamiento y análisis de datos a partir de registros administrativos recopilados por Función Pública en el Formulario Único de Reporte de Avances de la Gestión FURAG. El FURAG es habilitado por lo menos una vez al año y aplicado al universo de entidades que implementan MIPG y/o MECI o algunas políticas de gestión y desempeño (indicado previamente). Su objetivo consiste en la recolección de datos, que al ser sometida a un riguroso procesamiento estadístico, puede dar cuenta de cómo la gestión y el desempeño de las entidades se orienta hacia la satisfacción efectiva de las necesidades y problemas de sus grupos de valor, demostrado a través de un índice de desempeño general, e índices por dimensiones, índices por políticas y algunos índices desagregados que se derivan de estos últimos, los cuales son calculados fundamentalmente a través del Modelo de Respuesta Graduada MRG - TRI. Y, dependiendo del ámbito de aplicación de las políticas para cada entidad, descrito en el punto 2.1.2 Usuarios y Necesidades de la información estadística se identifican uno o dos responsables del diligenciamiento del FURAG, de la siguiente manera: En las entidades a las que les aplica MIPG, los responsables de coordinar el diligenciamiento del

FURAG son: el jefe de planeación y el jefe de control interno. En las entidades a las que solo les aplica MECI, el jefe de control interno es el responsable de

coordinar el diligenciamiento del FURAG. En las entidades a las que solo les aplica algunas políticas de MIPG, en principio es el jefe de

planeación el responsable de coordinar el diligenciamiento del FURAG.

2.2.10 Registro administrativo y su aprovechamiento en el marco de la MDI Para comprender la diferencia que existe entre el Formulario Único de Reporte de Avances de la Gestión (FURAG) y la Medición del Desempeño Institucional (MDI) y cuál es su relación, es conveniente remitirse a su definición y propósito: El FURAG es un registro administrativo creado con el propósito de recolectar datos sobre el avance

en la implementación de las políticas de gestión y desempeño institucional que hacen parte del Modelo Integrado de Planeación y Gestión (MIPG). Para tal fin, el FURAG es habilitado cada año para que las entidades públicas nacionales y territoriales reporten sus avances de la vigencia inmediatamente anterior.

La MDI es una operación estadística basada en el registro administrativo FURAG, cuyo objetivo es generar información que permita a las entidades públicas tomar decisiones y definir acciones para mejorar su gestión y resultados en términos de resolución de problemas, satisfacción de necesidades y garantía de derechos de los ciudadanos.

Como registro administrativo, los datos recolectados a través del FURAG no tienen ningún tipo de transformación, y corresponden a las respuestas registradas por cada entidad a cada una de las preguntas que se le habilitan de acuerdo con el ámbito de aplicación de cada una de las políticas de gestión y desempeño institucional.

29

De otro lado, la MDI se basa en los datos recolectados a través del FURAG y, particularmente, en un proceso de transformación de estos datos que se desarrolla a través de actividades de identificación de la necesidad de información estadística, diseño, procesamiento, análisis y difusión. Por lo anterior, el FURAG como registro administrativo se limita única y exclusivamente a la recolección de datos, y su aprovechamiento inicia con las actividades de transformación de estos datos que se llevan a cabo en el marco de la MDI, y que se detallan más adelante en este documento. Así, el FURAG se puede entender como un instrumento de recolección de los datos que requiere la MDI, y esta última se puede entender como una manera de aprovechar los datos recolectados a través del FURAG.

2.2.11 Especificación del modelo estadístico - descripción de la metodología para el cálculo de los índices de desempeño institucional

• Confiabilidad y consistencia de los datos recolectados Al tener las respuestas que cada entidad objeto de medición diligenció por medio del FURAG se procede a validar la información recolectada desde un punto de vista estadístico para lo cual se aplican las siguientes metodologías: el análisis de confiabilidad y validez, coeficiente de Cronbach, análisis factorial confirmatorio, (para mayor detalle técnico consulte el Anexo 9) con el fin de validar la consistencia de los datos recolectados. Estas metodologías brindan un panorama global con respecto al comportamiento de las respuestas a cada uno de los ítems por parte de las entidades, lo cual es fundamental para visualizar comportamientos agregados, valores faltantes (en caso de existir), altas varianzas en las respuestas, entre otras características, lo cual es fundamental antes de introducir los datos al modelo de Respuesta Graduada que finalmente es el que produce los índices de gestión y desempeño institucional.

• Modelo de Teoría de Respuesta al ítem Posterior al análisis descriptivo de los datos recolectados por medio del FURAG se procede a ajustar cada uno de los índices para cada una de las entidades objeto de medición, en este orden de ideas, los modelos de TRI (Teoría de Respuesta al Ítem) permiten ajustar un modelo de regresión por cada pregunta o ítem, según sea el caso. Estos modelos tienen diversas ventajas técnicas y metodológicas en el contexto en el cual la variable a medir es no observable directamente, como el desempeño institucional, por lo cual se construye la escala sobre otros ítems o variables que influyan sobre el desempeño institucional en este caso. Las ventajas de esta familia de modelos son las siguientes: Por la naturaleza de sus algoritmos de estimación y por definición, tiene un tratamiento natural de

los datos faltantes. Eso quiere decir que no es necesario pasar por un proceso subjetivo de imputación que podría sesgar o afectar la precisión de los resultados finales.

30

Los resultados obtenidos permiten sacar conclusiones sobre la población del estudio, en este caso las entidades objeto de medición y el desempeño institucional de estas, por medio de los índices de gestión y desempeño institucional.

El análisis descriptivo y exploratorio se puede llevar a cabo por pregunta o ítem según sea el caso, para lo cual existen robustos paquetes de herramientas estadísticas para cuantificar los problemas que por ítem se puedan identificar.

La posibilidad de hacer comparaciones estadísticamente confiables a través del tiempo, aun cuando las cohortes de entidades objeto de medición puedan ser distintas. Esto facilita las mediciones del cambio del desempeño de las instituciones en los distintos períodos en que se tenga planeado hacer la medición.

• Modelo de Respuesta Graduada

Dentro de los modelos de Teoría de Respuesta al ítem TRI existen diversas variaciones que se ajustan según las particularidades del fenómeno estudiado, para el caso de la Medición del Desempeño Institucional después de realizar las pruebas de confiabilidad y validez se procede a aplicar el Modelo de respuesta graduada que hace parte de la familia de modelos TRI, este modelo se diferencia de los demás porque se constituye como un modelo politómico, lo cual significa que pueden existir varios grados de acierto. Lo anterior es fundamental dado que una pregunta con más de dos opciones de respuesta puede tener diversos grados de acierto, desde el más alto al más bajo pero ordenados de mayor a menor (escala ordinal), lo cual se desmarca del falso o verdadero que por lo general es una característica de los modelos dicotómicos (para mayor detalle técnico consulte el anexo 9).

• Validaciones generales Debido a las bondades de los modelos de teoría de respuesta al ítem que permite hacer un tratamiento natural de los datos faltantes, no es necesario pasar por un proceso subjetivo de imputación que podría sesgar o afectar la precisión de los resultados finales. No obstante, el proceso de análisis de las estadísticas de los ítems tiene que ver con el análisis estadístico de cada pregunta frente a la población que las responde, de esta forma se puede determinar cuándo una pregunta presenta problemas y debe ser tratada de manera especial. En general, una pregunta con problemas de configuración puede inducir error en las inferencias relacionadas con el puntaje calibrado desde el modelo de Teoría de Respuesta al Ítem. La estructura que hace posible el análisis de ítem tiene que ver con el componente lógico que establece una batería de estadísticas, cuyo valor refleja un grado de estabilidad de cada pregunta. Una vez establecida esta batería, se definen las reglas de decisión para determinar los correctivos o los planes de mejoramiento asociados a cada ítem. En particular, esta última parte puede tener dos tiempos en la encuesta: en la piloto y en la encuesta oficial. Los correctivos con respecto a los ítems, a su estructura y demás, pueden ser hechos en el pilotaje de la encuesta. Cuando un ítem es defectuoso o presenta problemas y este es detectado luego de aplicar la encuesta, el procedimiento se reduce a establecer una regla de decisión que permita en el mejor de los escenarios tratar de capturar su información, o simplemente, en el peor de los escenarios,

31

eliminarlo de la calibración. Este finalmente, debe pasar a revisión de los líderes de política, quienes determinarán la conveniencia de hacerle modificaciones o simplemente eliminarlo del cuestionario para el siguiente ciclo. A continuación, se relacionan las principales estadísticas para monitorear el adecuado comportamiento de los ítems: El número de entidades que responden la pregunta. Flujo por nivel de respuesta: es el porcentaje de entidades que escogieron cada una de las

opciones del ítem. Flujo de omisión: es el porcentaje de entidades que no abordan la pregunta. Usando la metodología de Teoría de Respuesta al Ítem: Parámetros de los ítems: es el valor estimado de cada parámetro en todos los ítems. Este se usa

para validación interna y consistencia del criterio de convergencia que se emplea para estimar los parámetros.

Promedios nivel-score: se calcula el promedio del puntaje calibrado por cada categoría ordinal del ítem.

Correlación nivel-score: se calculó la correlación entre el puntaje calibrado y cada categoría ordinal del ítem.

Curva característica del modelo: se emplean las curvas características del modelo como criterio gráfico del comportamiento del ítem

Una vez establecida la batería de indicadores, algunos más descriptivos que otros, se determina cuándo es conveniente alertar sobre la presencia de algo inusual en el comportamiento del ítem. A continuación, se describen los criterios definidos para generar advertencias: Cuando el porcentaje de no respuesta es superior al 30%. Cuando el porcentaje de respuesta de una categoría es del 50% o más. Cuando la correlación nivel-score es menor a 0.2 Criterios gráficos: Cuando la curva de los promedios nivel - score tiene pendiente negativa Cuando la curva característica del modelo muestra problemas de información, es decir, cuando el

modelo estimado gráficamente muestra condiciones no deseables. En efecto, el criterio 3 está altamente asociado con el 4 mientras que el criterio 2 está asociado con el 5. Sin embargo, en uno de ellos se establece un criterio cuantitativo y en el otro se pueden determinar aspectos que cuantitativamente no se puedan detectar. Para mayor detalle en todo el proceso de validaciones realizadas a lo largo del procesamiento de la información se encuentra en el documento técnico de validación de tablas y generación de fichas temporales de validación (anexo 4) del presente documento.

32

2.3 Diseño de la Ejecución (Recolección de Datos)

2.3.1 Diseño del cuestionario

• Banco de preguntas Se cuenta con un banco de preguntas que ha evolucionado desde su construcción en el 2018 y que es validado para cada aplicación, a partir de análisis cuantitativos mediante pruebas de confiabilidad, o de análisis cualitativos como revisión de redacción, pertinencia y secuencia de las preguntas, tarea llevada a cabo por los líderes de política. Las preguntas definitivas que hacen parte de la batería final de preguntas son de cuatro tipos, a saber:

o Tipo 1. Preguntas de única respuesta: este tipo de preguntas consta de un enunciado y diferentes opciones de respuesta, de las cuales, la entidad sólo puede marcar una opción de respuesta.

o Tipo 2. Preguntas de múltiple respuesta: estas preguntas cuentan con varias opciones de respuesta y la entidad puede seleccionar más de una. No obstante, para las respuestas tipo “no”, “no tiene” o “ninguna de las anteriores” se invalidarán las demás opciones.

o Tipo 3. Preguntas matriciales: estas preguntas tienen un enunciado general y unas subpreguntas que a su vez cuentan con opciones de respuesta estándar. Para cada una de las subpreguntas se debe responder una de las opciones de respuesta.

o Tipo 4. Preguntas abiertas: para estas preguntas se habilita un recuadro para digitar la información solicitada, ya sea texto o número según corresponda.

No todas las preguntas son utilizadas en el cálculo de los indicadores, ya que algunas solo buscan satisfacer ciertas necesidades de información de algunas políticas. Adicionalmente, algunas políticas toman en cuenta criterios diferenciales para la elaboración de las preguntas, dado que no todas las entidades cuentan con las mismas condiciones, ni tienen el mismo desarrollo, por tanto, no se les puede preguntar ni exigirles lo mismo a todas. De esta forma, las entidades territoriales se agrupan en tres categorías:

o Básico o Intermedio o Avanzado

Los criterios diferenciales se han utilizado de dos maneras para efectos de la medición:

o Preguntas diferenciadas: en algunas de las políticas, se establecieron preguntas diferentes sobre un mismo tema, dependiendo el nivel y las características de las entidades.

o Criterios diferentes para la calificación: en otros casos, si bien se hacían las mismas preguntas para todas las entidades, se establecían diferentes criterios para el momento del cálculo de los índices. Por ejemplo, para preguntas de selección múltiple a entidades de nivel avanzado se exigía un mayor número de opciones de respuesta que para las entidades de nivel básico.

33

En el año 2018, se construyó la guía para la formulación de preguntas FURAG (anexo 5) como documento orientador para la elaboración de las preguntas, el cual facilitaba a los líderes de política la construcción de las mismas; también, en el proceso de revisión, se utilizó un esquema en el que, a partir del propósito de cada política, es decir, qué se espera que la entidad demuestre o sea capaz de hacer con la implementación de cada política, y a partir de allí, cada líder definiría las acciones o componentes o elementos a través de los cuales se cumplen dichos propósitos; solo teniendo clara esta cadena, así como el marco normativo y el ámbito de aplicación de cada política, los líderes proceden a definir las preguntas a través de las cuales se recogerá la información para la medición de cada política y la construcción de los índices correspondientes. La información que caracteriza a cada política se consolida en la Matriz Consolidada de Política (anexo 6), y el total de preguntas se consolida en el cuestionario definitivo o Banco de Preguntas. Las preguntas que hacen parte de este banco de preguntas se agrupan de acuerdo con las Políticas de Gestión y Desempeño a la que corresponde, las cuales a su vez se agrupan en las Dimensiones Operativas a las que están asociadas. En el documento Trazabilidad del Cuestionario FURAG de cada Medición (anexo 7) se describe el detalle del proceso de construcción del Cuestionario, el número de preguntas utilizado por vigencia y los cambios con respecto a la versión anterior. Una vez consolidada la batería completa de preguntas, se procede a determinar y definir el número de formularios que se debían establecer y el ámbito de aplicación de cada política de la siguiente manera: Entidades nacionales:

Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de planeación, relacionadas con todas las políticas de gestión y desempeño que le aplican a la entidad. Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de control interno, relacionadas con la política de control interno y la medición del sistema institucional de control interno. Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de control interno de las entidades a las que solo les aplica el Modelo Estándar de Control Interno; también contiene las preguntas relacionadas con las políticas de gestión y desempeño que le aplican a la entidad. Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de planeación de las entidades a las que no les aplica ni MIPG ni MECI, pero sí algunas políticas de gestión y desempeño. Entidades territoriales

Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de planeación, relacionadas con todas las políticas de gestión y desempeño que le aplican a la entidad. Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de control interno, relacionadas con la política de control interno y la medición del sistema institucional de control interno.

34

Un Grupo de formularios que contiene las preguntas que deben contestar los jefes de control interno de las entidades a las que solo les aplica el Modelo Estándar de Control Interno; también contiene las preguntas relacionadas con las políticas de gestión y desempeño que le aplican a la entidad. Un Grupo de formularios que contiene un formulario especial con preguntas que deben contestar los servidores a cargo del sistema de control interno en Personerías y Concejos de municipios de 5 y 6 categoría.

• Herramienta Tecnológica (aplicativo FURAG) El cuestionario de preguntas, a través de los distintos formularios antes señalados, se dispone en un aplicativo denominado Formulario único de Reporte y Avance de Gestión FURAG, el cual cuenta con las siguientes características: Es un sistema totalmente Web. Controla el acceso a sus funcionalidades mediante autenticación de usuarios. Tiene dos funcionalidades principales: administrativa e institucional. La funcionalidad administrativa ofrece todas las funcionalidades de parametrización y control del

sistema. La funcionalidad permite el diligenciamiento de los formularios. Su estructura soporta la recolección de datos para cada medición. Permite gestionar el banco de preguntas y respuestas. Permite gestionar los usuarios del sistema - entidades y sus servidores diligenciadores (jefes de

planeación y control interno). Permite definir varios tipos de formularios. Permite la interoperabilidad entre preguntas que se pueden usar en uno o más formularios. Permite condicionar la habilitación de preguntas a valores de respuestas en otras preguntas,

simulando así el concepto de grupo (por medio de la pregunta que pide el grupo) pero no ofrece un mecanismo para condicionar opciones de respuesta.

Permite asignar tipos de formulario a las entidades por medio de asignaciones únicas a sus funcionarios. En la práctica hasta dos por entidad: uno para el jefe de planeación y otro para el jefe de control interno.

Permite a las entidades diligenciar sus formularios El sistema tiene un reporte tipo semáforo, que le indica a cada usuario cuantas preguntas lleva

diligenciadas y cuantas faltan. Un reporte en formato PDF del formulario por entidad. Un reporte pivote con las respuestas de todas las entidades en formato “csv” Para la captura de datos a nivel nacional, en todas las entidades públicas, la operación estadística parte de la habilitación en el micrositio diseñado para tal efecto de cada formulario para cada responsable registrado en la plataforma previamente, con el fin de que se diligencie acorde al tipo de entidad con las políticas de gestión legalmente aplicables para su medición. Luego de la fecha de cierre del diligenciamiento se descarga un archivo plano que contiene las respuestas de todas las entidades por cada formulario habilitado y diligenciado. Dichos archivos o pivotes contienen cada una de las preguntas y opciones de respuestas que registraron las entidades

https://www.funcionpublica.gov.co/web/mipg/furag

35

a cada pregunta de los formularios asignados, los cuales son el insumo fundamental para la Fase de Análisis.

2.3.2 Esquema de entrenamiento de los servidores del Departamento Se ha diseñado un Programa de Entrenamiento (anexo 8) cuyo objetivo es preparar a todos los servidores de la Dirección de Gestión y Desempeño para la implementación de lo operación estadística MDI, mediante el desarrollo de conocimientos, habilidades y actitudes que permitan asimilar los objetivos, etapas o fases, riesgos y controles, y en general el contexto en el que dicha operación se desarrolla. Este Programa incluye un Proyecto de Aprendizaje en Equipo (anexo 8), para los servidores de la Dirección de Gestión y Desempeño; y un Plan de Sensibilización, a implementarse, de un lado, con servidores y contratistas de otras áreas de Función Pública o de las entidades líderes de política, que apoyan en la recolección de datos y en la difusión de resultados:

Líderes territoriales de la Función Pública Líderes de política Grupo de Asesoría y Gestión de la Función Pública Mesa técnica de ayuda y servicio al ciudadano de la Función Pública

2.3.3 Estrategia de Sensibilización a las entidades Públicas

En el mismo marco del Programa de Entrenamiento (anexo 8), también se lleva a cabo una sensibilización a los servidores de las entidades objeto de medición, en el diligenciamiento e interpretación de los formularios en la operación estadística, se formula una estrategia de sensibilización a las entidades que diligencian el Formulario Único de Reporte y Avance de Gestión – FURAG, con acciones articuladas interdependencias que incluyen entre otras, el diseño del instructivo para el ingreso y diligenciamiento, el banner de difusión de conteo regresivo tanto para la apertura como para el cierre, el video tutorial de ingreso y diligenciamiento, él envió a cada usuario de la Circular para el diligenciamiento del FURAG por parte del Consejo para la Gestión y el Desempeño Institucional y de Publicaciones a través de las redes oficiales de la Función Pública y de aliados estratégicos (Facebook y Twitter). Estas actividades se plasman en el Plan de Sensibilización que hace parte del Plan General de la Operación Estadística (anexo 1).

2.3.4 Alistamiento para la puesta en producción del Aplicativo FURAG Una vez se cuenta con el cuestionario definitivo y para garantizar el adecuado funcionamiento de la plataforma tecnológica que soporta el diligenciamiento de la información y llevar a cabo la administración funcional del aplicativo FURAG, se adelantan las siguientes actividades: Definición de los requerimientos para la puesta en producción del aplicativo, a través de mesas de

trabajo entre las áreas técnicas y funcionales.

36

Parametrización del sistema de acuerdo con los requerimientos técnicos y procedimentales del aplicativo.

Proceso de validación que implican pruebas funcionales para verificar la calidad y funcionalidad de los desarrollos técnicos y las reglas de parametrización que fueron programadas (ver plan de pruebas – anexo 3).

Habilitación del ambiente de producción, en donde se habilitan los formularios y se definen los hipervínculos definitivos de acceso.

2.3.5 Pruebas al Diseño

Con el objetivo principal de garantizar coherencia, trazabilidad y correspondencia entre el resultado obtenido por la operación estadística y el comportamiento de las unidades de observación (entidades objeto de medición), se planean de manera organizada y sistemática unas pruebas, que permitan mitigar los riesgos en torno a las preguntas empleadas en la medición, la herramienta para la captura de datos y el esquema de visualización en línea de los resultados. Con base en los lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas definidas por el Departamento Administrativo Nacional de Estadística (DANE, 2014), se establecen las fases para la ejecución de pruebas al diseño que a la vez corresponden a la secuencia lógica y sistemática de ajuste en primera instancia a las preguntas y posteriormente al aplicativo, minimizando el riesgo asociado a la captura de datos y el procesamiento de estos. Estas pruebas quedan documentadas en un Plan de Pruebas (anexo 3). El esquema general o procedimiento para llevar a cabo las pruebas se construye identificando las actividades que corresponder al alistamiento del registro administrativo (FURAG) y las actividades que corresponder al aprovechamiento de este, razón por la cual, basados en esa estructura se construye el diseño de las pruebas que se hacen de manera transversal a lo largo de la operación estadística. En este sentido el procedimiento: Las que se relacionan al registro administrativo:

Fase I – Pruebas a las preguntas. Fase II – Pruebas al aplicativo.

Las que se relacionan al aprovechamiento del registro administrativo: Fase III pruebas a las tablas empleadas en el proceso de cálculo de los índices Fase IV: análisis estadístico a las respuestas recogidas por medio del FURAG. Fase V: pruebas a las visualizaciones de los resultados (Visualizaciones en Power BI).

A continuación se describen cada una de las fases mencionadas.

• Pruebas al registro administrativo (FURAG) Fase I – Pruebas a las preguntas Esta fase se divide en dos momentos; el primero, bajo un esquema de pruebas de escritorio se validan las preguntas del cuestionario diseñado para la aplicación anterior de todas las políticas a partir de dos análisis: uno cualitativo construido con base en las inquietudes que presentaron las entidades

37

objeto de medición en temas como comprensión de la pregunta, redacción o ámbito de aplicación de las políticas; y un análisis estadístico de confiabilidad de las preguntas a través de un análisis univariado, Posteriormente en el segundo momento bajo la metodología pruebas por pares, es decir, intercambiar las preguntas entre los líderes de política para que puedan validar la pertinencia, coherencia y trazabilidad de las preguntas, especialmente a las relacionadas con las políticas a cargo de Función Pública; si bien es cierto, los cambios introducidos a las preguntas no pueden ser mayores al veinte por ciento, en virtud de que se debe garantizar la comparabilidad con los resultados de la vigencia anterior. No obstante, esta Fase solo se llevó a cabo para la segunda vigencia como mecanismo de validación y depuración de la primera versión del cuestionario. Para las vigencias subsiguientes, solo se hacen revisión por parte de los líderes de políticas de las preguntas sobre las que los análisis cuantitativo o cualitativo indiquen que lo ameritan. Fase II – Pruebas al aplicativo El objetivo es identificar los riesgos asociados al aplicativo de captura de la información; en este sentido las pruebas al aplicativo siguen la misma lógica de prueba de escritorio, pero desde la perspectiva de operatividad, diligenciamiento y claridad en la secuencia de respuesta. Básicamente, estas pruebas son de carácter técnico (Oficina de Tecnologías de la Información OTIC) y de carácter funcional (DGDI) para verificar aspectos tales como: Consistencia de los formularios: que estén completos, que solo le aparezcan las preguntas que le

corresponden a cada entidad Parametrización de las preguntas abiertas Verificar que las funciones de exclusión de opciones de respuesta, obligatoriedad, campos de

evidencias estén funcionando correctamente Accesibilidad y navegabilidad Pruebas de concurrencia

• Pruebas al aprovechamiento del registro administrativo Fase III – Pruebas a las tablas transversales empleadas en el cálculo de los índices Para producir los índices de gestión y desempeño institucional se deben procesar 40 tablas, 18 códigos de procesamiento y 12 códigos de validación, los cuales se detallan en el anexo 2 del presente documento (Documento técnico de captura y procesamiento de datos de la Medición del Desempeño Institucional). Sin embargo, en esta fase se construye lo relacionado a los 12 códigos de validación, según lo cual, para las tablas que ingresan al procesamiento estadístico se les deben hacer validaciones de datos nulos, duplicidad en variable, intervalos de respuesta (por ejemplo, que cierta variable solo pueda tomar valores de 1 o 0), principalmente. Estas pruebas están diseñadas para realizarse por medio del lenguaje de programación R y producen unas fichas de validación para cada tabla analizada, en estas fichas se resumen los errores o datos atípicos encontrados, con el fin de

38

validar las razones que dieron lugar a esos datos y corregir en caso de que sea necesario, para poder pasar la tabla a otra fase del proceso. Es necesario recalcar que estas validaciones o pruebas se llevan a cabo de manera transversal, incluso antes de habilitar el aplicativo FURAG y culminan con las tablas empleadas en la construcción de las visualizaciones en Power BI. Fase IV – Pruebas y análisis estadístico a las respuestas recogidas por medio del FURAG Las pruebas al comportamiento estadístico de las preguntas recogidas por medio del FURAG se llevan a cabo para corroborar el comportamiento agregado de las respuestas registradas en el FURAG, antes de entrar propiamente al modelo de Teoría de Respuesta al Ítem. En este orden de ideas, estas pruebas detallan gráficamente el comportamiento de respuestas a nivel de políticas, con el fin de verificar que los insumos sean suficientes para posteriormente calcular los índices de gestión y desempeño institucional. Esta fase está estructurada para llevarse a cabo después del cierre del aplicativo FURAG. Fase V – Pruebas a las Visualizaciones de los Resultados Los resultados de la MDI se difunden por medio de la herramienta Power BI, debido entre otras cosas, a la calidad de gráficos y las facilidades que ofrece para presentar grandes cantidades de información de manera simple y práctica. En este orden de ideas en la estrategia de difusión se detalla la forma en que se construye el reporte interactivo, así como en el flujograma de tablas y códigos de la MDI que ilustra los insumos necesarios para construir el reporte, sin embargo, desde la Dirección de Gestión y Desempeño Institucional se diseñan pruebas al reporte como control y calidad de los resultados de la medición. La descripción de las fases de pruebas y los resultados de estas, se encuentran documentados en el Plan de Pruebas (anexo 3).

2.3.6 Habilitación del Aplicativo FURAG De acuerdo con los cronogramas definidos por Función Pública en coordinación con los líderes de Política y con la aprobación del Consejo para la Gestión y el Desempeño Institucional, se pone en producción el aplicativo. Con el fin de garantizar un seguimiento adecuado al proceso de recolección de datos, se cuenta con actividades de seguimiento a la cobertura y al diligenciamiento de los formularios: Tabla 8 Actividades durante la captura de datos

Actividad Descripción

Reportes periódicos del diligenciamiento

Se generan informes periódicos del nivel de diligenciamiento de las entidades, de acuerdo con el acopio de las respuestas que realiza el software de manera automática. En la primera fase del diligenciamiento, el seguimiento suele ser semanal, y en la recta final se realiza diariamente.

39

Actividad Descripción

La Dirección de Gestión y Desempeño Institucional elabora y mantiene actualizado un Tablero de seguimiento al diligenciamiento (durante y al finalizar la aplicación. Por su parte, la Dirección General, la Subdirección y la Dirección de Gestión y Desempeño Institucional toman decisiones conjuntas para establecer planes de acción para que la mesa de trabajo, el grupo de asesoría de la DGDI y la Oficina de Comunicaciones impulsen el diligenciamiento de las entidades a través de llamadas y la promoción del aplicativo por redes sociales y medios virtuales.

Generación del archivo plano de resultados (pivote)

Luego de la fecha de cierre del diligenciamiento, se descarga los archivos planos con las respuestas de cada entidad para cada uno de los formularios habilitados y diligenciados. Dichos archivos o pivotes contienen cada una de las preguntas y opciones de respuestas que registraron las entidades a cada pregunta de los formularios asignados.

Fuente: Función Pública 2019

2.3.7 Diseño del Procesamiento Para el procesamiento de los datos se han identificado las fases, actividades y tiempos que en promedio son necesarios para procesar los datos recolectados a través de la herramienta FURAG, calcular los índices y posteriormente difundir los resultados de la medición, lo cual ha permitido estandarizar el proceso para construir 40 tablas, 18 códigos (en lenguaje R y Python) de procesamiento, 12 códigos de validación (en lenguaje R) que al mismo tiempo generan fichas de validación y un flujograma que integra lo anteriormente descrito para facilitar la comprensión, secuencialidad y eficiencia en torno a la generación del índice de Desempeño Institucional junto con los índices por dimensiones y políticas. El flujograma junto con el documento que describe cada una de las tablas y los códigos de procesamiento permiten tener un panorama general sobre el cual se estructuran los cronogramas de trabajo, en el cual se establecen actividades, productos, responsables y tiempos que permiten dotar de mayor robustez la planeación del procesamiento en el marco de la MDI. Dentro del flujograma que integra tablas y códigos existe una sección específica para procesamiento en la cual por un lado es necesario tener consolidadas las respuestas de todas las entidades objeto de medición, lo cual se integra en la tabla T010_Pivote_consolidado y de allí en adelante diferentes interacciones que culminan con la tabla T032_Tr, la cual contiene los resultados de la medición para cada entidad objeto de medición. En este sentido, se procede a explicar de manera general los conceptos tenidos en cuenta para el procesamiento de los datos recolectados. El diseño de la operación del procesamiento consiste en los siguientes pasos que se presentan de manera general y se detallan con precisión en el documento técnico de captura y procesamiento de datos de la MDI (anexo 2), de acuerdo con la estructura de la información obtenida inicialmente:

1. Construcción de una tabla de relación entre el indicador, su escenario correspondiente y las preguntas que aplican.

40

2. Construcción de una tabla de relación entre el código SIGEP de cada entidad, el indicador de referencia y el escenario al que pertenece dicha entidad en dicho indicador.

3. Consolidación de las fuentes de información de los datos brutos en una sola tabla. 4. Construcción y cruce de validación entre los datos recolectados con la matriz que contiene

toda la información de cada pregunta; su naturaleza, su uso, etc. 5. Construcción de nuevas variables sobre la tabla estandarizada en el punto anterior, definidas

generalmente como el resultado categórico entre funciones definidas por variables de tipo numérico-económico o numérico en general.

6. Construcción de la tabla de entrada al modelo; producto de análisis y consolidación entre las matrices derivadas de los puntos 1, 2, 3 y 4.

7. Validación de respuestas con tipo evidencia: se hace una validación de las evidencias y se ajusta el dato que entra al modelo, en caso de ser necesario.

8. Ajustar el orden inverso de la tabla que entra al modelo, de acuerdo con la información lógica esperada por el modelo de puntuación.

9. Se encuentran los valores que calibran el modelo general 10. Una vez calibrado el modelo general, se hace la estimación de la puntuación de todos los

índices-escenarios definidos en todas las entidades que hayan tenido la tasa de participación aceptable.

11. Se construyen y consolidan los cuadros de salida. En el Documento técnico de captura y procesamiento de datos de la Medición del Desempeño Institucional (anexo 2), se especifican cada una de las tablas empleadas en el proceso, antes, durante y después del procesamiento de datos, con su estructura de acorde a las combinaciones de respuestas.

2.3.8 Software empleado en el procesamiento Para el procesamiento de datos se emplean dos lenguajes de programación R y Python, así como Microsoft Excel y Bizagi Modeler, por lo tanto, se procede a describir cada una de las herramientas empleadas en la medición y sus respectivas características.

• Bizagi Process Modeler En primer lugar, el flujograma que se diseña para visualizar las interacciones entre las tablas y los códigos de la medición se construye en Bizagi Process Modeler el cual es “un modelo de software tipo freemium para diagramar, documentar y simular procesos de manera gráfica en formato estándar conocido como BPMN (Bussines Process Modeling Notation)”, en este sentido existen tres versiones, la primera es una versión de entrada (Xpress Edition) que es gratuita y dados los requerimientos de la medición es la que se lleva a cabo para construir tanto el flujograma general del procedimiento como el flujograma que integra tablas y códigos de la medición, las otras dos versiones son ediciones corporativas que necesitan suscripción para su uso: Enterprise .NET y Enterprise JEE. Otra funcionalidad que ofrece Bizagi es la interoperabilidad con Word, PDF, Visio, la web, o SharePoint para compartir archivos.

41

• Microsoft Excel Dentro del procesamiento de datos también se emplea Microsoft Excel como herramienta fundamental, entre otras cosas, porque gran número de tablas se encuentran en formato .xlsx o .csv, en este sentido, se hace uso de la licencia desarrollada por Microsoft Office 365 a la cual accede de manera oficial el Departamento Administrativo de la Función Pública. Las tablas que por lo general se encuentran en los formatos anteriormente descritos debido al gran número de registros y la complejidad necesaria para procesar los datos, pasan por procesos de transformación o códigos de procesamiento que se implementan en R y Python, por lo tanto, se describe de manera breve cada lenguaje de programación que interviene en la operación estadística.

• Lenguaje R R es un sistema para análisis estadístico y producción gráfica creado por Ross Ihaka y Robert Gentleman. El software tiene naturaleza doble: de programa y lenguaje de programación y es considerado como un dialecto del lenguaje S creado por los Laboratorios AT&T Bell. S está disponible como el programa S-PLUS comercializado por Insightful. R se distribuye gratuitamente bajo los términos de la GNU General Public Licence; su desarrollo y distribución son llevados a cabo por varios estadísticos conocidos como el Grupo Nuclear de Desarrollo de R. R está disponible en varias formas: el código fuente escrito principalmente en C (y algunas rutinas en Fortran), esencialmente para maquinas Unix y Linux, o como archivos binarios precompilados para Windows, Linux (Debian, Mandrake, RedHat, SuSe), Macintosh y Alpha Unix. Los archivos necesarios para instalar R, ya sea desde las fuentes o binarios pre-compilados, se distribuyen desde el sitio de internet Comprehensive R Archive Network (CRAN) junto con las instrucciones de instalación. Para las diferentes distribuciones de Linux (Debian, …), los binarios están disponibles generalmente para las versiones más actualizadas de estas y de R. R posee muchas funciones para análisis estadísticos y gráficos; estos últimos pueden ser visualizados de manera inmediata en su propia ventana y ser guardados en varios formatos (jpg, png, bmp, ps, pdf, emf, pictex, xfig; los formatos disponibles dependen del sistema operativo). Los resultados de análisis estadísticos se muestran en la pantalla, y algunos resultados intermedios (como valores P-, coeficientes de regresión, residuales, …) se pueden guardar, exportar a un archivo, o ser utilizados en análisis posteriores. El lenguaje R permite al usuario, por ejemplo, programar bucles (’loops’ en inglés) para analizar conjuntos sucesivos de datos. También es posible combinar en un solo programa diferentes funciones estadísticas para realizar análisis más complejos. Los usuarios de R tienen a su disponibilidad un número importante de programas escritos para S y disponibles en la red; la mayoría de estos pueden ser utilizados directamente con R.

42

2.3.9 Comparativo entre herramientas de procesamiento Tanto SPSS como SAS son programas comerciales y, por lo tanto, tienen una orientación y administración diferentes a las de R. Además, se enfocan en aquellos mercados y usuarios que les proporcionan los mayores beneficios Dado que diferentes programas implementan distintos algoritmos para llevar a cabo los mismos tipos de análisis, los usuarios se benefician de una comparación entre los programas más usados. Se han realizado comparaciones de cálculos para los procedimientos (e.g., regresión y experimentos factoriales, entre otros) implementados por algunos programas estadísticos. Sin embargo, estos son bastante específicos y se circunscriben a aspectos puntuales. En este contexto la tabla 9 presenta una serie de aspectos comparables entre las herramientas de procesamiento. Tabla 3 - Comparativo entre herramientas de procesamiento estadístico

Aspecto Programa estadístico

SPSS SAS R

Amigabilidad con el usuario Excelente Baja–Regular Baja–Regular

Manipulación de datos Baja Buena Buena

Caliddad de gráficos Regular Buena–Excelente Excelente

Control de procesos Baja Excelente Excelente

Costo U$S 1500 U$S 7200 Gratis

Código fuente disponible No No Si

Variedad análisis estadísticos Buena Buena-Excelente Excelente

Documentación Excelente Buena Buena–Excelente

Soporte técnico Bueno Bueno Bajo

Sistema Operativo Windows

Windows

Macintosh Linux

Windows

Macintosh Linux

Fuente: Tomado de Salas, 2008. Debido a que SAS y R son programas basados en comandos, permiten al usuario un mayor control de los procedimientos ejecutados, en comparación con SPSS. Además de la clara ventaja del costo cero de R versus los otros programas, las salidas de procesos que ofrece R son concisas y dejan al usuario la opción de solicitar un mayor nivel de detalle, favorecen una mejor práctica en el uso de la estadística y evitan la tentación de tratar de interpretar todos los estadísticos que aparecen en una salida. En resumen, la gran versatilidad de los procedimientos estadísticos disponibles (así como la tarea específica), la capacidad de producir gráficos de calidad y la amplia documentación gratuita, entre otros aspectos, hacen de R un excelente programa estadístico para ser usado en docencia e investigación. La gratuidad de R además, permite no solo trasmitir el uso de un software legal, sino también acceder libremente a un programa de alta calidad. Por otra parte, la transparencia en la construcción de R permite un mayor control del proceso de generación de conocimiento por parte de los usuarios (Salas, C. 2008).

43

• Lenguaje Python Para la MDI los códigos en Python (Py) intervienen en las primeras partes del procedimiento y al final en la difusión de resultados, el análisis estadístico se realiza en R, sin embargo, algunas de las tablas que son Inputs del procesamiento estadístico son resultados de procesamiento en Py, razón suficiente para describir de manera general dicho lenguaje de programación. Python es un lenguaje de programación independiente de plataforma orientado a objetos, preparado para realizar cualquier tipo de programa, desde aplicaciones en Windows a servidores de red o páginas web. Es un lenguaje interpretado, es decir, no necesita compilar código fuente para ejecutar. Python se desarrolló con base en otro lenguaje de programación llamado ABC, el objetivo por el cual se creó fue cubrir la necesidad de un lenguaje orientado a objetos sencillo que sirviese para desempeñar múltiples tareas en términos de programación que habitualmente se hacía en Unix usando C. Su creador fue Guido Von Russum, en 1991 publicó una primera versión, desde allí se han adaptado múltiples mejoras y al ser de libre acceso permite crear una comunidad que fomenta su uso y adaptación a diversas disciplinas del conocimiento y el mundo laboral. (Tomado de Programo Ergo Sum)

2.3.10 Codificaciones empleadas en la medición A lo largo de la medición intervienen otros grupos de actividades en los cuales interactúan preguntas, ítems, nuevas variables, tablas, códigos de procesamiento y validación e índices que también se hace necesario identificar o rotular para garantizar transparencia y veracidad en todo el proceso del cálculo de indicadores así como en la construcción de reportes que sirven para difundir los resultados de la medición, en este sentido el equipo técnico diseña códigos para identificar insumos y poder realizar cruces de información garantizando calidad y veracidad en el procesamiento y la información publicada. En este orden de ideas se procede a realizar una breve descripción de cada grupo de codificaciones para identificar la participación dentro del alistamiento, captura, procesamiento, análisis y difusión de los resultados de la medición del desempeño.

• Codificación de preguntas Para la MDI se cuenta con una batería de preguntas que cada líder de política formula y en caso de considerarlo necesario ajusta o cambia entre vigencias de acuerdo con ciertos parámetros definidos en la Dirección de Gestión y Desempeño Institucional de Función Pública. En este orden de ideas, estas preguntas deben poderse identificar de manera ágil, pero garantizando que al entrar al proceso de medición no se presenten confusiones o errores derivados de una mala identificación. En este sentido, el patrón empleado para codificar preguntas fue identificar tres letras que hicieran referencia a la política, por ejemplo, para la política Gestión Estratégica del Talento Humano se tomaron las letras GTH, posteriormente se agregaba el consecutivo, empezando en 01 y terminando con el consecutivo de la última pregunta. De esta forma se replicó la estructura descrita con cada una de las preguntas correspondientes a cada política de gestión y desempeño.

44

Tabla 4 - Tabla de codificación de preguntas

Política Sigla Consecutivo Codificación

pregunta

Evaluación global MIPG (percepción) PER 01, …, n PER01, …, PERn

Gestión estratégica del talento humano GTH 01, …, n GTH01, …, GTHn

Integridad INT 01, …, n INT01, …, INTn

Planeación institucional PLA 01, …, n PLA01, …, PLAn

Gestión presupuestal y eficiencia del gasto público GPR 01, …, n GPR01, …, GPRn

Fortalecimiento organizacional y simplificación de procesos

FOR 01, …, n FOR01, …, FORn

Gobierno digital GDI 01, …, n GDI01, …, GDIn

Seguridad digital SDI 01, …, n SDI01, …, SDIn

Defensa jurídica DJU 01, …, n DJU01, …, DJUn

Mejora normativa MJN 01, …, n MJN01, …, MJNn

Racionalización de trámites RTR 01, …, n RTR01, …, RTRn

Participación ciudadana PCI 01, …, n PCI 01, …, PCI n

Servicio al ciudadano SEC 01, …, n SEC01, …, SECn

Seguimiento y evaluación del desempeño institucional SYE 01, …, n SYE01, …, SYEn

Transparencia, acceso a la información pública y lucha contra la corrupción

TRA 01, …, n TRA01, …, TRAn

Gestión Documental GDO 01, …, n GDO01, …, GDOn

Gestión de la información estadística GES 01, …, n GES01, …, GESn

Gestión del conocimiento y la innovación GCI 01, …, n GCI01, …, GCIn

Control interno CIN 01, …, n CIN01, …, CINn

Informativas INF 01, …, n INF01, …, INFn

Verificación VER 01 VER01

Clasificación CLA 01, …, n CLA01, …, CLAn

Fuente: elaboración propia.

• Codificación de ítems Siguiendo la misma lógica empleada en la codificación de preguntas se hizo necesario codificar las opciones de respuesta o ítems, dado que los indicadores se construyen a nivel de ítems y/o preguntas según el caso, por esta razón las opciones de respuesta mantienen la letra que permite identificar la secuencialidad, es decir, A, B, C, …, Z, y en caso de utilizar todas las letras del abecedario se agrega una segunda letra que vuelve a comenzar en A de manera secuencial nuevamente. En este orden de ideas dicha estructura se acopla a la codificación construida para las preguntas, de esta forma a la codificación de la pregunta se le agrega la letra correspondiente a la opción de respuesta, por ejemplo, para la pregunta GTH01 se le agrega la letra que identifica el ítem, GTH01A y así sucesivamente. Tabla 5 - Codificación de ítems


pregunta Codificación ítem

Evaluación global MIPG (percepción) PER 01, …, n PER01, …, PERn PER01A, …, PER01ZZ

Gestión estratégica del talento humano GTH 01, …, n GTH01, …, GTHn GTH01A, …, GTH01ZZ

Integridad INT 01, …, n INT01, …, INTn INT01A, …, INT01ZZ

Planeación institucional PLA 01, …, n PLA01, …, PLAn PLA01A, …, PLA01ZZ

45


pregunta Codificación ítem

Gestión presupuestal y eficiencia del gasto público

GPR 01, …, n GPR01, …, GPRn GPR01A, …, GPR01ZZ

Fortalecimiento organizacional y simplificación de procesos

FOR 01, …, n FOR01, …, FORn FOR01A, …, FOR01ZZ

Gobierno digital GDI 01, …, n GDI01, …, GDIn GDI01A, …, GDI01ZZ

Seguridad digital SDI 01, …, n SDI01, …, SDIn SDI01A, …, SDI01ZZ

Defensa jurídica DJU 01, …, n DJU01, …, DJUn DJU01A, …, DJU01ZZ

Mejora normativa MJN 01, …, n MJN01, …, MJNn MJN01A, …, MJN01ZZ

Racionalización de trámites RTR 01, …, n RTR01, …, RTRn RTR01A, …, RTR01ZZ

Participación ciudadana PCI 01, …, n PCI 01, …, PCI n PCI 01A, …, PCI 01ZZ

Servicio al ciudadano SEC 01, …, n SEC01, …, SECn SEC01A, …, SEC01ZZ

Seguimiento y evaluación del desempeño institucional

SYE 01, …, n SYE01, …, SYEn SYE01A, …, SYE01ZZ

Transparencia, acceso a la información pública y lucha contra la corrupción

TRA 01, …, n TRA01, …, TRAn TRA01A, …, TRA01ZZ

Gestión Documental GDO 01, …, n GDO01, …, GDOn GDO01A, …, GDO01ZZ

Gestión de la información estadística GES 01, …, n GES01, …, GESn GES01A, …, GES01ZZ

Gestión del conocimiento y la innovación

GCI 01, …, n GCI01, …, GCIn GCI01A, …, GCI01ZZ

Control interno CIN 01, …, n CIN01, …, CINn CIN01A, …, CIN01ZZ

Informativas INF 01, …, n INF01, …, INFn INF01A, …, INF01ZZ

Verificación VER 01 VER01 VER01A, VER01B

Clasificación CLA 01, …, n CLA01, …, CLAn CLA01A, …, CLA01ZZ


• Codificaciones nuevas variables Las nuevas variables se construyen a partir de las reglas definidas por los líderes de política, debido a ello, existen reglas que emplean una o más opciones de respuesta para construirse, por tal razón es necesario identificarlas y codificarlas para que entren al modelamiento estadístico. En este sentido la codificación empieza con las letras NV que denota nueva variable seguido de un guion al piso y el consecutivo numérico que empieza en 1 y termina en n. Tabla 6 - Nuevas variables

Sigla Consecutivo Codificación

NV_ 2, …, n NV_2, …, NV_n

Fuente: elaboración propia a partir de los formularios y pivotes en formato Excel aplicados en la vigencia 2019 desarrollados por el Departamento Administrativo de la Función Pública.

• Codificación de tablas Las tablas que intervienen en el proceso de medición se codificaron de acuerdo con proceso en el cual intervienen, es decir, guardando cierta relación con la secuencialidad dentro del proceso.

46

Partiendo de allí se usó la letra T que abrevia tabla y se le acompaño del consecutivo numérico, es decir, la T001 denota el inicio del proceso y la tabla T040 el final. Dentro del flujograma las tablas están identificadas, aparte de la codificación descrita anteriormente, bajo colores que definen el tipo de tabla toda vez que hay tres tipos de tablas, las que sirven de entrada a un código de procesamiento (color azul), las que son salidas de un código de procesamiento pero que sirven de entrada a otro código (color verde) y las tablas que son exclusivamente salida, bien sea de un código o de una tabla. Las tablas también integran el nombre que se definió desde el equipo técnico, por ejemplo, T001_Grupos_temas, en este sentido, los espacios son reemplazados por “_” y la primera letra del nombre empieza con mayúscula.

Tabla 7 - Nombres de tablas empleadas en la medición

Tipo de tabla Color en el flujograma

Nombre consecutivo Codificación de la tabla

Input (entrada) Azul Nombre tabla 01, …, 40 T01_Nombre_tabla, …, T040_Nombre_tabla

Input - Output (entrada - salida)

Verde Nombre tabla 01, …, 40 T01_Nombre_tabla, …, T040_Nombre_tabla

Output (salida) Anaranjado Nombre tabla 01, …, 40 T01_Nombre_tabla, …, T040_Nombre_tabla


• Codificación de códigos Los códigos dentro del flujograma describen dos procesos y por eso mismo también se encuentran ilustrados por medio de colores, en primera instancia, se encuentran los códigos azules, que representan validaciones a las tablas y cumplen un proceso de verificación de los datos que se incluyen en cada tabla, dichos códigos se identifican bajo la letra V que se deduce de validación y se acompaña del consecutivo numérico que empieza en 001. Posteriormente se encuentran los códigos de procesamiento que se identifican con el color blanco e ilustran el proceso de transformación de tablas de entrada en tablas de salida, estos códigos se identifican con la letra C y se acompañan del consecutivo que empieza en 001, finalmente se encuentra el código en Power BI que se ilustra con el color anaranjado y denota el final del proceso de difusión en términos de las tablas y códigos, dado que por medio de estas visualizaciones se presentan los resultados de la MDI a los grupos de valor, este código se identifica con la letra R y está acompañado del consecutivo 001. Tabla 8 - Nombres de códigos empleados en la medición

Tipo de Código Color en el flujograma Letra Consecutivo Codificación

Validación Azul V 001, …, n V001, …, Vn

Procesamiento Blanco C 001, …, n C001, …, Cn

Reporte Power BI Anaranjado R 001 R001


47

• Codificación de las fichas de validación Las fichas de validación son salidas de los códigos de validación que resumen el resultado derivado de la revisión de la tabla o las tablas que entraron al código y que permiten seguir la secuencia del flujo en caso de que no se encuentren errores, estas fichas también están codificadas comenzando en F y acompañadas del consecutivo numérico que empieza en 001, de esta manera, empiezan en F001_Ficha_validacion_1 y terminan en Fn_Ficha_validacion_n. Se pueden observar en detalle en el documento técnico de validación de tablas y generación de fichas temporales de validación (anexo 4).

2.4 Diseño del Análisis de Resultados

2.4.1 Análisis de contexto El fenómeno de estudio de la operación estadística es el desempeño de cada una de las políticas de MIPG en las entidades objeto de medición; dado que este desempeño no es observable directamente se han establecido una serie de variables más tangibles (razón por la cual se cuenta con el Modelo TRI descrito en el Diseño Estadístico), y cuyos insumos para ser medidas es la información que se recolecta mediante el cuestionario dispuesto a través del registro administrativo FURAG. A partir de estos insumos se calculan los índices de desempeño. Para garantizar la correspondencia entre el comportamiento del fenómeno de estudio y los resultados obtenidos, se sigue el siguiente esquema

1. Identificación del propósito de cada política, es decir, cada líder de política determina qué se espera que la entidad demuestre o sea capaz de hacer con la implementación de la política

2. Identificación de los atributos, aspectos, acciones, componentes o elementos generales que al implementarse, lograrían el propósito de la política.

3. Formulación de las preguntas a través de las cuales se indagará en las entidades públicas el cumplimiento del propósito de las políticas y de sus principales atributos aspectos, acciones, componentes o elementos.

4. Identificación de los índices de desempeñó, que materializarán la MDI es aspectos cuantitativos y cualitativos, manteniendo el siguiente orden:

Tabla 15 - Estructura Indices de Gestión y Desempeño

Índice General

Índice Dimensión 1

Política 1.1 Conjunto de Índices desagregados política 1.1

Política 1. 2 Conjunto de Índices desagregados política 1.2

Política 1. n Conjunto de Índices desagregados política 1.n

Índice Dimensión 2

Política 2.1 Conjunto de Índices desagregados política 2.1

Política 2. 2 Conjunto de Índices desagregados política 2.2

Política 1. n Conjunto de Índices desagregados política 2.n

Índice Dimensión n

Política n.1 Conjunto de Índices desagregados política n.1

Política n. 2 Conjunto de Índices desagregados política n.2

Política n. n Conjunto de Índices desagregados política n.n

Fuente: elaboración propia

48

Siguiendo esta estructura, se garantiza que los índices desagregados y el índice de cada política, faciliten la medición del logro del propósito de las mismas, en términos de las capacidades que se esperan mejorar en cada entidad con su implementación. De otra parte, para hacer el contraste de los resultados obtenidos con los resultados esperados, de un lado se hace un ejercicio de equiparación, con el objetivo de hacer comparables los resultados entre las diferentes aplicaciones, así como la consistencia de la información producida, se debe realizar la transformación de los resultados obtenidos a la escala histórica de 2018, es decir que los puntajes obtenido en futuras mediciones son llevados a la métrica usada en la línea de base encontrada en la medición 2018, a través de la metodología mean–sigma (M.J. Kolen, 2004) la cual se describe en el punto 2.5.2 Análisis de coherencia. A las validaciones propias del ejercicio estadístico, adicionalmente se hace un análisis cualitativo en el que se comparan los resultados obtenidos con los de las vigencias anteriores y se verifica, a partir de una muestra aleatoria, la consistencia de los datos con las respuestas dadas por las entidades. Para esa muestra, se tienen en cuenta las entidades que presentaron las variaciones más altas, así como los casos especiales de entidades que hayan presentado comportamientos atípicos. Así mismo, cada uno de los líderes de política, como expertos en sus temas, debe realizar una validación de los resultados, para verificar la coherencia y consistencia de los datos obtenidos con la realidad estatal. La medición a nivel comparativo entre los índices de las vigencias anuales previas, permite también contar con insumos para atender el compromiso del Gobierno Nacional de incrementar paulatinamente el Índice de Desempeño Institucional. Finalmente, para consolidar los objetivos de la operación estadística MDI, se formulan recomendaciones en aquellos aspectos con mayores deficiencias detectadas para cada política de gestión, con el fin de iniciar acciones de mejora que permita la efectiva implementación de las políticas establecida en la normatividad vigente. Estas recomendaciones están publicadas y pueden ser consultadas a nivel de cada entidad frente al índice de cada política de MIPG y componente del MECI, en el micrositio de MIPG, sección de Resultados Medición (Botón Resultados Consolidados y Recomendaciones de Mejora).

2.4.2 Análisis de coherencia Con el objetivo de hacer comparables los resultados entre las diferentes aplicaciones, así como la consistencia de la información producida, se debe realizar la transformación de los resultados obtenidos a la escala histórica (2018) mediante el procedimiento de equiparación. De esta forma el puntaje obtenido en otro ciclo de la MDI es llevado a la métrica usada en la línea de base encontrada en la medición 2018. La metodología mean–sigma (M.J. Kolen, 2004) es empleada desde el año 2019 para la equiparación. Esta técnica se puede describir generalmente de la siguiente manera:


49

Definidas las escalas I y J como las escalas que difieren por una transformación lineal, los valores de 𝜃, la variable latente (desempeño) de cada entidad, para las escalas están relacionas por:

𝜃𝐽𝑖 = 𝐴𝜃𝐼𝑖 + 𝐵

en donde 𝐴 y 𝐵 son constantes y los valores 𝜃𝐸𝑖 son los valores de la variable para la entidad 𝑖 en la escala E. Según el método de interés, una forma de expresar las constantes 𝐴 y 𝐵 en términos de los grupos a equiparar es:

𝐴 = 𝜎(𝜃𝐽)

𝜎(𝜃𝐼)

Y

𝐵 = 𝜇(𝜃𝐽) − 𝐴𝜇(𝜃𝐼)

donde los 𝜎(𝜃𝐸)son las desviaciones estándar de los grupos de la escala 𝐸 y los 𝜇(𝜃𝐸) son las medias de los grupos de la escala 𝐸 (M.J. Kolen, 2004). Nota 1: En otras palabras, el proceso de equiparación es abordado por dos vías: Anclando los ítems comunes, que no presenten un comportamiento diferencial. Este comportamiento es estudiado comparando las estimaciones de los ítems en ambas escalas, la de prueba 𝐼 y la histórica

𝐽. 𝜃𝐼𝑖 representa el puntaje bruto o en logits de la entidad 𝑖 en la escala 𝐽 (supongamos 2018). Adicional, se tiene una calibración conjunta (de ambos años, supongamos 2018 y 2019) de una nueva escala, digamos 𝐼, que produce 𝜃𝐽𝑖 . El objetivo es encontrar las dos constantes, tales que 𝜃𝐽𝑖 = 𝐴𝜃𝐼𝑖 + 𝐵,

ya que se desea capturar mediante una transformación lineal, la diferencia entre ambas escalas, una vez se haya incluido la información de un tiempo adicional 𝐼. 𝐴 es un factor positivo, con valores

cercanos a 1 y 𝐵 es factor cuyo valor cercano es 0. Nota 2: Por la estructura de la información, se debe seleccionar una muestra para conseguir una equiparación adecuada. Se procede con seleccionar una muestra de entidades que recoja más información, con las entidades que tienen más preguntas, es decir, los escenarios con mayor número de ítems a aplicar. Se seleccionan 1381 entidades, que tienen más del 40% de respuestas asociadas con el IDI, dando como resultado el siguiente panorama:

𝐵 𝐴

0,065 1,26

Nota 3: La equiparación es un procedimiento estadístico, por lo que es importante cuantificar el error que está presente en la estimación de los valores de la transformación, aunque sea de manera informativa. Para esto, no siempre están disponibles los procedimientos analíticos que permiten una estimación directa y sencilla de dichos valores. Para este propósito se debe hacer uso del método Jackknife (K. M. Wolter, 2007). El error de equiparación y el error de medición no se reporta en los resultados.

50

Transformación a la escala de reporte: la escala para el reporte es definida por el promedio de los puntajes en la aplicación de 2018 igual a 50 con desviación estándar igual a 15. La trasformación de cada puntaje 𝜃 a la escala de reporte está dada por la expresión:

𝜃𝑅𝑝 = 𝜇𝜃𝐼𝑛 + 𝜎

Con 𝜃𝑅𝑝 el valor transformado para generar el reporte y 𝜃𝐼𝑛 el valor inicial encontrado. Las constantes

𝜇 y 𝜎 deben ser usadas en las próximas ediciones de la encuesta FURAG. Para este, si se usan todas las entidades que entran en la puntuación del IDI, y las constantes, son las siguientes:

𝜇 𝜎

14,39 52,33

2.4.3 Análisis de comparabilidad

Rotación de preguntas No sobra destacar el valor agregado de esta operación estadística al reconocer importantes avances para mejorar la calidad de las estadísticas e indicadores, para que las entidades, en un marco diferencial, visualicen comparativamente, entre cada vigencia, los aspectos a mejorar y reconocer los avances en determinadas temáticas propias de cada política de gestión institucional. Para tal efecto, uno de los objetivos es determinar el diseño de la medición a partir de la construcción de bloques de preguntas que midan un cierto criterio en común, con el fin de garantizar asociaciones naturales o teóricas de las preguntas. Lamentablemente, a partir de la naturaleza de la medición, no se logra establecer cierto criterio para el manejo de las preguntas e indicadores. Sin embargo, para determinar la rotación de las preguntas, por temas de desgaste y refrescar el instrumento, se determina por política dos pseudobloques, siempre que el número de preguntas sea significativo. En ese sentido, se tiene:

𝐵𝑝 = 𝐵𝑎𝐵𝑏𝐵𝑐𝐵𝑑𝐵𝑒

Es decir, para cada política en cada período de tiempo, se bloquean las preguntas en cinco subconjuntos: 𝑎, 𝑏, 𝑐, 𝑑 y 𝑒. Cada bloque contiene el 20% de las preguntas, como es natural. La propuesta de rotación de preguntas garantiza una cuota máxima de recambio por período, con el fin que al final del cuatrienio se logre mantener al menos un bloque: Tabla 16 - Recambio de bloques de preguntas por periodo de medición

Año Pseudo-bloques

2018 𝐵𝑎 𝐵𝑏 𝐵𝑐 𝐵𝑑 𝐵𝑒

2019 𝐵𝑏 𝐵𝑐 𝐵𝑑 𝐵𝑒 𝐵𝑓

2020 𝐵𝑐 𝐵𝑑 𝐵𝑒 𝐵𝑓 𝐵𝑔

2021 𝐵𝑑 𝐵𝑒 𝐵𝑓 𝐵𝑔 𝐵ℎ

Fuente: elaboración propia

51

De esta forma se garantiza que al final del cuatrienio, se mantiene el 40% de la información de los bloques como tal, en cuanto a la información contenida en la línea base, así:

De un año al otro, se mantiene el 80% de las preguntas. Dentro de dos años, se mantiene el 60% de las preguntas.

Nota 1: mantener un ancla con el período de la línea base es fundamental para garantizar la comparabilidad entre períodos. En teoría, se debe garantizar que una parte de las preguntas se mantenga. Sin embargo, no existe un criterio único que determine el número ideal de intercambio, razón por la que la determinación de dicho valor se debe estudiar desde dos frentes: a) desde el cambio de un año al otro en término de error de equiparación desde el punto de vista estadístico, y b) desde la práctica: el líder de política requiere hacer cambios que obedecen a la realidad de las preguntas y del modelo conceptual que se quiere alcanzar. Nota 2: entre el 80% de preguntas que se mantienen de un período al otro, están incluidas aquellas que presentan un comportamiento diferencial y que necesitan ser estudiadas. Aquellas que continúan en el estudio pero que tienen comportamiento diferencial, se deben tratar como nuevas preguntas, luego el porcentaje del 20% como valor de referencia es una cota que supone cambios en términos de información de hasta un 30%. Adicionalmente, en caso de continuar la medición para el otro cuatrienio, habría posibilidades de compartir con el período línea base un 20% de preguntas. De acuerdo con el diseño de rotación establecido, la consecuencia fundamental es que se debe garantizar una rotación a lo más del 20% de preguntas de un año a otro, que equivale a 1 pseudobloque de 5. Este proceso de comparación en los avances o retrocesos en las dimensiones, política e índices de gestión institucional, soportan una estandarización metodológica a largo plazo, en el análisis de la consistencia, confiabilidad y pertinencia de indicadores de cada política, con el fin último, de hacer comparables los resultados entre las diferentes aplicaciones, así como la consistencia de la información producida. Comité de expertos Para consolidar técnica y legalmente esta operación estadística, el Consejo para la Gestión y el Desempeño Institucional, cuya secretearía técnica es ejercida por Función Pública coordina el Sistema de Gestión, propone lineamientos en materia de gestión y desempeño y define los requerimientos para la implementación y operación de las políticas de gestión y desempeño institucional y los criterios para su medición y evaluación. El Consejo está integrado por las once entidades líderes de política, y para su operatividad cuenta con un equipo técnico que apoya el cumplimiento de sus funciones con una secretaría técnica a cargo de la Dirección de Gestión y Desempeño Institucional DGDI de Función Pública y se puede apoyar Comités Técnicos para el estudio de temas específicos, conformados por las mismas entidades líderes de político y otras entidades públicas que eventualmente tienen interés especial en los temas a tratar.

52

Con base en lo anterior, para efectos de la Operación Estadística, el Comité de Expertos que se conformará para contextualizar, analizar y validar la información estadística obtenida, estará integrado por los equipos técnicos de las entidades líderes de política, ya que son ellos quienes tienen el total conocimiento del alcance de: Los lineamientos de las políticas a su cargo La normativa que las regula y el ámbito de aplicación de cada política Los criterios diferenciales, en caso de que las políticas a su cargo cuenten con ellos Las preguntas utilizadas para la captura de datos Los índices de desempeño Los resultados obtenidos en mediciones anteriores y variación en el tiempo El ejercicio de contextualización, análisis y validación de la información con los expertos temáticos puede llevarse a cabo mediante mesas de trabajo presenciales o virtuales, o en su defecto, mediante la socialización por correo electrónico; en todo caso, se documentarán los resultados de estos ejercicios, y las observaciones presentadas se tendrán en cuenta para la difusión de los resultados.

2.4.4 Aprovechamiento del registro estadístico Como se indicó previamente, en el proceso de captura, procesamiento y análisis, el FURAG, como registro administrativo, es el instrumento por el cual se recolectan los datos para generar lo resultados de la MDI, la cual se constituye en el dispositivo estadístico empleado para hacer el aprovechamiento de dicho registro administrativo. Para el Departamento Administrativo de la Función Pública, es indispensable traducir de manera correcta y oportuna los datos capturados mediante el registro administrativo con el fin de garantizar una medición objetiva del desempeño institucional, en cada una de las políticas definidas, y de allí derivar las oportunidades de mejora. Esta fase de aprovechamiento estadístico del registro administrativo tiene generalmente el siguiente diseño:

1. Una vez recolectada la información, sea por medio de FURAG o de otra herramienta que alimente la base de datos de los registros administrativos (por ejemplo, SUIT), se valida la información en cuanto a coherencia y completitud. Cabe recordar que en la recolección de datos o fase del FURAG, no se transforman datos.

2. Validada la información, se transforman los datos obtenidos en variables de escala ordinal, para lo que se emplea la información de cada pregunta, la intención de la construcción y la definición de la asociación de los niveles de respuesta con el desempeño institucional. En general, la relación establece que a mayor valor del nivel cada variable ordinal, mayor debe ser el puntaje resultado de la medición del desempeño.

3. Una vez transformados los valores observados en variables de tipo ordinal, se cuantifica la información estadística de cada pregunta ajustando un Modelo de Respuesta Graduada.

4. Obtenida esta información y empleando el modelo, se obtiene el puntaje para cada entidad: parte fundamental del aprovechamiento estadístico, pues aquí se traduce finalmente el

53

conjunto de registros administrativos en valores cuantitativos que permiten establecer diferencias entre entidades y entre políticas.

Una vez superadas las cuatro fases descritas anteriormente, junto con sus respectivos análisis estadísticos de calidad descritos a lo largo de este documento, el valor estimado del puntaje debe conducir al aprovechamiento del registro administrativo mediante la oportunidad de establecer una comparación con el desempeño de años anteriores o posiblemente con entidades referentes, que finalmente convergen a generar un plan de mejora según los resultados obtenidos. Dichos resultados son difundidos entre todas las entidades objeto de medición, mediante los mecanismos que se describen en el siguiente punto.

2.5 Diseño de la Difusión

2.5.1 Plan de Difusión El esquema general que adelanta Función Pública para la difusión de estos a través de diversos canales es el siguiente: Diseñar la estrategia para la difusión de resultados de las entidades que reportan información a

través del FURAG Diseñar estructura de reportes de resultados de las entidades que reportan información a través

del FURAG Accesibilidad de reportes en línea Elaboración de análisis consolidados, sectoriales y departamentales Socialización de reportes en medios masivos Acompañamiento presencial en interpretación de resultados Estas actividades se plasman en la Estrategia de Difusión que hace parte del Plan General de la Operación Estadística (anexo 1).

2.5.2 Difusión y Socialización de Resultados Como se indicó en el punto 2.1.3 Alcance Temático, los aspectos temáticos objeto de la operación estadística se fundamentan en el esquema operativo del Modelo Integrado de Planeación y Gestión y de la estructura de controles y responsabilidades prevista en el Modelo Estándar de Control Interno. La MDI es una operación estadística que mide anualmente la gestión y desempeño de las entidades públicas, proporcionando información para la toma de decisiones en materia de gestión. Los principales resultados que se obtienen de esta operación corresponden al Índice de Desempeño Institucional y los otros índices mencionados previamente

54

Gráfico 3 - Estructura temática de los índices de desempeño institucional

Fuente: elaboración propia Estos resultados se socializan a las entidades públicas, al Gobierno Nacional y a la ciudadanía en general, para lo cual se diseña una Estrategia de Difusión que hace parte del Plan General de la Operación Estadística (anexo 1) en la que se describen los diversos mecanismos de socialización; en términos generales la socialización de los resultados de la operación estadística se lleva a cabo a través de los siguientes mecanismos:

• Visualizaciones interactivas Un primer elemento que permite materializar la estrategia de difusión se evidencia por medio de las visualizaciones en Power BI, las cuales permiten consultar los resultados por tipo de informe (MIPG o MECI) y el comparativo entre vigencias para alcaldías y gobernaciones, debido principalmente a los objetivos trazados en el Plan Nacional de Desarrollo (PND). D visualizaciones al igual que el material de apoyo que respalda la MDI se encuentra publicado en la página web del DAFP específicamente en el micrositio del Modelo Integrado de Planeación y Gestión en la sección de resultados de medición.

• Micrositio MIPG De acuerdo con el objetivo y las características propias de la MDI se publican los cuadros de salida (formato Excel) siguiendo la estructura definida en el diseño de los cuadros de salida y de manera coherente con respecto a la medición de la vigencia 2018, dado que mantienen una estructura similar. Garantizando que la desagregación se muestre de lo general a lo particular en lo que concierne al IDI, los índices por dimensiones, los índices por políticas y los índices desagregados. En este Micrositio también se encuentra un completo material de apoyo con la descripción de los principales aspectos para tener en cuenta para la lectura e interpretación de resultados, el cuestionario utilizado para la vigencia evaluada, la ficha metodológica de la operación estadística, además se puede acceder a los resultados históricos.

• Articulación a la Estrategia de Asesoría Integral Función Pública desde la vigencia 2016 ha venido ejecutando la Estrategia de Asesoría Integral, la cual busca que las entidades públicas tanto del orden nacional como territorial mejoren su desempeño institucional por medio del fortalecimiento y desarrollo de capacidades que hacen parte del portafolio de productos y servicios de Función Pública. En el marco de dicha estrategia, se definió una programación general donde se consideran los temas más solicitados por parte de las entidades y se proponen escenarios de capacitación abierta, que

https://app.powerbi.com/view?r=eyJrIjoiMTZiZDU5MTQtMjNjNi00OTczLTg0ZjktMzRkNTkyYzg3ODdkIiwidCI6IjU1MDNhYWMyLTdhMTUtNDZhZi1iNTIwLTJhNjc1YWQxZGYxNiIsImMiOjR9


55

permite dar cobertura amplia a nuestros grupos de valor, los mecanismos usados son presenciales y virtuales. Dentro de esta programación se encuentran: Capacitación sobre el reporte de información a través del Formulario Único de Reporte de Avance

a la Gestión FURAG. Difusión de los Resultados del Índice de Desempeño Institucional IDI. Capacitación en temas recurrentes producto de los resultados del IDI, como son control interno,

gestión del riesgo, procesos y procedimientos y otros relacionados con las políticas de gestión y desempeño.

Las sesiones presenciales se desarrollan en las instalaciones de Función Pública, con transmisión por Facebook Live, lo que permite una mayor cobertura, especialmente en las entidades del nivel territorial. De igual forma, a través de videoconferencias que se transmiten haciendo uso del sistema tecnológico del Servicio Nacional de Aprendizaje SENA, se desarrollan los mismos temas referidos en apartes anteriores, con el fin de extender estos procesos de capacitación a las regionales de todo el país que se conectan a la plataforma del SENA. Finalmente, acorde con los criterios de priorización definidos en la estrategia de Asesoría Integral, se programan y ejecutan mesas de trabajo específicas con las entidades tanto del orden nacional como territorial, con quienes se establecen productos específicos que apuntan al cierre de brechas acorde con los resultados del IDI. Cabe señalar, que como producto de la declaratoria de emergencia por el Covid-19, fue necesario ajustar la totalidad de la programación y migrar totalmente a medios virtuales. De este modo, para las capacitaciones y socializaciones masivas fue necesario acotar los temas y las sesiones se adelantan a través del canal institucional de Función Pública en YouTube. En cuanto a las mesas de trabajo específicas se utiliza Teams para las reuniones virtuales con las entidades priorizadas.

2.5.3 Administración del repositorio de datos Para la publicación los cuadros de salida de la información estadística, previa decisión de las instancias directivas, se cargan al administrador de contenidos del portal del DAFP previa validación con expertos temáticos de una previsualización de todo el contenido antes de la publicación oficial. Una vez publicado se envía una notificación a todas las entidades objeto de medición con el enlace respectivo, anexando las instrucciones para su descarga. La administración de la información en términos tecnológicos lo lidera la Oficina de Tecnologías de la Información, la cual se encarga de gestionar el almacenamiento y operatividad de la infraestructura que soporta el FURAG. El proceso de publicación de la medición del avance en la implementación de las políticas de gestión institucional inicia con la presentación a la alta dirección y líderes de política de los resultados obtenidos para posteriormente desarrollar acciones contempladas en el plan de difusión propuesto al

56

inicio de la vigencia, contado con el apoyo de la oficina de comunicaciones para garantiza su cobertura a nivel nacional por medio web y redes disponibles y con la Dirección de desempeño y gestión institucional implementar la estrategia de acompañamiento presencial en la interpretación de resultados

3. Evaluación y Mejora En esta fase, los mecanismos de seguimiento y control del proceso estadístico para la identificación de las dificultades que se presentan y las acciones desarrolladas para corregirlas, se distribuyen e implementan en varios actores que participan en esta operación estadística. En primera instancia, el nivel directivo del DAFP, el Consejo para la Gestión y el Desempeño Institucional y entidades líderes de política, orientan con una mirada estratégica, la estructura temática y metodológica de esta medición, así como, la identificación de los riesgos de la operación en cada fase y apoyan la formulación de los respectivos controles, los cuales son monitoreados mensualmente en el sistema de información estratégica del DAFP. En segunda instancia, como mecanismo de autoevaluación, la Dirección de Gestión y Desempeño Institucional de Función Pública, diseñó un mecanismo de monitoreo y seguimiento para las cinco fases del proceso estadístico a partir de indicadores de eficacia, de manera que se consideran todas las actividades efectuadas y propuestas por cada una de las fases así: (Suma de actividades (Empezada, Finalizada) /Total de actividades de la fase) *100

(∑ 𝛼 ∕ ∑ Α) × 100

En donde a es igual a las actividades propuestas por fase y A el total de actividades por fase. De manera que la unidad de medida es porcentual con tendencia ascendente. Cabe aclarar que cada una de las actividades por fase consta de productos asociados, un responsable y un control en donde se expresan las actividades como finalizadas, empezadas o sin empezar. Así mismo, la DGDI apoya el proceso de seguimiento a cada fase de la operación a través de mecanismos de consulta a usuario y recepción de peticiones quejas y reclamos para la formulación de acciones correctivas a las dificultades presentadas. Así mismo, en cada sesión de coordinación o en mesas de trabajo con los Líderes de política, se exponen las dudas de las entidades medidas y se formulan acciones correctivas para mejorar continuamente la eficacia, eficiencia y efectividad del proceso estadístico, En tercera instancia, la oficina de control interno adelanta auditorías internas a esta operación y sus observaciones son la base para formulación de planes de mejoramiento los cuales son monitoreados mensualmente en el sistema de información estratégica del DAFP.

57

4. Bibliografía Banco Interamericano de Desarrollo (BID) y Centro Latinoamericano de Administración para el Desarrollo (CLAD). 2007. Modelo Abierto de Gestión para Resultados en el Sector Público. Washington, D.C.: BID. Batista-Foguet. J.M., Coenders, G. and Alonso, J. (2004), Análisis Factorial Confirmatorio. Su Utilidad en la Validación de Cuestionarios Relacionados con la Salud, Medicina Clínica (2004): 122 (supl 1), 21-27. Bonnefoy, J. & Armijo, M. (2005). Indicadores de desempeño en el sector público, Instituto Latinoamericano y del Caribe de Planificación Económica y Social, Santiago de Chile. Departamento Nacional de Planeación (DNP). 2014. Guía Metodológica para el Seguimiento y la Evaluación a Políticas Públicas, Bogotá, D.C. EFQM, Shares what Works. Introducción al Modelo EFQM de Excelencia. Gobierno de España, Ministerio de la Presidencia - Agencia de Evaluación y Calidad. 2009. Guía de Evaluación Modelo EVAM. Modelo de Evaluación, Aprendizaje y Mejora. Golub, Gene H.; Welsch, John H. (1969), "Calculation of Gauss Quadrature Rules", Mathematics of Computation, 23 (106): 221–230 Harwell, M. R., Baker, F. B. & Zwarts, M. (1988), Item parameter estimation via marginal maximum likelihood and an EM algorithm: A didactic Journal of Educational and Behavioral Statistics. Hulin, C. L., Drasgow, F. & Parsons, C. K. (1983), Item response theory: Application to psychological measurement., Dow Jones-Irwin, Homewood, IL. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). 2005. CEPAL - Serie Manuales N° 45: Indicadores de desempeño en el sector público. Santiago de Chile. ____. 2011. CEPAL - Serie Manuales N° 69: Planeación Estratégica e Indicadores de desempeño en el sector público. Santiago de Chile Jöreskog, K. G. (1978). Structural analysis of covariance and correlation matrices. Psychometrika, 43:443-477. Kass, R. & Steffey, D. (1989), Approximate bayesian inference in conditionally independent hierarchical models (parametric empirical bayes models), Journal of the American Statistical Association 84(407), 717-726. King G. and Wand J. (2007), Comparing incomparable survey responses: Evaluating and selecting anchoring, Political Analysis, 15, 46-66 Kolen, Michael J., Brennan, Robert L. (2004) - Test Equating, Scaling, and Linking, Springer. Lord F.M. and Novick, M.R. (1968) Statistical Theories of Mental Test Scores. Addison-Wesley, Menlo Park. Lozano, L.M., Garcia-Cueto, E., & Muniz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. European Journal of Research Methods for the Behavioral and

58

Social Sciences, 4, 73-79. M. Córdoba-Perozo (2016), An application of plausible values to the standardized test scoring through simulation, Comunicaciones en Estadística: Vol. 9, No. 1, pp. 51-72. Organización para la Cooperación y el Desarrollo Económicos (OCDE). 2002. Glosario de términos sobre evaluación y gestión de la Organización para la Cooperación y Desarrollo Económicos. París: OCDE. ____. 2008. Handbook on Constructing Composite Indicators. Methodology and User Guide. Ospina Bozzi, S. (2000). Evaluación de la Gestión Pública: conceptos y aplicaciones en el caso Lationamericano. V Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Santo Domingo, República Dominicana. R.J. De Ayala (2009) - The Theory and Practice of Item Response Theory, New York: The Guilford Press. Rubin, DB (1987), Multiple Imputation for Nonresponse in Surveys, John Wiley & Sons, New York.

59

5. Anexos

1. Plan general de la operación estadística. 2. Documento técnico de captura y procesamiento de datos de la Medición del Desempeño

Institucional. 3. Plan de pruebas Medición del Desempeño Institucional. 4. Documento técnico de validación de tablas y generación de fichas temporales de validación. 5. Guía para la formulación de preguntas FURAG. 6. Matriz consolidada de políticas 7. Documento Trazabilidad del Cuestionario FURAG - Medición Vigencia 2019. 8. Programa de entrenamiento – proyecto de aprendizaje en equipo. 9. Especificaciones Estadística de la Medición del Desempeño Institucional

Estos anexos así como las evidencias de la puesta en práctica de cada una de las fases de la operación estadística, se encuentran almacenados en el archivo de gestión de la Dirección de Gestión y Desempeño Institucional del Departamento Administrativo de la Función Pública.

Conozca más detalles del


http://www.funcionpublica.gov.co/en/web/MIPG

documento metodológico mdi vigencia 2019

Documents