evaluaciÓn de consistencia y resultados del … · contenían los insumos requeridos para la...

57
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA PRESUPUESTARIO: FUERZA CIVIL PAE 2017

Upload: others

Post on 01-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL PROGRAMA

PRESUPUESTARIO:

FUERZA CIVIL

PAE 2017

Page 2: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

1

ÍNDICE

RESUMEN EJECUTIVO ........................................................................................................................................2

INTRODUCCIÓN .................................................................................................................................................3

DESCRIPCIÓN DEL TIPO DE EVALUACIÓN Y METODOLOGÍA UTILIZADA ...............................................................5

VALORACIÓN ORDINAL DEL PP...........................................................................................................................7

RESULTADOS OBSERVADOS EN EL ANÁLISIS ..................................................................................................... 34

PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS ....................................................... 35

RETOS Y RECOMENDACIONES .......................................................................................................................... 37

ASPECTOS SUSCEPTIBLES DE MEJORA .............................................................................................................. 39

CONCLUSIONES ............................................................................................................................................... 40

VALORACIÓN FINAL DEL PP .............................................................................................................................. 43

BIBLIOGRAFÍA .................................................................................................................................................. 44

ANEXOS ........................................................................................................................................................... 45

Page 3: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

2

RESUMEN EJECUTIVO En este documento se presenta la evaluación de Consistencia y Resultados del Programa Presupuestario Fuerza Civil para el ejercicio fiscal 2016 con la finalidad de proveer información que retroalimente su diseño, gestión y resultados, lo que permitirá: Analizar la lógica, congruencia en su diseño y su vinculación con la planeación estatal. Identificar si cuenta con instrumentos de planeación y orientación hacia resultados. Examinar si ha definido una estrategia de cobertura de mediano y de largo plazo. Analizar los principales procesos establecidos en la normatividad aplicable; así como los

sistemas de información con los que cuenta y sus mecanismos de rendición de cuentas. Identificar si cuenta con instrumentos que le permitan recabar información para medir el

grado de satisfacción de sus beneficiarios y sus resultados. Formular recomendaciones para la identificación de aspectos susceptibles de mejora que

permitan mejorar su desempeño. Por ello, esta evaluación se convierte en una importante herramienta para mejorar la asignación de recursos y la ampliación del beneficio social del Programa. La evaluación cuenta con un total de 24 preguntas, divididas en 6 temas: i) diseño, ii) planeación y orientación a resultados, iii) cobertura y focalización, iv) operación, v) percepción de la población atendida, vi) medición de los resultados. Del total de preguntas, 8 se contestan de forma abierta y 16 de forma cerrada. Las preguntas cerradas están sujetas a una valoración cualitativa ordinal, en una escala del 0 al 4, por lo que en cada tema se obtiene un puntaje. El análisis realizado con la evidencia documental enviada por el Ente Público ejecutor del Programa se concluye que las actividades y los componentes que realiza el Programa presupuestario se encuentran alineados con los bienes y servicios que se establecen con la normatividad aplicable. La relevancia de los objetivos del Programa y la pertinencia de los indicadores de fin y propósito revelan que, Fuerza Civil de la Secretaría de Seguridad Pública del Estado de Nuevo León, es benéfico y debe continuar operando en los años subsecuentes. De contar con mayores recursos y la certeza de que el presupuesto se irá incrementando en los próximos años, el Programa estaría en condiciones de asumir el compromiso de alcanzar metas más altas en cobertura. La valoración de consistencia y resultados final que obtiene el Programa presupuestario Fuerza Civil es de 2.43 respecto a 4.00 puntos posibles.

Page 4: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

3

INTRODUCCIÓN El presente informe se realiza en atención a los Términos de Referencia (TdR)1 establecidos por el Gobierno del Estado de Nuevo León, a través de la Secretaría de Finanzas y Tesorería General del Estado, con base en los Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del PpR y el SED2 para la evaluación de Consistencia y Resultados del Programa Fuerza Civil señalado en el Programa Anual de Evaluación (PAE) 2017.3 El Programa presupuestario (Pp) tiene su origen y destino en la ciudadanía, a la que protegerá, servirá y con quienes se articulará en acciones recíprocas. En la Monografía del Programa4 se indica que el objetivo del Pp es conformar y consolidar en su totalidad, el nuevo modelo de organización policial que brinde mayor seguridad y confianza a la ciudadanía mediante la evaluación de los elementos policiacos y la contratación de nuevos policías, mejor evaluados, capacitados y equipados, y con la incorporación de elementos científicos en el proceso de investigación de delitos, con información confiable y oportuna. El Pp está vinculado al Plan Estatal de Desarrollo (PED) 2010-2015 del estado de Nuevo León5, en el eje rector «Seguridad Integral», Específicamente en correlación con el objetivo: «crear un nuevo modelo de organización policial y la profesionalización de los cuerpos de policía». En la Monografía del Pp se define a la población potencial y objetivo como todos los ciudadanos del estado de Nuevo León. Mientras que la población atendida es aquella que realice llamadas de auxilio y también quienes habiten en las zonas norte, sur y poniente del municipio de Monterrey y el resto de los municipios del Área Metropolitana. El Pp utiliza dos tipos de focalización. Por una parte procesos de “Autofocalización”, que están relacionados con programas abiertos a toda la población, aun cuando estos puede estar diseñados de tal manera que su aceptación sea mayor entre los pobres. Para este tipo de focalización la unidad de evaluación es individual y las principales ventajas que ofrece son: bajos costos de administración y el hecho de tener posibilidades relativamente bajas de generar incentivos perversos. Por otra parte, el

1 Secretaría de Finanzas y Tesorería General del Estado de Nuevo León (2017). Términos de Referencia para la Evaluación de Consistencia y Resultados. Programas Presupuestarios. 2 Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2017). Periódico Oficial. Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultados (Ppr) y el Sistema de Evaluación del Desempeño (SED). 3 Secretaría de Finanzas y Tesorería General del Estado de Nuevo León (2017). Programa Anual de Evaluaciones para el ejercicio fiscal 2017. 4 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil 5 Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2010). Plan Estatal de Desarrollo 2010-2015. http://www.nl.gob.mx/publicaciones/plan-estatal-de-desarrollo-2010-2015

Page 5: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

4

programa representa un caso de la denominada “Focalización Demográfica”, un método en que la elegibilidad está determinada por el género, la edad y otras características demográficas. Las razones por las que el programa se caracteriza por este tipo de focalización es que las zonas seleccionadas para realizar las labores de patrullaje se seleccionan con base en criterios que permiten detectar zonas que representan focos de inseguridad. Es importante agregar que la unidad de evaluación en este caso es individual y que las principales ventajas son: que es un método sencillo de administrar y no crea “estigmas” en los individuos beneficiados. Objetivo General y Específicos Evaluar la consistencia y orientación a resultados del Pp Fuerza Civil para el ejercicio fiscal 2016 con la finalidad de proveer información que retroalimente su diseño, gestión y resultados, lo cual se logrará a través del cumplimiento de los siguientes objetivos específicos: Analizar la lógica y congruencia en su diseño y su vinculación con la planeación estatal; Identificar si cuenta con instrumentos de planeación y orientación hacia resultados; Examinar si ha definido una estrategia de cobertura de mediano y de largo plazo; Analizar los principales procesos establecidos en la normatividad aplicable; así como los

sistemas de información con los que cuenta y sus mecanismos de rendición de cuentas; Identificar si cuenta con instrumentos que le permitan recabar información para medir el

grado de satisfacción de sus beneficiarios y sus resultados; y Formular recomendaciones para la identificación de aspectos susceptibles de mejora que

permitan mejorar su desempeño.

Page 6: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

5

DESCRIPCIÓN DEL TIPO DE EVALUACIÓN Y METODOLOGÍA UTILIZADA La evaluación de Consistencia y Resultados tiene la finalidad de proveer información que retroalimente el diseño, planeación y orientación a resultados, cobertura y focalización, operación, percepción de la población atendida y la medición de resultados de los Pp. Los resultados de esta evaluación permiten generar información útil, rigurosa y homogénea para el Ente Público Estatal encargado de la operación del programa, de tal forma que contribuya a mejorar la toma de decisiones a nivel directivo; esto es, a nivel estratégico y con ello, mejorar la Gestión por Resultados en Nuevo León. Con la ejecución de esta evaluación externa, se da cumplimiento a los mandatos de ley para la evaluación de los recursos públicos con base en los resultados finales esperados. Para la presente evaluación, se consideran los Términos de Referencia (TdR) para la Evaluación de Consistencia y Resultados para programas presupuestarios, que se encuentran señalados en el Programa Anual de Evaluación 2017. Los Términos se basan en la metodología del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). Sin embargo, esta metodología ha sufrido ciertas modificaciones y adecuaciones de acuerdo con las necesidades de información que requiere el Gobierno del Estado de Nuevo León para mejorar la toma de decisiones y la gestión por resultados. La metodología se basa en un análisis de gabinete, el cual consiste en la recopilación, revisión y valoración de la documentación pertinente para realizar la evaluación. Particularmente, los Términos señalan un total de 24 preguntas, que abarcan los temas de diseño, planeación y orientación a resultados, cobertura y focalización, operación, percepción de la población atendida, y medición de resultados. Del total de 24 preguntas, 8 deben ser contestadas de forma abierta, y 16 de forma cerrada. Estas últimas, están sujetas a una valoración cualitativa ordinal, la cual, atendiendo las condiciones mínimas a cumplir, varia de 0 (cero) a 4 (cuatro), donde 0 implica una valoración negativa, en tanto que no se tiene o se presentó evidencia del punto, y los niveles 1 al 4, una valoración positiva, con distintos niveles de cumplimiento, siendo 4 la mayor valoración posible al haberse cumplido satisfactoriamente con lo solicitado para su valoración. Con tal de llevar a cabo del proceso de evaluación, se mantuvo una reunión inicial, coordinada por la Unidad Técnica de Monitoreo y Evaluación del Desempeño (UTME) de la Secretaría de Finanzas y Tesorería General del Estado, con el objetivo de socializar este proceso con enlaces de la instancia encargada del programa presupuestario. Posteriormente, se recibió, por parte de la misma Unidad, las bitácoras de información digital recopilada por la instancia encargada del programa, y que contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de información. Con base en dichos insumos, se elaboró un informe preliminar, cuyo contenido abarcaba las preguntas 1 a 12. Los resultados de este primer informe preliminar fueron socializados con la

Page 7: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

6

UTME y enlaces de la instancia a cargo del programa presupuestario, con tal de identificar la necesidad de alcances o insumos adicionales que permitieran ampliar o completar la información requerida para la evaluación. Este proceso se repitió para la entrega de un segundo informe preliminar, el cual incluía las preguntas 13 a 24 y cuyos resultados se dieron a conocer, de la misma manera, en una sesión de socialización. Finalmente, tras la recepción de alcances e información adicional, recabada por la instancia encargada del programa y enviada por la UTME, se prosiguió a la elaboración del informe final, el cual incluye, además de la valoración a las 24 preguntas, el resto de apartados que configuran el presente documento.

Page 8: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

7

VALORACIÓN ORDINAL DEL PP

TEMA I. DISEÑO

1. El problema, necesidad o función de gobierno que busca resolver o atender el Pp está identificado en un documento que cuente con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede

ser revertida. b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización.

Clasificación

Ordinal Valoración de la respuesta

3 SI

El Pp tiene identificado el problema o necesidad que busca resolver y el problema cumple con dos de las características establecidas en la pregunta.

La Monografía del Programa6 formula el problema a resolver como un hecho negativo: «la falta de vigilancia y de respuesta ante focos de inseguridad y situaciones de emergencia». Dicho problema no considera diferencias entre hombres y mujeres, lo cual es idóneo debido a que ambos géneros deben ser atendidos de la mejor manera sin distinción de ningún tipo. La Monografía del Programa indica que la población potencial y la población objetivo son todos los ciudadanos del estado de Nuevo León. Mientras que la población atendida es aquella que realice llamadas de auxilio y también quienes habiten en las zonas norte, sur y poniente del municipio de Monterrey y el resto de los municipios del Área Metropolitana. Se recomienda especificar el plazo para la revisión y actualización del problema en la Monografía del Programa con el fin de obtener información más útil y actual. El equipo evaluador recomienda realizar esta actividad anualmente.

6 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 9: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

8

2. Existe un diagnóstico del problema que atiende el Pp que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación y características de la población que presenta el problema. c) Ubicación territorial de la población que presenta el problema. d) El plazo para su revisión y actualización.

Clasificación

Ordinal Valoración de la respuesta

3

SI El Pp cuenta con documentos, información y/o evidencias que le permiten conocer la situación del problema que pretende atender, y el diagnóstico cumple con dos de las características establecidas en la pregunta.

La Secretaría de Seguridad Pública elaboró la Monografía del Pp7 en donde se incluyen las principales causas del problema:

• Demanda básica de la comunidad de contar con la seguridad física y patrimonial. • Necesidad de reestructurar la operación y el funcionamiento de la corporación policial. • Falta de capacidad para realizar vigilancia y monitoreo de zonas y sectores inseguros. • Falta de capacidad para atender emergencias de seguridad.

Asimismo, la Monografía enlista los siguientes efectos del problema:

• La sociedad pierde la confianza en la autoridad y se siente vulnerable ante los delincuentes. • Descontento ciudadano con los servicios ofrecidos por el gobierno. • Se reducen los ingresos provenientes del turismo. • Disminuye el flujo de inversión. • Deterioro del bienestar de los ciudadanos del estado.

Las principales características del problema son:

• Influye directamente en el bienestar de las personas, afectando negativamente el contexto social y territorial en el que se desarrollan las capacidades individuales.

• Disminuye la actividad económica en la entidad.

7 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 10: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

9

La población que ha sido atendida es aquella que realice llamadas de auxilio y también quienes habiten en las zonas norte, sur y poniente del municipio de Monterrey y el resto de los municipios del Área Metropolitana. La población que presenta el problema es la que reside en el Estado de Nuevo León. En la Monografía no se específica un plazo para su revisión y actualización periódica, por lo que el equipo evaluador recomienda llevar a cabo esta actividad, por lo menos, cada año. Además, también se recomienda cuantificar a las personas que han sido ayudadas por el Pp y agregarlas a la Monografía.

Page 11: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

10

3. ¿Con cuáles metas y objetivos, así como estrategias transversales del PED vigente está vinculado el objetivo del Pp?

El Pp está vinculado al Plan Estatal de Desarrollo (PED) 2010-2015 del estado de Nuevo León8 en el eje rector «Seguridad Integral». Específicamente en correlación con el objetivo: «crear un nuevo modelo de organización policial y la profesionalización de los cuerpos de policía». Asimismo, al basarse en actividades de capacitación especializada, reclutamiento y equipamiento institucional y personal, el Programa se encuentra directamente relacionado con las siguientes líneas de acción del PED 2010-2015:

• Privilegiar la integración de esfuerzos, a través de un esquema de coordinación operativa única, que permita establecer una comunicación directa, ágil y permanente con las instituciones federales, estatales y municipales.

• Crear una policía científica para realizar labores de investigación y acrecentar la efectividad de la lucha contra la delincuencia.

• Incrementar la presencia de la autoridad, por medio de la redistribución y concentración estratégica del personal de seguridad pública, en lugares de alta incidencia delictiva.

• Adecuar el marco normativo estatal de la función policial para que sustente la actuación de las corporaciones y la adapte a las nuevas características de la delincuencia.

• Fortalecer el proceso de selección y contratación de servidores públicos, definiendo estrictos criterios de ingreso, permanencia, escalafón y egreso de personal.

• Dotar de armamento adecuado y capacitar a los cuerpos policiales en su uso.

8 Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2010). Plan Estatal de Desarrollo 2010-2015. http://www.nl.gob.mx/publicaciones/plan-estatal-de-desarrollo-2010-2015

Page 12: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

11

4. Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación y fuentes de información. d) Se define un plazo para su revisión y actualización.

Clasificación

Ordinal Valoración de la respuesta

2 SI

El programa tiene definidas las poblaciones (potencial y objetivo), y las definiciones cumplen con al menos una de las características establecidas

De acuerdo con lo establecido en la Monografía del Programa9 la población potencial y la población objetivo se definen como «los ciudadanos de Nuevo León». En dicho documento se determina que la unidad de medida es la persona, sin embargo, no se establece una metodología que permita la cuantificación de las poblaciones potencial y objetivo. Además, no se define un plazo para la revisión y actualización de las poblaciones, por lo que se recomienda realizar dichas actividades por lo menos cada año.

9 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 13: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

12

5. Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que:

a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada e incluya una clave única de identificación por beneficiario que no cambie

en el tiempo. d) Cuente con mecanismos documentados para su depuración y actualización.

No aplica.

Debido a la naturaleza del Programa, no es posible contar con un padrón de beneficiaros ya que no se entregan apoyos monetarios o en especie, sino que se realizan diversas actividades como evaluar a los elementos policiacos, contratar nuevos policías e incorporar elementos científicos en el proceso de investigación de delitos.

Page 14: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

13

6. Las fichas técnicas de los indicadores del programa cuentan con la siguiente información: a) Nombre. b) Definición. c) Método de cálculo. d) Unidad de Medida. e) Frecuencia de Medición. f) Línea base. g) Metas. h) Comportamiento del indicador (ascendente, descendente).

Clasificación

Ordinal Valoración de la respuesta

3 SI

Del 70% al 85% de las fichas técnicas de los indicadores del programa tienen las características establecidas.

Las fichas técnicas de los indicadores10 del Pp cuentan con la mayoría de las características establecidas. Se proporciona la definición, el nombre del indicador, así como también la línea base y las metas. En la sección de datos del indicador se encuentra la unidad de medida, el tipo de fórmula, dimensión del indicador, tipo de indicador, frecuencia de medición y el comportamiento del indicador. Además, se presenta una descripción de las variables utilizadas en la fórmula. Se proporciona datos de identificación de las variables y las fuentes de información. Se recomienda añadir las fichas técnicas de las actividades ya que sólo se presentan las fichas técnicas para Fin, Propósito y los Componentes. En el anexo 2 se incluye el resultado del análisis de cada ficha técnica de los indicadores de la MIR con respecto a las propiedades señaladas en la pregunta.

10 Secretaría de Finanzas y Tesorería General del Estado (2016), Ficha Técnica de Indicadores, Programas Presupuestarios.

Page 15: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

14

7. Las metas de los indicadores de la MIR del programa tienen las siguientes características: a) Cuentan con una unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los

que cuenta el programa.

Clasificación Ordinal

Valoración de la respuesta

3 SI

Del 70% al 84% de las metas de los indicadores del programa tienen las características establecidas.

A pesar de que la dependencia evaluada no entregó evidencia de fichas técnicas de indicadores para el ejercicio fiscal 2016, en el Reporte de Avance Físico-Financiero11 del último trimestre del mismo año se puede observar que las metas cuentan con una unidad de medida, y los indicadores de la MIR contienen metas anuales y trimestrales. Las metas planteadas en los indicadores reflejan la contribución del programa a una fuerza de seguridad eficaz en la reacción operativa mediante Fuerza Civil. Además, se identifica que los componentes y actividades no contribuyen en su totalidad al logro del propósito y el fin. De acuerdo con la información disponible y las reuniones con los responsables del programa se identifica que la Unidad Responsable realiza esfuerzos importantes para cumplir con los plazos y alcanzar las metas, considerando los recursos humanos y financieros que dispone. En el anexo 3 se incluye el resultado del análisis de cada meta de los indicadores de la MIR con respecto a las propiedades señaladas en la pregunta.

11 Secretaría de Finanzas y Tesorería General del Estado (2016). Avances Físico y Financiero de los Programas Presupuestarios. Cuarto Trimestre 2016.

Page 16: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

15

TEMA II. PLANEACIÓN Y ORIENTACIÓN A RESULTADOS 8. La Unidad Responsable del Pp cuenta con un plan estratégico con las siguientes características:

a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento establecido en un documento.

b) Contempla el mediano y/o largo plazo. c) Establece los resultados que quieren alcanzar, es decir, el Fin y Propósito del programa. d) Cuenta con indicadores para medir los avances en el logro de sus resultados.

Clasificación Ordinal

Valoración de la respuesta

3 SI El plan estratégico tiene tres de las características establecidas.

El Programa cuenta con un documento estratégico, la Monografía12, dado que en ella se contempla información relevante para la operación del Pp, y contiene los siguientes elementos: 1) antecedentes y generalidades del Programa; 2) población a la que está dirigido; 3) métodos de focalización; 4) identificación de enfoques transversales; 5) vinculación a la planeación estratégica; 6) marco normativo; 7) estructura orgánica y programática de la dependencia; 8) análisis de los involucrados de la problemática y objetivos; 9) matriz de marco lógico y; 10) datos e información relevante del Programa. Dicho documento es producto de un ejercicio de planeación institucionalizada coordinado por la Institución Policial Estatal Fuerza Civil con base en los objetivos y estrategias del PED 2010-2015 y los del mismo Programa. Por su parte, en el mismo documento se establece como fin del Programa «contribuir a una fuerza de seguridad eficaz en la reacción operativa mediante Fuerza Civil». De igual forma el propósito del Programa es «los ciudadanos del Estado de Nuevo León cuenten con una policía ciudadana confiable, capaz de restablecer y fortalecer la tranquilidad y la fuerza de la sociedad». Asimismo, se establecen los indicadores para medir los avances en el logro de los resultados del Pp. El Programa no contempla un análisis de la problemática a mediano y/o largo plazo, por lo que se recomienda realizar proyecciones de la población potencial y objetivo hasta el año 2030.

12 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 17: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

16

9. El Pp utiliza informes de evaluaciones externas: a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios

al programa son los resultados de evaluaciones externas. b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento. c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados. d) De manera consensada participa personal de la unidad de planeación y/o evaluación.

Clasificación

Ordinal Valoración de la respuesta

4 SI

El Pp utiliza informes de evaluación externa y tiene todas las características establecidas en la pregunta.

Se cuenta con una evaluación externa13 en el marco del Programa Anual de Evaluación 2014. Dicho documento establece una serie de aspectos susceptibles de mejora (ASM) para el Pp, los cuales deben atendidos oportunamente por parte del personal de la dependencia. La evaluación externa sigue un procedimiento institucionalizado para integrar los ASM oportunamente en la operación del programa mediante un documento de su seguimiento14. En dicho documento se establece de manera clara y completa todos los ASM detectados en evaluaciones, su estatus de implementación y consideraciones adicionales que permitan evaluar de manera integral las modificaciones a realizar en el Programa.

13 Evaluación Socioeconómica de Programas y Proyectos, S.C. (2014). Evaluación de la Matriz de Indicadores para Resultados del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/evalaucion_mir_e0134fuerza_civil.pdf 14 Secretaría de Seguridad Pública (2015). Seguimiento a Aspectos Susceptibles de Mejora Clasificados como Específicos, Derivados de la Evaluación Externa. Documento de Trabajo del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/28._e0134_-_fuerza_civil_1.pdf

Page 18: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

17

10. Del total de los ASM de los últimos tres años, ¿qué porcentaje han sido solventados de acuerdo con lo establecido en los documentos de trabajo?

Clasificación

Ordinal Valoración de la respuesta

3 SI

Del 70 al 84% del total de los ASM se han solventado y las acciones de mejora están siendo implementadas de acuerdo con lo establecido en los documentos de trabajo.

Como se mencionó en la pregunta anterior, el Programa ha sido objeto de una evaluación externa: evaluación de la Matriz de Indicadores para Resultados en 2014. Derivado de ésta se obtuvieron recomendaciones por parte del equipo evaluador, las cuales son valoradas por las áreas involucradas en el diseño, implementación, monitoreo y evaluación del Programa, lo que les permite definir acciones factibles, encaminadas a mejorar diferentes aspectos del Pp. El Programa registró siete ASM derivados de la evaluación de la MIR, estableciendo plazo de cumplimiento máximo al mes de febrero de 2015. De acuerdo con el Documento de Trabajo, cinco de los ASM se habían cubierto al 100%, en uno se tenía avance del 78 por ciento, mientras que uno no fue solucionado.15 15 Secretaría de Seguridad Pública (2015). Seguimiento a Aspectos Susceptibles de Mejora Clasificados como Específicos, Derivados de la Evaluación Externa. Documento de Trabajo del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/28._e0134_-_fuerza_civil_1.pdf

Page 19: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

18

11. El Pp recolecta información para monitorear su desempeño con las siguientes características: a) Es oportuna. b) Es confiable, es decir, se cuenta con un mecanismo de validación. c) Está sistematizada. d) Es pertinente respecto de su gestión, es decir, permite medir los indicadores de Actividades

y Componentes. e) Está actualizada y disponible para dar seguimiento de manera permanente.

Clasificación

Ordinal Valoración de la respuesta

3 SI

La información que recolecta el Pp cuenta con cuatro de las características establecidas.

El Programa recolecta información para monitorear su desempeño de manera oportuna y confiable. Se considera que es oportuna pues la periodicidad con la que se actualiza e informa es trimestral, a través de los Reportes de Avance Físico-Financiero16, los cuales estaban sistematizados en el SIPPPRES (Sistema de Planeación, Programación y Presupuesto y Rendición de Cuentas del Estado), sin embargo la información no está disponible para dar seguimiento debido a que el sistema actualmente no se encuentra en funcionamiento.; mientras que es confiable debido a que está validada por el personal del Programa que integra la información y por la Secretaría de Finanzas y Tesorería General del Estado. Respecto a la medición de los indicadores a nivel de actividades y componentes, la información es pertinente respecto a su gestión; sin embargo, el Reporte de Avance Físico-Financiero 2016 únicamente incluye los indicadores a nivel componente de la MIR, la cual está actualizada y disponible para dar seguimiento de manera permanente, ya que contiene la información más reciente de acuerdo con la periodicidad establecida para cada tipo de información. Como parte de la estrategia que el Gobierno del Estado ha llevado a cabo para la consolidación del PpR-SED en Nuevo León, la Secretaría de Finanzas y Tesorería General del Estado, en conjunto con la Oficina de las Naciones Unidas Contra la Droga y el Delito, iniciaron este año el proceso de análisis, diseño e implementación de un sistema informático que permitirá, entre otras cosas, monitorear el desempeño de todos los Pp de la Administración Pública Estatal.

16 Secretaría de Finanzas y Tesorería General del Estado (2015). Reporte de Avance Físico-Financiero de los Programas Presupuestarios, Segundo Trimestre 2015. http://www.nl.gob.mx/programas/coordinacion-integral-de-control-comando-comunicaciones-y-computo-para-la-seguridad

Page 20: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

19

TEMA III. COBERTURA Y FOCALIZACIÓN 12. El Pp cuenta con una estrategia de cobertura documentada para atender a su población

objetivo con las siguientes características: a) Incluye la definición de la población objetivo. b) Especifica metas de cobertura anual. c) Abarca un horizonte de mediano y largo plazo. d) Es congruente con el diseño y el diagnóstico del programa.

Clasificación

Ordinal Valoración de la respuesta

0

NO El Pp no cuenta con una estrategia de cobertura documentada para atender a su población objetivo o la estrategia no cuenta con al menos una de las características establecidas en la pregunta.

El Programa no cuenta con un documento de planeación en el que se defina la estrategia de cobertura para atender a su población objetivo.

Page 21: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

20

13. ¿El Pp cuenta con mecanismos para identificar su población potencial y objetivo? En caso de contar con estos, especifique cuáles y qué información utiliza para hacerlo.

El Programa determina a su población objetivo definida como «los ciudadanos de Nuevo León» por un tema geográfico más que por un mecanismo o una metodología de sustento estadístico. En la Monografía del Programa17 se indica que, para el caso de este Pp, son dos los tipos de focalización aplicables. El primero está basado en los denominados procesos de “autofocalización”, que están relacionados con programas abiertos a toda la población, aun cuando éstos pueden estar diseñados de tal manera que su aceptación sea mayor entre la población en situación de pobreza. Para este método de focalización la unidad de evaluación es individual y las principales ventajas que ofrece son: bajos costos de administración y el hecho de tener posibilidades relativamente bajas de generar incentivos perversos. El segundo representa un caso de la denominada “focalización demográfica”, un método en que la elegibilidad está determinada por el género, la edad y otras características demográficas. Las razones por las que el programa se caracteriza por este tipo de focalización es que las zonas seleccionadas para realizar las labores de patrullaje se seleccionan con base en criterios que permiten detectar zonas que representan focos de inseguridad. La unidad de evaluación en este caso es individual.

17 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 22: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

21

14. A partir de las definiciones de la población potencial, la población objetivo y la población atendida, ¿cuál ha sido la cobertura del Pp?

Como se mencionó anteriormente, la población potencial y la población objetivo se definen como «los ciudadanos de Nuevo León», mientras que la población atendida la comprenden «los ciudadanos que han realizado llamadas de auxilio y también quienes viven en las zonas norte, sur y poniente del municipio de Monterrey y el resto de los municipios del área metropolitana». Debido a la naturaleza del Programa no se presenta una segmentación específica en cuanto a los tipos de beneficiarios, en el sentido de que se atienda a grupos concretos. La dependencia no presentó información sobre la cobertura del Pp.

Page 23: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

22

TEMA IV. OPERACIÓN

15. Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los bienes y los servicios (es decir los componentes del programa), así como los procesos clave en la operación del programa.

De acuerdo con el diagrama de flujo proporcionado por la dependencia evaluada en el documento Protocolo Nacional de Actuación18, el proceso general es el siguiente:

• Entrada: La noticia criminal puede ser de tres formas, ya sea en una denuncia; en la localización, descubrimiento o aportación de indicios; o en flagrancia.

• Proceso: Dependiendo de la entrada, se siguen ciertos procedimientos, entre los cuales destacan de manera general la corroboración de hechos, atención a víctimas u ofendidos, preservación del lugar de los hechos, actos de investigación y detención.

• Salida: Por último, se pone a disposición ante el Ministerio Público.

Cabe mencionar que los procesos clave coinciden con las actividades de la MIR. El diagrama con información sobre la operación del Pp se encuentra en el anexo 6.

18 Consejo Nacional de Seguridad Pública. Primer Respondiente, Protocolo Nacional de Actuación.

Page 24: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

23

16. Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características:

a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. b) Están sistematizados. c) Están difundidos públicamente. d) Están apegados al documento normativo del Pp.

No aplica. Como se mencionó en la pregunta 5, el Programa no entrega apoyos monetarios o en especie.

Page 25: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

24

17. ¿Cuáles son las fuentes de financiamiento para la operación del Pp y qué proporción del presupuesto total del programa representa cada una de las fuentes?

La fuente de financiamiento para la operación del Programa proviene del Ramo 33 Aportaciones Federales para Entidades Federativas y Municipios, específicamente del Fondo de Aportaciones para la Seguridad Púbica (FASP). De acuerdo con la Ley de Egresos19 y la Cuenta Pública Anual del Estado de Nuevo León20, en 2016 la asignación presupuestal para el Pp fue de $1,415,663,061.

Programa Presupuestal

Aprobado Modificado Devengado Pagado Subejercicio

Fuerza Civil $1,415,663,061. $1,601,101,966 $1,546,414,687 $1,416,176,504 $54,687,278

19 Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2015). Periódico Oficial. Tomo CLII, núm. 165, pág. 3-276. Ley de Egresos del Estado de Nuevo León para el ejercicio fiscal 2016. http://sgi.nl.gob.mx/Transparencia_2015/Archivos/AC_0001_0007_00142898_000006.pdf 20 Secretaría de Finanzas y Tesorería General del Estado. Dirección de Contabilidad. (2017). Cuenta Pública Anual 2016. http://sgi.nl.gob.mx/Transparencia_2015/Archivos/SFyTGE_0006_0001_2016_A00_000002.pdf

Page 26: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

25

18. ¿Cuál es el avance de los indicadores de servicios y de gestión (actividades y componentes) y de resultados (fin y propósito) de la MIR del Pp respecto de sus metas?

De acuerdo con los indicadores de resultados contenidos en la Cuenta Pública Anual 201621, el indicador de fin -Porcentaje del número de delitos en verde en el semáforo del delito- tuvo un avance del 40%. En cuanto a nivel de propósito, -Porcentaje de ciudadanos en el Estado que confían en Fuerza Civil- se reportó un 19.50% de avance en su indicador trimestral. Nivel de objetivo Nombre del indicador Avance Componente 1 Reducción del índice delictivo. 71.5% Componente 2 Crecimiento de operativos

realizados. 1212.36%

En el anexo 7 se presenta la valoración por nivel de objetivo respecto al avance de los indicadores para el ejercicio fiscal 2016.

21 Secretaría de Finanzas y Tesorería General del Estado. Dirección de Contabilidad. (2017). Cuenta Pública Anual 2016. http://sgi.nl.gob.mx/Transparencia_2015/Archivos/SFyTGE_0006_0001_2016_A00_000002.pdf

Page 27: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

26

19. El Pp cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes características:

a) Las ROP o documento normativo están actualizados y son públicos, esto es, disponibles en la página electrónica.

b) Los resultados principales del programa, así como la información para monitorear su desempeño, están actualizados y son públicos, son difundidos en la página.

c) Se cuenta con procedimientos para recibir y dar trámite a las solicitudes de acceso a la información acorde a lo establecido en la normatividad aplicable.

d) La dependencia o entidad que opera el Programa propicia la participación ciudadana en la toma de decisiones públicas y a su vez genera las condiciones que permitan que ésta permee en los términos que señala la normatividad aplicable.

Clasificación Ordinal

Valoración de la respuesta

2 SI

Los mecanismos de transparencia y rendición de cuentas tienen dos de las características establecidas.

Aunque en el Portal del Gobierno del Estado en el apartado del Programa22 se enlista una serie de documentos normativos, no se encuentran disponibles para visualizarlos o bien descargarlos desde el portal:

• Constitución Política de los Estados Unidos Mexicanos. • Constitución Política del Estado Libre y Soberano de Nuevo León. • Ley Orgánica de la Administración Pública para el Estado de Nuevo León. • Ley de Seguridad Pública para el Estado de Nuevo León. • Reglamento interior de la Secretaría de Seguridad Pública. • Ley de la Institución Policial Estatal Fuerza Civil

Los resultados de las evaluaciones externas practicadas al Pp se pueden consultar en el Portal del Gobierno del Estado en el apartado de Programas. Los resultados principales, así como la información para monitorear el desempeño del Pp, son públicos, pero no se encuentran actualizados, ya que los Reportes de Avance Físico-Financiero sólo se encuentran publicados del tercer trimestre de 2014 al segundo trimestre de 2015.

22 http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 28: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

27

El Programa cuenta con un teléfono y correo electrónico con el fin el informar y orientar a las personas beneficiarias y al público en general; los mismos están disponibles en Portal del Gobierno del Estado en el apartado de Programas. Por otro lado, la dependencia que opera el Programa no mostró evidencia que permita concluir si propicia la participación ciudadana en la toma de decisiones públicas.

Page 29: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

28

TEMA V. PERCEPCIÓN DE LA POBLACIÓN ATENDIDA

20. El Pp cuenta con instrumentos para medir el grado de satisfacción de su población atendida con

las siguientes características: a) Su aplicación se realiza de manera que no se induzcan las respuestas. b) Corresponden a las características de sus beneficiarios. c) Los resultados que arrojan son representativos.

Clasificación Ordinal

Valoración de la respuesta

0 NO

El programa no cuenta con instrumentos para medir el grado de satisfacción de su población atendida.

La dependencia responsable del Programa no presenta evidencia de instrumentos para medir el grado de satisfacción de su población atendida, por lo que se recomienda que se elabore un instrumento que capte las características mencionadas en la pregunta.

Page 30: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

29

TEMA VI. MEDICIÓN DE RESULTADOS

21. ¿Cómo documenta el programa sus resultados a nivel de fin y de propósito? a) Con indicadores de la MIR. b) Con hallazgos de estudios o evaluaciones que no son de impacto. c) Con información de estudios o evaluaciones rigurosas nacionales o internacionales que

muestran el impacto de programas similares. d) Con hallazgos de evaluaciones de impacto.

El Programa documenta sus resultados a nivel de fin y de propósito con indicadores de la MIR, la cual funge como herramienta de planeación que establece con claridad los objetivos del Pp, incorporando los indicadores que miden dichos objetivos y los resultados esperados e identificando los medios para obtener y verificar la información de los indicadores. En la MIR que se encuentra detallada en la Monografía del Programa23, el fin expuesto es <<contribuir a una fuerza de seguridad eficaz en la reacción operativa mediante Fuerza Civil≫, el cual no está definido como un objetivo superior al que el Programa contribuye, como por ejemplo “reducción de la incidencia delictiva estatal”. Además, se deriva en el indicador <<número de delitos en verde en el semáforo del delito>>, el cual no es un indicador estratégico adecuado para medir el logro del Fin. Mientras que el propósito del Pp es definido como <<los ciudadanos del Estado de Nuevo León cuentan con una policía ciudadana confiable, capaz de restablecer y fortalecer la tranquilidad y la fuerza de la sociedad>>, con el indicador <<confianza ciudadana en Fuerza Civil>>. El Pp documenta también sus resultados con hallazgos de la evaluación de diseño de la MIR en 2014 como se mencionó anteriormente. Se recomienda someter al Programa a evaluaciones más amplias, para poder contar con elementos que permitan replantear los aspectos débiles del mismo, como por ejemplo, una evaluación especifica de desempeño. 23 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 31: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

30

22. En caso de que el programa cuente con indicadores para medir su fin y propósito, inciso a) de la

pregunta anterior, ¿cuáles han sido sus resultados? Clasificación

Ordinal Valoración de la respuesta

1 SI No hay Resultados positivos del programa a nivel de Fin y de Propósito

Como se mencionó en la pregunta anterior, a nivel fin de la MIR24, el Pp documentó sus resultados con el indicador de porcentaje de número de delitos en verde en el semáforo delictivo, y su frecuencia es semestral. La fórmula del indicador es:

� delitos en verde en el semáforo delictivo total de delitos en el semáforo delictivo � ∗ 100

Sin embargo, dicho indicador es de gestión por lo que el logro de resultados está controlado por los responsables del programa, por lo que el equipo evaluador recomienda modificar el indicador con base en la redefinición del resumen narrativo del nivel Fin (como, por ejemplo, “reducción de la incidencia delictiva”), además se sugiere establecer la frecuencia del indicador de manera anual. Por otro lado, el Programa documentó sus resultados a nivel propósito con el indicador de confianza ciudadana en Fuerza Civil, indicador estratégico-eficacia y de frecuencia semestral, el cual tiene la siguiente fórmula:

� confianza ciudadana en Fuerza Civil

confianza ciudadana en Fuerza Civil en el periodo anterior� ∗ 100

Cabe mencionar que de acuerdo con el Reporte de Avance Físico Financiero25 existe una inconsistencia con la fórmula del indicador de la MIR. La fórmula del indicador de frecuencia trimestral, de acuerdo con este documento, es:

�ciudadanos que confían en Fuerza Civil

total de ciudadanos en el entidad � ∗ 100

24 Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil” http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil 25 Secretaría de Finanzas y Tesorería General del Estado (2016). Avances Físico y Financiero de los Programas Presupuestarios. Cuarto Trimestre 2016.

Page 32: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

31

Por lo que es necesario modificar el indicador del nivel Propósito del programa como la “tasa de variación de confianza de la ciudadanía en Fuerza Civil”, además se sugiere que la frecuencia sea anual. Debido a que los resultados del programa no son positivos a los niveles de Fin y Propósito, es indispensable rediseñar la MIR con la modificación del resumen narrativo y de los indicadores de estos niveles, así como corregir a nivel de Componentes y Actividades para cumplir con la lógica vertical de la Metodología del Marco Lógico.

Page 33: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

32

23. En caso de que el Pp cuente con evaluaciones externas y que permiten identificar hallazgos relacionados con el Fin y el Propósito del programa, dichas evaluaciones cuentan con las siguientes características:

a) Se compara la situación de los beneficiarios en al menos dos puntos en el tiempo, antes y después de otorgado el apoyo.

b) La metodología utilizada permite identificar algún tipo de relación entre la situación actual de los beneficiarios y la intervención del Programa.

c) Dados los objetivos del Programa, la elección de los indicadores utilizados para medir los resultados se refieren al Fin y Propósito y/o características directamente relacionadas con ellos.

d) La selección de la muestra utilizada garantiza la representatividad de los resultados entre los beneficiarios del Programa.

Clasificación Ordinal

Valoración de la respuesta

4

SI El programa cuenta con evaluación(es) externa(s) que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, y tiene(n) todas las características establecidas para el tipo de evaluación al que se sometió el Pp.

El Programa ha sido objeto a una evaluación externa a la Matriz de Indicadores para Resultados en 201426. La evaluación de la Matriz de Indicadores para Resultados en 2014 tuvo como propósito identificar si la MIR del Pp estaba construida con base en la Metodología de Marco Lógico con el objetivo de emitir recomendaciones para mejorarla. El análisis y evaluación de la MIR comprendió la evaluación de la lógica vertical y horizontal de la misma, así como de los indicadores que miden el desempeño que corresponde a cada uno de los niveles que la conforman. Cabe mencionar que, por la naturaleza del Programa, no es posible comparar la situación de los beneficiarios en dos puntos distintos en el tiempo.

26 Evaluación Socioeconómica de Programas y Proyectos, S.C. (2014). Evaluación de la Matriz de Indicadores para Resultados del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/evalaucion_mir_e0134fuerza_civil.pdf

Page 34: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

33

24. En caso de que el programa cuente con evaluaciones externas, que permiten identificar uno o varios hallazgos relacionados con el fin y/o el propósito del programa, ¿cuáles son los resultados reportados en esas evaluaciones?

En la evaluación de la Matriz de Indicadores para Resultados en 201427 los principales resultados reportados son:

• La MIR del Pp presenta un notable grado de avance en su elaboración y se concluye que está estructurada bajo la Metodología de Marco Lógico, con una clara definición de objetivos y una lógica vertical y horizontal, que deriva en una relación causal entre los distintos niveles de la misma y que permite conocer, de manera esquemática lo que el Programa representa, el impacto y/o alcance de éste y los medios para alcanzarlo.

• No obstante, se recomendó enriquecer la matriz, principalmente, mediante la incorporación y/o redefinición de algunos elementos como ampliar la frecuencia de medición para el indicador a nivel Fin, la definición de un indicador estratégico para nivel Propósito, entre otros.

27 Evaluación Socioeconómica de Programas y Proyectos, S.C. (2014). Evaluación de la Matriz de Indicadores para Resultados del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/evalaucion_mir_e0134fuerza_civil.pdf

Page 35: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

34

RESULTADOS OBSERVADOS EN EL ANÁLISIS En la siguiente tabla se presentan los principales resultados observados de la evaluación del Programa presupuestario Fuerza Civil.

Principales Resultados El diseño del Programa se presenta adecuado para orientar la gestión al logro de sus

objetivos. El diagnóstico es adecuado y muestra la problemática a la cual se orienta el Pp, sin embargo,

no se definen plazos para su revisión y actualización Las poblaciones potencial y objetivo están definidas en documentos oficiales. Correcta alineación de los objetivos del Pp con los objetivos y estrategias establecidos en el

PED 2010-2015. Existe consistencia entre el diseño del Programa y la normatividad aplicable. El diseño de la MIR es inadecuado para los niveles de Fin y Propósito. Los avances del cumplimiento de metas de los indicadores a nivel componente se encuentran

publicados en internet. El Programa cuenta con fichas técnicas de indicadores que cuentan con nombre, definición,

método de cálculo, unidad de medida, frecuencia de medición y comportamiento del indicador y cumplen con los criterios CREMAA: claros, relevantes, económicos, monitoreables, adecuados y con aportación marginal.

El Programa presenta un subejercicio del presupuesto. El Programa no ha definido una estrategia de cobertura de largo plazo. No existe evidencia que el Programa cuente con instrumentos para medir el grado de

satisfacción de la población atendida, a través de una encuesta de percepción. No existe evidencia que el Programa propicie la participación ciudadana en la toma de

decisiones.

Page 36: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

35

PRINCIPALES FORTALEZAS, OPORTUNIDADES, DEBILIDADES Y AMENAZAS En este apartado se presentan los principales resultados identificados en el análisis de las fortalezas y oportunidades28, así como de las debilidades o amenazas29 que presenta el Programa Fuerza Civil. Los resultados obtenidos se describen para cada uno de los seis temas analizados.

Fortalezas y Oportunidades Diseño

El Pp tiene identificado el problema o necesidad prioritaria que busca resolver, el cual está identificado en la Monografía del Programa.

El Programa está vinculado a los objetivos y estrategias del Plan Estatal de Desarrollo. Las poblaciones potencial y objetivo están claramente definidas en la Monografía del

Programa. Las metas de los indicadores de la MIR del Programa presupuestario están orientadas a

impulsar el desempeño. Planeación y orientación a resultados

El Programa cuenta con un plan estratégico (Monografía) que contempla los resultados que se quieren alcanzar, y los indicadores para medir el avance en el logro de sus resultados.

El Pp utiliza informes de evaluaciones externas con el fin de mejorar su desempeño. El Pp recolecta información para monitorear su desempeño de manera oportuna, confiable

y sistematizada. Cobertura y focalización

El Pp cuenta con mecanismos para identificar su población potencial y objetivo. Operación

Los procesos clave en la operación del Programa coinciden con las actividades de la MIR. El Programa cuenta con mecanismos de transparencia y rendición de cuentas.

Medición de resultados El Programa documenta sus resultados con hallazgos de evaluaciones.

Debilidades o Amenazas Diseño

La Monografía no especifica un plazo para su revisión y actualización. No se tiene definida una metodología para la cuantificación de la población objetivo.

Planeación y orientación a resultados El Pp no contempla un análisis de la problemática a largo plazo. El Programa no ha atendido todas las recomendaciones derivadas de las evaluaciones

28 Fortalezas y oportunidades: Elementos internos y positivos que propician la eficacia, eficiencia, calidad en la entrega de bienes y servicios, y economía en la operación de los procesos del Pp 29 Debilidades y amenazas: Elementos internos que deben mejorar o sustituirse por otros, en aras de alcanzar la eficacia, eficiencia, calidad en la entrega de bienes y servicios, y economía en la operación de los procesos del Pp.

Page 37: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

36

externas a las que ha sido sometido. La información del desempeño del Pp no está disponible para dar seguimiento.

Cobertura y focalización El Programa no cuenta con una estrategia de cobertura documentada para atender a su

población objetivo, así como mecanismos para identificarla. Operación

El Programa presenta un subejercicio del presupuesto. El Programa no propicia la participación ciudadana en la toma de decisiones. Los resultados principales y la información para medir el desempeño son públicos, sin

embargo, no se encuentran actualizados. Percepción de la población atendida

El Pp no cuenta con instrumentos para medir el grado de satisfacción de su población atendida.

Medición de Resultados Los resultados del programa no son positivos a nivel de Fin y de Propósito

Page 38: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

37

RETOS Y RECOMENDACIONES En la siguiente tabla se presentan las recomendaciones por sección temática para el Programa Fuerza Civil identificadas dentro del informe de evaluación.

Sección Recomendación Referencia (pregunta)

Diseño

Especificar un plazo para la revisión y actualización de la Monografía del Pp. 1,2

Revisar y actualizar la información de las poblaciones, potencial y objetivo, por lo menos, cada dos años, ya que no existe un plazo documentado para dicha actividad.

4

Establecer una metodología para la cuantificación de las poblaciones potencial y objetivo. 4

Planeación y orientación a

resultados

Contemplar un análisis de la problemática que busca resolver el Pp a largo plazo, es decir realizar proyecciones de la población potencial y objetivo hasta el año 2030.

8

Atender las recomendaciones derivadas de las evaluaciones externas a las que ha sido sometido el Programa.

10

Actualizar y tener disponible la información para monitorear el desempeño del Programa. 11

Cobertura y focalización

Desarrollar y documentar una estrategia de cobertura de la población objetivo, y que además contemple el mediano y largo plazo.

12

Operación

Realizar documentos oficiales anuales donde se detalle y justifique el subejercicio del presupuesto.

17

Propiciar la participación ciudadana en la toma de decisiones. 19

Mantener actualizados los resultados principales y la información para medir el desempeño del Pp, así como facilitar el acceso a la normatividad aplicable al Programa en el Portal Web.

19

Percepción de la población atendida

Desarrollar instrumentos para medir el grado de satisfacción de la población atendida por el Programa.

20

Page 39: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

38

Sección Recomendación Referencia (pregunta)

Medición de Resultados

Rediseñar la MIR modificando el resumen narrativo y los indicadores a nivel de Fin y Propósito cumpliendo con la lógica vertical de la Metodología del Marco Lógico.

22

Page 40: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

39

ASPECTOS SUSCEPTIBLES DE MEJORA

En este apartado se presentan los ASM derivados de la evaluación de consistencia y resultados del Programa Fuerza Civil con su respectiva clasificación y priorización. No. ASM Clasificación Priorización

AE30 AI31 AID32 AIG33 Alto Medio Bajo

1

Rediseñar la MIR modificando el resumen narrativo y los indicadores a nivel de Fin y Propósito cumpliendo con la lógica vertical de la Metodología del Marco Lógico.

X

X

2

Documentar una estrategia de cobertura de la población objetivo, y que además contemple el mediano y largo plazo, así como realizar proyecciones de la población potencial y objetivo hasta el año 2030.

X

X

3 Realizar documentos oficiales anuales donde se detalle y justifique el subejercicio del presupuesto.

X

X

4 Desarrollar instrumentos para medir el grado de satisfacción de la población atendida por el Programa.

X

X

5 Crear mecanismos que propicien la participación ciudadana en la toma de decisiones

X

X

6 Especificar un plazo para la revisión y actualización de la Monografía del Programa.

X

X

30 Aspectos específicos (AE): aquéllos cuya solución corresponde a la unidad administrativa específica responsable del Programa. 31 Aspectos institucionales (AI): que requieren de la intervención de varias unidades administrativas dentro de la misma dependencia o Ente Público para su solución. 32 Aspectos interinstitucionales (AID): que para su solución se deberá contar con la participación de unidades administrativas ubicadas en otra dependencia o Ente Público. 33 Aspectos intergubernamentales (AIG): que demandan la intervención del gobierno estatal (aparte del Ente Público responsable de la ejecución de los recursos del Programa) para su solución.

Page 41: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

40

No. ASM Clasificación Priorización AE AI AID AIG Alto Medio Bajo

7

Actualizar los resultados principales y la información para medir el desempeño del Pp en la página de transparencia de la dependencia, así como facilitar el acceso a la normatividad aplicable al Programa en el Portal Web.

X

X

Page 42: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

41

CONCLUSIONES I. Diseño El diseño del Programa se presenta adecuado para orientar la gestión al logro de sus objetivos y en la Monografía del Pp se identifica el problema o necesidad prioritaria que se busca resolver. Además, están claramente definidas las poblaciones potencial y objetivo, aunque hay que señalar que no existe un plazo documentado para la actualización de estas poblaciones, ni tampoco se cuenta con una metodología para la cuantificación de esta información. El Pp está vinculado al PED 2010-2015 del estado de Nuevo León, en el eje rector «Seguridad Integral». Las metas de los indicadores de la MIR del Programa presupuestario están orientadas a impulsar el desempeño. El Pp ha evidenciado la existencia de un diagnóstico actualizado y adecuado que muestra la problemática a la cual se orienta, con la intención de sustentar objetivamente la razón de su ser, sin embargo, no se definen plazos para su revisión y actualización. Por último, existe consistencia entre el diseño del Programa y la normatividad aplicable. II. Planeación y Orientación a Resultados El Pp cuenta con instrumentos pertinentes y tiene una orientación para los resultados. Así como también cuenta con un plan estratégico actualizado, aunque dicho documento no contempla la problemática de largo plazo, por lo que se recomienda realizar proyecciones de la población potencial y objetivo. El Pp utiliza informes de evaluaciones externas con el fin de mejorar su desempeño, aunque no ha atendido todas las recomendaciones derivadas de las evaluaciones externas a las que ha sido sometido. El Programa recolecta información para monitorear su desempeño de manera oportuna, confiable y sistematizada. III. Cobertura y Focalización El Programa no cuenta con una estrategia de cobertura documentada para atender a su población objetivo, así como mecanismos para identificarla. Es necesario desarrollar y documentar una estrategia de cobertura a la población objetivo, y que además contemple el mediano y largo plazo. IV. Operación Los resultados principales del Programa, así como la información para monitorear su desempeño son públicos, sin embargo, no se encuentran actualizados. Por otro lado, es importante señalar, que el Pp no propicia la participación ciudadana en la toma de decisiones. Los procesos clave en la operación del Programa coinciden con las actividades de la MIR. Cabe señalar que debido a la naturaleza del Programa, la dependencia que opera el Pp no presenta una segmentación específica en cuanto a los tipos de beneficiarios, en el sentido de que se atienda a grupos concretos.

Page 43: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

42

V. Percepción de la Población Atendida El Pp no cuenta con instrumentos definidos para medir el grado de satisfacción de su población atendida, entonces, es necesario desarrollar instrumentos para medir el grado de satisfacción de la población atendida por el Programa. VI. Medición de Resultados El Pp documenta sus resultados a nivel de fin y de propósito con indicadores de la MIR, y con hallazgos de evaluaciones. Los resultados del Programa a nivel de fin y de propósito no positivos, por lo tanto no son suficientes, por esa razón es necesario rediseñar la MIR, modificando el resumen narrativo y los indicadores a nivel de Fin y Propósito cumpliendo con la lógica vertical de la Metodología del Marco Lógico. VII. Conclusión General El análisis realizado con la evidencia documental enviada por el Ente Público ejecutor del Programa se concluye que las actividades y los componentes que realiza el Pp se encuentran alineados a la normatividad aplicable al Programa. La relevancia de los objetivos del Programa y la pertinencia de los indicadores de fin y propósito revelan que, el Programa Fuerza Civil de la Secretaría de Seguridad Pública del Estado de Nuevo León, es benéfico y debe continuar operando en los años subsecuentes.

Page 44: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

43

VALORACIÓN FINAL DEL PP La valoración de las secciones de la evaluación se construyó con los promedios de las calificaciones asignadas a todas las preguntas binarias de cada tema. La valoración global del Programa corresponde al promedio simple de todas las preguntas ordinales.

Sección de la evaluación Valoración general Diseño 2.80

Planeación y orientación a resultados 3.25 Cobertura y focalización 0.00

Operación 2.00 Percepción de la población atendida 0.00

Medición de resultados 2.50 Fuerza Civil 2.43

Page 45: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

44

BIBLIOGRAFÍA Evaluación Socioeconómica de Programas y Proyectos, S.C. (2014). Evaluación de la Matriz de

Indicadores para Resultados del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/evalaucion_mir_e0134fuerza_civil.pdf

Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2017). Periódico Oficial. Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultados (Ppr) y el Sistema de Evaluación del Desempeño (SED).

Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2015). Periódico Oficial. Tomo CLII, núm. 165, pág. 3-276. Ley de Egresos del Estado de Nuevo León para el ejercicio fiscal 2016. http://sgi.nl.gob.mx/Transparencia_2015/Archivos/AC_0001_0007_00142898_000006.pdf

Gobierno Constitucional del Estado Libre y Soberano de Nuevo León (2010). Plan Estatal de Desarrollo 2010-2015. http://www.nl.gob.mx/publicaciones/plan-estatal-de-desarrollo-2010-2015

Secretaría de Finanzas y Tesorería General del Estado (2016). Avances Físico y Financiero de los Programas Presupuestarios. Cuarto Trimestre 2016

Secretaría de Finanzas y Tesorería General del Estado. Dirección de Contabilidad. (2017). Cuenta Pública Anual 2016. http://sgi.nl.gob.mx/Transparencia_2015/Archivos/SFyTGE_0006_0001_2016_A00_000002.pdf

Secretaría de Finanzas y Tesorería General del Estado de Nuevo León (2017). Programa Anual de Evaluaciones para el ejercicio fiscal 2017.

Secretaría de Finanzas y Tesorería General del Estado de Nuevo León (2017). Términos de Referencia para la Evaluación de Consistencia y Resultados. Programas Presupuestarios.

Secretaría de Finanzas y Tesorería General del Estado (2016), Ficha Técnica de Indicadores, Programas Presupuestarios.

Secretaría de Finanzas y Tesorería General del Estado (2015). Reporte de Avance Físico-Financiero de los Programas Presupuestarios, Segundo Trimestre 2015. http://www.nl.gob.mx/programas/coordinacion-integral-de-control-comando-comunicaciones-y-computo-para-la-seguridad

Secretaría de Seguridad Pública, Monografía del Programa Presupuestario “Fuerza Civil”http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Secretaría de Seguridad Pública (2015). Seguimiento a Aspectos Susceptibles de Mejora Clasificados como Específicos, Derivados de la Evaluación Externa. Documento de Trabajo del Programa Presupuestario “Fuerza Civil”. http://www.nl.gob.mx/sites/default/files/28._e0134_-_fuerza_civil_1.pdf

Páginas web ▪ http://www.nl.gob.mx/programas/institucion-policial-estatal-fuerza-civil

Page 46: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

45

ANEXOS Anexo 1: MIR (2016)

Resumen Narrativo

Indicadores Medios de Verificación Supuestos Nombre del

Indicador Método de

Cálculo Frecuencia

de medición Fin

Contribuir a una fuerza de seguridad eficaz en la reacción operativa mediante

Fuerza Civil

1.Porcentaje de delitos en verde

en el semáforo del delito

(Número de delitos en verde en

semáforo del delito / total de delitos en

semáforo del delito) *100

Semestral Reporte mensual del semáforo del

delito

Existe la voluntad política para la

coordinación de actividades en

materia de seguridad

Propósito Los ciudadanos del Estado de Nuevo León cuentan con

una policía ciudadana confiable, capaz de

restablecer y fortalecer la

tranquilidad y la fuerza de la sociedad.

2. Confianza ciudadana en Fuerza Civil

[Confianza ciudadana en Fuerza Civil/

Confianza ciudadana en

Fuerza Civil periodo anterior] *100

Semestral Pulsómetro

Metropolitano de Seguridad

Los cuerpos de seguridad en los tres niveles de

gobierno realizan sus labores respectivas

Componentes

C1. Patrullajes de cobertura realizados

en el Estado

3. Reducción del índice delictivo

(Índice delictivo estatal/ Índice

delictivo estatal periodo anterior)

*100

Semestral Tablero de indicadores SSP No especifica

C2. Intervenciones de reacción a llamadas

de auxilio en el Estado brindadas

4. Crecimiento de operativos realizados

(Operativos realizados año

actual / Operativos realizados año anterior) *100

Anual Tablero de indicadores SSP

Existe la coordinación

oportuna entre los cuerpos de

seguridad pública para la atención de

llamadas

Page 47: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

46

Resumen Narrativo

Indicadores Medios de Verificación Supuestos Nombre del

Indicador Método de

Cálculo Frecuencia de

medición Actividades

C1A1. Reclutamiento

efectivo de personal

5. Porcentaje de crecimiento en el número de

policías

((Número de policías reclutados

en el periodo / Número de policías

reclutados en periodo anterior) -

1) *100

Semestral Tablero de indicadores SSP

Existen ciudadanos mexicanos

dispuestos a participar en las convocatorias.

C1A2. Equipamiento institucional y

personal

6. Porcentaje de elementos equipados

(Policías de Fuerza Civil equipados /

Total de policías de Fuerza Civil) *100

Semestral Tablero de indicadores SSP

Se mantiene el crecimiento de

número de policías a equipar

C1A3. Capacitación especializada de los

elementos.

7. Porcentaje de elementos

capacitados

(Policías de Fuerza Civil capacitados /

Total de policías de Fuerza Civil) *100

Semestral Tablero de indicadores SSP

Se cuenta con el personal

especializado y con a infraestructura adecuada para la

capacitación.

C2A1. Personas detenidas en

intervenciones de reacción en el Estado

8. Personas detenidas en

intervenciones de Fuerza Civil

(Personas detenidas /

Personas detenidas en el período anterior) *100

Semestral Tablero de indicadores SSP No especifica

C2A2. Vehículos recuperados en

intervenciones de reacción en el Estado

9. Vehículos recuperados

(Vehículos recuperados en intervenciones /

Vehículos recuperados en el periodo anterior)

*100

Semestral Tablero de indicadores SSP No especifica

Page 48: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

47

Anexo 2: Indicadores

Niv

el d

e ob

jetiv

o

Nom

bre

del

indi

cado

r

Mét

odo

de

cálc

ulo

Clar

o

Rele

vant

e

Econ

ómic

o

Mon

itore

able

Adec

uado

Def

inic

ión

Uni

dad

de

med

ida

Frec

uenc

ia d

e m

edic

ión

Líne

a ba

se

Met

as

Com

port

amie

nto

del i

ndic

ador

Fin

Porcentaje de delitos en verde en el semáforo del delito

(Número de delitos en verde en

semáforo del delito / total de delitos en semáforo del delito) *100

Si Si Si Si Si Si Si Si Si Si Si

Propósito

Confianza ciudadana en Fuerza

Civil

[Confianza ciudadana en Fuerza Civil/

Confianza ciudadana en Fuerza Civil

periodo anterior] *100

Si Si Si Si Si Si Si Si Si Si Si

Componente 1 Reducción del índice delictivo

(Índice delictivo

estatal/ Índice delictivo estatal periodo

anterior) *100

Si Si Si Si Si Si Si Si Si Si Si

Componente 2

Crecimiento de

operativos realizados

(Operativos realizados año

actual / Operativos

realizados año anterior) *100

Si Si Si Si Si Si Si Si Si Si Si

C1A1

Porcentaje de

crecimiento en el

número de policías

((Número de policías

reclutados en el periodo / Número de

policías reclutados en

periodo anterior) -1)

*100

Si Si Si Si Si Si Si Si Si Si Si

Page 49: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

48

Niv

el d

e ob

jetiv

o

Nom

bre

del

indi

cado

r

Mét

odo

de

cálc

ulo

Clar

o

Rele

vant

e

Econ

ómic

o

Mon

itore

able

Adec

uado

Def

inic

ión

Uni

dad

de

med

ida

Frec

uenc

ia d

e m

edic

ión

Líne

a ba

se

Met

as

Com

port

amie

nto

del i

ndic

ador

C1A2

Porcentaje de

elementos equipados

(Policías de Fuerza Civil equipados /

Total de policías de

Fuerza Civil) *100

Si Si Si Si Si Si Si Si Si Si Si

C1A3

Porcentaje de

elementos capacitados

(Policías de Fuerza Civil

capacitados / Total de

policías de Fuerza Civil)

*100

Si Si Si Si Si Si Si Si Si Si Si

C2A1

Personas detenidas en intervenciones de Fuerza

Civil

(Personas detenidas /

Personas detenidas en

el período anterior) *100

Si Si Si Si Si Si Si Si Si Si Si

C2A2 Vehículos recuperados

(Vehículos recuperados

en intervenciones

/ Vehículos recuperados en el periodo anterior) *100

Si Si Si Si Si Si Si Si Si Si Si

Page 50: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

49

Anexo 3: Metas del programa

Niv

el d

e ob

jetiv

o

Nom

bre

del

indi

cado

r

Met

a

Uni

dad

de

Med

ida

Orie

ntad

a a

impu

lsar e

l de

sem

peño

Fact

ible

Just

ifica

ción

Prop

uest

a de

m

ejor

a de

la

met

a

Fin

Porcentaje del número de delitos en verde en el semáforo

del delito

60.00 Porcentaje No Si

El indicador de nivel Fin no es adecuado

para impulsar el desempeño

Modificar el resumen

narrativo e indicador del

nivel Fin

Propósito

Porcentaje de ciudadanos en el

Estado que confían en Fuerza Civil

20.00 Porcentaje No Si

El indicador no es adecuado para

impulsar el desempeño

Modificar el resumen

narrativo e indicador del

nivel Fin

Componentes

Porcentaje de variación de delitos de

alto impacto. 12.169 Porcentaje Si Si Es medible, claro y

económico Ninguna

Porcentaje de variación de

operativos realizados 5.939 Porcentaje Si Si Es medible, claro y

monitoreable Ninguna

Actividades

Porcentaje de crecimiento en el

número de policías 2.343 Porcentaje Si Si Es medible, claro y

monitoreable Ninguna

Porcentaje de elementos equipados 100 Porcentaje Si Si Es medible, claro y

monitoreable Ninguna

Porcentaje de elementos

capacitados 100 Porcentaje Si Si Es medible, claro y

monitoreable Ninguna

Porcentaje de variación de detención

de personas en intervenciones de

reacción del Estado

-49.005 Porcentaje Si Si Es medible, claro y

monitoreable Ninguna

Porcentaje de variación en la

recuperación de vehículos

-0.687 Porcentaje Si Si Es medible, claro y monitoreable Ninguna

Page 51: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

50

Anexo 4: Evolución de la cobertura El Programa no cuenta con información para analizar la evolución de la cobertura.

Tipo de Población Unidad de Medida

2011 2012 2013 2014 2015 2016

Población Potencial Personas ND ND ND ND ND ND

Población objetivo Personas ND ND ND ND ND ND

Población atendida Personas ND ND ND ND ND ND

(P. A. x 100)/P.O. Personas ND ND ND ND ND ND

ND: No disponible.

Page 52: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

51

Anexo 5: Información de la población atendida El Programa no cuenta con información sobre la población o área de enfoque atendida.

Total Mujeres Infantes 0-5.11 años

Niños y niñas 6-12 años

Adolescentes 13-17 años

Jóvenes 18-29 años

Adultos 30-64 años

Adultos mayores 65 o más

años ND ND ND ND ND ND ND ND

ND: No disponible.

Page 53: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

52

Anexo 6: Diagramas de flujo de los Componentes y procesos claves

¿Es positivo la denuncia?

Inicio

Si

Denuncias; Conocimientos de los hechos

Arribo al lugar

No

Concluye el registro

correspondiente

Fin

Recopilación de datos, valoración de

nivel de riesgo y determinar el delito

Preservación

Evaluación final

Los indicios pueden perderse, destruirse

o contaminarse

Priorización Protección del sitio

Evaluación final

Evaluación final

Flagrancia

Detención

Uso de la Fuerza

Traslado

Acciones previas a la

puesta a disposición

Uso de la Fuerza

Fin

Page 54: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

53

Anexo 7: Avance de los Indicadores respecto de sus metas

Nivel de objetivo

Nombre del indicador

Frecuencia de Medición

Meta (año evaluado)

Valor alcanzado

(año evaluado)

Avance (%)

Justificación

Fin

Porcentaje del número de delitos

en verde en el semáforo del delito

Semestral 60.00 40.00 66.67

Permite conocer el comportamiento de

los delitos mediante un

semáforo delictivo

Propósito

Porcentaje de ciudadanos en el

Estado que confían en Fuerza Civil

Semestral 20.00 19.5 97.5

Permite conocer el grado confianza en

Fuerza Civil por parte de los

ciudadanos de Nuevo León

Componentes

Porcentaje de variación de delitos

de alto impacto. Semestral 12.169 8.701 71.5 Es medible, claro y

monitoreable

Porcentaje de variación de operativos realizados

Anual 5.939 71.997 1212.36 Es medible, claro y

monitoreable

Actividades

Porcentaje de crecimiento en el

número de policías Semestral 2.343 0 0 Es medible, claro y

monitoreable

Porcentaje de elementos equipados

Semestral 100 100 100 Es medible, claro y monitoreable

Porcentaje de elementos

capacitados Semestral 100 100 100 Es medible, claro y

monitoreable

Porcentaje de variación de detención de personas en

intervenciones de reacción del Estado

Semestral -49.005 -1.464 2.99 Es medible, claro y monitoreable

Porcentaje de variación en la

recuperación de vehículos

Semestral -0.687 4.461 -649.07 Es medible, claro y monitoreable

Page 55: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

54

Anexo 8: Formato para la difusión de los resultados de la evaluación (CONAC)

1. Descripción de la evaluación 1.1 Nombre de la evaluación: Evaluación de Consistencia y Resultados del Programa Presupuestario: Fuerza Civil

1.2 Fecha de inicio de la evaluación (dd/mm/aaaa): 12/03/2018

1.3 Fecha de término de la evaluación (dd/mm/aaaa): 15/10/2018

1.4 Nombre de la persona responsable de darle seguimiento a la evaluación y nombre de la unidad administrativa a la que pertenece:

Nombre: Comisario General Jorge Fernando Garza Morales

Unidad administrativa: Comisaría y Ayudantía General

1.5 Objetivo general de la evaluación: Evaluar la consistencia y orientación a resultados del Pp Fuerza Civil para el ejercicio fiscal 2016 con la finalidad de proveer información que retroalimente su diseño, gestión y resultados. 1.6 Objetivos específicos de la evaluación: a) analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación estatal, la consistencia entre el diseño y la normatividad aplicable; b) identificar si el Programa cuenta con instrumentos de planeación y orientación hacia resultados; c) examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado; d) analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; e) identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados, y examinar los resultados del Programa respecto a la atención del problema para el que fue creado; f) formular recomendaciones para la identificación de ASM que permitan mejorar el desempeño del Pp. 1.7 Metodología utilizada en la evaluación.

Instrumentos de recolección de información:

Cuestionarios__ Entrevistas_X_ Formatos_X_ Otros__ Especifique:

Descripción de las técnicas y modelos utilizados: La evaluación de consistencia y resultados del Programa se realizó a través de un trabajo de gabinete, recabando, organizando y analizando la información que para tal fin proporcionó la Secretaría de Seguridad Pública del Estado. Además, se llevaron a cabo sesiones de socialización de los resultados parciales con la Dependencia evaluada. La metodología, estructura del presente informe y sus conclusiones, son plasmadas en apego a los Términos de Referencia para la Evaluación de Consistencia y Resultados publicados por el Gobierno del Estado de Nuevo León a través de la Secretaría de Finanzas y Tesorería General del Estado.

Page 56: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

55

2. Principales hallazgos de la evaluación

2.1 Describir los hallazgos más relevantes de la evaluación: a) el diseño del Programa se presenta adecuado para orientar la gestión al logro de sus objetivos; b) existe consistencia entre el diseño del Programa y la normatividad aplicable, d) el Programa no cuenta con instrumentos para medir el grado de satisfacción de la población atendida, a través de una encuesta de percepción; e) no existe evidencia que el Programa propicie la participación ciudadana en la toma de decisiones. 2.2 Señalar cuáles son las principales FODA, de acuerdo con los temas del programa, estrategia o instituciones.

2.2.1 Fortalezas y Oportunidades: a) el Pp tiene identificado el problema o necesidad prioritaria que busca resolver, el cual está identificado en la Monografía del Programa; b) el Programa está vinculado a los objetivos y estrategias del Plan Estatal de Desarrollo; c) las poblaciones potencial y objetivo están claramente definidas en las ROP y en la Monografía del Programa; d) el Pp utiliza informes de evaluaciones externas con el fin de mejorar su desempeño; e) el Programa cuenta con mecanismos de transparencia y rendición de cuentas. 2.2.2: Debilidades y Amenazas: a) no se tiene definida una metodología para la cuantificación de la población objetivo; b) el Pp no contempla un análisis de la problemática a largo plazo; c) el Pp no ha atendido todas las recomendaciones derivadas de las evaluaciones externas a las que ha sido sometido; d) el Pp no propicia la participación ciudadana en la toma de decisiones; e) el Pp no cuenta con instrumentos para medir el grado de satisfacción de su población atendida; f) los resultados del programa no son positivos a nivel de Fin y de Propósito 3. Conclusiones y recomendaciones de la evaluación 3.1 El análisis realizado con la evidencia documental enviada por el Ente Público ejecutor del Programa se concluye que las actividades y los componentes que realiza el Pp se encuentran alineados a la normatividad aplicable al Programa. La relevancia de los objetivos del Programa y la pertinencia de los indicadores de fin y propósito revelan que, el Programa Fuerza Civil de la Secretaría de Seguridad Pública del Estado de Nuevo León, es benéfico y debe continuar operando en los años subsecuentes. 3.2 Describir las recomendaciones de acuerdo a su relevancia:

1: Rediseñar la MIR modificando el resumen narrativo y los indicadores a nivel de Fin y Propósito cumpliendo con la lógica vertical de la Metodología del Marco Lógico.

2: Documentar una estrategia de cobertura a la población objetivo, y que además contemple el mediano y largo plazo, así como realizar proyecciones de la población potencial y objetivo hasta el año 2030.

3: Desarrollar instrumentos para medir el grado de satisfacción de la población atendida por el Programa.

4. Datos de la Instancia evaluadora

4.1 Nombre del coordinador de la evaluación: Dra. América Elvira Hernández Veráztica

4.2 Cargo: Coordinadora de Evaluación

4.3 Institución a la que pertenece: Oficina de las Naciones Unidas Contra la Droga y el Delito

4.4 Principales colaboradores: Dr. Gregorio Castro Rosales, Dra. Martha Elena Fuentes Castillo, Dra. Ceyla Antonio Anderson, Mtro. Aran Mayola Huguet, Dr. Isidro de la Fuente Almanza, Mtro. Rodrigo González Morales, Mtro. Francisco Banda

Page 57: EVALUACIÓN DE CONSISTENCIA Y RESULTADOS DEL … · contenían los insumos requeridos para la evaluación, incluidos en el listado de fuentes de ... cuyo contenido abarcaba las preguntas

Evaluación de Consistencia y Resultados:

Fuerza Civil

56

Garza, Dra. Xochitl Amalia Arango Morales, Mtro. Raúl Parra Alemán, Dr. Felipe de Jesús Marañon Lazcano

4.5 Correo electrónico del coordinador de la evaluación: [email protected] 4.6 Teléfono (con clave lada): 5541708764 ext. 200

5. Identificación del (los) programa(s)

5.1 Nombre del (los) programa(s) evaluado(s): Fuerza Civil

5.2 Siglas: No aplica

5.3 Ente público coordinador del (los) programa(s): Secretaría de Seguridad Pública del Estado de Nuevo León.

5.4 Poder público al que pertenece(n) el(los) programa(s):

Poder Ejecutivo_X_ Poder Legislativo___ Poder Judicial___ Ente Autónomo___

5.5 Ámbito gubernamental al que pertenece(n) el(los) programa(s):

Federal___ Estatal__X__ Local___

5.6 Nombre de la(s) unidad(es) administrativa(s) y de (los) titular(es) a cargo del (los) programa(s):

5.6.1 Nombre(s) de la(s) unidad(es) administrativa(s) a cargo de (los) programa(s):

5.6.2 Nombre(s) de (los) titular(es) de la(s) unidad(es) administrativa(s) a cargo de (los) programa(s) (nombre completo, correo electrónico y teléfono con clave lada):

Nombre: Comisario General Jorge Fernando Garza Morales [email protected] 01 81 20331800

Unidad administrativa: Comisaría y Ayudantía General

6. Datos de contratación de la evaluación

6.1 Tipo de contratación:

6.1.1 Adjudicación Directa___ 6.1.2 Invitación a tres___ 6.1.3 Licitación Pública Nacional___

6.1.4 Licitación Pública Internacional___ 6.1.5 Otro: Convenio de Colaboración Internacional

6.2 Unidad administrativa responsable de contratar la evaluación: Dirección de Presupuesto y Control Presupuestal, Subsecretaría de Egresos de la Secretaría de Finanzas y Tesorería General del Estado.

6.3 Costo total de la evaluación: $390,000.00 (trescientos noventa mil pesos M.N.)

6.4 Fuente de Financiamiento: Recursos estatales propios

7. Difusión de la evaluación

7.1 Difusión en internet de la evaluación: http://pbr-sed.nl.gob.mx/evaluacion-del-desempeno

7.2 Difusión en internet del formato: http://pbr-sed.nl.gob.mx/evaluacion-del-desempeno