Índice mexicano de satisfacción del usuario (imsu...
TRANSCRIPT
1
Índice Mexicano de Satisfacción del Usuario (IMSU)
Reporte final del IMSU-Programas Sociales Mexicanos
Programa de Desarrollo de Zonas Prioritarias – Infraestructura
municipal
Elaborado por:
Dra. Odette Lobato
Mtro. Humberto Rivera
Mtro. Hugo Serrato González
Act. Ma. Elena Gómez
Ing. Crhistian León
Ing. Paola Cervantes
Fecha: Julio de 2011
2
Índice
Introducción .............................................................................................................................................. 5
1. Descripción del programa...................................................................................................................... 5
Tipos de Apoyo.......................................................................................................................................... 6
Criterios y requisitos de elegibilidad de las zonas prioritarias .................................................................. 6
Montos de Apoyo ...................................................................................................................................... 6
2. Metodología: Diseño de la evaluación: ................................................................................................. 6
Hipótesis generales. .................................................................................................................................. 6
Diseño del modelo de evaluación del programa social ............................................................................ 8
Diseño del instrumento .......................................................................................................................... 15
Diseño muestral ...................................................................................................................................... 21
Tamaño muestral ................................................................................................................................ 21
Diseño muestral nacional .................................................................................................................... 23
3. Recolección de datos a nivel nacional ................................................................................................. 23
Contratación de la empresa encuestadora ............................................................................................. 23
Capacitación ............................................................................................................................................ 23
Periodo de levantamiento ...................................................................................................................... 24
Supervisión .............................................................................................................................................. 24
Efectividad del trabajo de campo ....................................................................................................... 25
4. Análisis estadístico ............................................................................................................................... 27
Caracterización de los encuestados .................................................................................................... 27
5. Generalidades del método estadístico del PLS ................................................................................... 31
Los modelos de ecuaciones estructurales .............................................................................................. 31
Análisis del modelo estructural............................................................................................................... 34
6. Confiabilidad y Validez del Modelo de Medida ................................................................................... 34
3
Confiabilidad individual de las variables manifiestas ............................................................................. 34
Consistencia interna de las variables latentes ........................................................................................ 35
Validez convergente ................................................................................................................................ 36
Validez discriminante .............................................................................................................................. 36
Conclusiones del análisis de confiabilidad y validez del instrumento de medición ............................... 37
7. Resultados ........................................................................................................................................... 38
Valoración del Modelo Estructural ......................................................................................................... 38
Discusión de las hipótesis ....................................................................................................................... 39
Hipótesis generales ............................................................................................................................. 41
Hipótesis específicas ........................................................................................................................... 42
La evaluación del programa por sus usuarios ......................................................................................... 42
Comparación con los resultados del estudio de 2006 ................................................................................ 43
Conclusiones y recomendaciones ............................................................................................................... 45
Índice de tablas
Tabla 1. Observaciones realizadas al cuestionario y soluciones adoptadas ............................................... 11
Tabla 2. Descripción del modelo estructural del IMSU para el Programa para el Desarrollo de Zonas
Prioritarias – Infraestructura municipal .............................................................................................. 13
Tabla 3. Variables manifiestas y preguntas ................................................................................................ 17
Tabla 4. Principales acontecimientos durante las entrevistas .................................................................... 24
Tabla 5. Desviaciones a los procedimientos de recolección de datos ........................................................ 24
Tabla 3. Distribución de la muestra por entidades ..................................................................................... 26
Tabla 7. Pesos externos estimados con ACSI .............................................................................................. 34
Tabla 8. Pesos externos estimados con SmartPLS. ..................................................................................... 35
Tabla 9. Consistencia interna de las variables latentes: confiabilidad compuesta, Alfa de Cronbach con
ACSI y Alfa de Cronbach con SmartPLS ............................................................................................... 35
4
Tabla 10. Validez convergente por comunalidad ACSI y AVE ..................................................................... 36
Tabla 11. Correlaciones entre variables latentes estimadas con ACSI ....................................................... 36
Tabla 12. Correlaciones entre variables latentes estimadas con SmartPLS ............................................... 37
Tabla 13. Pesos cruzados estimados en SmartPLS ...................................................................................... 37
Tabla 14. R2 del MEE estimado con SmartPLS y ACSI.................................................................................. 39
Índice de figuras
Figura 1. Modelo ACSI para gobierno ........................................................................................................... 7
Figura 2. Modelo teórico del IMSU para PDZP – Infraestructura municipal ............................................... 12
Figura 3. Género y edad .............................................................................................................................. 27
Figura 4. Entidad federativa ........................................................................................................................ 28
Figura 5. ¿Cuál de las siguientes opciones es la más adecuada para clasificar su puesto? ........................ 29
Figura 6. ¿Hasta qué año estudió usted? .................................................................................................... 30
Figura 7. ¿Cuál de las siguientes es la más adecuada para clasificar su carrera? ....................................... 30
Figura 8. Modelo estructural y modelo de medida en PLS ......................................................................... 32
Figura 9. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP –Infraestructura
municipal estimado con ACSI .............................................................................................................. 40
Figura 10. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP – Infraestructura
municipal estimado con SmartPLS ...................................................................................................... 41
Figura 11. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP –Infraestructura
municipal estimado con ACSI en 2006 ................................................................................................ 44
5
Introducción Este reporte preliminar sobre el Programa de Desarrollo de Zonas Prioritarias (PDZP) Infraestructura-
municipal es parte del proyecto de investigación “Diseño y Aplicación de una Metodología para el
Establecimiento del Índice Mexicano de Satisfacción del Usuario de los Programas Sociales Mexicanos”
(IMSU-Programas Sociales). Los objetivos de dicho proyecto de investigación son:
Evaluar la satisfacción de los beneficiarios del programa y modalidad en cuestión, sus causas y sus efectos, e identificar áreas de oportunidad de mejora.
Obtener una metodología general, propia, comparable y reproducible, para el establecimiento del Índice Mexicano de Satisfacción de los Usuarios de los programas sociales de Sedesol válido y confiable. Dicha metodología pone a prueba el modelo del American Customer Satisfaction Index (ACSI).
Comparar los resultados obtenidos con otras metodologías similares.
A continuación se presenta para el caso del Programa de Desarrollo de Zonas Prioritarias
Infraestructura-municipal: 1) Descripción del programa, 2) Metodología: diseño de la evaluación, 3)
Recolección de datos a nivel nacional, 4) Descripción de la muestra, 5) Generalidades del método
estadístico del PLS, 6) Confiabilidad y validez del modelo de medida, 7) Resultados y Conclusiones y
recomendaciones.
Los análisis estadísticos se realizarán con el software del ACSI, método central del estudio, y con
SmartPLS1, software libre.
1. Descripción del programa De acuerdo con las Reglas de operación para el ejercicio fiscal 2009 del Progama para el Desarrollo de
Zonas Prioritarias2, la Ley General de Desarrollo Social reconoce las diferencias en el desarrollo en
distintas regiones del país y establece las Zonas de Atención Prioritaria (ZAP). Dichas zonas se definen
como las áreas o regiones rurales o urbanas que, de acuerdo con los criterios del Consejo Nacional de
Evaluación de la Política Social3, presentan condiciones estructurales de marginación, pobreza y
exclusión social, que limitan las oportunidades de sus habitantes para ampliar sus capacidades e
insertarse en la dinámica del desarrollo nacional.
Dadas estas condiciones, el Programa para el Desarrollo de Zonas Prioritarias (PDZP) constituye una
herramienta fundamental de la política social con un claro enfoque territorial, bajo el cual se promueven
esfuerzos para brindar oportunidades de desarrollo a los habitantes de dichas regiones.
1 Ringle, et al., 2005.
2 Sedesol, 2008. La descripción del programa que se hace a continuación se basa en este documento.
3 CONEVAL, 2009.
6
Este Programa es producto de la fusión de los Programas de Desarrollo Local, Microrregiones y de Apoyo
a Zonas de Atención Prioritaria, que funcionaron de forma independiente – pero coordinada – durante
el ejercicio fiscal 2008.
El PDZP facilita la atención integral de los rezagos vinculados con la infraestructura social básica (en sus
dimensiones local y regional), y la carencia de servicios básicos en las viviendas, ubicadas en los
municipios de muy alta y alta marginación que conforman las ZAP, de manera particular, y otras
localidades, territorios o regiones que presentan iguales condiciones de rezago.
El Programa contribuye a mejorar la calidad de vida de los habitantes de estos territorios a través del
incremento del capital físico con la creación, rehabilitación y ampliación de la infraestructura social
básica y el mejoramiento de las viviendas.
De manera particular, el PDZP contribuye con las acciones orientadas a los municipios que conforman el
universo de la Estrategia 100x100, que tiene como objetivo la atención integral de los 125 municipios
con el mayor marginación y pobreza del país, bajo esquemas de coordinación interinstitucional y los tres
órdenes de gobierno.
Tipos de Apoyo Dentro de los apoyos que otorga el PDZP se encuentra el desarrollo de obras de infraestructura social y
acciones de pisos firmes. El primer apoyo es el objeto de la presente evaluación.
Criterios y requisitos de elegibilidad de las zonas prioritarias Estar ubicadas en alguna de las 32 entidades federativas y en zonas con las siguientes características:
Municipios de alta y muy alta marginación.
Municipios catalogados como predominantemente indígenas.
Localidades identificadas como estratégicas para el desarrollo de las regiones establecidas en la
Declaratoria de ZAP, y sus áreas de influencia.
Localidades de alta y muy alta marginación, ubicadas en municipios de marginación media, baja
y muy baja. Siempre y cuando no se duplique con las actividades del Programa Hábitat.
Montos de Apoyo El monto federal máximo de apoyo será de hasta $ 4,500,000.00 (cuatro millones quinientos mil pesos
00/100 M.N.) para las obras relacionadas con plantas de tratamiento de aguas residuales y
electrificación; el resto de los proyectos, obras o acciones tendrá un monto máximo de apoyo federal de
$ 2,500,000.00 (dos millones quinientos mil pesos 00/100 M.N.).
2. Metodología: Diseño de la evaluación:
Hipótesis generales. Las hipótesis generales que se refieren a las causas y los efectos de la satisfacción han sido postuladas
por diferentes modelos de evaluación, como se mencionó en el reporte de la primera etapa de este
7
proyecto de investigación (Lobato et al., 2010). Debido a que este estudio evalúa programas sociales y
existe un modelo de evaluación de programas y servicios gubernamentales, se toma a este como base
teórica para el establecimiento de las hipótesis generales sobre las causas y los efectos de la
satisfacción. El modelo en cuestión es el modelo ACSI, el cual se describe a continuación.
Figura 1. Modelo ACSI para gobierno4
En la figura anterior se muestra el modelo del ACSI para instituciones gubernamentales. Dicho modelo
está conformado por variables latentes que se refieren a la satisfacción y a las variables que actúan
como causa y efecto de la satisfacción. Se entiende como variable latente a aquella que no es
observable directamente por lo cual sólo es conocida a través de las variables observables que la
reflejan o la forman. Estas últimas variables se denominan como manifiestas.
Las variables latentes de la figura anterior se dividen en generales, aplicables a todos los programas y
servicios gubernamentales, y en particulares, sólo aplicables a un programa o servicio gubernamental.
Las variables latentes particulares son las que impactan a la calidad percibida además de las
expectativas.
Con base en las dimensiones genéricas se establecen las hipótesis generales de la investigación que se
ponen a prueba en todos los programas sociales evaluados, las cuales se presentan a continuación:
Hipótesis generales
Hipótesis 1. La Calidad percibida se asocia de manera positiva a la Satisfacción del usuario.
Hipótesis 2. La Satisfacción del usuario se asocia de manera positiva a la Confianza del usuario.
4 American Customer Satisfaction Index, 2005.
8
Hipótesis 3. Las Expectativas del usuario se asocian de manera positiva a la Calidad percibida.
Hipótesis 4. Las Expectativas del usuario se asocian de manera positiva a la Satisfacción del usuario.
Hipótesis 5. La Satisfacción del usuario se asocia de manera negativa en las Quejas.
Hipótesis 6. Las Quejas se asocian de manera negativa a la Confianza usuario.
Diseño del modelo de evaluación del programa social El modelo de evaluación del programa social en cuestión incluye a las variables latentes genéricas que
corresponden a las hipótesis generales, así como variables latentes particulares del programa que
buscan explicar la percepción de la calidad. Además, incluye las variables manifiestas asociadas a cada
variable latente tanto genérica como particular que permiten conocerlas.
Las variables latentes particulares son las actividades del programa que son percibidas directamente por
los usuarios y que son relevantes para ellos.
Cabe señalar que, si bien las variables latentes genéricas son las mismas para todos los programas, es
necesario precisar las variables manifiestas que las reflejan en cada programa social. Por ejemplo, en el
caso del PDZP – Infraestructura municipal, una variable manifiesta que refleja a la variable latente
Confianza es la variable manifiesta Recomendación.
A continuación se describe la metodología típica utilizada por el IMSU para identificar las variables
latentes particulares, así como las variables manifiestas asociadas que reflejan a las variables latentes
tanto genéricas como particulares.
- Análisis de estudios previos, como el realizado por el equipo IMSU en 2006 sobre este mismo
programa (Lobato et al., 2006).
- Análisis de contenido de las Reglas de operación 2009 del programa (Sedesol, 20085). Las Reglas
de operación de un programa social enumeran y describen con mayor o menor detalle las
actividades que realiza aquel para ofrecer sus beneficios a la población objetivo, por lo que su
estudio permite conocer las actividades del PDZP que se realizan en contacto directo con los
usuarios. Dicho contacto es relevante para preguntar al usuario cuestiones sobre las cuales
pueda dar su opinión. Las Reglas de operación permiten establecer el marco de lo que es posible
evaluar.
- Análisis de la opinión de expertos. Se selecciona como expertos a miembros relevantes del
equipo coordinador del programa y al equipo de la Dirección General de Evaluación y Monitoreo
de los Programas Sociales (DGEMPS). La opinión de estos expertos se obtiene mediante
reuniones en las cuales se desarrollan los siguientes temas: a) la metodología IMSU, sus alcances
y limitaciones, b) las expectativas y necesidades respecto a la evaluación en cuestión, c) la
discusión de las posibles variables latentes particulares que impactan en la calidad percibida y d)
5 Aunque el levantamiento de información en campo se realizó en 2010, el periodo para el cual se pedía una
evaluación a los entrevistados cubría principalmente 2008 y 2009.
9
discusión de las posibles variables manifiestas particulares que reflejan a las variables latentes
tanto genéricas como particulares.
- Análisis de entrevistas con usuarios. El propósito de entrevistar a usuarios con una técnica semi-
estructurada, es conocer los aspectos del programa que son relevantes cuando emiten su
opinión sobre él y con base en ello diseñar el modelo de evaluación.
Dado que ya se había realizado una evaluación de este programa con la metodología IMSU en 2006
(Lobato et al., 2006a), el equipo IMSU y la Sedesol acordaron, en principio, utilizar el mismo modelo y el
mismo cuestionario del 2006, y no realizar una prueba piloto. El modelo y el cuestionario de 2006
habían probado ser útiles y reutilizarlos permitiría hacer comparaciones puntuales. Por esta razón, los
cuatro elementos de la metodología IMSU para definir variables latentes particulares sirvieron, en este
caso, para confirmar la pertinencia actual del modelo teórico de 2006 y para hacerle sólo algunas
modificaciones que se describen en los siguientes párrafos.
Ante los cambios en las Reglas de Operación para 2008 y, en especial, para 2009 (años a evaluar) se optó
por hacer algunos cambios puntuales en el modelo estructural y en la formulación del cuestionario. Las
principales modificaciones a las Reglas de Operación que afectaron el modelo y el cuestionario fueron:
El nombre actual del programa es Programa para el Desarrollo de Zonas Prioritarias, resultado
de la fusión del Programa Desarrollo Local Microrregiones y el Programa de Apoyo a Zonas de
Atención Prioritaria. Esto debía reflejarse en el cuestionario.
La conjunción de recursos de otros programas con los del PDZP ya no es un objetivo del
programa sino sólo una tarea deseable. Esto debería reflejarse tanto en la conceptualización de
las dimensiones como en el cuestionario.
En las Reglas de Operación actuales se especifica que el programa debe hacer sólo dos visitas de
seguimiento, lo que requirió hacer más específica la pregunta correspondiente.
Igualmente, los residentes ya no tienen explícitamente la función de asesorar a los municipios, y
esto se debía reflejar en el cuestionario.
Por otra parte, se introdujeron en el modelo y en el cuestionario algunos elementos que resultaron
útiles en la prueba piloto de la evaluación de otro programa de la Sedesol, el de Abasto de Leche en su
modalidad leche líquida. Se esperaba que, como en el piloteo mencionado, estas variables
contribuyeran a hacer posible el remuestreo bootstrap para determinar la significancia de los impactos
por el método PLS. Las modificaciones son las siguientes:
Se añadieron al constructo Expectativa dos variables: Expectativa general de calidad con base en
la mención de las dimensiones del modelo y Expectativa de dificultades con el programa.
Al constructo Calidad percibida se añadieron las variables Calidad percibida con base en la
mención de las dimensiones del modelo y Percepción de dificultades.
Adicionalmente, cuando se consideró pertinente, se aplicaron al instrumento de este programa
observaciones que surgieron a partir de las pruebas piloto de los cuestionarios de otras evaluaciones.
10
Algunas de estas observaciones provinieron de la Sedesol, otras, del propio equipo IMSU. En la siguiente
tabla se muestran las adaptaciones realizadas.
11
Tabla 1. Observaciones realizadas al cuestionario y soluciones adoptadas
Aspecto a atender Solución adoptada
Algunas preguntas parecen muy extensas. Se buscaron formulaciones que redujeran la
extensión de las preguntas. Cuando las preguntas
requerían contextualizar al entrevistado antes de
plantear propiamente la pregunta, el texto se
separó en partes más simples.
Las preguntas usadas para probar la comprensión
de la escala por parte del entrevistado parecen
prestarse a ambigüedad (en los cuestionarios de
otros programas) y no plantean situaciones en las
que sea inequívoco el sentido que deben tomar
las respuestas si la pregunta se entendió bien.
Aunque en esta evaluación no se observó ese
problema, se aplicaron los mismos cambios que
en los cuestionarios de otras evaluaciones.
La pregunta que debe tener una respuesta de gran
acuerdo se cambió a “¿Qué tan contento se
encuentra usted cuando las cosas salen como
usted quiere?”.
La respuesta que debe tener una respuesta de
gran desacuerdo se cambió a “¿Qué opina de la
gente que mata a otros?“.
El plantear la pregunta, la escala y de nuevo la
pregunta parece innecesario y, en ocasiones,
confunde al entrevistado en las entrevistas cara a
cara, pues piensa que la repetición es realmente
una nueva pregunta.
En las entrevistas telefónicas no se observó ese
nivel de confusión pero sí que los entrevistados
que entienden pronto la dinámica de la entrevista
suelen responder antes de hacer la segunda
pregunta. Por los casos en que la comprensión de
la dinámica no fuera tan rápida, se prefirió dejar la
doble pregunta.
Problemas de fraseo en algunas preguntas. Se
requería hacerlas más aptas para una entrevista
telefónica.
Se modificó la redacción de algunas preguntas.
Las relaciones entre satisfacción y quejas y entre
quejas y confianza de los usuarios no fueron
significativas en las pruebas piloto.
Dado que esta es una pregunta esencial del
modelo ACSI-IMSU, no se le hicieron
modificaciones. Se optó por dejar estas relaciones
para observar su comportamiento en el
levantamiento nacional.
El resultado del proceso descrito en los párrafos previos fue una propuesta de población objetivo, la
unidad de análisis, el modelo de evaluación y el procedimiento de recolección de datos (entrevista
12
telefónica), todo lo cual se sometió a la consideración de los responsables del programa y de los
funcionarios de la DGEMPS. Se acordó que la población objetivo de la evaluación estaría constituida por
los funcionarios municipales que dirigieron al menos una obra de infraestructura social en los años 2008
y 2009 con el apoyo del PDZP y en cuyo municipio no haya habido cambio de gobierno desde esos años.
Como ya se dijo, las modificaciones al modelo y al cuestionario no fueron objeto de una prueba piloto
pues se consideró que, en lo general, se mantenía la misma base del cuestionario aplicado en 2006. El
cuestionario fue sometido a un proceso recurrente de revisiones y correcciones entre la Sedesol y los
investigadores hasta acordar la versión para el levantamiento nacional. El modelo de satisfacción
postulado para el Programa para el Desarrollo de Zonas Prioritarias en su modalidad de apoyos para la
infraestructura municipal se muestra a continuación.
Figura 2. Modelo teórico del IMSU para PDZP – Infraestructura municipal
El modelo de evaluación presenta todas las hipótesis del proyecto y la Tabla 2 describe las variables
latentes y manifiestas que se utilizarán para poner a prueba esas hipótesis.
13
Tabla 2. Descripción del modelo estructural del IMSU para el Programa para el Desarrollo de Zonas Prioritarias –
Infraestructura municipal6
Variable
latente Descripción
Variable
manifiesta Descripción
Expectativas
de los usuarios
Ideas sobre el
programa previas al
ingreso
Expectativa general
Recuerdo de la opinión general sobre
la manera en que funcionaría el
programa antes de entrar en él
Expectativa sobre
las dimensiones
Recuerdo de la opinión general sobre
la manera en que funcionaría el
programa antes de entrar en él con
mención de las variables latentes
particulares del modelo
Expectativa de
dificultades
Recuerdo de la opinión sobre las
dificultades que se encontraría al
participar en el programa
Proceso
Opinión sobre los
procedimientos del
programa
Claridad de la
información sobre
objetivos
Opinión sobre la claridad de la
información que recibió acerca de los
objetivos del programa
Claridad de la
información sobre
la presentación de
propuestas
Opinión sobre la claridad de la
información que recibió acerca la
presentación de propuestas
Facilidad para
elaborar reportes
Opinión sobre la facilidad para
elaborar los reportes de avance físico-
financiero
Respuesta y
asignación de
recursos
Opinión sobre varios
aspectos del
otorgamiento de los
recursos
Transparencia Opinión sobre la transparencia en la
respuesta a las solicitudes
Relevancia de los
recursos
Opinión sobre la relevancia de los
recursos del programa en el total del
costo de las obras
Oportunidad de los Opinión sobre la oportunidad en la
6 Las preguntas del cuestionario no relacionadas en esta tabla son reactivos socio-demográficos, para evaluar la
comprensión de la escala de calificación, sobre posibles condicionamientos o reactivos de prueba que no se considerarán para esta evaluación del programa.
14
Variable
latente Descripción
Variable
manifiesta Descripción
recursos entrega de los recursos
Capacidad de
gestión del
personal del
programa
Opinión el apoyo
prestado por los
residentes del
programa
Conjunción de
recursos
Opinión sobre la eficiencia del
personal del programa para conjuntar
recursos
Suficiencia de
visitas
Utilidad de las visitas del personal del
programa a los proyectos
Utilidad de la
asesoría
Utilidad de la asesoría del residente
del programa
Calidad
percibida
Evaluación general
de la calidad del
programa
Calidad percibida
general
Percepción general del
funcionamiento del programa en el
tiempo que participó en él
Calidad percibida
de las dimensiones
Percepción general del
funcionamiento del programa con
mención de las variables latentes
particulares del modelo
Percepción de
dificultades
Percepción de las dificultades
encontradas durante la participación
en el programa.
Satisfacción
Evaluación de la
satisfacción con el
programa
Satisfacción
general
Satisfacción general con el programa
Comparación con
expectativas
Comparación de la experiencia en el
programa con la expectativa inicial
Comparación con el
ideal
Comparación del programa con el
programa ideal
Quejas
Comportamiento de
queja y opinión
sobre el tratamiento
dado a sus quejas,
en caso de haberlas
presentado
Quejas Presentación de quejas
Facilidad para
presentar la queja7
Facilidad para presentar la queja
Atención dada a su Atención dada a su queja
7 Esta variable no se considera en la estimación del modelo.
15
Variable
latente Descripción
Variable
manifiesta Descripción
queja8
Confianza
Confianza en el
funcionamiento
futuro del programa
Recomendación Recomendación (disposición a
recomendar)
Seguridad Confianza en el funcionamiento
futuro
A continuación se presentan las hipótesis particulares que, como ya se mencionó anteriormente, se
refieren a la calidad percibida.
Hipótesis 7. La Calidad percibida se asocia de manera positiva con Proceso.
Hipótesis 8. La Calidad percibida se asocia de manera positiva con Respuesta y asignación de recursos.
Hipótesis 9. La Calidad percibida se asocia de manera positiva con Capacidad de gestión del personal del
programa.
Diseño del instrumento Ya se mencionó que se retomó la mayor parte del cuestionario de 2006. Sin embargo, fue necesario
operacionalizar los cambios puntuales del modelo y hacer algunos ajustes a las preguntas adicionales al
modelo para conformarlo a las características actuales del cuestionario IMSU, que son las siguientes:
a) Datos de control del levantamiento: datos de identificación del municipio, folio de la entrevista,
fecha y hora de entrevista, clave del entrevistador e información sobre los intentos realizados
antes de obtener la entrevista.
b) Presentación del entrevistador al usuario que explica los objetivos del estudio y asegura al
entrevistado la confidencialidad de sus respuestas.
c) Datos generales: datos sociodemográficos (edad, sexo, escolaridad, etc.), preguntas para
verificar la elegibilidad del entrevistado.
d) Sección de evaluación de la comprensión de la escala por parte del entrevistado. Se explica al
entrevistado la forma en que se le pedirá evaluar al programa en cuestión y se hace una prueba
con dos preguntas no relacionadas con el programa: a) ¿Qué tan contento se encuentra usted
cuando las cosas le salen como usted quiere? y b) ¿Qué opina de la gente que mata a otros?
Estas preguntas están planteadas de tal manera que las respuestas, en el primer caso, deben ser
muy altas y, en el segundo, muy bajas en la escala de 1 a 10. Si el entrevistado no contesta
conforme a esta previsión, se le plantean de nuevo las preguntas. Si vuelve a responder de
manera diferente a la esperada, no se le hace la entrevista.
8 Esta variable no se considera en la estimación del modelo.
16
e) Preguntas que operacionalizan el modelo de evaluación del programa. Las preguntas del modelo
de evaluación, con la excepción de la pregunta sobre quejas, se componen de dos elementos:
Estímulo que pide al entrevistado evaluar un aspecto del programa en cuestión (derivado
de una variable manifiesta) en función de un criterio concretado en un adjetivo o adverbio.
La formulación de las preguntas correspondientes a las variables latentes genéricas
(Expectativas, Calidad percibida y Satisfacción) sigue, en general, la línea de estas preguntas
en las evaluaciones ACSI, pero ha requerido una adaptación para su uso en programas
sociales mexicanos. Las preguntas particulares son formuladas especialmente para cada
evaluación con base en los elementos que se mencionan a continuación.
o Para elegir al calificativo se toma en cuenta su propiedad lingüística y la información de
las entrevistas cualitativas con usuarios. El adjetivo o adverbio se inserta en la pregunta
preferentemente de manera balanceada, es decir, se mencionan los dos polos de la
dimensión que representa. Por ejemplo, si el criterio es la facilidad para realizar un
trámite, se pregunta al entrevistado qué tan fácil o difícil considera el trámite. Se omite
el balanceo de una pregunta cuando la expresión de las polaridades del calificativo hace
muy compleja la redacción, siempre que a juicio de los expertos consultados para el
diseño del estudio, la formulación adoptada adjetivo no suponga un sesgo. Por ejemplo,
no se consideró que el adjetivo “clara” indujera respuestas en algún sentido (pregunta
P6).
o En contadas ocasiones, se omite del todo el adjetivo o adverbio en el estímulo cuando
su inclusión hace compleja la redacción y dificulta, por tanto, la comprensión por parte
de los entrevistados. En esos casos, se plantea al entrevistado solamente el aspecto a
evaluar: “¿cómo califica al programa en cuanto a (aspecto)” y de inmediato se presenta
el calificativo al explicar la escala.
o Es importante subrayar que las preguntas del modelo de evaluación no piden
información fáctica (cuál fue el monto del apoyo, cuánto tiempo le llevó elaborar los
informes, qué información le dieron) sino opiniones sobre diferentes situaciones en las
que se ha visto el usuario del programa. Es posible intercalar preguntas fácticas que
ayuden a ubicar al entrevistado en un tema antes de preguntarle su opinión. Estas
preguntas no se usan para estimar el modelo de evaluación. En este estudio no fue
necesario introducir este tipo de preguntas.
Explicación de la escala particular de la pregunta. Aunque las preguntas del modelo (con la
excepción mencionada) tienen la misma escala 1 a 10 (en algunos programa se usa 1 a 5), la
escala de cada pregunta es anclada en sus extremos (1 y 10) con expresiones igualmente
extremas del adjetivo o adverbio que sirve de criterio de evaluación. Por ejemplo, en la
pregunta 6 se explica al usuario: “1” significa que es “muy difícil” y “10” significa que es
“muy fácil”. Además, existen las opciones “No sabe” y “No contestó”.
Repetición del estímulo que pide al entrevistado evaluar un aspecto del programa en
cuestión.
f) Preguntas de quejas. La pregunta principal indaga si el usuario ha presentado alguna vez una
queja sobre el programa y sus opciones de respuesta son Sí y No (además de “No sabe” y “No
17
contestó”). Dos preguntas adicionales que no se usan en la estimación del modelo sí utilizan la
escala 1 a 10.
g) Condicionamiento de los apoyos. Conjunto de preguntas para identificar posibles casos de
condicionamiento: contraprestación exigida y responsable. En este estudio no se incluyó este
tema pues, dado que los usuarios eran a la vez funcionarios públicos se consideró que no
contestarían sinceramente a esas preguntas. Admitir que dieron una contraprestación o que no
denunciaron el intento, significaría una responsabilidad grave.
h) Preguntas de prueba con las que se explorarán configuraciones distintas del modelo ACSI/IMSU
y que no se considerarán para esta evaluación del programa.
En la tabla 3, se muestran las preguntas que operacionalizan las variables manifiestas del modelo de
evaluación del programa. El cuestionario completo se puede ver en el Anexo 1.
Tabla 3. Variables manifiestas y preguntas
Variable manifiesta No. Pregunta
Expectativa general. P2
P2.-Usted probablemente tenía alguna idea de cómo
funcionaría en general el Programa antes de iniciar su
participación en él. Ahora, haga memoria y recuerde
cómo pensaba que iba a funcionar este programa.
(Encuestador: dé al entrevistado unos segundos para
recordar y expresar lo que pensaba. Cuando termine,
continúe). Ya me ha dicho cómo pensaba que iba a
funcionar el programa. Ahora, le voy a preguntar ¿qué
tan bien o mal pensaba que iba a funcionar el programa?
En una escala de 1 a 10 donde “1” significa "pensaba que
iba a funcionar muy mal" y “10” significa "pensaba que
iba a funcionar muy bien”, ¿qué tan bien o mal pensaba
que iba a funcionar el programa?
Expectativa sobre las
dimensiones P3
P3.- Ahora le preguntaré cómo pensaba que iba a
funcionar el Programa tomando en cuenta aspectos
como el proceso de presentación de propuestas, la
respuesta a las propuestas, la entrega de los recursos, la
capacidad de gestión del personal del programa y la
revisión de avances. “1” significa "pensaba que iba a
funcionar muy mal" y “10” significa "pensaba que iba a
funcionar muy bien”. Tomando en cuenta todos esos
aspectos, ¿cómo pensaba que iba a funcionar el
Programa?
Expectativa de dificultades P4 P4.- Ahora le pido que recuerde si usted pensaba que
podría tener dificultades con el Programa durante el
18
Variable manifiesta No. Pregunta
desarrollo de los proyectos. ¿Qué tantas dificultades
pensaba que tendría con el programa? “1” significa
“pensaba que tendría muchas dificultades” y “10”
significa “pensaba que no tendría dificultades”. ¿Qué
tantas dificultades pensaba que tendría con el programa?
Claridad de la información
sobre objetivos P5
P5.- ¿Qué tan clara es la información que usted recibió
sobre los objetivos del Programa en 2008 o 2009? “1”
significa “muy poco clara” y “10” significa “muy clara”.
¿Qué tan clara es la información que usted recibió sobre
los objetivos del Programa?
Claridad de la información
sobre la presentación de
propuestas
P6
P6.- ¿Qué tan clara le parece la información que recibió
sobre cómo presentar propuestas de proyectos al
Programa en 2008 o 2009? “1” significa “muy poco clara”
y “10” significa “muy clara”. ¿Qué tan clara le parece la
información que recibió sobre cómo presentar
propuestas de proyectos al Programa?
Facilidad para elaborar
reportes P7
P7.- ¿Qué tan fácil o difícil es elaborar los reportes de
avance físico-financiero? “1” significa “es muy difícil” y
“10” significa. “es muy fácil”. ¿Qué tan fácil o difícil es
elaborar los reportes de avance físico-financiero?
Transparencia P8
P8.- Cuando el Programa le respondió a su municipio
acerca de su solicitud de apoyo, ¿qué tan clara fue la
explicación sobre las razones por las que se aprobó o no
se aprobó la solicitud? “1” significa “muy poco clara” y
“10” significa “muy clara”. ¿Qué tan clara fue la
explicación sobre las razones por las que se aprobó o no
se aprobó la solicitud?
Relevancia de los recursos P9
P9.- En los proyectos que ha tenido a cargo para la
ampliación y el mejoramiento de la infraestructura, ¿qué
tan decisivo fue el dinero aportado por el Programa para
la ejecución de los proyectos? En la escala,“1” significa “el
dinero del Programa insignificante o nulo” y “10” significa
“el dinero del Programa fue decisivo”. ¿Qué tan decisivo
ha sido el dinero aportado por el Programa para la
ejecución de estos proyectos?
19
Variable manifiesta No. Pregunta
Oportunidad de los
recursos P10
P10.- Cuando comenzó la ejecución de los proyectos
aprobados y una vez hechas las comprobaciones
requeridas por parte del municipio, ¿qué tan a tiempo
llegaron los recursos aprobados por el Programa? “1”
significa “llegaron muy tarde” y “10” significa “llegaron a
tiempo”. ¿Qué tan a tiempo llegaron los recursos
aprobados por el Programa?
Conjunción de recursos P11
P11.- Como sabe, es deseable la conjunción de esfuerzos
y recursos para potenciar el impacto de los proyectos de
desarrollo de infraestructura que apoya el Programa.
¿Qué tanto favoreció el personal del programa que se
conjuntaran esfuerzos y recursos? “1” significa “ha sido
totalmente ineficiente” y “10” significa “ha sido
totalmente eficiente”. ¿Qué tanto favoreció el personal
del programa que se conjuntaran esfuerzos y recursos?
Suficiencia de visitas P12
P12.- El personal del Programa debe de realizar dos
visitas a los proyectos de desarrollo de infraestructura
social. De acuerdo a las necesidades del proyecto, ¿qué
tan útiles han sido estas visitas? “1” significa “las visitas
han sido nada útiles” y “10” significa “las visitas han sido
muy útiles”. ¿Qué tan útiles han sido las visitas del
personal del Programa?
Utilidad de la asesoría P13
P13.- ¿Qué tan útil ha sido la asesoría del residente del
programa? “1” significa “ha sido totalmente inútil” y “10”
significa “ha sido totalmente útil”. ¿Qué tan útil ha sido la
asesoría del residente del programa?
Calidad percibida general P14
P14.- Con base en todas las experiencias que usted tuvo
en 2008 o 2009 con el Programa ¿cómo califica al
Programa en general? “1” significa “muy mal” y “10”
significa “muy bien”. ¿Cómo califica al Programa en
general?
Calidad percibida de las
dimensiones P15
P15.- Si toma en cuenta aspectos como el proceso de
presentación de propuestas, la respuesta a las
propuestas, la entrega de los recursos, la capacidad de
gestión del personal del programa y la revisión de
avances, ¿qué tan bien o mal funcionó el Programa en
20
Variable manifiesta No. Pregunta
2008 y 2009? “1” significa “funcionó muy mal” y “10”
significa “funcionó muy bien”. ¿Qué tan bien o mal
funcionó el Programa en 2008 y 2009?
Percepción de dificultades P16
P16.- ¿Qué tantas dificultades tuvo en su relación con el
Programa? “1” significa “tuve muchas dificultades” y “10”
significa “no tuve dificultades”. ¿Qué tantas dificultades
tuvo en su relación con el Programa?
Satisfacción general P17
P17.- Tomando en cuenta todas las experiencias que tuvo
con el Programa en 2008 y 2009, ¿qué tan satisfecho o
insatisfecho se encuentra con este Programa? “1”
significa “nada satisfecho” y “10” significa “muy
satisfecho”. ¿Qué tan satisfecho o insatisfecho se
encuentra con este programa?
Comparación con
expectativas P18
P18.- Al inicio de la entrevista usted ya me mencionó lo
que esperaba del Programa antes de empezar a trabajar
con él. ¿Cómo califica al Programa en comparación con lo
que usted esperaba de él? “1” significa “mucho peor de lo
que esperaba” y “10” significa “mucho mejor de lo que
esperaba”. ¿Cómo califica al Programa en comparación
con lo que usted esperaba de él?
Comparación con el ideal P19
P19.- Ahora, olvide un momento al Programa y dígame
cómo sería un programa ideal que apoye proyectos de
desarrollo de infraestructura en localidades marginadas.
(Entrevistador, haga una pausa para dejar al entrevistado
expresar cómo sería este programa ideal. Cuando termine
de hablar, continúe). ¿Qué tanto se parece el programa
que acaba de imaginar al Programa que dio apoyos a su
municipio en 2008 o 2009? “1” significa “no se parece en
nada” y “10” significa “se parece mucho”. ¿Qué tanto se
parece el programa que acaba de imaginar al Programa
que dio apoyos a su municipio en 2008 o 2009?
Quejas P21
P21.- ¿Ha presentado alguna vez una queja por el servicio
que le ofrece el Programa para el Desarrollo de Zonas
Prioritarias?
21
Variable manifiesta No. Pregunta
Facilidad para presentar la
queja9 P21a
P21a.- ¿Qué tan fácil o difícil fue presentar su última
queja? “1” significa “muy difícil” y “10” significa “muy
fácil”. ¿Qué tan fácil o difícil fue presentar su última
queja?
Atención dada a su queja10 P21b
P21b.- ¿Qué tan buena o mala fue la atención que le
dieron a su última queja? “1” significa “muy mala
atención” y “10” significa “muy buena atención”. ¿Qué
tan buena o mala fue la atención que le dieron a su
última queja?
Recomendación P22
P22. ¿Qué tan dispuesto estaría usted a hablar bien del
Programa o a recomendar a otros funcionarios
municipales que participen en él? “1” significa “nada
dispuesto” y “10” significa “muy dispuesto”. ¿Qué tan
dispuesto estaría usted a hablar bien o a recomendar a
otros funcionarios o a otros municipios que participen en
el Programa?
Seguridad P23
P23.- ¿Qué tanta confianza tiene en que, en el futuro, el
Programa hará un buen trabajo para apoyar a los
proyectos de desarrollo de infraestructura que los
municipios tienen para sus localidades marginadas? “1”
significa “muy poca confianza” y “10” significa “mucha
confianza”. ¿Qué tanta confianza tiene en que, en el
futuro, el Programa hará un buen trabajo para apoyar a
los proyectos de desarrollo de infraestructura que los
municipios tienen para sus localidades marginadas?
La versión final del cuestionario en papel fue transcrita a un programa informático con el que se
realizaron las entrevistas telefónicas.
Diseño muestral
Tamaño muestral
Las fórmulas de tamaño muestral tradicionales requieren, para operarse, de alguna estimación de la
desviación estándar, al no disponer de ninguna información previa sobre las poblaciones de estudio, la
propuesta fue encontrar el máximo valor posible de , la desviación estándar poblacional. Con éste
9 Esta variable no se considera en la estimación del modelo.
10 Esta variable no se considera en la estimación del modelo.
22
valor máximo de se puede asegurar que los resultados satisfacen, la condición de margen de error
con alguna confianza especificada, por la relación directa positiva entre varianza y tamaño muestral (a
mayor varianza, mayor tamaño muestral).
Los cuestionarios están diseñados de modo tal, que las respuestas a cada una de las preguntas, sean un
número entre 1 y 10. Pensando la respuesta a cada pregunta como una variable aleatoria X discreta, con
10 posibles valores (1, 2, 3, 4, 5, 6, 7, 8, 9 y 10), la mayor de las posibles varianzas ocurre cuando la
probabilidad de los valores “1” y “10”, son 0.5 y cero para los demás valores. En tal caso, la desviación
estándar = 4.5
Usando este máximo valor de , en la fórmula de tamaño muestral basada en el teorema del límite
central, que permite estimar la media poblacional , con un margen de error de 0.25, con una
confianza del 95% el resultado, asumiendo que hay una infinidad de elementos en la población, es:
7.1244
25.0
5.496.12
22
n
Donde 1.96 es el punto crítico 05.Z de la distribución normal estándar.
Se podría considerar alguna reducción al tamaño de muestra dado por la fórmula anterior, pues es
prácticamente imposible que en algún programa se obtengan sólo respuestas de “1” y “10”. Además, en
resultados de encuestas previas, para trabajos de estimación estadística en programas de la Sedesol, a
nivel nacional, el tamaño de muestra que les ha funcionado es de 1200.
Se decidió, por lo anterior, emplear un tamaño de muestras de 1200 para la evaluación de la satisfacción
en programas con más de 200 000 usuarios. En estos casos, se eligió el margen de error de 0.25 porque
estaría en relación con un margen aproximado de ±3, sobre una escala de 0 a 100, que es la escala en
que se reporta el Índice Mexicano de Satisfacción del Usuario. Pero para los programas con poblaciones
pequeñas, como PDZP – Infraestructura municipal, se usó la fórmula mencionada con el factor de
corrección por población finita.
La población total del programa es N=598 usuarios. Con esta población, el tamaño de muestra que cubre
las condiciones previas de margen de error de 0.25 y nivel de 95% de confianza es:
9.403
598
1
5.496.1
25.
1
22
2
n
El tamaño de muestra adoptado para este programa es 400. Finalmente, el tamaño de muestra real del
programa fue de 218. Se considera suficiente en virtud de que, después de completar estas 218
entrevistas, la desviación estándar estimada resultó ser de 2.23, entonces el tamaño de muestra que
cumple con las condiciones antes mencionadas es:
23
3.202
598
1
23.296.1
25.
1
22
2
n
Diseño muestral nacional
Población objetivo: Funcionarios municipales que han dirigido al menos una obra de infraestructura social en los años 2008 y 2009 con el apoyo del PDZP y en cuyo municipio no haya habido cambio de gobierno desde esos años. Los estados de Campeche, Colima, Guanajuato, México, Querétaro, San Luis Potosí y Sonora, se descartaron para el estudio porque el periodo de gobierno terminó en octubre del 2009.
Unidades de observación: funcionarios municipales.
Marco muestral: Directorio de funcionarios municipales que cumplen las características de la población objetivo.
Nivel de Estimación: Nacional.
Modalidad de aplicación: Vía telefónica
Método de selección: Muestreo aleatorio simple. A partir de esta selección se construye el
directorio telefónico tanto de los funcionarios a entrevistar, como de los posibles reemplazos.
Tamaño muestral: 400 funcionarios.
3. Recolección de datos a nivel nacional
Contratación de la empresa encuestadora Se invitó a varias empresas a presentar propuestas técnico-financieras para la realización de las
entrevistas (ver los términos de referencia en el Anexo 2). La empresa Prospecta Decisiones Estratégicas,
S.A. de C.V. ofreció el presupuesto más bajo con especificaciones técnicas similares a las demás
propuestas, por lo que obtuvo el contrato de la prueba piloto. Para el levantamiento nacional se le pidió
un nuevo presupuesto pero también se solicitaron varias cotizaciones adicionales. La empresa
mencionada ofreció de nuevo la mejor propuesta, por lo que también realizó estas entrevistas.
Capacitación La capacitación de encuestadores para entrevistas telefónicas se realizó el 23 de abril en una sesión
presencial. Fue impartida por personal del equipo IMSU y de la empresa Prospecta en las instalaciones
de esta última. La sesión se basó en el Manual de Aplicación (ver Anexo 3) cuyos temas son:
Metodología general
o Instrucciones generales
o Las preguntas y las escalas del modelo
o Las preguntas ajenas al modelo
Informantes. Criterios de inclusión.
Selección de entrevistados
24
Además de la exposición, la presentación del programa de captura y la discusión de estos contenidos, se
dio tiempo para una práctica de entrevista entre los encuestadores (con cuestionarios en papel) y se les
retroalimentó al respecto.
Periodo de levantamiento Las entrevistas se empezaron a realizar el 28 de abril y terminaron el 7 de mayo.
Durante las entrevistas telefónicas ocurrieron los siguientes hechos relevantes.
Tabla 4. Principales acontecimientos durante las entrevistas
Acontecimiento Solución
La mayoría de los números telefónicos
proporcionados por la Sedesol eran erróneos:
estaban equivocados, habían cambiado o en ese
número no había nadie que tuviera conocimiento
de los proyectos realizados con apoyo del PDZP.
Se solicitó el apoyo a Sedesol para actualizar la
información. También se recurrió a los
funcionarios que tomaban las llamadas para
pedirles información sobre las personas que
participaron en los proyectos de infraestructura
apoyados por el PDZP.
Algunos entrevistados se quejaron de la
estructura de los reactivos (pregunta-escala-
pregunta). Consideraban que habían comprendido
la escala y que era innecesario repetir la pregunta.
Se les explicó que esa era la metodología. Pero fue
común que los entrevistados dieran su respuesta
antes del segundo planteamiento de la pregunta.
Supervisión Además de la supervisión realizada por Prospecta sobre sus encuestadores, la UIA realizó una
supervisión. Para ello se diseñó una cédula (Anexo 4) en la que se registraron las desviaciones de las
entrevistas respecto de los procedimientos indicados.
Se observó una pequeña muestra de nueve entrevistas mediante una persona contratada para ese fin.
Se supervisaron entrevistas de los siguientes estados: Baja California, Guerrero, Hidalgo, Oaxaca (2),
Puebla (3) y Tlaxcala.
Además de las limitaciones presupuestales, la razón de sólo verificar nueve entrevistas fue que, durante
la prueba piloto de la evaluación del Programa Estancias Infantiles en su modalidad responsables de
estancia, se constató un buen desempeño de los encuestadores telefónicos de la empresa Prospecta.
Por eso, se decidió tener una presencia mínima de supervisión. Cabe señalar que sólo fue posible
observar el polo de las entrevistas correspondiente al entrevistador.
Las desviaciones respecto de las preguntas e instrucciones básicas del modelo observadas en la
supervisión fueron las siguientes:
Tabla 5. Desviaciones a los procedimientos de recolección de datos
25
Desviación
Cantidad de
casos con
desviación
Porcentaje de
casos con
desviación sobre
el total de
puntos de
control (117)*
Omisión de la introducción de la entrevista 0 0.0%**
Error en la explicación de la escala 0 0.0%**
Lectura incompleta de un reactivo o instrucción 2 1.7%
Lectura incorrecta de un reactivo o instrucción 1 0.9%
Mala dicción 1 0.9%
Explicación improcedente 1 0.9%
Formulación potencialmente inductora de respuesta 0 0.0%
Tono agresivo por parte del entrevistador 2 1.7%
No se respeta una instrucción de pase*** 0 0.0%
Se omite la lectura de una instrucción al entrevistado 0 0.0%
El entrevistador no sigue una instrucción 0 0.0%
El entrevistador se sale del tema del cuestionario 1 0.9%
* Los puntos de control son la cantidad de preguntas o instrucciones básicas del modelo por la cantidad
de entrevistas supervisadas.
** Este porcentaje se obtuvo sobre el total de entrevistas: 9.
*** Cabe señalar que, dado el sistema computarizado, no era posible desoír una instrucción de pase.
Las desviaciones de todos los tipos muestran porcentajes bajos que no llevan a pensar en una baja
confiabilidad de la información.
Efectividad del trabajo de campo
Se realizaron 304 entrevistas de las 400 programadas, para una efectividad del 76%, cuyo desglose se
puede ver en la Tabla 3. De las 304 entrevistas sólo 79 se eliminaron por faltarles muchas preguntas por
contestar o faltarles preguntas críticas. Quedaron así 225 entrevistas efectivas de las que se eliminaron,
además, 7 por tener contradicciones en sus respuestas.
26
Tabla 6. Distribución de la muestra por entidades
Entidad Esperado Logrado % Efectividad
Aguascalientes 4 3 75.00%
Baja California 3 2 66.67%
Baja California Sur 3 1 33.33%
Campeche 0 0 -
Coahuila de Zaragoza 0 0 -
Colima 0 0 -
Chiapas 46 19 41.30%
Chihuahua 9 11 -
Distrito Federal 3 2 66.67%
Durango 8 9 112.50%
Guanajuato 0 0 -
Guerrero 26 24 92.31%
Hidalgo 22 17 77.27%
Jalisco 9 8 88.89%
México 0 0 -
Michoacán de Ocampo 26 25 96.15%
Morelos 6 4 66.67%
Nayarit 1 1 100.00%
Nuevo León 4 1 25.00%
Oaxaca 83 47 56.63%
Puebla 53 54 101.89%
Queretaro de Arteaga 0 0 -
Quintana Roo 1 2 200.00%
San Luis Potosí 0 0 -
Sinaloa 3 4 133.33%
Sonora 0 0 -
Tabasco 8 2 25.00%
Tamaulipas 5 9 180.00%
Tlaxcala 8 8 100.00%
Veracruz de Ignacio de la Llave 36 28 77.78%
Yucatán 22 12 54.55%
Zacatecas 11 11 100.00%
TOTAL 400 304 76.00%
Funcionarios
27
4. Análisis estadístico
Caracterización de los encuestados
En este apartado se describen características socio demográficas de la población encuestada, con el
objetivo de contextualizar las siguientes secciones.
La duración promedio de las entrevistas efectivas fue de 32.0 minutos, en tanto que el número
promedio de intentos para lograr una entrevista exitosa fue de 11.85.
El 89.4% de los entrevistados fueron hombres y 10.6% mujeres. El 20% de los entrevistados tiene a lo
más 30 años de edad, el 53.5% tiene a lo más 40 años y tres de cada cuatro tienen a lo más 46 años. La
edad mínima registrada fue de 23 años (2 casos), la máxima de 70 años (1 caso) y la edad promedio fue
de 40.2 años con una desviación estándar de 9.56
Con base en la pirámide demográfica se puede apreciar que se tiene una mucha mayor proporción de
hombres que de mujeres. De hecho por cada dos mujeres se tienen 17 hombres.
Figura 3. Género y edad
En cuanto a la ubicación se tiene que 15.5% de los entrevistados son de Oaxaca, el 17.8% de Puebla,
10.60% de Veracruz, 9.2% de Michoacán y 8.2% de Chiapas. En el otro extremo se tiene que 0.3%
corresponde a Nuevo León, Nayarit, Morelos y Baja California Sur. En la siguiente tabla se observan el
28
resto de las entidades federativas.
Figura 4. Entidad federativa
Al preguntar cómo clasificarían su puesto a partir de algunas opciones su puesto, el 28% respondió que
era la máxima autoridad municipal, 28.4% empleado de obras públicas y 22.5% la máxima autoridad en
el área de obras públicas. Es digno de mencionar que la diversidad de nombres de puestos es alta y llega
a 218 nombres distintos.
0.30%
0.30%
0.30%
0.70%
0.70%
0.70%
0.70%
1.00%
1.30%
1.30%
2.60%
2.60%
3.00%
3.00%
3.60%
3.60%
3.90%
5.60%
6.30%
7.90%
8.20%
9.20%
15.50%
17.80%
BAJA CALIFORNIA SUR
NAYARIT
NUEVO LEON
QUINTANA ROO
BAJA CALIFORNIA
DISTRITO FEDERAL
TABASCO
AGUASCALIENTES
MORELOS
SINALOA
TLAXCALA
JALISCO
DURANGO
TAMAULIPAS
ZACATECAS
CHIHUAHUA
YUCATAN
HIDALGO
CHIAPAS
GUERRERO
MICHOACAN DE OCAMPO
VERACRUZ-LLAVE
OAXACA
PUEBLA
29
Figura 5. ¿Cuál de las siguientes opciones es la más adecuada para clasificar su puesto?
El 5.3% de los entrevistados tenía primaria completa; 6.3% contaba con secundaria completa; 7.9%
educación media superior completa y 63.2% afirmó tener licenciatura completa. De manera
desagregada se muestran los niveles en la siguiente gráfica poligonal.
Máxima autoridad municipal.
Empleado del área de obras públicas.
Máxima autoridad en el área de obras públicas.
Empleado de otra área del gobierno municipal.
Máxima autoridad en otra área del gobierno municipal.
Otro, especifique
30
Figura 6. ¿Hasta qué año estudió usted?
Al preguntar a los entrevistados el área más adecuada para clasificar su carrera dentro de un catálogo,
se obtuvo que 66.4% de los que respondieron se identifica con Ingeniería, 15.5% con Administración,
10.6% con Ciencias Sociales y el 7.5% con otras.
Figura 7. ¿Cuál de las siguientes es la más adecuada para clasificar su carrera?
3.00%5.30%
1.00%
6.30%1.30%
7.90%0.70%3.90%
3.00%
63.20%
4.60%
Primaria incompleta
Primaria completa
Secundaria incompleta
Secundaria completa
Media superior (bachillerato, preparatoria o vocacional)
incompleta.
Media superior completa. Carrera técnica incompleta.
Carrera técnica completa.
Licenciatura incompleta.
Licenciatura completa.
Más que licenciatura.
66.40%
15.50%
10.60%
7.50%
Ingeniería
Administración
Ciencias Sociales
Otra, especifique
31
5. Generalidades del método estadístico del PLS En este apartado se presentan los principales aspectos del método estadístico del PLS en forma general.
Para aquellos interesados en este método se puede consultar el Documento metodológico en el Anexo
7.
Los modelos de ecuaciones estructurales Los modelos de ecuaciones estructurales (SEM, por su nombre en inglés, Structural Equation Models)
permiten la estimación de cadenas de relaciones causales, definidas teóricamente, entre variables no
observables o latentes a partir de métodos estadísticos. Las variables latentes a su vez son formadas o
reflejadas por variables observables o manifiestas provenientes de encuestas. De las variables
manifiestas se extrae información para la estimación de las variables latentes, la puntuación obtenida en
las variables latentes es utilizada en la estimación de las relaciones causales propuestas. De esta manera
es posible cuantificar variables no observables y estimar tanto la dirección como la magnitud del
impacto con otras variables no observables. PLS es uno de los enfoques para la estimación de SEM. Su
objetivo es la predicción en el análisis causal, sobre todo cuando los modelos son complejos y la teoría
no es sólida. Es posible que pueda ser utilizado en análisis confirmatorio, aunque todos los indicadores
son considerados útiles para la explicación. Como todos los métodos, PLS tiene ventajas y desventajas.
Algunas ventajas son: no requiere supuestos distribucionales, es robusto ante muestras pequeñas y un
mayor número de variables, así como con modelos complejos y valores perdidos. Sobre las desventajas
se menciona la no existencia, formalmente, de pruebas de significancia sobre los parámetros estimados,
por lo que se recurre a métodos de re-muestreo no paramétricos. Sus estimadores son sesgados. El
sesgo disminuye con el incremento del tamaño de la muestra y del número de indicadores.
32
Figura 8. Modelo estructural y modelo de medida en PLS11
Las variables analizadas son parte de un modelo complejo de trayectorias (ver Figura 8), por lo tanto, es
pertinente referirse a este análisis sobre el modelo de medida y el modelo estructural de forma
separada. El modelo de medida es aquel que representa las relaciones entre las variables manifiestas y
sus indicadores, mientras que el modelo estructural comprende las relaciones entre las variables
latentes. Toda vez que se satisfacen los criterios de confiabilidad y validez del modelo de medida,
entonces es posible analizar el modelo estructural.
En términos generales la confiabilidad y la validez del modelo de medida analizan las correlaciones entre
la variable latente y sus indicadores, la varianza de los indicadores extraída por la variable latente, así
como la correlación de los indicadores con las variables latentes a las que no pertenecen. Por lo que se
refiere al modelo estructural se analiza que la dirección y el tamaño estimado corresponda al esperado
teóricamente, la significancia estadística de los coeficientes obtenidos en las relaciones estructurales, así
como el nivel alcanzado en la explicación del fenómeno.
Los modelos de medida, según la dirección de las reglas de correspondencia entre los indicadores y la
variable latente se clasifican en formativos y reflexivos. Para los modelos de medida reflexivos la
variable latente se refleja en sus indicadores, por el contrario en los modelo de medida formativos la
variable latente es formada por sus indicadores. Un ejemplo de variable manifiesta que forma a una
variable latente puede ser la variable latente=nivel socioeconómico y la variable manifiesta=ingresos. Un
ejemplo de variable manifiesta que refleja a la variable latente puede ser la variable latente=inteligencia
11
Basado en Henseler et al., 2009, p. 285.
ξ1
ξ2
Ƞ1
X11
X12
X13
X21
X22
X23
y1
y2
Modelo
estructural
Modelo de medida Modelo de medida
33
y la variable manifiesta=rapidez de análisis. En el modelo del IMSU las variables manifiestas son un
reflejo de las variables latentes.
A continuación se describirán los métodos utilizados para analizar la confiabilidad y la validez del
modelo de medida.
a) La confiabilidad individual de cada variable manifiesta, se evalúa mediante examen de los
pesos obtenidos por PLS o las correlaciones simples de las variables manifiestas con su
constructo respectivo. Una regla general es aceptar variables manifiestas con pesos
estandarizadas iguales o superiores a 0.70. (Barclay et al., 1995 citado en Lévy Jean-Pierre et
al., 2006, p. 330), puesto que se espera que la variable latente refleje por lo menos el 50%
de la varianza de cada uno de sus indicadores La sugerencia es eliminar indicadores con
pesos estandarizados menores a 0.4 si su eliminación genera mejora en la confiabilidad
compuesta. (Churchill 1979, citado en Henseler et al, 2009, p. 299)
b) Consistencia interna de las variables latentes. Tradicionalmente la consistencia interna se
evalúa con el Alpha de Cronbach. Sin embargo, esta medida tiende a subestimar puesto que
considera a todos los indicadores igualmente confiables. La confiabilidad compuesta es una
alternativa para verificar la consistencia interna, pues prioriza los indicadores, lo que lo hace
una medida más confiable para el tipo de metodología utilizada. Se considera que 0.70 es un
valor aceptable para el Alfa de Cronbach y para la confiabilidad compuesta, en las primeras
etapas de investigación. Para etapas más avanzadas, los valores aceptables están entre 0.80
y 0.90. Valores de 0.60 o menos indican falta de confiabilidad. (Henseler et al, 2009, p. 299).
c) Validez convergente. Este tipo de validez en un modelo de medida se evalúa estudiando la
capacidad de la variable latente de explicar a sus indicadores. Esta característica es evaluada
con la comunalidad promedio por constructo, a través del AVE (Average Variance Extracted).
El criterio establece valores del AVE de por lo menos 0.5 para las variables latentes, lo cual
representa la capacidad del constructo para explicar más de la mitad de la varianza de sus
indicadores en promedio. (Fornell y Lacker (1981) citado en Henseler et al, 2009, p. 299)
d) La validez discriminante, busca identificar si la variable latente se asocia más con sus
variables manifiestas, que con otras variables latentes. Esto se realiza mediante dos
métodos, uno de ellos compara la raíz cuadrada de la capacidad de la variable latente de
explicar sus indicadores con la correlación entre las variables latentes, es decir, se debe
cumplir que
El otro procedimiento, revisa si el peso de un indicador asociado con su variable latente es
mayor que los pesos asociados con otras variables latentes. El que no cumpla con el criterio
implica que el indicador podría ser parte de otra variable latente.
34
Análisis del modelo estructural Al verificarse satisfactoriamente la confiabilidad y validez del modelo de medida se realiza la valoración
del modelo estructural.
El poder predictivo es evaluado con el coeficiente de correlación R2 de cada variable latente endógena.
En modelos estimados con PLS una R2 de 0.67 se considera sustancial, una de 0.33 es moderada y una de
0.19 es pobre. Son aceptables R2 moderadas en los casos en donde una variable latente endógena es
explicada por pocas (una o dos) variables latentes exógenas. En los casos en que el número de variables
latentes exógenas es mayor, se esperan R2 sustanciales, al menos (Chin, 1998 citado Henseler et al,
2009, p. 303)
La construcción de intervalos de confianza para los parámetros estimados con PLS, con el objetivo de
hacer inferencia estadística, es posible con métodos no paramétricos como Bootstrapping.
6. Confiabilidad y Validez del Modelo de Medida En esta parte se reportará el análisis de la validez y la confiabilidad de las mediciones realizadas con
base en el cuestionario cuyos ítems son los indicadores de las variables manifiestas.
Confiabilidad individual de las variables manifiestas En las tablas 7 y 8 se muestran los pesos externos estimados con ACSI y SmartPLS, respectivamente. Se
han sombreado las variables manifiestas con pesos menores a 0.70 respecto a su constructo o variable
latente (4 de 21), sin embargo ninguno de ellos es menor a 0.40. La menor carga es del orden de 0.46,
por lo que se puede decir que los ítems presentan una confiabilidad individual adecuada.
Tabla 7. Pesos externos estimados con ACSI
Variables Manifiestas Calidad Confianza Expectativas
Capacidad
de gestión
del personal
del
programa
Proceso Quejas
Respuesta y
asignación
de recursos
Satisfacción
Calidad percibida de las dimensiones 0.8651
Calidad percibida general 0.8934
Claridad de la información sobre objetivos 0.9181
Claridad sobre la presentación de propuestas 0.9104
Comparación con el ideal 0.8020
Comparación con expectativas 0.8279
Conjunción de recursos 0.8343
Expectativa de dificultades 0.6052
Expectativa general 0.7754
Expectativa sobre las dimensiones 0.8298
Facilidad para elaborar reportes 0.4637
Oportunidad de los recursos 0.7737
Percepción de dificultades 0.5700
Quejas 1.0000
Recomendación 0.8491
Relevancia de los recursos 0.6897
Satisfacción general 0.9119
Seguridad 0.8398
Suficiencia de visitas 0.8242
Transparencia 0.7924
Utilidad de la asesoria 0.8898
Variables Latentes
35
Tabla 8. Pesos externos estimados con SmartPLS.
Consistencia interna de las variables latentes En la Tabla 9 se observa que todas las variables tienen una confiabilidad compuesta adecuada (mayor a
0.7). Algunas Alfas de Cronbach son menores a lo adecuado pero ya se dijo que este estadístico
subestima la confiabilidad en modelos estructurales.
Tabla 9. Consistencia interna de las variables latentes: confiabilidad compuesta, Alfa de Cronbach con ACSI y Alfa de Cronbach con SmartPLS
Variables Manifiestas Calidad Confianza Expectativas
Capacidad de
gestión del
personal del
programa
Proceso Quejas
Respuesta y
asignación
de recursos
Satisfacción
Calidad percibida de las dimensiones 0.8545
Calidad percibida general 0.8732
Claridad de la información sobre objetivos 0.9166
Claridad sobre la presentación de propuestas 0.9085
Comparación con el ideal 0.8092
Comparación con expectativas 0.8195
Conjunción de recursos 0.8346
Expectativa de dificultades 0.6096
Expectativa general 0.7737
Expectativa sobre las dimensiones 0.8288
Facilidad para elaborar reportes 0.4567
Oportunidad de los recursos 0.7705
Percepción de dificultades 0.6163
Quejas 1.0000
Recomendación 0.8234
Relevancia de los recursos 0.6928
Satisfacción general 0.9099
Seguridad 0.8643
Suficiencia de visitas 0.8227
Transparencia 0.7911
Utilidad de la asesoria 0.8895
Variables Latentes
Confiabilidad
Compuesta
con ACSI
Alfa de
Cronbach con
ACSI
Confiabilidad
Compuesta
Alfa de
Cronbach
Calidad 0.8252 0.6872 0.8297 0.6871Capacidad de gestión del personal del
programa 0.8325 0.8086 0.8859 0.8080
Confianza 0.8277 0.5978 0.8321 0.5978
Expectativas 0.8863 0.5993 0.7847 0.5993
Proceso 0.7843 0.6757 0.8222 0.6673
Quejas 1 1.0000 1.0000 1.0000
Respuesta y asignación de recursos 0.7968 0.6171 0.7962 0.6157
Satisfacción 0.885 0.8046 0.8840 0.8029
Consistencia Interna con
SmartPLSVariables Latentes
Consistencia Interna con
ACSI
36
Validez convergente Como se observa en la Tabla 10, todas las variables latentes del estudio tienen valores adecuados, es
decir, mayores a 0.5, tanto en la estimación por ACSI (Comunalidad) como en la estimación por
SmartPLS (AVE).
Tabla 10. Validez convergente por comunalidad ACSI y AVE
Validez discriminante Para evaluar la validez discriminante del modelo, en primer lugar se comparará la capacidad de cada
variable latente para extraer la varianza de sus variables manifiestas con la correlación de esa variable
latente y las demás variables latentes del modelo. En las tablas 11 y 12 se presentan las correlaciones
entre las variables latentes estimadas con el software ACSI y SmartPLS, respectivamente. Además, en el
primer renglón se añade la raíz cuadrada de la Comunalidad y del AVE, según el caso, de cada una de las
variables. Se puede observar que el modelo tiene, en general, validez discriminante pues la capacidad de
la mayoría de las variables latentes para explicar sus variables manifiestas es mayor que las
correlaciones entre esa variable latente y las demás. La excepción es la variable Calidad, cuya
correlación con Satisfacción es ligeramente mayor a la correlación que tiene con sus propias variables
manifiestas.
Tabla 11. Correlaciones entre variables latentes estimadas con ACSI
Variables LatentesComunalidad con
ACSIAVE
Calidad 0.6238 0.6242
Capacidad de gestión del personal del programa 0.7223 0.7215
Confianza 0.7132 0.7126
Expectativas 0.5520 0.5524
Proceso 0.6289 0.6247
Quejas 1.0000 1.0000
Respuesta y asignación de recursos 0.5674 0.5665
Satisfacción 0.7201 0.7181
Calidad Confianza Expectativas
Capacidad
de gestión
del personal
del
programa
Proceso Quejas
Respuesta y
asignación
de recursos
Satisfacción
Raíz cuadrada de la Comunalidad 0.7898 0.8445 0.7430 0.8499 0.7930 1.0000 0.7533 0.8486
Calidad 1.0000
Confianza 1.0000
Expectativas 0.3840 1.0000
Capacidad de gestión del personal del programa 0.7057 0.4853 1.0000
Proceso 0.4315 0.3922 0.4508 1.0000
Quejas -0.1659 1.0000
Respuesta y asignación de recursos 0.5182 0.2232 0.4220 0.5050 1.0000
Satisfacción 0.8043 0.6350 0.4005 -0.1104 1.0000
37
Tabla 12. Correlaciones entre variables latentes estimadas con SmartPLS
Como una segunda prueba de validez discriminante, en la Tabla 13, se compararán los pesos cruzados
entre variables manifiestas y latentes sólo con SmartPLS, pues el software ACSI no tiene esta función. De
acuerdo con este análisis, todas las variables manifiestas tienen una correlación más alta con su variable
latente que con las demás variables latentes.
Tabla 13. Pesos cruzados estimados en SmartPLS
Conclusiones del análisis de confiabilidad y validez del instrumento de
medición Para evaluar la confiabilidad se analizó el comportamiento individual de las variables manifiestas y el
comportamiento de cada constructo. Para el primer análisis se utilizó como método el peso de cada
variable manifiesta en el constructo que le corresponde. Al respecto se observa que dicho peso es
adecuado en la mayoría de los casos, por ser mayor a 0.7. Hay cuatro excepciones en un total de 21
variables manifiestas: a) Expectativa de dificultades, b) Facilidad para elaborar reportes, c) Percepción
de dificultades y d) Relevancia de los recursos. Estas variables tienen un peso respecto a su variable
Variable Latente Calidad Confianza Expectativas
Capacidad
de gestión
del personal
del
programa
Proceso Quejas
Respuesta y
asignación
de recursos
Satisfacción
Raíz cuadrada de la AVE 0.7900 0.8441 0.7432 0.8494 0.7904 1.0000 0.7526 0.8474
Calidad 1.0000
Confianza 0.6144 1.0000
Expectativas 0.3884 0.3665 1.0000
Capacidad de gestión del personal del programa 0.7013 0.5282 0.4836 1.0000
Proceso 0.4489 0.3650 0.4081 0.4804 1.0000
Quejas -0.1050 -0.1709 -0.1229 -0.0737 -0.1836 1.0000
Respuesta y asignación de recursos 0.5294 0.5234 0.2249 0.4302 0.5076 -0.1320 1.0000
Satisfacción 0.7945 0.6311 0.4029 0.6823 0.4672 -0.1056 0.4964 1.0000
Variables Manifiestas Calidad Confianza Expectativas
Capacidad de
gestión del
personal del
programa
Proceso Quejas
Respuesta y
asignación
de recursos
Satisfacción
Calidad percibida de las dimensiones 0.8545 0.4664 0.3613 0.6334 0.3722 -0.1060 0.4195 0.6859
Calidad percibida general 0.8732 0.5941 0.2857 0.6573 0.3309 -0.0626 0.3886 0.7674
Claridad de la información sobre objetivos 0.4135 0.3015 0.4128 0.4461 0.9166 -0.1880 0.3673 0.4512
Claridad sobre la presentación de propuestas 0.4057 0.3035 0.3224 0.3975 0.9085 -0.1549 0.4710 0.4440
Comparación con el ideal 0.6013 0.4899 0.3961 0.5322 0.4342 -0.0814 0.3748 0.8092
Comparación con expectativas 0.6337 0.4941 0.2488 0.4932 0.4027 -0.0643 0.4766 0.8195
Conjunción de recursos 0.6247 0.4983 0.4409 0.8346 0.4840 -0.1749 0.4772 0.6342
Expectativa de dificultades 0.2045 0.1740 0.6096 0.3881 0.2648 -0.0092 0.1054 0.1963
Expectativa general 0.3046 0.3051 0.7737 0.3004 0.3002 -0.0431 0.1473 0.3023
Expectativa sobre las dimensiones 0.3366 0.3133 0.8288 0.4113 0.3425 -0.1838 0.2274 0.3699
Facilidad para elaborar reportes 0.2051 0.2890 0.2039 0.2846 0.4567 -0.0677 0.4098 0.1282
Oportunidad de los recursos 0.4086 0.3230 0.1106 0.3066 0.4029 -0.0598 0.7705 0.3276
Percepción de dificultades 0.6163 0.3814 0.2707 0.3260 0.3736 -0.0816 0.4694 0.3819
Quejas -0.1050 -0.1709 -0.1229 -0.0737 -0.1836 1.0000 -0.1320 -0.1056
Recomendación 0.5296 0.8234 0.2591 0.4105 0.3057 -0.0829 0.3937 0.5517
Relevancia de los recursos 0.3667 0.4378 0.2015 0.3248 0.2282 -0.1251 0.6928 0.3579
Satisfacción general 0.7712 0.6094 0.3705 0.6884 0.3626 -0.1166 0.4204 0.9099
Seguridad 0.5100 0.8643 0.3546 0.4782 0.3109 -0.1989 0.4855 0.5171
Suficiencia de visitas 0.4912 0.3353 0.3222 0.8227 0.3353 -0.0038 0.3086 0.4465
Transparencia 0.4182 0.4266 0.1991 0.3412 0.4982 -0.1158 0.7911 0.4341
Utilidad de la asesoria 0.6507 0.4896 0.4515 0.8895 0.3926 0.0004 0.3035 0.6314
Variables Latentes
38
manifiesta entre 0.46 y 0.69, esto es, arriba de 0.4, puntuación debajo de la cual los pesos externos
serían inaceptables.
En la literatura, para evaluar la confiabilidad a nivel de constructo –segundo análisis- se recomienda
utilizar el método de confiabilidad compuesta. Este procedimiento arrojó resultados en el rango de 0.78
a 0.89, lo cual se considera adecuado en etapas tempranas de investigación.
La validez se determina con base en la capacidad que tiene cada variable latente de explicar a cada uno
de sus indicadores –validez convergente- y además se verifica si la variable latente se correlaciona más
con sus indicadores, que con otras variables latentes –validez discriminante. El resultado de la validez
convergente es adecuado en todas las variables latentes.
Por otro lado, el instrumento muestra validez discriminante, ya que tanto las variables latentes, como
las variables manifiestas muestran su mayor correlación con el constructo del que son parte. La
excepción es la variable latente Calidad, cuya correlación con Satisfacción es sólo quince milésimas
mayor que la raíz cuadrada de su comunalidad. Esto habla de la necesidad de seguir investigando para
identificar de manera óptima las variables manifiestas de la percepción de la calidad, en particular
mediante la variable Percepción de dificultades12, pero no anula, en lo general, la validez discriminante
del modelo.
Con base en lo anterior, se podría concluir que el instrumento de medición muestra una validez y
confiabilidad adecuadas que permiten poner a prueba las hipótesis de esta investigación reflejadas en el
modelo de evaluación. También se puede observar que se debe mejorar la medición de la expectativa
pues obtuvo un peso externo menor que 0.7.
7. Resultados
Valoración del Modelo Estructural En esta sección se presenta la varianza explicada de cada una de las cuatro variables que reciben
impactos en el modelo de evaluación del programa social en cuestión. En la Tabla 14 se muestra la
de cada una de esas variables.
El valor de R2 correspondiente a las variables latentes Calidad, Expectativas y Satisfacción es moderado.
La última de estas variables incluso tiene una R2 apenas por debajo de lo que se podría considerar
sustancial. La R2 para Quejas es pobre.
12
El peso de esta variable, de hecho, es menor que el peso que tienen algunas variables externas a su variable latente con esta última, por ejemplo, Comparación con expectativas, Conjunción de recursos, Satisfacción general y Utilidad de la asesoría.
39
Tabla 14. R2 del MEE estimado con SmartPLS y ACSI
Discusión de las hipótesis Para discutir las hipótesis propuestas se muestran los resultados de la estimación del modelo
considerando todas sus variables latentes y manifiestas. Se presenta en primer lugar (Figura 9) la
estimación con el software ACSI y, después, la estimación con SmartPLS (Figura 10). Aunque se tomarán
en cuenta los resultados obtenidos con el programa SmartPLS, se privilegiarán los arrojados por el
programa del ACSI, dado que se trata de la metodología central de esta investigación. Por ello, sólo se
hará referencia a las diferencias importantes entre los dos programas.
Las dos figuras muestran las relaciones significativas (con un nivel de confianza de 95%) entre variables
latentes mediante líneas continuas. Las líneas discontinuas representan relaciones no significativas13.
Los coeficientes de las relaciones, que se ubican sobre las flechas, se leen de la siguiente manera: por
cada cinco puntos de incremento en la variable independiente se puede esperar un incremento del
tamaño del coeficiente de la relación en la variable dependiente.
13
La significatividad de las relaciones estimadas con SmartPLS se obtiene mediante el cálculo de la desviación estándar de los coeficientes de senderos con Bootstrapping.
R2 R2
Ajustado
Calidad 0.5596 0.5513 0.5586
Capacidad de gestión del personal del programa
Confianza 0.4125 0.4071 0.4092
Expectativas
Proceso
Quejas 0.0122 0.0076 0.0112
Respuesta y asignación de recursos
Satisfacción 0.6567 0.6535 0.6417
R2 con ACSI
Variables LatentesR2 con
SmartPLS
40
Figura 9. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP –Infraestructura municipal estimado con ACSI
41
Figura 10. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP – Infraestructura municipal estimado con SmartPLS
Hipótesis generales
Como se dijo en el apartado 2. Metodología: Diseño de la evaluación, hay seis hipótesis comunes a todos
los modelos de satisfacción que se basan en el ACSI, las cuales se discutirán en los siguientes párrafos.
Hipótesis 1. La Calidad percibida se asocia de manera positiva a la Satisfacción del usuario. Tanto en la
estimación con ACSI como en la estimación por SmartPLS, el coeficiente que asocia la Calidad percibida y
la Satisfacción es positivo y significativo, por lo que la hipótesis no se rechaza. Los coeficientes en ambos
procedimientos de estimación son altos (ACSI: 4.17; SmartPLS: 3.56).
Hipótesis 2. La Satisfacción del usuario se asocia de manera positiva a la Confianza del usuario. Como se
puede ver en las figuras 9 y 10, la Satisfacción se asocia de manera positiva y significativa con la
confianza, por lo que esta hipótesis no se rechaza. Los coeficientes en ambos métodos de estimación
son altos, pero el calculado por SmartPLS es sensiblemente más alto que el calculado por ACSI (3.86,
frente a 2.57 de ACSI).
Hipótesis 3. Las Expectativas del usuario se asocian de manera positiva a la Calidad percibida. Esta
hipótesis se rechaza en virtud de que su coeficiente es positivo pero no significativo (0.18).
Hipótesis 4. Las expectativas del usuario se asocian de manera positiva a la Satisfacción del usuario. El
coeficiente que asocia las Expectativas con la Satisfacción es pequeño (0.53) pero significativo y positivo,
por lo que la hipótesis no se rechaza.
42
Hipótesis 5. La Satisfacción del usuario se asocia de manera negativa a las Quejas. Aunque la asociación
es negativa (-0.99), no es significativa, por lo que la hipótesis se rechaza.
Hipótesis 6. Las Quejas se asocian de manera negativa a la Confianza usuario. La asociación encontrada
es negativa mas no significativa (-0.22). La asociación encontrada por el procedimiento SmartPLS es de
mayor magnitud (-1.52) pero igualmente no significativa. La hipótesis se rechaza.
Hipótesis específicas
Se revisarán ahora las tres hipótesis específicas del modelo de evaluación del programa bajo estudio. Se
refieren todas a la asociación entre la Calidad percibida y las variables latentes que representan la
percepción de los usuarios sobre diferentes actividades del programa.
Hipótesis 7. La Calidad percibida se asocia de manera positiva con la actividad Proceso. Esta variable que
engloba actividades relacionadas con el acceso a los apoyos y con los reportes sobre su uso tiene una
relación positiva pero no significativa con la Calidad, por lo que esta hipótesis se rechaza.
Hipótesis 8. La Calidad percibida se asocia de manera positiva con la Respuesta y asignación de recursos.
Esta hipótesis no se rechaza en tanto la asociación entre las dos variables es positiva y significativa
(0.95).
Hipótesis 9. La Calidad percibida se asocia de manera positiva con Capacidad de gestión del personal del
programa. El coeficiente de asociación de esta tercera variable latente particular con la Calidad es de
2.56, el más alto de las tres variables particulares. La hipótesis no se rechaza.
En resumen, tres de las seis hipótesis generales se rechazan. Dos de las tres no rechazadas tienen
coeficientes de asociación altos. Y dos de las tres hipótesis específicas no se rechazan, sólo se rechaza la
hipótesis 7.
Las estimaciones de los dos programas empleados no se diferencian sustancialmente en la mayoría de
los indicadores.
La evaluación del programa por sus usuarios En esta sección se analizarán las calificaciones otorgadas por los usuarios al programa aquí evaluado.
La Satisfacción es el centro del modelo IMSU. La calificación alcanzada por el programa en esta variable
latente es de 87, relativamente alta, con un margen de error de ±1.82 al 95% de confianza. Una de sus
variables manifiestas, Comparación con expectativas, tiene la misma puntuación. Pero la Satisfacción
general es mayor que la variable latente con una calificación de 90 mientras que la Comparación con el
ideal es menor, con 81 puntos.
La Satisfacción se asocia con Confianza con un coeficiente alto: 2.57. Es decir, por cada cinco puntos de
incremento en la Satisfacción la Confianza puede aumentar en 2.57 puntos (3.86, según la estimación
por SmartPLS). A su vez, la Satisfacción es influida por la Calidad percibida. Si esta última sube cinco
puntos, la Satisfacción mejorará su puntuación en 4.17 puntos, un coeficiente muy alto. Los coeficientes
43
que asocian a la Satisfacción con las otras dos variables latentes generales, Expectativas y Quejas, son
menores (0.53 y -0.99, respectivamente) y, en el segundo caso, el coeficiente no es significativo.
Las variables latentes relacionadas con la Satisfacción tienen los siguientes puntajes: Calidad percibida,
88; Expectativas, 82; Confianza, 92. La escala de Quejas es un porcentaje, y muestra un 6% de usuarios
que se han quejado, más alto que los encontrados en la evaluación de otros programas dentro de este
mismo proyecto de investigación.
En cuanto a la variable latente Calidad, ya se mencionó que una de sus variables manifiestas, Percepción
de dificultades, tiene una correlación con Calidad (0.6163) menor a las que tienen variables que
pertenecen a otras variables latentes. En cuanto a Expectativas, su variable manifiesta Expectativa de
dificultades tiene también un peso externo bajo. Se deberá revisar la definición de las dos variables
latentes, de las dos manifiestas con bajo peso externo y la formulación de los reactivos
correspondientes.
El análisis de las puntuaciones y los coeficientes de las variables latentes específicas permite identificar
las fortalezas y debilidades del programa desde la visión de sus usuarios. El aspecto mejor calificado es
Capacidad de gestión del personal del programa (88), seguido muy de cerca por Proceso, aunque esta
segunda variable latente tiene una relación no significativa con Calidad.
Las tres variables manifiestas de Capacidad de gestión del personal del programa tienen una calificación
similar: Conjunción de recursos, 86; Suficiencia de visitas, 88; Utilidad de la asesoría, 88.
Dos de las variables manifiestas de Proceso tienen una calificación similar a la de su variable latente
(Claridad de la información sobre objetivos, 87; Claridad sobre la presentación de propuestas, 86). La
Facilidad para elaborar reportes, tiene una calificación ligeramente más baja que las demás (83).
La Respuesta y asignación de recursos tiene un puntaje de 83. Su variable latente Transparencia tiene
casi la misma calificación (84) pero Relevancia de los recursos tiene una puntuación significativamente
mayor (89). Oportunidad de los recursos tiene una significativamente menor (75).
En resumen, la variable latente mejor calificada es la Capacidad de gestión del personal del programa.
Algunas variables manifiestas de otras latentes también tienen alta calificación, como Claridad de la
información sobre objetivos, la Claridad sobre la presentación de propuestas y la Relevancia de los
recursos. La variable latente peor calificada es Respuesta y asignación de recursos, en particular su
variable manifiesta Oportunidad de los recursos.
Comparación con los resultados del estudio de 2006 Como se comentó en el apartado Diseño del modelo de evaluación del programa social, en 2006 se hizo
una evaluación de este programa con un modelo y un cuestionario muy similar. Específicamente la
medición de la Satisfacción se hizo de la misma manera. A continuación se compararán los resultados de
ambos estudios. Para ello, se presenta el Modelo estimado en 2006.
44
Figura 11. Modelo estructural des-estandarizado de evaluación del IMSU para PDZP –Infraestructura municipal estimado con ACSI en 2006
En primer lugar, se observa un incremento de la Satisfacción, pues en 2006 fue calificada con 84 y en
2010 con 87. Una prueba t para dos poblaciones arroja significativa la diferencia (p = 0.026).
La Calidad se deterioró (91 a 88) y las Expectativas disminuyeron de 85 a 82. Debe aclararse que en 2010
estas variables latentes se midieron con tres variables en lugar de una.
La Confianza se mantuvo en 92. Destaca la disminución sensible de las Quejas del 19% al 6%.
El orden de importancia de los impactos sobre la Calidad Percibida fue el mismo en las dos evaluaciones,
aunque la variable latente Respuesta y asignación de recursos resultó no significativo en la evaluación
de 2006. La variable latente Proceso resultó no significativa en ambas evaluaciones.
La variable latente Expectativas se asoció significativamente con Calidad y Satisfacción en 2006 pero sólo
con Satisfacción en 2010.
La cadena Calidad – Satisfacción – Confianza tuvo asociaciones significativas en las dos evaluaciones. La
asociación Satisfacción – Quejas fue significativa en 2006 pero no en 2010. La relación Quejas –
Confianza no fue significativa en ningún estudio.
En cuanto a las variables latentes particulares de este programa, se observa que dos de ellas mejoraron
su calificación: Proceso y Capacidad de gestión del personal del programa (ambas de 84 a 86). Debe
aclararse que las actividades medidas por la variable Conjunción de recursos cambiaron en la práctica,
45
pues ya no eran obligatorias para los residentes. Además, en 2006 se incluyó la variable Seguimiento,
que medía de manera más amplia las visitas de los residentes mientras que en 2010 sólo se midió la
Suficiencia de visitas. La variable Respuesta y asignación de recursos obtuvo la misma calificación en los
dos estudios (83).
Conclusiones y recomendaciones El modelo diseñado para la evaluación del PDZP – Infraestructura municipal tiene validez convergente y
divergente, tiene una capacidad de explicar la Satisfacción que linda en lo sustancial y una capacidad
moderada para explicar la Calidad y la Confianza.
En el modelo su capacidad para explicar las Quejas es pobre y varias de sus hipótesis no se cumplen
pero, las asociaciones significativas suelen ser fuertes. De esa manera se puede recomendar reforzar el
trabajo de los residentes del programa para: buscar la conjunción de recursos, hacer más útiles las
visitas a las obras y dar una asesoría pertinente. Las mejoras en estos aspectos pueden tener un impacto
sensible sobre la percepción de calidad y sobre la satisfacción.
Otra variable que vale la pena atender es la Oportunidad de los recursos. Tiene una calificación
relativamente baja, incluso en el estudio de 2006. La contribución de su variable latente a la Calidad no
es tan alta pero sí puede reportar dividendos en la Satisfacción.
Llama la atención que el porcentaje de Quejas (6%) es claramente más alto que en otros programas
evaluados como parte de este proyecto de investigación, excepto el Programa de Estancias en su
modalidad de apoyo a la apertura de estancias. Se puede arriesgar la explicación de que la condición de
funcionarios públicos de los usuarios de este estudio, así como su mayor facilidad de acceso a los
operadores del PDZP – infraestructura municipal y el conocimiento de la administración pública facilitan
que presenten quejas. En todo caso, a pesar del 6% de Quejas, las hipótesis que involucran a esta
variable se vieron rechazadas.
Para estudios ulteriores quedan las siguientes tareas tareas: explorar más la variable Quejas y afinar la
definición y medición de las variables Proceso, Expectativa de dificultades y Percepción de dificultades.
En particular, la variable Proceso, después de dos estudios que muestran su relación no significativa con
la Calidad, debe ser modificada para reflejar mejor las actividades de ingreso al programa.
En resumen, se puede decir que el modelo IMSU para el PDZP – Infraestructura municipal, aunque tiene
debilidades para explicar algunas de sus variables latentes, tiene fortaleza en la explicación de otras, en
especial de la Satisfacción, por lo que es capaz de ofrecer información útil para focalizar las acciones de
mejora del programa. Ofrece además comparabilidad puntual con las variables Satisfacción, Confianza,
Quejas y Respuesta y Asignación de recursos del estudio de 2006.
46
Bibliografía
Chatelin, et al. “State-of-art on PLS Path Modeling through the available software” 2002. pp. 31
Consejo Nacional de Evaluación de la Política del Desarrollo Social CONEVAL. (2009). Disponible en: www.coneval.gob.mx
Haenlein, Michael; Kaplan Andreas. “A beginner´s Guide to Partial Least Squares Analysis” USA, 2004,
283-297
Henseler, et al. “The use of Partial Least Squares Path Modeling in International Marketing” 2009, 277-
319
Lévy Jean-Pierre, et al, “Modelización con estructuras de covarianzas en ciencias sociales: temas
esenciales, avanzados y aportaciones especiales” España, 2006, p. 321-353.
Lobato, O, Rivera, H y Serrato, H. (2006). Versión final del reporte de la aplicación de la metodología para la obtención del Índice de Satisfacción del Beneficiario del Programa de Desarrollo Local, México D.F.: Departamento de Ingenierías, Universidad Iberoamericana.
Lobato, O. et al. (2010). Reporte de avances correspondientes a la primera etapa: principales indicadores nacionales sobre la satisfacción de usuarios, propuesta metodológica para el IMSU-PPS, diseño de la prueba piloto y los hallazgos de la prueba piloto. México: Universidad Iberoamericana.
Michel Tenenhaus, et al. “PLS path modeling” Computational Statistics & Data Analysis 48. 2005 p. 159-
205.
SEDESOL (2009d) “Reglas de Operación Programa de Desarrollo de Zonas Prioritarias (PDZP)”. Disponible en: http://www.microrregiones.gob.mx/doctos/pdzp/roPDZP.pdf, Páginas 2-5, Septiembre 2009.
Sheng-Hsung Hsu, et al. “Robustness Testing of PLS, LISREL, EQS and ANN-based SEM for Measuring Customer Satisfaction” Total Quality Management, Vol. 17 No.3, 2006, 355-371.
Tenenhaus Michel, “Component-based Structural Equation Modelling”. Total Quality Management & Business Excellence Vol. 19, No. 7&8. Julio 2003 P. 87-886.