isurveyx - el hombre o el dialer. predicción eficaz de resultados en encuestas telefónicas
TRANSCRIPT
EL HOMBRE O EL DIALERPredicción eficaz de resultados en encuestas telefónicas
DAMIAN BORENSTEIN● Founder de MGMR, servicios para la Investigación de Mercado y
Opinión Pública● Director Comercial de iPERFEX, desarrollo de software para
encuestas por IVR y para Call-Center● Founder de CUEST-i, tecnología + expertise
GERMAN OLIVETO
● Sociólogo y docente en la Facultad de Ciencias Sociales (UBA)● Consultor independiente y director de proyectos para la
consultora MBC MORI en estudios de opinión pública, mercado y desarrollo social.
CUESTIONARIO
COSTOS TELEFONÍA IP LATAM CIUDADES PRINCIPALES (U$D) NEGOCIO
COSTOS LATAM ENCUESTAS POR IVR
COSTO X X ENCUESTAPAÍS MINUTO USD RATIO 1:50
Guatemala 0,162 8,10México 0,0015 0,075Nicaragua 0,144 7,20Panamá 0,029 1,45Paraguay 0,034 1,70Perú 0,011 0,55Puerto Rico 0,014 0,70Urugua 0,059 2,95Venezuela 0,033 1,65
COSTO X X ENCUESTAPAÍS MINUTO USD RATIO 1:50
Argentina 0,006 0,10Bolivia 0,137 6,85Brasil 0,015 0,75Chile 0,029 1,45Colombia 0,028 1,40Costa Rica 0,025 1,25Rep. Dominicana 0,021 1,05Ecuador 0,125 6,25El Salvador 0,220 11,00
La efectividad de un estudio de opinión está compuesta al menos por 5 factores
EL HOMBRE O EL DIALER
Predicción eficaz de resultados en encuestas telefónicas
● Confección de Muestra
● Diseño de Cuestionario
● Herramienta para la recolección de datos
● Estrategia de Campaña
● Análisis de los Resultados
EL HOMBRE O EL DIALERPredicción eficaz de resultados en encuestas telefónicas
El objetivo de una muestra es obtener representatividad del Universo en estudio.
Para esto es muy importante que nuestra muestra replique en lo fundamental la composición de la población objetivo.
Se debe atender en particular a las variables de estructura poblacional que se estima pueden tener impacto en los resultados del estudio: Por ej: sexo, edad, estrato poblacional, ubicación geográfica, educación.
MUESTRA - ¿QUÉ DICE LA TEORÍA?
Universo (N)Ej: Población Argentina
=40.117.096
Muestra (n)Ej: 1.000 casos
Los parámetros para la confección de la muestra deben provenir de fuentes confiables. Por ejemplo, del CENSO de población más reciente.
Otra vía para procurar representatividad de la muestra es garantizando aleatoriedad en la selección de los respondentes: en las encuestas telefónicas el volumen de las bases y su randomización son fundamentales.
CONFECCIÓN DE LA MUESTRA
Ejemplo cuotificación según tamaño de ciudad:
Ejemplo cuotificación según ubicación geográfica:
CUESTIONARIO
La confección de un cuestionario resulta de un proceso de traducción:
CUESTIONARIO
Objetivos de investigación
Dimensiones Indicadores PreguntasPregunta/Problema
Finalmente las preguntas tienen que establecer categorías de respuesta exhaustivas y excluyentes.
Ejemplo de escala no exhaustiva:Para comenzar pulse 1, si es menor de 16 años TERMINAR
● 2, Si tiene entre 18 y 29 años● 3, Si tiene entre 30 y 49 años● 4, Si tiene entre 50 y 64 años● 5, Si tiene 70 años o más
Ejemplo de escala no excluyente:Para comenzar pulse 1, si es menor de 16 años TERMINAR
● 2, Si tiene entre 16 y 30 años● 3, Si tiene entre 30 y 50 años● 4, Si tiene entre 50 y 64 años● 5, Si tiene 64 años o más
Errores de este tipo pueden generar: - Tasas elevadas de rechazo o no
respuesta.- Inconsistencias en la información.- Problemas de interpretación de los
resultados
P1. INTRO + EDADHola, quisiera hacerle unas breves preguntas de opinión general.
Para comenzar pulse 1, si es menor de 18 años TERMINAR
● 2, Si tiene entre 18 y 29 años● 3, Si tiene entre 30 y 49 años● 4, Si tiene entre 50 y 64 años● 5, Si tiene 65 años o más
CUESTIONARIO
P2. SEXO Pulse 1, Si es HOMBRE
● 2, si es MUJER
P3. CUAL ES EL MÁXIMO NIVEL EDUCATIVO ALCANZADO POR UD.?Pulse 1, Si es primario completo o incompleto
● 2, Si es secundario completo● 3, Si es secundario completo● 4, Si es un terciario no universitario completo o incompleto● 5, si es un universitario no universitario completo o incompleto
TIPS PARA UN CUESTIONARIO BIEN DISEÑADO
DEFINIR LAS SEGMENTACIONES QUE SE UTILIZARÁN PARA ANALIZAR LOS RESULTADOS:SEXO, EDAD y NIVEL EDUCATIVO
CUESTIONARIOCUESTIONARIO
EDAD
CUESTIONARIOCUESTIONARIO
NIVEL EDUCATIVOSEXO
Buenos días, estamos haciendo una encuesta sobre actualidad política dirigida a personas que tengan entre 17 y 70 años y voten en Pcia. de Bs. As. La encuesta dura unos minutos.
P1. FILTRO• Por favor, si Ud. entre 17 y 70 años y vota en Pcia. de Bs. As., presione 1.• Si no tiene esa edad o no vota en Pcia. de Bs. As, presione 2.
(FINALIZAR)
CUESTIONARIO
P23. Indique a qué género pertenece· 1, Masculino· 2, Femenino P24. Indique a qué grupo de edad pertenece· 1, Entre 16 y 30 años· 2, Entre 31 y 50 años· 3, Más de 50 años
DEFINIR LOS FILTROS DEL CUESTIONARIO: EDAD Y LUGAR DE VOTACIÓN
CUESTIONARIO
CUESTIONARIOCUESTIONARIO
DAR OPCIÓN DE VOLVER A ESCUCHAR EL LISTADO CUANDO LAS OPCIONES DE RESPUESTA SON EXTENSAS
P14. EL AÑO PRÓXIMO SE VOTARÁ PARA SENADOR NACIONAL POR LA PROVINCIA DE BS AS. LE VOY A NOMBRAR ALGUNOS POSIBLES CANDIDATOS. ESCUCHE CON ATENCIÓN Y ELIJA A QUIEN HOY SE SIENTA MÁS INCLINADO A VOTAR. PUEDE VOLVER A ESCUCHAR EL LISTADO AL FINAL.
● PULSE 1. SI VOTARÍA A SERGIO MASSA POR EL FRENTE RENOVADOR● 2, A MARGARITA STOLBIZER POR EL GEN● 3, A LILITA CARRIÓ POR CAMBIEMOS● 4, A JORGE MACRI POR CAMBIEMOS● 5 A CRISTINA KIRCHNER POR EL FRENTE PARA LA VICTORIA● 6, A FLORENCIO RANDAZZO POR EL FPV-PJ● 7 A DANIEL SCIOLI POR EL FPV-PJ● 8 A NÉSTOR PITROLA POR El FRENTE DE IZQUIERDA● 9, SI NO SABE● 0, SI NECESITA VOLVER A ESCUCHAR EL LISTADO
CUESTIONARIO
CUESTIONARIO
P19. CUAL ES HOY SU SENTIMIENTO EN RELACIÓN A LA SITUACIÓN DEL PAÍS: OPTIMISMO, ANGUSTIA, DECEPCIÓN, ESPERANZA, ENOJO O INCERTIDUMBRE.
● PULSE 1 SI ES OPTIMISMO● 2, SI ES ANGUSTIA● 3, DECEPCIÓN● 4, ESPERANZA● 5, ENOJO● 6, INCERTIDUMBRE● 7, SI NO SABE● 8, SI NECESITA VOLVER A ESCUCHAR EL LISTADO
CUESTIONARIO
P16. Si finalmente se presentaran las siguientes fórmulas: 1) Cristina Kirchner y Daniel Scioli, por el Kirchnerismo, 2) Sergio Massa en alianza con Margarita Stolbizer, 3) Elisa Carrió y Jorge Macri, por Cambiemos y 4) Florencio Randazzo con otro dirigente del PJ y 5) una lista de partidos de Izquierda, ¿A quién votaría?
● 1, Cristina Kirchner y Daniel Scioli● 2, Sergio Massa y Margarita Stolbizer● 3, Elisa Carrió y Jorge Macri● 4, Florencio Randazzo con otro dirigente peronista● 5, Lista de Izquierda● 6, En blanco● 7, No sabe● 8, Volver a escuchar las opciones
ANTICIPAR LAS OPCIONES DE RESPUESTA EN EL ENUNCIADO DE LA PREGUNTA
PREGUNTAS CON MÁS DE 1 MENCIÓN DE RESPUESTA
CUESTIONARIO
P01. SI TUVIERA QUE ELEGIR UN SOLO
ATRIBUTO PARA DEFINIR AL CANDIDATO, CUÁL DE ESTOS SERÍA: HONESTIDAD, CREDIBILIDAD, CAPACIDAD DE TRABAJO, TRAYECTORIA, SIMPATÍA, SENCILLEZ O CAPACIDAD DE LIDERAZGO?
PULSE 1 SI ES LA HONESTIDAD2. CREDIBILIDAD3. CAPACIDAD DE TRABAJO4, TRAYECTORIA IMPECABLE5. SIMPATÍA6. SENCILLEZ/HUMILDAD7. CAPACIDAD DE LIDERAZGO8 SI NO ELIGE NINGUNO DE ESTOS9, SI NO SABE
SI P01 <= 8P02. CUAL OTRO DE ESTOS ATRIBUTOS
ELEGIRÍA EN SEGUNDO LUGAR PARA DEFINIR A GOYCOCHEA? SE LOS VUELVO A MENCIONAR Y ELIJA SOLO UNO. PULSE 1 SI ES LA HONESTIDAD2. CREDIBILIDAD3. CAPACIDAD DE TRABAJO4, TRAYECTORIA IMPECABLE5. SIMPATÍA6.SENCILLEZ/HUMILDAD7. CAPACIDAD DE LIDERAZGO8, SI NO ELIGE NINGUNO DE ESTOS9, SI NO SABE
SI P02 <= 8
P03. Y CUAL OTRO ATRIBUTO ELEGIRÍA EN TERCER LUGAR?
PULSE 1 SI ES LA HONESTIDAD2. CREDIBILIDAD3. CAPACIDAD DE TRABAJO4, TRAYECTORIA IMPECABLE5. SIMPATÍA6.SENCILLEZ/HUMILDAD7. CAPACIDAD DE LIDERAZGO8, SI NO ELIGE NINGUNO DE ESTOS9, SI NO SABE
RE-PREGUNTA PARA QUIENES AÚN NO HAYAN DECIDIDO SU VOTO
CUESTIONARIO
P15. En agosto del 2015 se llevarán a cabo las primarias
obligatorias y simultáneas para todos los partidos, en las que se eligen los candidatos para las elecciones generales de octubre, si las elecciones a Intendente de Escobar fueran hoy y se presentaran los siguientes partidos, ¿en la interna de cuál de ellos votaría? PULSE 1, SI VOTARÁ Frente para la Victoria-PJ
● 2, A Frente Renovador● 3, A Frente Amplio Unen● 4. A Pro● 5. A Frente de Izquierda y de los Trabajadores● 6, Frente Unión por la Libertad y el Trabajo● 7. SI Votará en blanco - impugnará● 8, SI AÚN NO SABE
SI P07 = 8
P16. Aunque no lo tenga decidido, ¿a cuál votaría con mayor probabilidad?
PULSE 1, SI VOTARÁ Frente para la Victoria-PJ● 2, A Frente Renovador● 3, A Frente Amplio Unen● 4. A Pro● 5. A Frente de Izquierda y de los Trabajadores● 6, Frente Unión por la Libertad y el Trabajo● 7. SI Votará en blanco - impugnará
CUESTIONARIO
CONOCIMIENTO + EVALUACIÓN DE UN CANDIDATO
CUESTIONARIO
BAJO NIVEL DE CONOCIMIENTO(dividir 2 preguntas)
P10. Ud. conoce a Jorge Macri?● Si lo conoce PULSE 1● 2. Si no lo conoce
Si P10 = 1P11. ¿Qué opinión tiene de Jorge Macri?
● Si su opinión es muy buena PULSE 1.● 2. si es buena● 3. si es regular buena● 4. si es regular mala● 5. si es mala● 6. es muy mala● 7. No tiene opinión
ALTO NIVEL DE CONOCIMIENTO(juntar en 1 pregunta)
P10. ¿Qué opinión tiene de María Eugenia Vidal? ● Si su opinión es muy buena PULSE 1.● 2. si es buena● 3. si es regular buena● 4. si es regular mala● 5. si es mala● 6. es muy mala● 7. si no lo conoce● 8. si no sabe
ENFATIZAR LAS PALABRAS EN LAS CUALES SE QUIERE HACER HINCAPIÉ
CUESTIONARIO
P1. CUAL ES EL MÁXIMO NIVEL EDUCATIVO ALCANZADO POR UD ?
● PULSE 1 SI ES PRIMARIO COMPLETO O INCOMPLETO.● 2, SI ES SECUNDARIO INCOMPLETO.● 3, SI ES SECUNDARIO COMPLETO.● 4, SI ES UN TERCIARIO NO UNIVERSITARIO COMPLETO O INCOMPLETO.● 5, Si ES UNIVERSITARIO COMPLETO O INCOMPLETO.
LECTURA CLARA DE LOS TEXTOS
ROTACIÓN DE OPCIONES DE RESPUESTAS
CUESTIONARIO
¿Al pensar en YPF usted piensa principalmente en…?Exploración, extracción de petróleo y producción de energía presione 1Estaciones de servicio, venta de naftas y lubricantes presione 2No sabe presione 3
¿Cuál considera que es el aspecto más positivo de YPF?El precio de sus naftas presione 1Es una empresa nacional con historia presione 2Es una empresa que invierte en el país y genera empleo presione 3Es una empresa cercana, sus estaciones de servicio están en todas partes presione 4Es una empresa que refina la mayoría de los combustibles del país presione 5Ninguno presione 6No sabe presione 7
¿Al pensar en YPF usted piensa principalmente en…?Estaciones de servicio, venta de naftas y lubricantes presione 1Exploración, extracción de petróleo y producción de energía presione 2No sabe presione 3 ¿Cuál considera que es el aspecto más positivo de YPF?Es una empresa que refina la mayoría de los combustibles del país presione 1Es una empresa cercana, sus estaciones de servicio están en todas partes presione 2Es una empresa que invierte en el país y genera empleo presione 3Es una empresa nacional con historia presione 4El precio de sus naftas presione 5Ninguno presione 6No sabe presione 7
ROTACIÓN DE BLOQUE DE PREGUNTAS
CUESTIONARIO
P3. Queremos conocer qué valoración tiene Ud. de los siguientes funcionarios de los gobiernos nacional y de la Ciudad.Si le parece que el desempeño en su función es…
· Muy buena, presione 1
· Buena, presione 2
· Regular, presione 3
· Mala, presione 4
· si no sabe o no lo conoce o no tiene opinión presione 5
ROTAR
p4. Ministro de educación de la Ciudad, Soledad Acuña
p5. Ministro de cultura de la Ciudad, Angel Mahler
p6. Jefe de gobierno de la Ciudad, Horacio Rodríguez Larreta
p7. Vicejefe de gobierno de la Ciudad, Diego Santilli
p8. Ministro de modernización de la Nación, Andrés Ibarra
p9. Ministro de transporte de la Nación, Guillermo Dietrich
Queremos conocer qué valoración tiene Ud. de los siguientes funcionarios
de los gobiernos nacional y de la Ciudad.
Si le parece que el desempeño en su función es…· Muy buena, presione 1
· Buena, presione 2
· Regular, presione 3
· Mala, presione 4
· si no sabe o no lo conoce o no tiene opinión presione 5
ROTAR
p4. Ministro de transporte de la Nación, Guillermo Dietrich (ex 9)
p5. Ministro de modernización de la Nación, Andrés Ibarra (ex 8)
p6. Vicejefe de gobierno de la Ciudad, Diego Santilli (ex 7)
p7. Jefe de gobierno de la Ciudad, Horacio Rodríguez Larreta (ex 6)
p8. Ministro de cultura de la Ciudad, Angel Mahler (ex 5)
p9. Ministro de educación de la Ciudad, Soledad Acuña (ex 4)
CARACTERÍSTICAS DE iSurveyX® QUE PERMITEN DISEÑAR CUESTIONARIOS CORRECTAMENTE
HERRAMENTAL
NUEVAS FUNCIONALIDADES● ADMINISTRADOR DE AUDIOS: graba audios online. Repositorio de audios● TEST: muestra las respuestas en tiempo real● Reportes de FRECUENCIAS por completas● Reportes de FRECUENCIAS por completas y abandonadas hasta pX● DTMF 0 reservado para REPLAY
TIPOS DE PREGUNTAS● OPEN: graba audios● CLOSE: acepta DTMF del 1 al 20● DÍGITOS: acepta hasta 20 DTMF
FUNCIONALIDADES IMPORTANTES● CONDICIONES: define quienes responden cada pregunta del cuestionario
CUESTIONARIO
ADMINISTRADOR DE AUDIOS
CUESTIONARIO
TEST
CUESTIONARIO
FRECUENCIAS DE CASOS COMPLETOS
CUESTIONARIO
FRECUENCIAS DE CASOS HASTAS pX
ÍTEMS A TENER EN CUENTA AL MOMENTO DE ARMAR BASES TELEFÓNICAS PARA ENCUESTAS POR IVR
● randomización de los TE a llamar.● definir cuántos registros se quieren exportar para subir luego al panel
Recomendamos aproximadamente 100:1 para no cargar el MySQL● RATIOS STANDARD
○ 1:30 sobre humanos que atienden○ 1:50 sobre llamadas atendidas
● definir la segmentación geográfica por la cual se cuantificara el estudio: LOCALIDAD, PARTIDO, COMUNA, ETC. TOOLS TO CSV
Otros items a considerar● correcto formato de números telefónicos según dialplan proveedor SIP● localidades con pocas bases telefónicas > definir estrategia de campaña
CAMPAÑAS. BASE TELEFONICA
ALGUNAS UTILIDADES DE iSurveyX QUE FACILITAN LA ADMINISTRACIÓN DE LAS CAMPAÑAS
● Plantillas de horario, permite:○ definir horarios de llamado para encontrar masculinos○ no molestar en horarios en los que los respondentes descansan
● Reciclado de causas de desconexión, permite:○ definir qué causas se re-llaman y con qué intervalo de tiempo. esto es muy importante en
localidades con poca cantidad de teléfonos.○ dependiendo de la cantidad de TE en existencia, se definen estrategias de rellamados diferentes
● Determinación de cantidad de canales para cada campaña, permite:○ avanzar en forma // en varias campañas o por el contrario, priorizar campañas
● +INFO, permite:○ monitorear en tiempo real el avance de cada campaña
● Reportes on-line, permite:○ monitorear las respuestas de los entrevistados en tiempo real
● Múltiples proveedores SIP, permite:○ optar a través de qué proveedor SIP se troncaliza las llamadas
CAMPAÑAS
CAMPAÑAS
PLANTILLAS DE HORARIOS
CAMPAÑAS
PLANTILLAS DE RECICLADO DE CAUSAS DE DESCONEXIÓN
CAMPAÑAS
CANTIDAD DE CANALES POR CAMPAÑA
+INFO: información de campaña
TEST EN TIEMPO REAL
Generalmente no es posible “controlar” todos los parámetros poblacionales con cuotas al definir la muestra.
Si bien el principio de aleatoriedad del respondente debería procurar una distribución genéricamente adecuada, existen “distorsiones” por motivos culturales que es necesario corregir (ej: tienden a responder más mujeres que hombres, más gente mayor que jóvenes, etc).
CORRECCIÓN DE LA MUESTRA
Ejemplo ponderación
Para ello la ponderación de los resultados obtenidos resulta una herramienta válida para completar el objetivo de obtener una muestra representativa de nuestro Universo de estudio.
La fórmula para realizar una ponderación de la muestra es muy sencilla: Universo sobre muestra (N/n). Esto arroja el factor de ponderación que, al ser aplicado, otorgará a cada segmento su peso relativo en el Universo.
Antes de pasar al análisis propiamente dicho es necesario realizar chequeos de consistencia, de modo de detectar a tiempo posibles errores de diseño de cuestionario y/o de programación.
También en esta instancia se pueden filtrar encuestas fraudulentas (que marcan cualquier cosa solo para escuchar las preguntas).
No obstante, es necesario ser precavidos en los chequeos de consistencia utilizando para ello solo variables objetivas y no de percepción/opinión, ya que no puede asumirse que la opinión pública es monocorde, coherente y libre de contradicciones.
CLEAN DE LA BASE DE DATOS
Dependiendo del cuestionario, algunos chequeos de consistencia que se pueden realizar son:
- Verificar casos en que todas las variables figuran con un mismo código (Ej: todos 1).
- Detectar casos en que todas o la mayor parte de las preguntas fueron respondidas con “no sabe/no contesta”.
- Chequear saltos y filtros por si hubiera errores de cuestionario o programación.
- Detectar características socio-demográficas contradictorias: por ejemplo, un jóven de 16 a 18 años jubilado o con Universitario completo.
EJEMPLO CHEQUEO DE CONSISTENCIA
Una vez obtenidos los datos y realizado el clean de la base se procede con la etapa de procesamiento y análisis
● Contar herramientas básicas de análisis estadístico que permitan extraer un diferencial de información con los datos obtenidos.
● Tener conocimiento del tema en estudio: sin necesidad de ser un experto en la materia es menester contar con la información que posibilite alcanzar interpretaciones adecuadas.
● Romper prejuicios y preconceptos: Una de las tentaciones más habituales es querer “amoldar” los resultados obtenidos a los esperados y “esconder bajo la alfombra” aquellos que nos sorprenden o descolocan. Estar abierto a hallazgos y emergentes es una de las cualidades más valiosas de un buen analista.
● Los objetivos del estudio como horizonte: Esto, que vale para todas las etapas de la investigación, es un elemento nada menor a la hora de analizar los resultados. Refrescar los objetivos e interrogantes iniciales, permite distinguir lo relevante de lo anecdótico. En definitiva saber qué buscar es allanar el camino para encontrarlo.
ANÁLISIS
Aperturas de la información obtenida: Permite analizar los datos de manera desagregada, comparando distintos grupos de la población en estudio a partir de ciertas características comunes (por ejemplo: sexo, edad, nivel educativo, estrato, etc.).
Ejemplo aperturas de la información - Evaluación de gestión de MM según edad - CABA - Jul 2016:
ALGUNAS HERRAMIENTAS DE ANÁLISIS
Análisis de clusters: en ocasiones los grupos o segmentos de interés no son previamente conocidos, sino precisamente lo que se busca construir: por ejemplo, estableciendo perfiles de consumidores (en estudios de mercado) o de perfil político (en estudios de OP).
Ejemplo aperturas de la información - Principal problema del país según perfil político - CABA - Jul 2016
ALGUNAS HERRAMIENTAS DE ANÁLISIS
Análisis longitudinal: la posibilidad de comparar indicadores a lo largo del tiempo permite establecer evoluciones y tendencias, lo que constituye una herramienta fundamental para la previsión y construcción de hipótesis.
Ejemplo análisis longitudinal - Principal problema del país: Fuente Latinobarómetro
ALGUNAS HERRAMIENTAS DE ANÁLISIS
Análisis comparado: La mayoría de los indicadores cuantitativos adquieren real significación sólo al contrastarlos con otros. Por ejemplo, decir que los argentinos tienen un 57% de satisfacción con la democracia adquiere otra relevancia si ubicamos que es la más alta de América Latina.
Ejemplo análisis comparado - Satisfacción con la democracia: Fuente Latinobarómetro
ALGUNAS HERRAMIENTAS DE ANÁLISIS
