APLICACIÓN DE LA METODOLOGÍA LQAS

PHO

TO: M

arta

Ort

ega/

Sav

e th

e C

hild

ren

RO L

AC

Proyecto Acción Comunitaria contra el Zika (CAZ)

APLICACIÓN DE LA METODOLOGÍA LQAS EN EL PROYECTO ACCIÓN COMUNITARIA CONTRA EL ZIKA (CAZ)

La metodología LQAS (Lot Quality Assurance Sampling) – muestreo para medir calidad por lotes, fue inicialmente implementada en el sector industrial para medir la calidad de los productos elaborados. Esta metodología ha sido adaptada para ser aplicada en nuevas áreas, destacando su adaptación a áreas de salud liderado por la Organización Mundial de la Salud quien la ha estado utilizando para medir la efectividad de medidas implementadas en comunidades.

LQAS es aplicable al seguimiento sistemático, repetido y planificado de indicadores de calidad para controlar si el desempeño del programa llega a los niveles preestablecidos. Esta medición continua permite identificar la existencia o no de situaciones problemáticas que requiere mayor evaluación o una acción inmediata.

Desde el proyecto CAZ se implementó la metodología LQAS por eficiencia en la recolección de datos en campo, además de permitir un monitoreo por áreas geográficas identificando las fortalezas y debilidades de cada una.

¿Cuándo es aplicable la metodología LQAS?

Para utilizar la técnica de LQAS es conveniente revisar si la situación que se quiere monitorear cumple con los siguientes requisitos, aplicable a la distribución binomial:

1. Lo que se evalúa (el indicador) tiene sólo dos valores posibles (cumple/no cumple).

2. Cada una de las unidades de estudio (casos a evaluar) es independiente de la otra.

3. La evaluación se hace en una muestra aleatoria de “n” casos.

4. La probabilidad general que existe de encontrar un valor u otro (cumple/no cumple) es la misma para cada uno de los casos de la muestra.

PHO

TO: P

anor

amio

.com

Para hallar la probabilidad del cumplimiento del estándar, se realiza con base a la fórmula de probabilidades de la distribución binomial:

En dónde: P(x) es la probabilidad de encontrar x casos de cumplimiento (o incumplimiento, según se defina el estándar) en la muestra.

• n es el tamaño de la muestra.• x son los casos de cumplimiento (o

incumplimiento) encontrado en la muestra,• π es la probabilidad de cumplimiento (o

incumplimiento) prefijada (estándar), que se supone existe en la población de la que extraemos la muestra.

Es importante señalar que los valores de π y x han de ir en el mismo sentido; es decir, si el estándar es de cumplimiento x ha de ser número de cumplimientos, pero si el estándar es negativo o de incumplimiento, x deben ser incumplimiento.

La probabilidad P(x) en las tablas de la distribución binomial se muestra en una tabla de probabilidades para cada tamaño de muestra (normalmente hasta n=20 ó, como máximo n=30). Estas tablas dan los cálculos de probabilidad para cada uno de los posibles resultados en un determinado tamaño de muestra. La decisión sólo tiene en cuenta la probabilidad puntual de falsos positivos (identificar como problemática una situación que no lo es) o de falsos negativos (aceptar como buena una situación problemática), pero no ambos.

¿Cómo funciona la metodología LQAS?

La técnica de LQAS se basa en un modelo binomial, es decir aplicable para indicadores que miden el cumplimiento de una condición o meta en cada área de supervisión.

El LQAS y otros métodos de evaluación rápida basados en la distribución binomial en la que previamente se ha establecido cuál es el número máximo de incumplimientos del indicador y que es aceptable en una muestra determinada.

La metodología LQAS funciona por medio de la definición de áreas de supervisión.

¿Qué es un área de supervisión?

En nuestro proyecto un área de supervisión se define como el conjunto de comunidades que se encuentran bajo la dirección de un técnico. Tal como se encuentra organizado nuestro proyecto, se tienen técnico o enlaces que coordinan la aplicación del proyecto en las comunidades identificadas; entonces, el primer paso es tener el listado de las comunidades que cada uno maneja.

A continuación se enumeran los criterios que se utilizaron para la definición de las AS:

a. Accesibilidad a las comunidades independientemente de su estructura geopolítica.

b. Tamaño de la población.c. Con representatividad de zonas urbanas y

rurales. 2

d. Que cuenten con personal responsable del proyecto CAZ que acompañe durante el proceso de intervención.

Muchas veces las áreas que manejan los técnicos pueden ser muy amplias, y muy diversas entre sí. Por lo tanto, será necesario identificar más de un área de supervisión.

A continuación algunos criterios para dividir en más de un área de supervisión las comunidades cobijadas por un técnico:

1. El técnico o enlace trabaja en zonas urbanas y rurales.

2. Las áreas geográficas de implementación son muy extensas, entonces para lograr total cobertura se procede a sub dividirlas.

3. Las comunidades se encuentran muy distantes entre sí, en ese caso se procede a agruparlas en sub grupos que permita hacer el proceso de recolección de datos más eficiente.

4. Las comunidades tienen marcadas diferencias socioeconómicas, por ejemplo, hay claras diferencias en la infraestructura o en acceso a servicios.

5. Entre otras condiciones que determinen diferencias significativas entre las comunidades.

¿Es posible que nuestra muestra sea significativa por zona geográfica?

La respuesta es sí. En el caso de CAZ muchas de las intervenciones se realizan en zonas urbanas,

pero en aquellos países en los cuales se trabaja en zonas urbanas y rurales la muestra que se recoja puede hacerse significativa por tipo de zona. Es decir, que los resultados podrán analizarse para cada una de las zonas con plena seguridad de que los mismos demuestran la realidad de cada zona.

Para lograrlo lo que se debe hacer es que para cada técnico se definirán dos áreas de supervisión, una que englobe la muestra urbana y otra para la muestra rural.

¿Cómo garantizar un buen funcionamiento de la metodología LQAS?

Adicionalmente, en miras de garantizar un buen funcionamiento de la metodología LQAS se deben definir los siguientes puntos:

• Identificar el Universo al cual le aplicaremos la encuesta, por ejemplo, en el caso del proyecto CAZ son todas aquellas comunidades en las cuales intervenimos en cada uno de los países.

• Definir la muestra a seleccionar dentro del universo definido, como todos sabemos los recursos son limitados, y aplicar una encuesta a todo nuestro universo implica una alta inversión de dinero y tiempo. Para el proyecto CAZ definimos como muestra a las mujeres en edad fértil, entre 15-49 años.

• Identificar el personal de campo encargado de liderar la aplicación de las actividades en las comunidades en las cuales estamos interviniendo.

3

• Contar información sobre la cantidad de hogares que componen las comunidades donde trabajamos. Esta información puede obtenerse de los marcos censales de los países, usualmente en los países que aplican regularmente censos de población tienen una base de datos detalladas de todos los hogares de cada división geográfica. En los países en los cuales esto no es posible, contar con el croquis de las comunidades, el cual permitirá identificar la cantidad de manzanas que conforman las comunidades y sus respectivos barrios.

• Hacer una selección totalmente aleatoria de las observaciones definidas por área de supervisión.

IMPORTANTE: Es necesario contar con un cuestionario bien diseñado que incluya todas las preguntas necesarias para medir el impacto del proyecto. Un buen cuestionario debe estar alineado al objetivo del proyecto, debe ser fluido y tener un lenguaje amigable. En el proceso de diseño del cuestionario se deben involucrar un grupo multidisciplinario, así como investigar sobre cuestionario similares que previamente hayan sido implementados.

¿Por qué seleccionamos una muestra de 19 observaciones por área de supervisión?

Una vez se tienen las áreas de supervisión definidas, se procede a recolectar de cada una de ellas una muestra aleatoria de 19 observaciones.

Se ha decido recolectar 19 observaciones pues se ha comprobado que este es el número mínimo que garantiza una representatividad del universo estudiado, con más de un 90% de precisión. Es decir, con este número de observaciones podremos tener un pantallazo de lo que sucede a nivel de toda la población a estudiar respecto al tema a indagar en las encuestas.

Un ejemplo práctico para ilustrar lo anterior es el siguiente:

Supongamos que tenemos una caja llena con pelotas o canicas de 5 colores diferentes. Seleccionando al azar 19 de estas pelotas, tenemos una alta probabilidad de que seleccionemos una canica o pelota de cada color. Tendremos más canicas de un color que de otro, pero en definitiva en más de un 90% de las veces tendremos canicas de cada color.

Con una pequeña muestra podremos ser capaces de observar las mismas tendencias que si usáramos otras metodologías, las cuales implican la recolección de una muestra de mayor tamaño. Pero esto sólo podrá ser posible SI Y SOLO SI GARANTIZAMOS QUE LA SELECCIÓN DE ESTAS 19 OBSERVACIONES SEA COMPLETAMENTE ALEATORIAS.

4

¿Cómo garantizamos que la muestra sea totalmente aleatoria? Para que la metodología de LQAS funcione es necesario que las observaciones a recolectar en campo se seleccionen de forma totalmente aleatoria de principio a fin. Es decir, tenemos que seleccionar al azar tanto las casas donde recolectaremos la información, y dentro de las mismas debemos seleccionar aleatoriamente a la persona a la cual le haremos la encuesta.

Selección aleatoria de las viviendas

Para seleccionar la vivienda a ser encuestada, primero se debe tener el listado de todas las viviendas que existen en el área en la cual estaremos aplicando la encuesta. Como se ha mencionado anteriormente esta información se puede obtener de:

• Los marcos censales.• Los croquis de las viviendas y manzanas

de las comunidades. En caso el croquis no tenga listadas la cantidad de viviendas que hay en cada manzana, se procede a enumerar únicamente las manzanas y en ellas seleccionar una vivienda al azar.

Una vez se tenga organizada la información, se procede a estimar el intervalo muestral, el cual nos permitirá saber cada cuántos hogares/ viviendas debemos saltar para seleccionar la siguiente. Para obtenerlo es muy sencillo. Simplemente se debe dividir el total de hogares o viviendas identificadas en el área y dividirla por el total de encuestas que vamos a seleccionar en cada una de ellas, que en nuestro caso son 19.

Una vez se tiene organizada la información y calculado el intervalo muestral, sólo falta que seleccionemos los puntos en los cuales vamos a hacer la recolección de la información seleccionando números aleatorios haciendo uso de una tabla de números aleatorios como la que se encuentra en la página siguiente.

Los pasos para hacer uso de la tabla de números aleatorios son los siguientes:

1. Escogemos un punto de partida en la tabla cerrando los ojos y colocando un lápiz o punta de su dedo.

2. Una vez hemos escogido el punto, se deben contar la cantidad de dígitos dependiendo del número total de observaciones sobre las cuales vamos a elegir nuestra muestra. Supongamos que en las comunidades donde se va a levantar la información hay un total de 500 hogares, entonces se debe crear un número con la tabla de 3 dígitos. En caso el número formado sea mayor a 500, se debe proceder a la fila de abajo en la misma línea del primer número elegido hasta que formemos un número de 3 dígitos que esté dentro del rango manejado.

3. En caso se termine la fila, se puede seguir en la siguiente haciendo el mismo procedimiento.

5

Una vez se tenga seleccionado el primer punto donde hacer la observación, procedemos a sumarle al primer punto el valor del IM, el cual no dará como resultado el siguiente punto en donde hacer la recolección de información. Dado que el punto que se seleccionan suelen ser puntos sobre una manzana, se recomienda hacer un recorrido serpentino para ir visitando las viviendas.

Este tipo de recorrido sugiere que en el sentido de las manecillas del reloj, es decir, las viviendas deben estar siempre a su mano derecha. En caso que nos topemos con un callejón, debemos seguir manteniendo este recorrido hasta que logremos cubrir todo el callejón. Este recorrido se debe realizar hasta que se encuentre una vivienda en la que se encuentre una mujer entre 15-49 años que acceda a ser entrevistada. Nunca se debe cruzar la calle, se debe mantener en su misma acera haciendo el recorrido detallado en el punto anterior.

Si quiere hacer el proceso más automatizado, puede hacer uso de Excel para estimar aleatoriamente los puntos donde recolectar la muestra.

Tabla de números aleatorios

Video sobre cómo usar tabla de números aleatorios para la selección de la muestra.https://www.youtube.com/watch?v=OQtFxssSGak

6

Selección aleatoria del miembro del hogar a ser entrevistado

Una vez se ha seleccionado la vivienda a ser encuestada, se debe a proceder a seleccionar al azar a la persona a la cual se le va a aplicar el cuestionario. Así evitamos cualquier tipo de sesgo en la encuesta. Existe un método sencillo para garantizar la aleatoriedad en la selección del encuestado, se le llama el Método Leslie Kish.

Para aplicar este método se debe listar a todos los miembros del hogar que cumplan con las características que hemos definido para la muestra, teniendo cuidado que empecemos el listado con la persona de mayor edad y lo terminemos con la de menor edad.

Para el caso del proyecto CAZ dado que la muestra es de mujeres entre 15 y 49 años, en todos aquellos hogares en los cuales haya 2 o más mujeres en este rango de edad, se procede a implementar este método.

Una vez se tiene el listado de todas las mujeres se toma la casilla que representa el último dígito del cuestionario aplicado, y se baja hasta la última fila donde se encuentra listada la última mujer. En ese cruce nos dará el número de la mujer a ser entrevistada, si nos da como resultado 2 quiere decir que se debe entrevistar a la segunda mujer incluida en la lista.

En caso de que luego de realizar el método, la mujer elegida rechaza ser entrevistada. Se debe aplicar nuevamente el método excluyéndola a ella y hacer el sorteo con las restantes. En caso de que

se haya hecho inicialmente con sólo 2 mujeres, se le aplicará la encuesta a la mujer restante.

Si todas las mujeres elegibles rechazan ser encuestadas, se debe proceder a una nueva vivienda.

¿Cómo interpretar los resultados obtenidos haciendo uso de LQAS?

Uno de las grandes ventajas que tiene el método LQAS es el análisis de resultados por cada área de supervisión definida. Este análisis permitirá definir cuáles de las áreas cumplen o no con los estándares o valores esperados en cada uno de las preguntas y/o indicadores que estamos evaluando.

Para hacer una buena interpretación de los resultados se deben cumplir con los siguientes pasos:

1. Definir la meta que queremos lograr. En el caso del proyecto CAZ esto se refiere a la meta que nos hemos planteado en cada uno de los indicadores que mediremos con las encuestas.

2. Ya teniendo identificada la meta, se deben establecer entonces cuántas respuestas correctas debemos tener por área de supervisión para poder decir que cumple con la meta establecida.

En el caso del proyecto CAZ nuestras metas en los indicadores a ser medido con las encuestas es del 70%, con una muestra de 19 observaciones por área de supervisión, lo cual significa que para que cumpla con la meta

7

establecida se deben contar por lo menos con 13/14 respuestas correctas en cada área de supervisión.

3. Identificar las preguntas que componen cada indicador. Como saben un indicador puede estar compuesto de varias variables que combinadas nos dan un único valor, por lo cual es necesario saber qué comportamiento muestra el área de supervisión en cada una de ellas, de esta forma se puede identificar

los temas en los cuales es necesario reforzar los mensajes y acciones implementadas.

Para visualizar de mejor manera podemos elaborar la siguiente tabla, conocida como “tabla de decisión de LQAS”. De esta forma podemos identificar visualmente las áreas que se encuentran por debajo o muy por debajo del número mínimo requerido, coloreándolas de color amarillo u otro color distintivo.

Tabla de decisión de LQAS

8

4. Elaborar un plan de acción basado en los resultados obtenidos, de esta forma incrementamos la probabilidad de cumplir con las metas al final del proyecto.

Se recomienda que el análisis de cada indicador incluya una evaluación cualitativa que identifique las posibles causas de la falta de cumplimiento de las metas en algunas de las AS, con el fin de elaborar recomendaciones específicas para mejorar el desempeño en cada una.

9

¿Cuáles son los beneficios de la metodología LQAS?

• Metodología de fácil entendimiento y aplicación.

• Identificación de áreas de supervisión, las cuales facilitarán el monitoreo del cumplimiento de los objetivos y metas planteados.

• Más de 90% de precisión en las observaciones realizadas.

• Permite recrear con una pequeña muestra las condiciones de toda una población.

• Inversión de pocos recursos/ metodología costo-eficiente.

• Permite la descentralización de la recolección de los datos, al trabajarse directamente con el supervisor encargado de cada área de supervisión definida.

Cómo interpretar los resultados de la tabla de decisión LQAS

En el ejemplo de tabla de decisión de LQAS, se estableció una meta del 70% para el indicador evaluado. Se puede notar que en ninguno de los componentes se alcanza el estándar; y el análisis por áreas de supervisión nos permite identificar cuáles de ellas están por debajo del cumplimiento de dicho estándar (señaladas en amarillo). Estos resultados permiten luego la elaboración de un plan de acción que permitirá focalizar eficientemente los esfuerzos en campo, para aumentar así la probabilidad del cumplimiento de las metas fijadas para el final del proyecto

10

Enlaces claves

1. Plantilla para aplicación de método Leslie Kish

2. Plantilla para selección aleatoria de la nuestra y tabla de números aleatorios

3. Referencias bibliográficas sobre la metodolo-gía LQAS y su aplicación

PHO

TO: S

ave

the

Chi

ldre

n El

Sal

vado

r