tamano de muestra-qali warma - v4 - · pdf filela estimación del tamaño de...
TRANSCRIPT
1
Ministerio de Economía y Finanzas Unidad de Coordinación de Préstamos Sectoriales – UCPS
Estimación del Tamaño de Muestra para la Evaluación de Impacto del Programa Nacional de Alimentación Escolar Qali Warma1
Consultor:
Stanislao Maldonado
Versión 4
Lima, 14 de Junio del 2013
1 Departamento de Economía Agrícola y de Recursos, Universidad de California en Berkeley. El autor agradece los comentarios de Pablo Lavado, Renos Vakis, Elisa Seguin y Annie Chumpitaz a una versión preliminar del documento y a Paul Gertler por conversaciones sobre análisis de poder que fueron de suma utilidad para esclarecer diversos aspectos vinculados al análisis aquí presentado. Cualquier error u omisión es responsabilidad del autor. Correo Electrónico: [email protected]
2
1. INTRODUCCION
El Programa Nacional de Alimentación Escolar Qali Warma fue creado en el mes de Mayo del 2012 como respuesta del Gobierno del Perú a los problemas encontrados en los programas de asistencia alimentaria dirigidos a la población escolar que formaban parte del antiguo Programa Nacional de Asistencia Alimentaria (PRONAA). Las evaluaciones de proceso de dicho programa daban cuenta de una serie de deficiencias en términos de focalización y cobertura, la satisfacción de los usuarios en relación a los servicios provistos, impactos sobre nutrición, y aspectos de gestión (MIDIS 2012).
De acuerdo con su ley de creación2, Qali Warma tiene como objetivo central la provisión de un servicio alimentario de calidad, consistente con los hábitos de consumo locales y con la participación de la comunidad, orientado a niños y niñas de educación pre-escolar y primaria. A fin de decidir la conversión del programa en una política pública, la ley señala que al final de un periodo de 3 años el programa será sometido a una evaluación de impacto de modo tal que sea posible determinar su efectividad en términos del logro de los objetivos que motivaron su creación.
Este documento forma parte del proceso de evaluación del programa. Tiene como objetivo la estimación del tamaño de muestra para la evaluación de impacto del programa Qali-Warma. Dicha estimación toma como punto de partida el diseño de evaluación de programa, el cual se basa en un modelo de diferencias en diferencias a nivel de cluster en donde el nivel de intervención es el distrito. Esta característica es tomada en cuenta en el cálculo. En particular, se utiliza la propuesta metodológica para el cálculo de muestra recientemente desarrollada por Teerenstra et al (2012), obteniéndose un estimado de muestra de 3,464 observaciones. Dado que no se disponía de información primaria y secundaria relevante para los indicadores de atención y memoria de corto plazo, los cálculos se basaron en información referencial de variables de resultado similares como es el caso de rendimiento escolar, lo cual hace relevante evaluar con detalle la sensibilidad de los resultados del ejercicio de cálculo de muestra. Aunque los resultados indican que los estimados de muestra no son sensibles a cambios en los parámetros de correlación a nivel individual y a nivel de cluster, si muestran que el efecto tamaño y el nivel de correlación intra-cluster juegan un rol importante en el ejercicio, por lo cual es preciso validar el análisis con la información que se obtenga en la línea de base.
El número de distritos a cubrir en el análisis es relativamente elevado (alrededor de 250 distritos para un nivel de poder de 80%), lo cual puede crear problemas de implementación logística. De modo alternativo, se realiza un análisis de poder en donde el nivel de intervención se define a nivel de escuela. En el Apéndice I presentan los supuestos y los resultados del análisis. Se concluye que se requerirían alrededor de 700 escuelas y alrededor de 21 mil estudiantes para poder detectar un efecto de 0.2 desviaciones estándar en el indicador de atención y memoria para un nivel de poder de 90% (15,678 estudiantes para un nivel de 80%).
2 DS N°008-2012 MIDIS.
3
El resto del documento presenta los métodos de estimación, los supuestos en relación a los parámetros de cálculo de muestra y los resultados básicos así como un análisis de sensibilidad de los mismos. El documento finaliza con las conclusiones del ejercicio.
2. METODOS DE ESTIMACION
La especificación básica para el caso del modelo de diferencias en diferencias es la siguiente:
(1) '( . ) ;ijt j t jt t ijt ijty Q P X
donde ijty es el resultado de interés o variable de impacto (asistencia, matricula, atención,
etc.) para el estudiante i que estudia en el colegio j en el periodo t . j y t son respectivamente
efectos fijos de colegio y periodo. .jt tQ P es una variable dummy de interacción para observaciones
tratadas después de la implementación del programa. 'ijtX
incluye características del individuo y de
la escuela, así como el termino de error ijt . El parámetro de interés es , el cual recupera el efecto
causal de interés.
El análisis de potencia busca garantizar que la evaluación cuente con un tamaño de muestra tal que sea posible encontrar un efecto si es que este existe. Para ello, toma en cuenta el impacto esperado de la intervención (conocido como tamaño de efecto), el nivel de significancia estadística (usualmente 5%) y un nivel de potencia determinado (usualmente 80-90%). Además, considera otras dimensiones como la proporción de tratados y controles en la muestra. Cuando la intervención es compleja y comprende un nivel de intervención mayor al individual y/o más de un proceso de recolección de datos, es preciso incorporar estas dimensiones en el diseño en tanto tienen implicancias fundamentales en el tamaño de muestra necesario para ser capaces de detectar un efecto en caso este exista.
La estimación del tamaño de muestra para este modelo requiere tomar en cuenta el hecho que la intervención se realiza a nivel de distritos y por lo tanto las formulas usuales para el cálculo de muestra necesitan tomar en cuenta la existencia de clusters. La literatura sobre cálculo de muestra para diseños de diferencias en diferencias (o más generalmente, diseños que incluyen al menos una línea de base y un seguimiento) suelen enfatizar los casos en donde la asignación al tratamiento es a nivel individual siendo el caso de clusters menos común (Frison et. al. 1992 y McKenzie 2012). En este documento, nos basaremos en la derivación para el caso de diferencias en diferencias con asignación al tratamiento a nivel de clusters propuesto recientemente por Teerenstra et. al. (2012).
En este modelo de diferencias en diferencias, el efecto de tratamiento es estimado del modo siguiente:
(2) 1 1 0 0ˆ ( ) ( )T C T C
DD Y Y Y Y
Un paso fundamental en el cálculo del tamaño de muestra es la correcta especificación de la varianza. Teerenstra et. al. (2012) muestran que la varianza para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clusters es la siguiente:
4
(3) 21 1ˆ( ) 2(1 ).[1 ( 1) ]. . ,
1DDVar r nP P Jn
donde n es el número de observaciones por clúster, es el coeficiente de correlación a nivel
de cluster y P es la proporción de tratados en la muestra. 2 es la varianza de la variable de resultado (atención y memoria de corto plazo)y J es el número de clústeres. El parámetro r cumple un rol importante en el diseño y es definido del modo siguiente:
(4) 1
,1 ( 1) 1 ( 1)c s
nr
n n
en donde c y s son respectivamente los indicadores de autocorrelación a nivel de cluster
y a nivel de individuo.
A partir de (3), es posible derivar una expresión para estimar el efecto mínimo detectable, el nivel de potencia o el tamaño de muestra. La fórmula general para el efecto mínimo detectable (EMD) es la siguiente3:
(5)
2
_ 1
1( )* * 1 ( 1) * 2(1 ) ,
(1 )
DD cluster k
B CA
EMD t t n rP P nJ
en donde el EMD es expresado en términos de la fórmula del EMD para el caso de un diseño aleatorio simple con asignación a nivel individual (A), el efecto diseño que permite ajustar la formula en A por la similitud existente en individuos provenientes del mismo clúster (B), y el factor asociado al coeficiente de correlación r (C), el cual captura el rol conjunto del CCI y los coeficientes de autocorrelación a nivel individual y a nivel de cluster.
La ventaja de la formula anterior es que permite interpretar el EMD para el caso de un diseño de diferencias en diferencias a nivel de clúster en términos de expresiones ya conocidas en la literatura, con la excepción del factor asociado al coeficiente de correlación. Esto simplifica el proceso de computo del tamaño de muestra puesto que solo es necesario computar r para estimar la expresión C en la formula anterior, y multiplicarlo con las expresiones usualmente calculadas en la literatura (A y B) mediante las rutinas disponibles en cualquier software estándar.
A partir de (5), es posible derivar una fórmula para el cálculo del tamaño de muestra (definido en términos de clusters y asumiendo un número fijo de observaciones por cluster):
(6)
22
1 2
1( ) * *[1 ( 1) ]*[2(1 )],
(1 ) *
kJ t t n rP P n ES
en donde ES es el tamaño del efecto esperado por la intervención medido en la unidad de referencia correspondiente. A fin de simplificar la lectura, y debido a la ausencia de información de línea de base para los indicadores de referencia, la formula puede expresarse en términos de
3 Nótese que esta formulación no es parte del artículo original. Es una derivación del autor de esta nota a partir de la discusión presentada por los autores del artículo.
5
desviaciones estándar a partir de una simple normalización que surge de la división de (6) por la desviación estándar de la variable de resultado de interés. Esta normalización es sumamente útil para hacer comparable la intervención bajo análisis con la literatura internacional sobre el impacto de la alimentación escolar.
En suma, el proceso de cálculo de muestra para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clúster consiste en el desarrollo de las siguientes estimaciones:
Paso 1: Calculo del tamaño de muestra para un diseño de asignación aleatoria simple con información a ser analizada durante el seguimiento.
Paso 2: Calculo del efecto diseño mediante el CCI y obtención del tamaño de muestra para un diseño de asignación aleatoria a nivel de cluster.
Paso 3: Calculo del coeficiente de correlación r y obtención del tamaño de muestra para un diseño de diferencias en diferencias (o comparación de línea de base y seguimiento) con asignación a nivel de cluster.
En el apéndice de este documento se anexa el código de STATA utilizado para el cálculo de los pasos sugeridos en esta sección.
3. PARAMETROS DE CALCULO DE MUESTRA
La estimación del tamaño de muestra se basa en el diseño de diferencias en diferencias presentado en la sección anterior. En condiciones ideales, los parámetros del cálculo de muestra deberían basarse en información sobre los indicadores centrales de la evaluación (atención y memoria de corto plazo), los cuales podrían estimarse a partir de información de estudios previos sobre la temática de interés. Aunque es posible basarse en estudios previos para darnos una idea sobre el tamaño del efecto, no se cuenta con información que permita estimar tanto el coeficiente de correlación a nivel de cluster como los coeficientes de autocorrelación a nivel individual y a nivel de cluster.
A falta de información detallada sobre los indicadores centrales de evaluación, se utilizó información disponible sobre el rendimiento escolar, otra variable de interés en el proceso de evaluación de Qali Warma. Dicha información proviene de la Evaluación Censal de Estudiantes (ECE) que levanta anualmente el Ministerio de Educación. En particular, se utilizaron los datos recolectados en el año 2011, la cual cubre el 94% de las instituciones educativas del país y el 88% de la población estudiantil matriculada en el segundo grado de primaria. La base de datos está compuesta por 506,345 estudiantes del segundo grado de primaria provenientes de instituciones educativas de 5 o más alumnos, de las cuales se descartaron las escuelas del turno tarde (37,755 estudiantes) y las escuelas del sector privado (127,286 alumnos). Asimismo, se descartaron 6,747 observaciones que no reportan el turno. La base final está compuesta por 334,557 estudiantes.
La ventaja de utilizar la ECE radica en el acceso a información detallada que permite calcular parámetros importantes para el cálculo del tamaño de muestra (como el coeficiente de correlación a nivel de cluster) además proveer información de línea de base que sirva de referencia para el cálculo del tamaño del efecto para el caso del indicador de rendimiento, el cual se toma como referencia
6
para el caso de los indicadores de atención y memoria de corto plazo. Esta información será complementada con el meta-análisis de literatura sobre atención y memoria preparado por Guerrero y León (2013) por encargo del MIDIS.
La principal desventaja es que los resultados del ejercicio de cálculo de muestra basados en rendimiento pueden diferir de modo importante en relación a los valores que se obtendrían en caso información previa respecto al indicador de atención y memoria estuviese disponible. Por esta razón, se recomienda que luego de levantarse la línea de base se haga los re-cálculos del caso para ajustar el tamaño de muestra para el primer seguimiento.
Los parámetros seleccionados para el cálculo de muestra son los siguientes:
Efecto tamaño: 0.20 desviaciones estándar tanto para el indicador de atención como para el
de memoria de corto plazo.
Nivel de potencia: 90%.
Nivel correlación a nivel de clúster (distrito): 0.17
Los parámetros anteriores se basan en información colectada a partir de la revisión de la literatura y en estimaciones propias en base la ECE 2011, como se explicó líneas arriba. Para el caso del efecto tamaño, se asume un efecto modesto en relación a los estándares usuales en la literatura. Como sugieren autores como Cohen (1988), se considera un efecto de 0.2 desviaciones estándar como un efecto pequeño. Este efecto es consistente con los estimados de un meta-análisis de la literatura sobre el impacto de los programas de alimentación escolar sobre atención y memoria encargado por el MIDIS (Guerrero y León 2013). Por otro lado, se utiliza un nivel de potencia del 90%, en línea con la literatura educativa internacional (Schochet 2005). Este parámetro es conservador y mayor al estándar usual de 80% que se utiliza en la literatura económica. Finalmente, el nivel de correlación a nivel de cluster (CCI) fue estimado a partir de la información de la ECE 2011 a nivel distrital tomando como referencia la base de 334,557 estudiantes indicada líneas arriba.
Dada su importancia, el CCI amerita una mayor discusión. Este indicador refleja el nivel de similitud de las observaciones dentro de un mismo cluster (en este caso, el distrito) en relación a la variable de impacto. Guerrero y León (2013) no reportan información relevante en relación a este parámetro en el meta-análisis que realizan por lo que deberá ser aproximado indirectamente. En tanto que el aprendizaje es el resultado final de los procesos cognitivos motivo de la evaluación, se opta por utilizar la información disponible sobre rendimiento para calcular el CCI, siguiendo además la recomendación de los autores del meta-análisis sobre el cual este documento está basado4. Esta decisión es, en cierta medida, arbitraria y la evaluación de sus implicancias compleja en tanto que no se dispone de una fundamentación teórica adecuada de la pertinencia de aproximar el CCI de procesos intermedios como atención y memoria de corto plazo a partir de una variable de resultado 4 La sugerencia de aproximar el CCI mediante el indicador de rendimiento de la ECE fue realizada por los autores en una reunión de trabajo en donde se presentaron los resultados del meta-análisis sobre atención y memoria de corto plazo.
7
como el rendimiento. Esto aplica también para varios de los parámetros que discutiremos en las líneas que siguen.
En el cálculo del CCI, se consideraron a todos los distritos para los que existía información. El diseño de Qali Warma considera la incorporación de los distritos al mismo en función al nivel de pobreza, siendo aquellos ubicados en los dos quintiles más pobres (que comprende aquellos distritos con niveles de pobreza mayores a 60%) los que formarían parte del grupo de tratamiento y control entre 2013 y 2014. A modo de robustez, se consideró un cálculo adicional del CCI sólo para estudiantes pertenecientes a estos quintiles, y el CCI es exactamente el mismo (0.169). Por esa razón, se optó por trabajar con la información de todos los quintiles.
Además de los parámetros indicados, es necesario computar el coeficiente de correlación r, el
mismo que depende de c y s (los indicadores de autocorrelación a nivel de cluster y a nivel de
individuo respectivamente). Para el análisis que sigue, se asumen los siguientes valores para dichos parámetros:
Coeficiente de autocorrelación a nivel de clúster: 0.30
Coeficiente de autocorrelación a nivel de individuo: 0.45
El cálculo de los coeficientes de autocorrelación requiere de datos longitudinales a nivel de estudiantes y distritos para el caso de los indicadores de atención y memoria de corto plazo. Como ya se mencionó, dichos datos no están disponibles. Una alternativa consistiría en el uso del Estudio Longitudinal realizado por el Ministerio de Educación para el caso del indicador de rendimiento. Este estudio solo considera estudiantes de la región Lima. Sin embargo, dado que no se dispone de una fundamentación adecuada acerca de la validez de utilizar el rendimiento educativo como un proxy de procesos cognitivos como la atención y la memoria de corto plazo, se opta en este documento por utilizar parámetros más conservadores de los que se obtienen de esta encuesta (alrededor de 0.7 en términos de autocorrelación individual). Este valor es bastante alto en relación a los estándares internacionales5.
Dado que altos niveles de autocorrelación están asociados a menores niveles de muestra (McKenzie 2012), esto podría estar llevando a una subestimación del tamaño de muestra en relación a la que sería necesaria para el caso de los otros indicadores de impacto para los cuales no existe información adecuada. Mientras que nuestra aproximación es conservadora en relación a los otros parámetros puesto que se asumen impactos modestos del programa, sería muy optimista obviar el hecho que -para el caso de los otros indicadores de impacto- los niveles de autocorrelación no son necesariamente tan altos como el estimado para el indicador de rendimiento. Por esta razón, a fin de dar cuenta de esta limitación, se analiza el impacto sobre el tamaño de muestra de supuestos más conservadores sobre el parámetro de autocorrelación.
5 De acuerdo con McKenzie (2102), el valor de este parámetro para países en desarrollo como la India es de alrededor de 0.5.
8
Finalmente, el cálculo del tamaño de muestra para un diseño a nivel de cluster requiere fijar un parámetro adicional: el número de observaciones por cluster6. Como referencia, utilizamos el siguiente valor:
Número de observaciones por cluster: 10.
Este valor se basa en el número promedio de hogares por cluster que se utilizan en las encuestas de hogares levantadas bajo el programa Encuestas de Medición de Niveles de Vida del Banco Mundial. Grosh y Muñoz (1996) reportan tamaños de cluster entre 10 y 16 hogares para el caso peruano.
Como es conocido en la literatura, el incremento de observaciones por cluster tiene menos impacto en el cálculo de poder que el incremento del número de clusters. En ese sentido, es más eficiente aumentar el número de distritos que el número de estudiantes en cada distrito para alcanzar un nivel de poder determinado, minimizando el tamaño de muestra total. Sin embargo, un número alto de distritos tienen implicancias sobre el costo total, especialmente si se tratan de distritos alejados y de difícil acceso como es el caso de Qali Warma, en tanto incrementan el costo por unidad. Así, mientras que incluir más distritos reduce la muestra total, puede venir asociado a un mayor costo por unidad. Por otro lado, si se reduce el número de distritos será necesario aumentar el número de observaciones por distrito para alcanzar el nivel de poder inicial lo cual llevará a un incremento de la muestra total, pero el hecho de que las observaciones provengan de menos distritos puede hacer más eficiente el proceso de recolección de datos y reducir el costo unitario.
Figura 1: Potencia como Función del Tamaño de Muestra
6 En general, el investigador tiene dos opciones: fijar el número de observaciones a nivel de cluster y estimar el número de clusters o, alternativamente, fijar el número de clusters y estimar el número de observaciones por cluster. En este trabajo, se opta por la primera vía.
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000
Muestra Total
9
Es importante notar que este diseño sólo considera un nivel de cluster. En teoría, debería tomarse en cuenta que la información proviene de dos niveles de cluster: escuela y distrito. Dado que el tratamiento es a nivel de distrito, la discusión metodológica radica en evaluar si es justificable incorporar en el análisis el nivel escuela. Formalmente, la literatura sobre estimación de muestra no ha derivado la formula correspondiente para el caso de un modelo de diferencias en diferencias de tres niveles, por lo cual no se dispone de una expresión para el cálculo de la varianza. Por otro lado, el CCI a nivel de escuela es bastante alto (alrededor de 0.45), lo cual indica que la variabilidad a nivel de escuela cumple un rol marginal.
Adicionalmente, se consideraron valores alternativos de los parámetros anteriores para evaluar la robustez de nuestros resultados.
4. RESULTADOS Y ANALISIS DE SENSIBILIDAD
4.1. Resultados Básicos
A partir de los supuestos sobre los parámetros para el cálculo del tamaño de muestra, se realiza la estimación del modelo básico. Los resultados se resumen en la Figura 1.
La Figura 1 presenta la curva de potencia para los parámetros anteriores. A un nivel de potencia de 90%, se estima que se necesitarían 3,464 observaciones para tener la habilidad de estimar un efecto no menor a 0.2 desviaciones estándar. A partir de dicha figura, es posible determinar cómo se afectan nuestras conclusiones si es que alteramos los niveles de potencia. Así por ejemplo, si modificamos el nivel de potencia a 80%, se requerirían ahora solo 2,588 observaciones.
Figura 2: Análisis de Sensibilidad del Tamaño del Efecto
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Muestra Total
TE=0.20 TE=0.30TE=0.10
10
4.2. Análisis de Sensibilidad
En esa sección presentamos un conjunto de ejercicios que nos permitirán evaluar la sensibilidad de nuestros resultados a cambios en los supuestos básicos del ejercicio.
Cambio en el Tamaño del Efecto
El ejercicio original asume un tamaño del efecto de 0.2 desviaciones estándar. Dado que la evidencia internacional sugiere que el impacto de este tipo de programas sobre atención y memoria son relativamente modestos, consideramos en el ejercicio dos escenarios alternativos: una reducción del efecto tamaño a 0.1 desviaciones estándar y un incremento a 0.3 desviaciones estándar.
Los resultados se presentan en la Figura 2. En consistencia con la literatura sobre análisis de poder, el tamaño de muestra es muy sensible a la magnitud del efecto esperado. Así, si el efecto tamaño es ahora de 0.30 desviaciones estándar, el tamaño de muestra necesario se reduce a 1,542 observaciones. Por otro lado, si el efecto es ahora 0.1 desviaciones estándar, el tamaño de muestra necesario será ahora de 13,844 observaciones.
Figura 3: Análisis de Sensibilidad del Coeficiente de Correlación a Nivel de Cluster
Correlación a Nivel de Clúster
La correlación a nivel de clúster –en este caso, distritos- es un parámetro crítico. En general, es conocido que mayores niveles de correlación a nivel de clúster requieren un mayor tamaño de muestra. En este caso, probamos con dos valores alternativos para el CCI: por un lado, asumimos un valor igual a 0.45, cercano al nivel de correlación a nivel de cluster para el caso de escuelas (Evaluacion Censal 2011), y por otro consideramos un CCI de 0.1. Como se observa, el tamaño de muestra varia, aunque no con la misma sensibilidad que existe en el caso del efecto tamaño. En
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Muestra Total
CCI=0.17 CCI=0.45CCI=0.10
11
particular, el tamaño de muestra cae a 2,514 observaciones para un CCI de 0.1 mientras que aumenta a 7,264 para un CCI de 0.45. La Figura 3 presenta los resultados en forma resumida.
Figura 4: Análisis de Sensibilidad del Coeficiente de Autocorrelación Individual
Figura 5: Análisis de Sensibilidad del Coeficiente de Autocorrelación a Nivel de Cluster
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Muestra Total
AI=0.45 AI=0.60AI=0.15
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Muestra Total
AC=0.30 AC=0.50AC=0.10
12
Cambios en los Niveles de Autocorrelación a nivel Individual y Clúster
En esta sección se consideran los parámetros de autocorrelación a nivel individual y clúster. Estos parámetros son componentes esenciales del coeficiente de correlación r, el cual relación el CCI con los niveles de autocorrelación.
Se asumen valores de 0.6 y 0.15 del coeficiente de autocorrelación individual, manteniendo constante el coeficiente de autocorrelación a nivel de cluster. Como se observa el tamaño de muestra no es tan sensible a cambio tan radical en el parámetro bajo análisis. Así, una reducción del parámetro de 0.45 a 0.15 incrementa el tamaño de muestra a cerca de 4,000 observaciones como se desprende en la Figura 4.
Un patrón similar se observa en el caso del parámetro de autocorrelación a nivel de clúster. En esta caso, cambios de +/-0.2 no causan cambios sustantivos en el tamaño de muestra, tal y como se observa en la Figura 5.
Cambios en el tamaño de cluster
Finalmente, se estima como cambia el tamaño de muestra total ante cambios en el número de observaciones por cluster (el parámetro n en la ecuación 5). Para el ejercicio, se consideran dos valores alternativos para n: n=6 y n=20.
Figura 6: Análisis de Sensibilidad del Número de Observaciones por Cluster
En nuestra estimación original, se considera n=10 y un tamaño total de muestra de 3,464 observaciones, lo cual implica un número de distritos de 346 en la muestra de evaluación. Si reducimos el número de observaciones por distrito (n=6), lo cual reduce el número total de observaciones a 2,462 pero incrementa el número total de distritos a 410. Por otro lado, cuando
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Muestra Total
n=10 n=20n=6
13
aumentamos el número de observaciones por distrito (n=20), el número total de observaciones se incrementa a 5,968, lo cual reduce el número total de distritos a 298.
5. CONCLUSIONES
En este documento hemos estimado el tamaño de muestra para un diseño de diferencias en diferencias con asignación al tratamiento a nivel de clúster. Se estima que serán necesarias 3,464 observaciones para tener la capacidad de detectar un efecto de 0.2 desviaciones estándar con un nivel de potencia de 90%. Los resultados son sensibles a cambios en relación al tamaño del efecto de la intervención y el CCI, por lo cual es fundamental validar este ejercicio con la información obtenida para la línea de base. Esto es especialmente importante porque no se contó para el desarrollo del análisis de datos para las variables de resultado de interés ni información detallada sobre los parámetros del ejercicio.
En el Apéndice I se realiza un análisis alternativo en donde se define el tratamiento a nivel de escuela, con el objetivo de ilustrar cuales serían las implicancias en términos de tamaño de muestra de descartar los distritos como unidad de muestreo. Se estima que en ese escenario, se necesitarían un total de 700 escuelas y alrededor de 21 mil estudiantes.
6. BIBLIOGRAFIA
Cohen, Jacob (1988). Statistical Power for the Behavioral Sciences. Second Edition. Lawrence Erlbaum Publishers.
Frison, Lars and Stuart Pocock (1992), “Repeated Measures in Clinical Trials: Analysis Using Mean Summary Statistics and its Implications for Design,” Statistics in Medicine, 11, 1685-1704.
Grosh, Margaret y Juan Muñoz (1996), “A Manual for Planning and Implementing the Living Standard Measurement Study Survey,” LSMS Working Paper 126, The World Bank.
Guerrero, Gabriela y Juan León (2013), “Consultoría para el “Diseño de Pruebas para Medir los Indicadores de Memoria a Corto Plazo y Atención de los Niños de Edad Escolar (primaria) a ser Utilizados en la Evaluación de Impacto del Programa Nacional de Alimentación Escolar Qali Warma,” Ministerio de Economia y Finanzas. Lima.
McKenzie, David (2011), “Beyond Baseline and Follow-Up,” World Bank Policy Research Working Paper Series 5639, Washington, DC.
Teerenstra, Steven and others (2012), “A Simple Sample Size Formula for Analysis of Covariance in Cluster Randomized Trials,” Statistics in Medicine, 31, 2169-2178.
Schochet, Peter (2005), “Statistical Power for Random Assignment Evaluations of Education Programs,” Mathematica Policy Research. Princeton, New Jersey.
14
APENDICE I: Análisis de Poder asumiendo Tratamiento a Nivel de Escuelas
En este apéndice calculamos el tamaño de muestra para el mismo diseño de diferencias en diferencias a nivel de cluster con la diferencia que se asume que el tratamiento es asignado a nivel de escuelas.
Los parámetros seleccionados para el cálculo de muestra son los siguientes:
Efecto tamaño: 0.20 desviaciones estándar tanto para el indicador de atención como para el
de memoria de corto plazo.
Nivel de potencia: 90%.
Nivel correlación a nivel de clúster (escuela): 0.54
Coeficiente de autocorrelación a nivel de clúster: 0.40
Coeficiente de autocorrelación a nivel de individuo: 0.45
En relación al ejercicio original, se mantienen esencialmente los mismos parámetros salvo el nivel de autocorrelación a nivel de escuela y el coeficiente de autocorrelación a nivel de escuela. El primer indicador se estimó a partir de la ECE 2011 para las escuelas ubicadas en distritos pertenecientes a los quintiles más pobres (quintil I y II). El segundo indicador se asume en 0.4, mayor al valor utilizado para el caso de distritos.
Figura A1: Tamaño de Muestra para un Diseño con Asignación a Nivel de Escuela
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 4000 8000 12000 16000 20000 24000
Muestra Total
15
A partir de estos parámetros, se estima que se requerirían alrededor de 700 escuelas y 20,984 estudiantes para poder detectar un efecto de 0.2 desviaciones estándar en el indicador de atención y memoria para un nivel de poder de 90%. Si relajamos los requerimientos de poder y establecemos un nivel de 80%, se necesitarían entonces 15,678 estudiantes. La Figura A.1 resume el resultado del ejercicio.
El código utilizado es el siguiente:
************************************************************* * CALCULO DE MUESTRA QALI WARMA-ASIGNACION ESCUELA * * Stanislao Maldonado * * Version 1: 05/31/12 * ************************************************************* *--------------* * 1.PARAMETROS * *--------------* *ICC scalar rho=0.54 *Aucorrelacion scalar auto_cluster=0.4 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=30 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r *---------------------* * 2.TAMANO DE MUESTRA * *---------------------* sampsi 0 0.2, sd(1) alpha(.05) power(.8) /*Muestra para diseno simple con asignacion individual*/ scalar N_cluster=[r(N_1)+r(N_2)]*[1+(m-1)*rho] /*Aplicando efecto diseno por cluster*/ scalar N_clusterDD=N_cluster*[2*(1-r)] /*Aplicando efecto diseno por DID con cluster*/ display N_clusterDD *------------------* * 3.CURVA DE PODER * *------------------* quietly clear quietly set mem 900m
16
quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 local flag = 0 local n=2 while `flag' < 25000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) , ylabels(0(.1)1) xlabels(0 (4000) 25000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 1: Potencia como funcion del tamaño de muestra")*/ ; #delimit cr
17
APENDICE II: Análisis de Poder asumiendo un Número Fijo de Clusters
En este apéndice calculamos el tamaño de muestra para el mismo diseño de diferencias en diferencias a nivel de cluster para un nivel fijo de clusters. Los parámetros del ejercicio son los mismos que en la Sección 3, con la excepción del número de observaciones por distritos, que ahora será determinado endógenamente. El nuevo parámetro del ejercicio es J (el número de clusters) y se asume un valor de 260 distritos. Este es un valor límite y cálculos del ejercicio para valores menores a 260 arrojan estimaciones de tamaño de muestra que crecen exponencialmente sin cambios significativos en el número de distritos.
Para un valor de J igual a 260, se estima un tamaño de muestra de 25,998 observaciones. La Figura A2 resume los resultados del ejercicio.
Figura A2: Tamaño de Muestra para un Número Fijo de Clusters
0.1
.2.3
.4.5
.6.7
.8.9
1P
oten
cia
0 5000 10000 15000 20000 25000 30000
Muestra Total
18
APENDICE III: Código de STATA ***************************************** * CALCULO DE MUESTRA QALI WARMA * * Stanislao Maldonado * * Version 2: 05/16/12 * ***************************************** *--------------* * 1.PARAMETROS * *--------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r *---------------------* * 2.TAMANO DE MUESTRA * *---------------------* sampsi 0 0.2, sd(1) alpha(.05) power(.9) /*Muestra para diseno simple con asignacion individual*/ scalar N_cluster=[r(N_1)+r(N_2)]*[1+(m-1)*rho] /*Aplicando efecto diseno por cluster*/ scalar N_clusterDD=N_cluster*[2*(1-r)] /*Aplicando efecto diseno por DID con cluster*/ display N_clusterDD *------------------* * 3.CURVA DE PODER * *------------------*
19
quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 local flag = 0 local n=2 while `flag' < 4000 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) , ylabels(0(.1)1) xlabels(0 (500) 4000) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 1: Potencia como funcion del tamaño de muestra")*/ ; #delimit cr *-------------------------------------* * 4.CURVA DE PODER: Cambios en Efecto * *-------------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012)
20
scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r quietly sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly sampsi 0 0.1, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ES_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly sampsi 0 0.3, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ES_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] display N_clusterDD display N_clusterDD_ES_l display N_clusterDD_ES_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_ES_l=. quietly replace sampsize_ES_l= 0 in 1 quietly gen sampsize_ES_h=. quietly replace sampsize_ES_h= 0 in 1 local flag = 0 local n=2 while `flag' < 4300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4500 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.1 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ES_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize_ES_l=N_clusterDD_ES_l in `n' quietly local flag=N_clusterDD_ES_l
21
quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 2200 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.3 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ES_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize_ES_h=N_clusterDD_ES_h in `n' quietly local flag=N_clusterDD_ES_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_ES_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_ES_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 4500) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 2: Analisis de Sensibilidad del Tamaño del Efecto")*/ legend(lab(1 "TE=0.20") lab(2 "TE=0.30") lab(3 "TE=0.10")) ; #delimit cr *----------------------------------* * 5.CURVA DE PODER: Cambios en ICC * *----------------------------------* *ICC scalar rho=0.17 scalar rho_l=0.1 scalar rho_h=0.45 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012)
22
scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_l=[m*rho_l/(1+(m-1)*rho_l)]*auto_cluster+[(1-rho_l)/(1+(m-1)*rho_l)]*auto_ind scalar r_h=[m*rho_h/(1+(m-1)*rho_h)]*auto_cluster+[(1-rho_h)/(1+(m-1)*rho_h)]*auto_ind display r display r_l display r_h quietly sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho_l]*[2*(1-r_l)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho_h]*[2*(1-r_h)] display N_clusterDD display N_clusterDD_l display N_clusterDD_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 4300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2
23
while `flag' < 4300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho_l]*[2*(1-r_l)] quietly replace sampsize_l=N_clusterDD_l in `n' quietly local flag=N_clusterDD_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4500 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho_h]*[2*(1-r_h)] quietly replace sampsize_h=N_clusterDD_h in `n' quietly local flag=N_clusterDD_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 4300) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 3: Analisis de Sensibilidad del CCI")*/ legend(lab(1 "CCI=0.17") lab(2 "CCI=0.45") lab(3 "CCI=0.10")) ; #delimit cr *-----------------------------------------------------------------* * 6.CURVA DE PODER: Cambios en Autocorrelacion a nivel individual * *-----------------------------------------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45
24
scalar auto_ind_l=0.15 scalar auto_ind_h=0.60 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ai_l=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind_l scalar r_ai_h=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind_h display r display r_ai_l display r_ai_h quietly sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ai_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_l)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ai_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] display N_clusterDD display N_clusterDD_ai_l display N_clusterDD_ai_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n'
25
local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ai_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_l)] quietly replace sampsize_l=N_clusterDD_ai_l in `n' quietly local flag=N_clusterDD_ai_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ai_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] quietly replace sampsize_h=N_clusterDD_ai_h in `n' quietly local flag=N_clusterDD_ai_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 4750) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 4: Analisis de Sensibilidad de Aucorrelacion Indiv.")*/ legend(lab(1 "AI=0.45") lab(2 "AI=0.60") lab(3 "AI=0.15")) ; #delimit cr *--------------------------------------------------------------* * 7.CURVA DE PODER: Cambios en Autocorrelacion a nivel cluster * *--------------------------------------------------------------*
26
*ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 scalar auto_cluster_l=0.10 scalar auto_cluster_h=0.50 *Numero de observaciones por cluster scalar m=10 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ac_l=[m*rho/(1+(m-1)*rho)]*auto_cluster_l+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_ac_h=[m*rho/(1+(m-1)*rho)]*auto_cluster_h+[(1-rho)/(1+(m-1)*rho)]*auto_ind display r display r_ac_l display r_ac_h quietly sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ac_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_l)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_ac_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_h)] display N_clusterDD display N_clusterDD_ac_l display N_clusterDD_ac_h * Calculo Muestra quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1
27
quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ac_l=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ac_l)] quietly replace sampsize_l=N_clusterDD_ac_l in `n' quietly local flag=N_clusterDD_ac_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4750 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_ac_h=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r_ai_h)] quietly replace sampsize_h=N_clusterDD_ac_h in `n' quietly local flag=N_clusterDD_ac_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize, mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 4750) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none))
28
/*title("Figura 5: Analisis de Sensibilidad de Aucorr. Cluster")*/ legend(lab(1 "AC=0.30") lab(2 "AC=0.50") lab(3 "AC=0.10")) ; #delimit cr *--------------------------------* * 8.CURVA DE PODER: Cambios en n * *--------------------------------* *ICC scalar rho=0.17 *Aucorrelacion scalar auto_cluster=0.3 scalar auto_ind=0.45 *Numero de observaciones por cluster scalar m=10 scalar m_l=6 scalar m_h=20 * r (Teerenstra et al 2012) scalar r=[m*rho/(1+(m-1)*rho)]*auto_cluster+[(1-rho)/(1+(m-1)*rho)]*auto_ind scalar r_l=[m_l*rho/(1+(m_l-1)*rho)]*auto_cluster+[(1-rho)/(1+(m_l-1)*rho)]*auto_ind scalar r_h=[m_h*rho/(1+(m_h-1)*rho)]*auto_cluster+[(1-rho)/(1+(m_h-1)*rho)]*auto_ind display r display r_l display r_h quietly sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m_l-1)*rho]*[2*(1-r_l)] sampsi 0 0.2, sd(1) alpha(.05) power(.9) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m_h-1)*rho]*[2*(1-r_h)] display N_clusterDD display N_clusterDD_l display N_clusterDD_h * Calculo Muestra
29
quietly clear quietly set mem 900m quietly set obs 1000000 quietly gen power = . quietly gen sampsize=. quietly replace sampsize= 0 in 1 quietly gen sampsize_l=. quietly replace sampsize_l= 0 in 1 quietly gen sampsize_h=. quietly replace sampsize_h= 0 in 1 local flag = 0 local n=2 while `flag' < 4300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD=[r(N_1)+r(N_2)]*[1+(m-1)*rho]*[2*(1-r)] quietly replace sampsize=N_clusterDD in `n' quietly local flag=N_clusterDD quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4300 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_l=[r(N_1)+r(N_2)]*[1+(m_l-1)*rho]*[2*(1-r_l)] quietly replace sampsize_l=N_clusterDD_l in `n' quietly local flag=N_clusterDD_l quietly local n=`n'+1 } local flag = 0 local n=2 while `flag' < 4500 { quietly replace power=`n'/100 in `n' local p=`n'/100 quietly sampsi 0 0.2 , sd1(1) sd2(1) power(`p') ratio(1) scalar N_clusterDD_h=[r(N_1)+r(N_2)]*[1+(m_h-1)*rho]*[2*(1-r_h)] quietly replace sampsize_h=N_clusterDD_h in `n' quietly local flag=N_clusterDD_h quietly local n=`n'+1 } #delimit ; twoway (line power sampsize,
30
mlcolor(navy) lcolor(navy)) (line power sampsize_h, mlcolor(black) lcolor(black) lpattern(longdash_dot)) (line power sampsize_l, mlcolor(green) lcolor(green) lpattern(dash_dot)) , ylabels(0(.1)1) xlabels(0 (500) 4300) ytitle("Potencia") xtitle("Muestra Total" , height(5)) graphregion(fcolor(white)) plotregion(style(none)) /*title("Figura 6: Analisis de Sensibilidad de n")*/ legend(lab(1 "n=10") lab(2 "n=20") lab(3 "n=6")) ; #delimit cr