1

Sesión 3A Potencia estadística y evaluación de impacto

Juan Muñoz, Sistemas Integrales Santiago, 12 de abril de 2013

Por favor, conéctese al

Canal 50

2

𝑒𝑀𝑀𝑀 ≈𝑃(1 − 𝑃)

𝑛 𝑒𝑀𝑀𝑀 ≈

𝜎2

𝑛

𝑒2𝐶𝐶𝑀𝐶𝐶𝐶𝐶𝐶 = 𝑒2𝑀𝑀𝑀 × 𝐷𝑒𝐷𝐷 𝑒𝐶𝐶𝑀𝐶𝐶𝐶𝐶𝐶 = 𝑒𝑀𝑀𝑀 × 𝐷𝑒𝐷𝐷

Para prevalencias Para promedios

¿Hubo impacto? La noción de potencia

Lo que sucede en el mundo

Aceptar H0 si ŷ2 – ŷ1 ≤ C

Rechazar H0 si

ŷ2 – ŷ1 > C

OK

Error tipo I OK

Error tipo II

P (Error tipo I)

P (aceptar correctamente H0)

P (rechazar correctamente H0) =

1 – β

P (Error tipo II) = β

Lo que decidimos

Hipótesis Nula H0 No hubo impacto H0: y2 – y1 = 0

Hipótesis Alternativa HA Hubo impacto

HA: y2 – y1 = Δ Lo que

observamos

ŷ1 ŷ2

Potencia ¡ Estimados con error !

La potencia de una evaluación de impacto es…

A. La probabilidad de no cometer un error Tipo II

B. La probabilidad de no rechazar injustamente al programa

C. La probabilidad de no detectar un falso negativo

D. Equivalente a la noción de “sensibilidad” en epidemiología

E. Todas las anteriores

4 A. B. C. D. E.

0% 0% 0%0%0%

Potencia

0

ŷ2 – ŷ1

Δ C

Potencia

Con muestras más potentes

0

ŷ2 – ŷ1

Δ C

Potencia

Con muestras menos potentes

0

ŷ2 – ŷ1

Δ C

Potencia

Con muestras muy débiles

0

ŷ2 – ŷ1

Δ C

Fórmula fundamental del cálculo de potencia

9

𝑴𝑴𝑴 = (𝒕𝟏−𝜶/𝟐 + 𝒕𝟏−𝜷)𝒆 MED: Mínimo Efecto Detectable 𝜶/2: Tasa de errores Tipo I (falsos

positivos) (típicamente 𝛼/2 = 2.5%)

𝜷: Tasa de errores Tipo II (falsos negativos) (típicamente 𝛽 = 10 - 20% – en otras palabras, Potencia = 90 - 80%)

𝒆: Error estándar del efecto estimado

Tabla de valores t

y 1-y t1-y t1-y/2

20% 80% 0.84 1.28 10% 90% 1.28 1.64 5% 95% 1.64 1.96 2% 98% 2.05 2.33 1% 99% 2.33 2.58

Una cola

Dos colas

• Los cálculos de potencia permiten establecer los tamaños de muestra necesarios para evaluar un impacto – En las sesiones previas, la variable clave para establecer el

tamaño de la muestra era el error estándar. La técnica analítica era la estimación puntual con intervalos de confianza

– En esta sesión, la variable clave es la potencia (o sea, la probabilidad de no obtener un falso negativo). La técnica analítica es una prueba estadística

– Para evaluar un impacto, necesitamos ambas técnicas • El elemento clave de un buen cálculo de potencia es el

error estándar

10

Estadísticos de ayer y hoy

11

¡ Nosotros calculamos potencias !

Ellos calculaban errores…

𝑴𝑴𝑴 = (𝒕𝟏−𝜶/𝟐 + 𝒕𝟏−𝜷)𝒆

El error estándar de ŷ2 – ŷ1

• El error estándar de la diferencia no es la diferencia de los errores estándares

• El error estándar de ŷ2 – ŷ1 es 𝑒12 + 𝑒22 … si las muestras son diferentes

• Pero si la muestra es la misma, el error es 𝑒12 + 𝑒22 − 2𝑒1𝑒2𝜌(𝑦1,𝑦2)

• Esta es una ventaja importante de los paneles

Ventajas y desventajas de los paneles

• Ventajas analíticas – Mejor medición del cambio – Entender por qué cambian las

cosas – Correlacionar conductas pasadas

y presentes

• Desventajas analíticas – Envejecimiento: La muestra se

hace progresivamente menos representativa de la población

• Desventajas prácticas – Desgaste (attrition) – Difíciles de administrar – A veces imposibles

(por ejemplo, con indicadores de niños o embarazadas)

– Vulnerables a la manipulación – Hay que diseñarlas en forma

prospectiva

• Ventajas prácticas – En estudios de evaluación de

impacto, permiten reducir el tamaño de la muestra sin perder mucha potencia

– Menos esfuerzos de diseño, después de la línea basal

13

Un caso particular importante Para grupos de tratamiento y control del mismo tamaño, elegidos con MAS desde poblaciones con la misma varianza

𝑒 =2𝜎2

𝑛

𝑒: Error estándar 𝑛: Tamaño de la muestra en cada grupo 𝜎2: Varianza del indicador

- para prevalencias, 𝜎2=P(1-P)

14

¿Cuál es la mejor manera de abordar la no respuesta? A. Reemplazar a los que no

responden por hogares similares

B. Incrementar el tamaño de la muestra para compensar

C. Usar fórmulas de corrección

D. Usar técnicas de imputación

E. Ninguna de las anteriores

15 A. B. C. D. E.

0% 0% 0%0%0%

• Ninguna de estas acciones es una solución para la no respuesta – Reemplazar a los que no responden por hogares similares – Aumentar el tamaño de la muestra para compensar – Usar fórmulas de corrección – Usar técnicas de imputación (hot-deck, cold-deck, warm-

deck, etc.) para simular las respuestas que faltan

• La mejor forma de abordar la no respuesta es prevenirla – Algunas de las “soluciones” anteriores pueden tener un valor

preventivo

No respuesta

No respuesta

Encuestador

Cuestio-nario Entrevistado

Entrenamiento

Carga de trabajo

Motivación

Calificación Plan de trabajo

Demográfico

Socio-económico

Muestras biológicas

Fatiga

Motivación

Procuración

Disponibilidad

Fuente: “Some factors affecting Non-Response.” by R. Platek. 1977. Survey Methodology. 3. 191-214 17