11

EVALUACIÓN DE EVALUACIÓN DE PROGRAMASPROGRAMAS

ConsideracionesConsideraciones teórico práctic teórico prácticaass

VI Reunión de Expertos en Reducción de la Demanda

CICAD/OEA

Julio Bejarano, M.Sc.

22

ANTECEDENTES

¿DE DONDE SURGE LA NECESIDAD DE EVALUAR PROGRAMAS?

¿EXISTE RELACIÓN ENTRE ESA NECESIDAD Y EL DESARROLLO DE MODELOS TEÓRICOS EN PREVENCIÓN?

Desde 1985* se destaca la importancia de que:

- La evaluación de los programas sean intrínseca, no agregada

- La evaluación se conciba como una oportunidad de demostrar los valores del programa, no como una experiencia penosa.

- El personal del programa se involucre en las diferentes fases de la planificación de la evaluación

- Los beneficiarios de la prevención, la escuela, la comunidad, deberían también estar involucrados en la planificación de la evaluación

* Herrel y Herrel, en Bejarano, J. Evaluación cuantitativa de campañas antidrogas. CICAD/OEA, 1992

33

““La evaluación ...es un proceso La evaluación ...es un proceso estable y flexible de análisis de estable y flexible de análisis de información que busca, mediante información que busca, mediante procedimientos sistemáticos y procedimientos sistemáticos y confiables, aumentar la eficiencia confiables, aumentar la eficiencia en el desarrollo de las actividades en el desarrollo de las actividades actuales y la planificación actuales y la planificación apropiada de las futuras” (*)apropiada de las futuras” (*)

¿Qué es evaluar?¿Qué es evaluar?

(*) Bejarano, J. Evaluación cuantitativa de campañas antidrogas. En Comunicación contra las drogas. CICAD/OEA, Quito, 1992

44

TIPOS DE EVALUACIÓNTIPOS DE EVALUACIÓN

Evaluación de procesos...Evaluación de procesos...

Evaluación de resultados...Evaluación de resultados...

Evaluación de impactoEvaluación de impacto

55

Diseños más utilizados para la evaluación Diseños más utilizados para la evaluación de impacto de programas de prevenciónde impacto de programas de prevención

Diseños experimentalesDiseños experimentales

Diseños cuasi-Diseños cuasi-experimentalesexperimentales

Diseños solo postestDiseños solo postest

Diseños de pretest - Diseños de pretest - postestpostest

Tipos de investigación en revisión de Skara y Sussman.doc

66

Diseño experimentalDiseño experimental

Grupo de estudiantes

Asignación al azar

Grupo 1

Grupo 2

Grupo 3

Programa 1

Programa 2

Controles

R- Grupo 1

R- Grupo 2

R- Grupo 3

PRETEST POSTEST

77

Diseño cuasi experimentalDiseño cuasi experimental

Grupo 1

Grupo 2

Programa 1

Controles

R- Grupo 1

R- Grupo 2

POSTEST

Grupo de estudiantes

88

Diseño solo PostestDiseño solo Postest

Grupo 1 Programa A

R- Grupo 1

POSTEST

Grupo de estudiantes

99

DISEÑOS DE PRETEST-POSTESTDISEÑOS DE PRETEST-POSTEST ( o de verificación previa y posterior)( o de verificación previa y posterior)

Observación inicial

Grupo 1 y

Grupo Control

Observación final

Grupo 1 y

Grupo Control

Intervención

Grupo 1

1010

0

5

10

15

20

Línea base Año 1 Año 2 Año 3 Año 4 Año 5

Programa Control

% q

ue f

um

a d

iari

am

en

te

Tasas de prevalencia diaria de fumado en colegiales de la ciudad

de Kansas

* Pentz, M. Preventing drug abuse through the Community: Multicomponent programs make the difference. NIDA. National Conference on Drug Abuse Prevention Research. Washington, DC, Sept. 1996

1111

Efectos de la enseñanza de habilidades para Efectos de la enseñanza de habilidades para resolver problemas sobre las tasas de resolver problemas sobre las tasas de suspensión de jóvenes de sétimo añosuspensión de jóvenes de sétimo año

Programa No programa Totales Número y proporción de estudiantes suspendidos

14 (5.2%)

36 (13%)

50 (10%)

Número y proporción de estudiantes no suspendidos

254 (94.8%)

240 (87%)

494 (90%)

Total

268 (100%)

276 (100%)

544 (100%)

Tomado de OSAP ¨Handbook for evaluating drug and alcohol prevention programs¨US Dept. of Health and Human Services, 1978

1212

El PROCESO DE RECOLECCIÓN DE DATOSEl PROCESO DE RECOLECCIÓN DE DATOSEN LA EVALUACIÓN DE PROGRAMASEN LA EVALUACIÓN DE PROGRAMAS

- Actividades vinculadas con la Actividades vinculadas con la recolecciónrecolección de datosde datos

- ¿¿Qué es medir?Qué es medir?

1313

RECOLECCIÓN DE DATOSRECOLECCIÓN DE DATOS

¿Qué es un instrumento de medición?¿Qué es un instrumento de medición?

Requisitos de los instrumentos de medición:Requisitos de los instrumentos de medición:

ConfiabilidadConfiabilidad

ValidezValidez

1414

PROCESO PARA LA ELABORACIÓN DE PROCESO PARA LA ELABORACIÓN DE INSTRUMENTOSINSTRUMENTOS

Revisión de literatura-cuestionarios sobre temas semejantes

Evaluación de su confiabilidad y validez

Adaptar un cuestionario aplicado en otro estudio

Adolescents Instruments.pdf

Desarrollar un cuestionario propio

Indicar niveles de medición de los ítemes

Determinar codificación de

preguntas cerradas

Elaborar primera versión del instrumento

Consulta a expertos Ajuste de la primera versión

Prueba piloto Versión final

1515

INSTRUMENTOS PARA RECOLECTAR DATOSINSTRUMENTOS PARA RECOLECTAR DATOS

Escalas para medir actitudesEscalas para medir actitudes

Tipo LikertTipo Likert Diferencial semánticoDiferencial semántico Escalograma de GuttmanEscalograma de Guttman

CuestionariosCuestionarios

Tipos de preguntasTipos de preguntas Características de las preguntasCaracterísticas de las preguntas InstruccionesInstrucciones Extensión del cuestionarioExtensión del cuestionario Maneras de administraciónManeras de administración

1616

Escala de estado de ánimo Instrucciones: A continuación se le presenta una serie de afirmaciones en relación con su estado de ánimo durante los últimos 12 meses. Marque con una “X” la casilla que mejor indica la frecuencia con la cual ha experimentado cada situación. Recuerde que no hay respuestas buenas ni malas.

1. Durante los últimos 12 meses, ¿con qué frecuencia le ocurrieron las siguientes situaciones?:

Nunca o casi nunca

Pocas veces Muchas veces Siempre o casi

1. Sentirse cansado(a) para hacer cosas

2. Tener problemas para dormir 3. Sentirse deprimido(a) o triste 4. Sentirse sin esperanza por el futuro 5. Sentirse nervioso (a) o angustiado(a)

6. Preocuparse demasiado

(0) (1) (2) (3)

1717

En el ejemplo anterior...

¿Cuál es el puntaje máximo si la escala es de 3 puntos?

¿Cuál es el puntaje mínimo?

¿ Cuál es el significado de ello?

¿ Si la escala se dicotomizara en 1 y 0, qué sucedería?

1818

 

1. Durante los últimos 12 meses, ¿con qué frecuencia le ocurrieron las siguientes situaciones?:

Nunca o casi nunca Pocas veces Muchas veces Siempre o casi

1. Sentirse cansado(a) para hacer cosas

X

2. Tener problemas para dormir X 3. Sentirse deprimido(a) o triste X 4. Sentirse sin esperanza por el futuro

X

5. Sentirse nervioso (a) o angustiado(a)

X

6. Preocuparse demasiado X

(0) (1)

¿Puntaje total? 5

1919

0 1 2 3 4 5 6

Lo cual equivale a analizar la puntuación en el continuo

0 – 1, a partir de PT/N= 5/6= 0,83

Con respecto a la escala total un puntaje de 5/6 es indicativo de alguien con una alteración significativa del estado de

ánimo

0 1

2020

Muestra de un instrumento para medir habilidades

para vivir

Cuestionario

Secciones:

- Datos sociodemográficos

- Toma de decisiones

- Relaciones interpersonales

- Comunicación asertiva

- Autoestima

- Enfrentamiento del estrés

- Presión de grupo

- Consumo de drogas

- Conocimientos y actitudes

2121

PROGRAMA “TRAZANDO CAMINO”

Comparación

Con P.T.C.7° Con P.T.C.8°

PARCIAL1 Sin P.T.C. Comparación

Con P.T.C.

PROPUESTA Comparación AÑO 2001

Sin P.T.C.

1 En unos colegios no se aplicó el Programa, en otros se aplicó un 33%, 50% y un 66%.

7° PRETEST 03/1999

8° Evaluación

11/2000

8° Grupo de

comparación 11/1999

7° POSTEST 11/1999

7°-8°-9° Pretest-Casos

02/2001

7°-8°-9° Postest-Casos

11/2001

7°-8°-9° Postest -Controles

11/2001

7°-8°-9° Pretest-Controles

02/2001

2222

Tipo de estudio e Tipo de estudio e instrumentoinstrumento

Diseño pre test – post testDiseño pre test – post test

Instrumento compuesto de:Instrumento compuesto de: 50 reactivos para evaluar Habilidades para Vivir 50 reactivos para evaluar Habilidades para Vivir

distribuídos en 6 dominios o escalasdistribuídos en 6 dominios o escalas 25 preguntas sobre consumo de alcohol, tabaco y 25 preguntas sobre consumo de alcohol, tabaco y

otras drogasotras drogas 9 ítemes sobre conocimientos acerca del alcohol9 ítemes sobre conocimientos acerca del alcohol 6 preguntas sobre actitudes hacia el alcohol6 preguntas sobre actitudes hacia el alcohol 17 itemes sobre actitudes hacia el tabaco17 itemes sobre actitudes hacia el tabaco 5 preguntas acerca de información demográfica5 preguntas acerca de información demográfica

2323

MuestraMuestra

ESTUDIANTES 1 879 en pre-test

1/3 por nivel

COLEGIOS12 centros líderes

12 centros controles

80% públicos

47% hombres

920 en post-test

8 y 9 años

2424

Dominios incluidos en el instrumento de evaluación del Programa Trazando el Camino

Costa Rica, 2001

DOMINIODOMINIO SIGNIFICADOSIGNIFICADO NUMERO DE NUMERO DE PREGUNTASPREGUNTAS

CONFIBIALIDADCONFIBIALIDAD

Toma deToma dedecisionesdecisiones

Mide la capacidad del joven Mide la capacidad del joven para asumir decisiones por para asumir decisiones por sí solo.sí solo.

1111 74,474,4

Relaciones Relaciones interpersonalesinterpersonales

Mide la capacidad del joven Mide la capacidad del joven para interactuar para interactuar socialmente.socialmente.

66 47,847,8

Comunicación Comunicación asertivaasertiva

Mide la capacidad para Mide la capacidad para comunicarse y transmitir comunicarse y transmitir mensajes de manera mensajes de manera efectivaefectiva

1212 40,740,7

Percepción de Percepción de amenazasamenazas

Mide la forma como los Mide la forma como los jóvenes perciben el entorno jóvenes perciben el entorno socialsocial

88 42,542,5

AutoestimaAutoestima Mide la opinión que los Mide la opinión que los jóvenes tienen de sí mismos. jóvenes tienen de sí mismos.

66 17,617,6

Presión dePresión deGrupoGrupo

Mide la influencia que los Mide la influencia que los grupos de pares ejercen grupos de pares ejercen sobre los adolescentes que sobre los adolescentes que puede interferir o no, en las puede interferir o no, en las decisiones decisiones

77 31,331,3

2525

Puntuaciones Puntuaciones en las escalasen las escalas

(significado)(significado)

Puntaje máximo: 5Puntaje máximo: 5

Puntaje mínimo: 1Puntaje mínimo: 1

A mayor puntaje mejor A mayor puntaje mejor desempeño en el dominiodesempeño en el dominio

2626

Puntajes promedio obtenidos por los estudiantes de los grupos controles y grupos líderes en los dominios estudiados

Costa Rica, 2001

DOMINIOSDOMINIOS

pre-testpre-test post-testpost-test pre- testpre- test post- testpost- test

CONTROLESCONTROLES CONTROLESCONTROLES LIDERESLIDERES LIDERESLIDERES

Toma de decisionesToma de decisiones 4.024.02 3.94 (*)3.94 (*) 3.993.99 4.014.01

Relaciones Interpers.Relaciones Interpers. 3.623.62 3.613.61 3.563.56 3.66 (*)3.66 (*)

Comunicación AsertivaComunicación Asertiva 3.473.47 3.66 (*)3.66 (*) 3.413.41 3.65 (*)3.65 (*)

AutoestimaAutoestima 3.693.69 4.13 (*)4.13 (*) 3.653.65 4.10 (*)4.10 (*)

Manejo del estrés Manejo del estrés 2.832.83 3.79 (*)3.79 (*) 2.902.90 3.80 (*)3.80 (*)

Presión grupalPresión grupal 2.522.52 4.19 (*)4.19 (*) 2.532.53 4.21 (*)4.21 (*)

(*) Diferencia estadísticamente significativa entre el pre-test y el post-test.

2727

Prevalencia de vida de consumo de drogas en losestudiantes de los grupos control y líderes

Costa Rica, 2001(valores porcentuales)

DROGAS DROGAS pre-testpre-test post-testpost-test pre- testpre- test post- testpost- test

CONTROLESCONTROLES CONTROLESCONTROLES LIDERESLIDERES LIDERESLIDERES

AlcoholAlcohol 37.437.4 45.0*45.0* 33.533.5 41.1*41.1*

TabacoTabaco 11.811.8 21.0*21.0* 13.013.0 23.0*23.0*

MarihuanaMarihuana 1.01.0 1.91.9 1.01.0 2.52.5

CocaínaCocaína 0.30.3 0.60.6 0.40.4 0.50.5

(*) Diferencia estadísticamente significativa entre el pre-test y el post-test.

2828

pre-test post-test pre- test post- test DROGAS CONTROLES CONTROLES LIDERES LIDERES

Alcohol 17.0 20.0 16.1 21.3* Tabaco 7.5 7.1 7.0 9.8 Marihuana 0.6 1.7 0.5 1.0

Consumo activo de drogas en los estudiantes de los grupos control y grupos líderes

Costa Rica, 2001

2929

CONTROLES pre-test post-test

LIDERES pre- tests post- test

DROGA

M F M F M F M F Prevalencia de vida Alcohol 49.2 53.2 50.4 60.2 52.9 49.2 49.7 56.7 Tabaco 27.2 19.3 30.9 24.4 34.4 20.3 30.1 29.8* Mariguana 2.0 0.9 3.4 1.8 2.7 1.0 2.7 3.4 Prevalencia de mes Alcohol 15.3 18.7 17.4 21.9 18.6 13.8 19.7 22.1* Tabaco 10.0 5.4 8.1 6.5 11.3 2.6 10.9 9.1* Mariguana 0.7 0.6 2.1 1.4 0.7 0.0 1.1 1.0*

Consumo de drogas por sexo según prevalencia en los estudiantes de los grupos control y líderes

Costa Rica, 2001(valores porcentuales)

* Diferencia estadísticamente significativa entre el pre-test y el post-test

3030

Una experiencia con Una experiencia con niños en edad escolar...niños en edad escolar...

3131

Puntajes obtenidos en las habilidades Puntajes obtenidos en las habilidades evaluadasevaluadas

en el pre y el postesten el pre y el postestCosta Rica, mayo 2003 – diciembre 2003Costa Rica, mayo 2003 – diciembre 2003

1,95

1,98

1,922,0

1,811,81

1,511,65

1,211,23

0 1 2 3

Exposición apublicidad

Reconoc.Emociones

Conocerse

Tomadecisiones

Familia

Los valores corresponden a 1. Siempre, 2. A Veces, 3. Nunca. Lo recomendable es que las habilidades se ubiquen En el nivel 1.

3232

Program a Aprendo a Va lerm e por Mí M ism o C onsum o a ctivo de droga s e n e stud ia nte s de

4 gra do de enseña nza prim a ria Costa R ica, m ayo – dic iem bre 2003

DROG A PRETEST PO STEST Alcohol 15 .1 % 10 .0 % T abaco 5 .4% 4 .3%

Otra 3 .2% 2 .8%

N : 70 0 E da d: 10 - 1 1 años

3333

CUESTIONES ÉTICASCUESTIONES ÉTICAS

3434* Tomado de CIOMS, Ginebra Pautas Internacionales para al Evaluación Ética de estudios Epidemiológicos, 1991

Principios Éticos Internacionales Aplicados Principios Éticos Internacionales Aplicados en Estudios Epidemiológicosen Estudios Epidemiológicos**

En comparación con los estudios En comparación con los estudios experimentales, experimentales, los estudios de los estudios de corte corte transversaltransversal, los de , los de casos y controlescasos y controles y los de y los de cohortecohorte, suponen riesgos , suponen riesgos

mínimos para los participantes. mínimos para los participantes.

Aspectos por considerar: Aspectos por considerar: Otorgar o no consentimiento individualOtorgar o no consentimiento individual Anuencia de la comunidadAnuencia de la comunidad Divulgación selectiva de informaciónDivulgación selectiva de información Inducción a participarInducción a participar Comunicación de los resultados del estudioComunicación de los resultados del estudio Publicación de los resultadosPublicación de los resultados Atención médica a la comunidad sometida a estudioAtención médica a la comunidad sometida a estudio Capacitación del personal de salud localCapacitación del personal de salud local Evitar el daño a gruposEvitar el daño a grupos Publicidad perjudicialPublicidad perjudicial Respeto por las costumbres y las culturasRespeto por las costumbres y las culturas ConfidencialidadConfidencialidad

3535

CONSENTIMIENTO INFORMADOCONSENTIMIENTO INFORMADO**

Debe entenderse como un proceso y no como un formulario Debe entenderse como un proceso y no como un formulario El documento debe pensarse como herramienta educativa no El documento debe pensarse como herramienta educativa no

como instrumento legalcomo instrumento legal Descripción minuciosa de los procedimientos y actualización Descripción minuciosa de los procedimientos y actualización

de los riesgos o beneficiosde los riesgos o beneficios Si hay pago de por medio, este no debe ser coercitivo, ni en Si hay pago de por medio, este no debe ser coercitivo, ni en

los montos, ni en la forma de distribuciónlos montos, ni en la forma de distribución Debe haber nombres de personas (no sólo el del que firma el Debe haber nombres de personas (no sólo el del que firma el

consentimiento) que respondan a preguntas sobre la consentimiento) que respondan a preguntas sobre la investigacióninvestigación, los , los derechos del pacientederechos del paciente y los y los daños daños potencialespotenciales del estudio. Estas tres áreas deben estar del estudio. Estas tres áreas deben estar explícitamente indicadasexplícitamente indicadas

Participación en el estudio y eventual retiro como actos Participación en el estudio y eventual retiro como actos enteramente voluntariosenteramente voluntarios

* Tomado de Detailed Guidance for Presentation of a Single Project Assurance (SPA). En Librero 11-172-A

3636

Muchas gracias...Muchas gracias...