1 el rol del monitoreo en la evaluación de...

33
1 El rol del Monitoreo en la Evaluación de Impacto Laura B. Rawlings Directora del Programa, SIEF y Especialista Principal en Protección Social Red de Desarrollo Humano Lima Enero 2009 Enero 2009

Upload: lamlien

Post on 16-Oct-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

1

El r

ol d

el M

onito

reo

en la

E

valu

ació

n de

Impa

cto

Lau

ra B

. R

aw

lin

gs

Dir

ect

ora

del

Pro

gra

ma,

SIE

Fy E

speci

ali

sta P

rin

cip

al

en

Pro

tecc

ión

So

cial

Red

de D

esa

rro

llo

Hu

man

o

Lim

a

En

ero

20

09

En

ero

20

09

2

Obj

etiv

os d

e es

ta s

esió

n

1.E

nfoq

ue g

loba

l en

resu

ltado

s2.

Mon

itore

o vs

. Eva

luac

ión

3.¿P

or q

uém

onito

rear

?4.

Util

izac

ión

de la

cad

ena

de R

ES

ULT

AD

OS

5.M

odo

de m

edir

lo q

ue s

e de

sea

cono

cer

Sel

ecci

ón d

e in

dica

dore

s M

anej

o de

l tie

mpo

en

la re

copi

laci

ón d

e da

tos

3

La G

estió

n ba

sada

en

resu

ltado

s es

una

tend

enci

a gl

obal

•Lo

s go

bier

nos

cada

vez

se

com

prom

eten

más

en

el

mon

itore

o y

la e

valu

ació

n co

mo

un m

edio

par

a–

mej

orar

la e

ficie

ncia

de

la p

rest

ació

n de

se

rvic

ios/

adm

inis

traci

ón d

el s

ecto

r púb

lico

–fa

cilit

ar s

u re

ndic

ión

de c

uent

as a

los

ciud

adan

os•

Los

gobi

erno

s es

tabl

ecen

obj

etiv

os/e

stán

dare

s pa

ra

los

prog

ram

as d

el s

ecto

r púb

lico

–fis

caliz

an e

l des

empe

ño s

obre

la b

ase

de e

stos

obj

etiv

os–

eval

úan

si lo

s pr

ogra

mas

son

efic

aces

par

a ay

udar

a

alca

nzar

dic

hos

obje

tivos

4

La G

estió

n ba

sada

en

resu

ltado

s es

una

tend

enci

a gl

obal

(con

tinua

ción

)

•D

irect

ores

de

prog

ram

as e

valu

ados

por

de

sem

peño

del

pro

gram

a, n

o po

r co

ntro

l de

recu

rsos

•E

stab

leci

mie

nto

de v

íncu

los

entre

fo

rmul

ació

n de

pol

ítica

s, to

ma

de

deci

sion

es p

olíti

cas,

pre

supu

esto

y

adm

inis

traci

ón fi

nanc

iera

, aud

itoría

, m

onito

reo

y ev

alua

ción

5

Obj

etiv

os d

e es

ta s

esió

n

1.E

nfoq

ue g

loba

l en

resu

ltado

s2.

Mon

itore

o vs

. Eva

luac

ión

3.¿P

or q

uém

onito

rear

?4.

Util

izac

ión

de la

cad

ena

de R

ES

ULT

AD

OS

5.M

odo

de m

edir

lo q

ue s

e de

sea

cono

cer

Sel

ecci

ón d

e in

dica

dore

s M

anej

o de

l tie

mpo

en

la re

copi

laci

ón d

e da

tos

6

Mon

itore

o

Mon

itore

o•

Pro

ceso

con

tinuo

de

reco

pila

ción

y

anál

isis

de

info

rmac

ión

--P

ara

anal

izar

el d

esem

peño

de

un

proy

ecto

, pro

gram

a o

polít

ica

sobr

e la

ba

se d

e lo

s re

sulta

dos

espe

rado

s

--P

ara

info

rmar

sob

re im

plem

enta

ción

y

adm

inis

traci

ón d

e un

pro

gram

a

7

Eva

luac

ión

Eval

uaci

ón•

Eva

luac

ión

sist

emát

ica

y ob

jetiv

a de

un

proy

ecto

, pro

gram

a o

polít

ica

en c

urso

o y

a co

mpl

etad

o, s

u di

seño

, im

plem

enta

ción

y/o

re

sulta

dos

--P

ara

dete

rmin

ar s

u re

leva

ncia

y c

umpl

imie

nto

de o

bjet

ivos

, efic

ienc

ia e

n el

des

arro

llo,

efic

acia

, im

pact

o y

sost

enib

ilida

d.

--P

ara

obte

ner c

onoc

imie

ntos

que

info

rmen

el

proc

eso

de to

ma

de d

ecis

ione

s.

8

Eva

luac

ión

Eval

uaci

ón d

e im

pact

o•

Eval

uaci

ón d

el e

fect

o ca

usal

de

un p

roye

cto,

pr

ogra

ma

o po

lític

a en

los

bene

ficia

rios

--U

tiliz

a un

con

trafá

ctic

opa

ra e

stim

ar c

uál

hubi

era

sido

la c

ondi

ción

de

los

bene

ficia

rios

sin

el p

rogr

ama

(gru

po d

e co

ntro

l o d

e co

mpa

raci

ón),

en c

ompa

raci

ón c

on la

con

dici

ón

obse

rvad

a en

ben

efic

iario

s (g

rupo

de

trata

mie

nto)

--P

ara

dete

rmin

ar re

sulta

dos

inte

rmed

ios

o fin

ales

atri

buib

les

a la

inte

rven

ción

9

Rec

opila

ción

de

dato

s ac

tual

es e

n

tiem

po r

eal s

obre

re

curs

os,

prod

uct

os y

re

sult

ados

par

a

real

izar

el

segu

imie

nto

de la

ejec

ución

Trad

uce

los

resu

ltad

os q

ue

se

pret

ende

n c

onse

guir

en

indi

cado

res

de

dese

mpeño

R

ealiz

a u

n s

egu

imie

nto

de

los

cam

bios

en

los

indi

cado

res

a lo

larg

o de

l ti

empo

, en

tod

os lo

s be

nef

icia

rios

Info

rma

sobr

e la

rea

lidad

, co

mpa

rán

dola

con

los

obje

tivo

s R

ealiz

a u

n s

egu

imie

nto

de

la

ejec

ución

com

o ba

se p

ara

la g

estión

ba

sada

en

res

ult

ados

Indi

cado

r

Año

30%

40%

50%

12

34

5

20

%

Mon

itore

o

10

Res

pond

e la

s pr

egun

tas

que

el

mon

itore

o no

pue

de r

espo

nder

Des

arro

lla u

n co

ntra

fáct

ico

para

eva

luar

la

cau

salid

ad u

tiliz

ando

un

grup

o de

co

ntro

l o c

ompa

raci

ónLo

s m

étod

os m

ás s

ólid

os in

cluy

en:

Prue

bas

alea

toria

s co

ntro

lada

sD

isco

ntin

uida

d de

la r

egre

sión

Dife

renc

ia e

n di

fere

ncia

sM

étod

os m

ixto

s (c

uant

itativ

os y

cu

alita

tivos

)O

rient

ada

a re

spon

der

POR Q

y CÓ

MO

Det

erm

ina

la

atrib

ució

n: e

l pr

oyec

to/p

rogr

ama,

¿l

ogró

una

dife

renc

ia?

Con

pr

oyec

to

Sin

proy

ecto

Indi

cado

r

Año

30%

40%

50%

12

34

5

15

%

Eval

uaci

ón

de im

pact

o

11

Obj

etiv

os d

e es

ta s

esió

n

1.E

nfoq

ue g

loba

l en

resu

ltado

s2.

Mon

itore

o vs

. Eva

luac

ión

3.¿P

or q

uém

onito

rear

?4.

Util

izac

ión

de c

aden

a de

RE

SU

LTA

DO

S5.

Mod

o de

med

ir lo

que

se

dese

a co

noce

rS

elec

ción

de

indi

cado

res

Man

ejo

del t

iem

po e

n la

reco

pila

ción

de

dat

os

12

¿Por

qué

mon

itore

ar?

•C

lave

par

a la

adm

inis

traci

ón e

fect

iva

del s

ecto

r pú

blic

o–

Est

able

cim

ient

o de

met

as y

obj

etiv

os–

Pre

sent

ació

n de

info

rmes

al P

arla

men

to y

a o

tras

parte

s in

tere

sada

s–

Ges

tión

de p

roye

ctos

, pro

gram

as y

pol

ítica

s–

Pre

sent

ació

n de

info

rmes

a lo

s do

nant

es–

Asi

gnac

ión

de re

curs

os•

Brin

da in

form

ació

n so

bre

la im

plem

enta

ción

pa

ra la

eva

luac

ión

de im

pact

o

13

Ejem

plo-

% d

e ni

ños

<5 q

ue p

adec

ían

desn

utric

ión

mod

erad

a o

seve

ra –

El B

anco

M

undi

al a

poyó

el p

rogr

ama

de n

utric

ión

01020304050607080

Proy

ecto

Dato

s in

icia

les

Segu

imie

nto

14

…en

com

para

ción

con

el g

rupo

de

cont

rol

01020304050607080

Cont

rol

Proy

ecto

Dato

s in

icia

les

Segu

imie

nto

15

Pero

…la

inte

rven

ción

alim

enta

ria ll

egó

tard

e –

sólo

se

llegó

al50

% d

e lo

s di

strit

os d

el p

rogr

ama

en e

l año

3

01020304050607080

Proy

ecto

Dato

s in

icia

les

Segu

imie

nto

16

…ta

mbi

én a

lcan

zóal

25%

de

las

com

unid

ades

de

cont

rol

01020304050607080

Cont

rol

Proy

ecto

Dato

s in

icia

les

Segu

imie

nto

17

Man

tras

para

est

a se

man

a

•P

ara

lleva

r a c

abo

buen

as e

valu

acio

nes

de

impa

cto

es n

eces

ario

com

pren

der c

ómo

se

gene

raro

n lo

s da

tos

•…

¡y c

ómo

se e

jecu

tóel

pro

gram

a!

18

…es

to e

s m

onito

rear

Rec

opila

ción

de

dato

s ac

tual

es e

n tie

mpo

real

so

bre

recu

rsos

, pro

duct

os y

resu

ltado

s pa

ra e

l se

guim

ient

o de

la e

jecu

ción

–S

e re

aliz

a se

guim

ient

o de

la tr

ansf

orm

ació

n de

re

curs

os e

n re

sulta

dos

–S

e id

entif

ican

indi

cado

res

clav

e –

Se

gene

ra in

form

ació

n en

tiem

po re

al s

obre

el p

roce

so

de im

plem

enta

ción

–H

erra

mie

nta

fund

amen

tal p

ara

la

adm

inis

traci

ón/re

ndic

ión

de c

uent

asP

ieza

cru

cial

del

dis

eño

de e

valu

ació

n de

im

pact

o

19

•…

esta

blec

er y

man

tene

r bue

nos

sist

emas

de

mon

itore

o en

el s

ecto

r púb

lico

no e

s al

go tr

ivia

l …

pero

es

cruc

ial p

ara

una

buen

a ev

alua

ción

de

impa

cto

Otra

s fu

ncio

nes

clav

e de

apr

endi

zaje

/rend

ició

n de

cu

enta

s•

Seg

uim

ient

o de

los

resu

ltado

s de

l sec

tor,

de lo

s O

bjet

ivos

de

Des

arro

llo d

el M

ileni

o, e

tc.

(a lo

larg

o de

l tie

mpo

)•

Est

able

cim

ient

o de

una

refe

renc

ia p

ara

el d

esem

peño

del

sis

tem

a (e

n el

esp

acio

)

20

Obj

etiv

os d

e es

ta s

esió

n

1.E

nfoq

ue g

loba

l en

resu

ltado

s2.

Mon

itore

o vs

. Eva

luac

ión

3.¿P

or q

uém

onito

rear

?4.

Util

izac

ión

de c

aden

a de

RE

SU

LTA

DO

S5.

Mod

o de

med

ir lo

que

se

dese

a co

noce

rS

elec

ción

de

indi

cado

res

Man

ejo

del t

iem

po e

n la

reco

pila

ción

de

dat

os

21

Util

izac

ión

de C

aden

a de

re

sulta

dos

Una

cad

ena

de re

sulta

dos

da re

spue

sta

a 3

preg

unta

s

•¿C

uále

s so

n lo

s re

sulta

dos

que

se in

tent

a co

nseg

uir d

el p

rogr

ama?

•¿C

ómo

se a

lcan

zará

n di

chos

resu

ltado

s?

•¿C

ómo

se c

onoc

erá

que

se h

an a

lcan

zado

?

22

Cad

ena

de re

sulta

dos

en u

n Pr

ogra

ma

típic

o

Rec

urso

sR

ecur

sos

Act

ivid

ades

Act

ivid

ades

Prod

ucto

sPr

oduc

tos

Res

ulta

dos

Res

ulta

dos

Res

ulta

dos

Res

ulta

dos

a m

a m

áá s la

rgo

s

larg

o

plaz

o u

plaz

o u

obje

tivos

de

obje

tivos

de

orde

n or

den

supe

rior

supe

rior

Eje

cuci

ónR

esul

tado

s

Ges

tión

basa

da e

n re

sulta

dos

Mov

ilizac

ión

de

recu

rsos

fin

anci

eros

, hu

man

os y

otro

s pa

ra a

poya

r las

ac

tivid

ades

Med

idas

ado

ptad

as o

tra

bajo

real

izad

o pa

ra

que

los

recu

rsos

se

conv

ierta

n en

pr

oduc

tos

espe

cífic

os

Pro

pues

tas

de

proy

ecto

s de

l or

gani

smo

de

ejec

ució

nD

ESD

E LA

PR

ESTA

CIÓ

N

Util

izac

ión

de p

rodu

ctos

po

r par

te d

e lo

s be

nefic

iario

s y

part

es

inte

resa

das

ajen

asal

or

gani

smo

de e

jecu

ción

DES

DE

LA

DEM

AN

DA

Cam

bios

en

los

resu

ltado

s or

igin

ados

por

ca

usas

m

últip

les

Pres

upue

sto

Dot

ació

n de

pe

rson

al

Cap

acita

ción

Estu

dios

Con

stru

cció

n

Plan

de

capa

cita

ción

fin

aliz

ado

Tran

sfer

enci

a de

ingr

eso

entre

gada

Cam

ino

cons

truid

o E

scue

la e

dific

ada

Nue

vas

prác

ticas

ad

opta

das

Mej

ora

la n

utric

ión

fam

iliar

Util

izac

ión

del c

amin

oLo

s ni

ños

apre

nden

más

Red

ucci

ón p

obre

zaR

educ

ción

de

desi

gual

dad

de

ingr

esos

Aum

enta

la

prod

uctiv

idad

labo

ral

23

Mon

itore

o de

indi

cado

r de

resu

ltado

s, e

valu

ació

n de

impa

cto

Indi

cado

r

Año

30%

40%

50%

12

34

5

20

%

Con

pr

oyec

to

Sin

proy

ecto

Indi

cado

r

Año

30%

40%

50%

12

34

5

15

%

24

Prot

ecci

ón

soci

al y

tr

abaj

o

Men

ores

ín

dice

s de

po

brez

aRe

ducc

ión

en

mor

talid

ad

infa

ntil

Aum

ento

en

cons

umo

de

alim

ento

sM

ás v

isita

s de

niñ

os a

ce

ntro

s sa

lud

TCI

entr

egad

as a

lo

s ho

gare

s be

nefic

iario

s

Salu

dM

ejora

en

índic

es d

e m

ort

alid

ad

mat

erna

Aum

ento

en

el u

so d

e cl

ínic

as d

e sa

lud

para

pa

rtos

•Méd

icos

contr

atad

os

•Asi

sten

tes

par

tos

capac

itad

os

Educ

ació

n

Mej

ora

educ

ació

n y

auto

nom

íaAu

men

to e

n pr

oduc

tivid

ad

labo

ral

Incr

emen

to

en t

asas

de

egre

soM

ejor

a en

ap

rend

izaj

e

•Cap

acitac

ión

mae

stro

s •P

rovi

sión d

e lib

ros

de

text

o

Ejem

plos

de

Cade

nas

de r

esul

tado

s

Rec

urso

sRes

ulta

dos

Res

ulta

dos

a m

ás la

rgo

plaz

o

25

1.

Info

rmac

ión

dis

pon

ible

par

a pa

dres

sob

re la

im

port

anci

a de

am

aman

tar

2.

Niñ

os d

e la

com

un

idad

más

sal

uda

bles

3.

Men

os n

iños

con

en

ferm

edad

es c

on d

iarr

ea

4.

Las

mad

res

tien

den

a a

mam

anta

r m

ás q

ue

a u

tiliz

ar f

órm

ula

s

5.

Nu

evos

fon

dos

disp

onib

les

para

eje

cuta

r u

n

proy

ecto

de

salu

d co

n e

l fin

de

redu

cir

los

índi

ces

de m

orta

lidad

infa

nti

l

6.

Dis

eño

de c

ampa

ñas

de

info

rmac

ión

sob

re la

im

port

anci

a de

am

aman

tar

Ejem

plo

Cade

na d

e re

sulta

dos

(Sec

tor

salu

d)

Iden

tific

ar la

sec

uenc

ia d

e re

curs

os, a

ctiv

idad

es, p

rodu

ctos

y

resu

ltado

s

26

5.

N

uev

os f

ondo

s di

spon

ible

s pa

ra e

jecu

tar

un

pr

oyec

to d

e sa

lud

con

el f

in d

e re

duci

r lo

s ín

dice

s de

mor

talid

ad in

fan

til -

REC

UR

SO

6.

Dis

eño

de c

ampa

ñas

de

info

rmac

ión

sob

re la

im

port

anci

a de

am

aman

tar

–A

CTI

VID

AD

1.

Info

rmac

ión

dis

pon

ible

par

a pa

dres

sob

re la

im

port

anci

a de

am

aman

tar

–P

RO

DU

CTO

4.

Las

mad

res

tien

den

a a

mam

anta

r m

ás q

ue

a u

tiliz

ar f

órm

ula

s –

RES

ULT

AD

O

3.

Men

os n

iños

con

en

ferm

edad

es c

on d

iarr

ea –

RES

ULT

AD

O

2.

Niñ

os d

e la

com

un

idad

más

sal

uda

bles

–(n

ivel

m

ás a

lto)

RES

ULT

AD

O

Eje

mplo

Cad

ena

de

resu

ltad

os

(Sec

tor

salu

d)

Iden

tifica

r la

sec

uen

cia

de

recu

rsos,

act

ivid

ades

, pro

duct

os

y re

sultad

os

27

Obj

etiv

os d

e es

ta s

esió

n

1.E

nfoq

ue g

loba

l en

resu

ltado

s2.

Mon

itore

o vs

. Eva

luac

ión

3.¿P

or q

uém

onito

rear

?4.

Util

izac

ión

de c

aden

a de

RE

SU

LTA

DO

S5.

Mod

o de

med

ir lo

que

se

dese

a co

noce

rS

elec

ción

de

indi

cado

res

Man

ejo

del t

iem

po e

n la

reco

pila

ción

de

dat

os

28

ee SSpe

cpe

c íífi

cofi

co::

mid

e lo

más

exa

ctam

ente

pos

ible

lo q

ue s

e de

sea

cono

cer

MMed

ible

edib

le:: t

ener

cla

ridad

sob

re c

ómo

se m

edirá

Res

ulta

doIn

dica

dor

Padr

es s

e as

egur

an q

ue h

ijos

1. M

ayor

uso

clín

icas

sal

ud

trat

ados

por

mal

aria

2.

y d

e m

edic

amen

tos

mal

aria

¿C

uál i

ndic

ador

es

más

esp

ecífi

co?

1.%

de

cent

ros

de s

alud

sin

dis

poni

bilid

ad d

e la

s dr

ogas

x, y

&

z d

uran

te m

ás d

e un

a se

man

a po

r ve

z¿C

uál i

ndic

ador

es

med

ible

?

Iden

tific

aci

Iden

tific

aci óó

n de

bue

nos

n de

bue

nos

indi

cado

res:

in

dica

dore

s: S

MA

RT

ee SSpe

cpe

c íífic

ofic

o ; ; MM

edib

le;

edib

le;

AAtr

ibui

ble;

tr

ibui

ble;

RRea

lista

; ea

lista

; TTar

gete

dar

gete

d(f

ocal

izad

o)(f

ocal

izad

o)

2.%

de

cent

ros

de s

alud

con

dis

poni

bilid

ad d

e dr

ogas

Fuen

te:

Kha

tour

iy K

usek

, 200

6

29

2.

Prev

alen

cia

de V

IH e

n el

tot

al d

e la

pob

laci

ón

1.

Prev

alen

cia

de V

IH e

ntre

muj

eres

em

bara

zada

s de

15-

24

años

de

edad

1.

Aum

ento

por

cent

ual e

n el

em

pleo

Rea

lista

Rea

lista:: d

atos

obt

enib

les

con

una

frec

uenc

ia, e

xact

itud

y a

un c

osto

ra

zona

bles

¿Cuá

l in

dica

dor

es

más

re

alis

ta?

Targ

eted

Targ

eted

(foc

aliz

ado)

(foc

aliz

ado)

: : Es

pecí

fico

para

el g

rupo

ben

efic

iario

del

pr

ogra

ma

2.Au

men

to p

orce

ntua

len

el e

mpl

eo d

e gr

adua

dos

del c

entr

o de

ca

paci

taci

ón t

écni

ca X

en

el p

rimer

año

des

pués

de

habe

r co

mpl

etad

o la

cap

acita

ción

.

¿Cuá

l ind

icad

or

est á

foca

lizad

o?

1.

Esp

eran

za d

e vi

da

2.

% d

e ni

ños

tota

lmen

te in

mun

izad

os a

l año

de

edad

¿Cuá

l ind

icad

or e

s at

ribui

ble?

Ind

icad

ore

sIn

dic

ad

ore

sS

MA

RT

SM

AR

T

Atr

ibu

ible

sA

trib

uib

les ::

vinc

ulad

os e

stre

cham

ente

y d

e m

odo

lógi

co a

los

esfu

erzo

s de

l pro

gram

a

30

Man

ejo

del t

iem

po e

n la

re

copi

laci

ón d

e da

tos

•E

l man

ejo

del t

iem

po e

s cr

ucia

l par

a el

di

seño

de

eval

uaci

ón•

El m

onito

reo

debe

ayu

dar a

brin

dar

info

rmac

ión

para

el m

anej

o de

l tie

mpo

en

la e

valu

ació

n

31

Lecc

ione

s so

bre

el m

anej

o de

l tie

mpo

–A

traso

s en

la im

plem

enta

ción

•C

omie

nzo

de la

eva

luac

ión

cuan

do s

e ha

“com

plet

ado”

la

inte

rven

ción

–Lo

s ef

ecto

s pu

eden

pro

fund

izar

se c

on e

l tie

mpo

•A

pren

diza

je p

or p

arte

de

pres

tado

res

y be

nefic

iario

s•

Los

resu

ltado

s pu

eden

ser

cum

ulat

ivos

/inte

nsifi

cars

e•

Pue

den

surg

ir re

sulta

dos

no p

revi

stos

–Lo

s ef

ecto

s pu

eden

dis

ipar

se c

on e

l tie

mpo

•re

cupe

raci

ón d

e ár

eas

de c

ontro

l•

los

efec

tos

pued

en d

esva

nece

rse

(com

puta

dora

s en

las

aula

s en

Indi

a)–

Com

pren

der l

a pr

ogra

mac

ión

del t

iem

po d

el

prog

ram

a•

plan

ifica

r la

reco

pila

ción

de

dato

s en

con

secu

enci

a

32Fu

ente

: K

ing

y B

eh

rman

, “T

imin

gan

dD

ura

tio

no

fExp

osu

rein

Evalu

ati

on

so

fS

oci

al P

rog

ram

s”,

Wo

rld

Ban

kW

PS

46

86

, A

go

sto

20

08

33

CO

NC

LUS

IÓN

No

se p

uede

obt

ener

una

eva

luac

ión

de

impa

cto

de p

rimer

niv

el s

in u

n bu

en

sist

ema

de m

onito

reo

…es

nec

esar

io p

ara

com

pren

der c

ómo

se

impl

emen

tóel

pro

gram

a.