seminario reflexiones sobre la eficiencia de los sistemas ... · en forma alguna ni por cualquier...

PONENCIAS

Seminario Reflexiones sobre la eficiencia

de los sistemas educativos: el caso de Andalucía:

Peter DoltonJorge Calero

Javier Gil Flores

PN02/11

El Centro de Estudios Andaluces es una entidad de carácter científico y cultural, sin ánimo de lucro, adscrita a la Consejería de la Presidencia de la Junta de Andalucía. El objetivo esencial de esta institución es fomentar cuantitativa y cualitativamente una línea de estudios e investigaciones científicas que contribuyan a un más preciso y detallado conocimiento de Andalucía, y difundir sus resultados a través de varias líneas estratégicas. El Centro de Estudios Andaluces desea generar un marco estable de relaciones con la comunidad científica e intelectual y con movimientos culturales en Andalucía desde el que crear verdaderos canales de comunicación para dar cobertura a las inquietudes intelectuales y culturales. Ninguna parte ni la totalidad de este documento puede ser reproducida, grabada o transmitida en forma alguna ni por cualquier procedimiento, ya sea electrónico, mecánico, reprografito, magnética o cualquier otro, sin autorización previa y por escrito de la Fundación Pública Andaluza Centro de Estudios Andaluces. Las opiniones publicadas por los autores en esta colección son de su exclusiva responsabilidad © De los textos: sus autores. © 2011. Fundación Pública Andaluza Centro de Estudios Andaluces. Consejería de la Presidencia. Junta de Andalucía http://www.centrodeestudiosandaluces.es Prohibida su venta.

ÍNDICE

1 Reflexiones sobre el funcionamiento del sistema educativo

Peter Dolton

Catedrático de Economía en Royal Holloway e Investigador Asociado a la London School of Economics

31 El riesgo de fracaso escolar analizado por medio de las

evaluaciones de competencias

Jorge Calero

Catedrático de Catedrático de Economía Aplicada Universidad de Barcelona

40 Construcción de pruebas de evaluación de diagnóstico en

competencias básicas del alumnado de educación primaria y educación secundaria

obligatoria

Javier Gil Flores

Universidad de Sevilla

Conferencia: Reflexiones sobre el funcionamiento del

sistema educativo Peter Dolton

Catedrático de Economía en Royal Holloway e Investigador Asociado a la London School of Economics.

1

Diapositiva 1

1

Education: What works and what doesn't?

Professor Peter DoltonRoyal Holloway College, University of London

and CEE, LSE

Diapositiva 2

2


LESSONS FOR SPAIN FROM THE UK AND THE US


and CEE, LSE

2


LESSONS FOR SPAIN FROM THE UK AND THE US


and CEE, LSE

2

Diapositiva 3

Diapositiva 4

PUTTING SPAIN’S EDUCATION SYSTEM INTO CONTEXT.

4

Plan of Talk

• What does Spain look like compared to other countries.

• Mechanisms for Change:– More Education Spending – ASSUME NOT POSSIBLE– Pupil‐Teacher Ratios– Quasi Markets & Accountability– PRP for Teachers– Teachers Pay– Do Better Paid Teachers have an effect on Pupil Scores?

3

Plan of Talk

• What does Spain look like compared to other countries.

• Mechanisms for Change:– More Education Spending – ASSUME NOT POSSIBLE– Pupil‐Teacher Ratios– Quasi Markets & Accountability– PRP for Teachers– Teachers Pay– Do Better Paid Teachers have an effect on Pupil Scores?

3

3

Diapositiva 5

Measures of educational outcomes

Source: OECD

0%

20%

40%

60%

80%

100%

8.0 9.4 10.310.5 10.9 11.2 11.3 11.511.9 12.4 12.4 12.4 12.512.7 12.7 13.3 13.4 13.413.5 13.8

477 476 466 470 475 487 480 496 488 544 513 466 491 502 493 486 492 497 498

PRT ITA ESPGRCFRA BEL AUTHUNPOL CZE FIN SWESLV IRL GBRDNKDEU ISL NLDNOR

Pre-primary and primary education Lower Secondary educationUpper Secondary and post-secondary Tertiary education

Years of schooling

PISA scores

Diapositiva 6

Measures of educational outcomes

Source: OECD

0%

20%

40%

60%

80%

100%

8.0 9.4 10.310.5 10.9 11.2 11.3 11.511.9 12.4 12.4 12.4 12.512.7 12.7 13.3 13.4 13.413.5 13.8

477 476 466 470 475 487 480 496 488 544 513 466 491 502 493 486 492 497 498

PRT ITA ESPGRCFRA BEL AUTHUNPOL CZE FIN SWESLV IRL GBRDNKDEU ISL NLDNOR

Pre-primary and primary education Lower Secondary educationUpper Secondary and post-secondary Tertiary education

Years of schooling

PISA scores

4

Diapositiva 7

Putting Spain Into Context

• A high fraction of population with low levels of education.

7

Diapositiva 8

Figure 3.a. Standardised Average Scores (8th grade students) by country (2006)

-2

-1

0

1

2

Tunisi

a

Argen

tina

Brazil

Indon

esia

Mex

ico

Thaila

nd

Urugua

y

TurkeyChil

eIsr

ael

GreeceIta

ly

Portu

gal

SpainUSA

Norway

Hunga

ry

Fran

ce

Icelan

d

DenmarkUK

Czech

Rep

ublic

Austria

Swed

en

German

y

Irelan

d

Belgium

Switz

erlan

d

Slove

niaJap

an

Austra

lia

Netherl

ands

New Zea

landKore

a

Finlan

d

5

Diapositiva 9

Figure 3.a. Standardised Average Scores (8th grade students) by country (2006)

-2

-1

0

1

2

Tunisi

a

Argen

tina

Brazil

Indon

esia

Mex

ico

Thaila

nd

Urugu

ay

TurkeyChil

eIsr

ael

GreeceIta

ly

Portu

gal

SpainUSA

Norway

Hunga

ry

Fran

ce

Icelan

d

DenmarkUK

Czech

Rep

ublic

Austria

Swed

en

German

y

Irelan

d

Belgium

Switz

erlan

d

Slove

niaJap

an

Austra

lia

Netherl

ands

New Zea

landKore

a

Finlan

d

Diapositiva 10



• PISA scores below average.

10

6

Diapositiva 11

ResourcesAnnual expenditure per student versus PISA scores, 2000

Source: OECD (2004)

AUT

BEL

CHE

CZE

DEU

DNK

ESP

FIN

FRA

GBR

GRC

HUN

IRL

ISL

ITA

NOR

PRTSWE

USA

3000

5000

7000

9000

11000

equi

vale

nt U

S $

460 480 500 520 540PISA reading score

Diapositiva 12



• PISA scores about below average.

• Lower than average Expenditure per pupil.

12

7

Diapositiva 13

Figure 5. Standardised Scores as a function of Student’s teacher ratio

Brazil

Mex

ico

Turkey Chil

eIsrae

lGree

ce ItalyPo

rtuga

lSp

ain USAHun

gary

Fran

ce

Icelan

d Denmark

UK Czech

Rep

ublic

Austri

aSw

eden

German

y

Irelan

dBelg

iumSw

itzerl

and

Slov

enia

Japan Aus

tralia

Netherl

and

New Z

ealan

d Korea

Finla

nd

-2-1

01

2St

anda

rdis

ed S

core

s 8th

gra

de st

uden

ts

10 15 20 25 30Students/Teacher ratio

Diapositiva 14

Figure 5. Standardised Scores as a function of Student’s teacher ratio

Brazil

Mex

ico

Turkey Chil

eIsrae

lGree

ce ItalyPo

rtuga

lSp

ain USAHun

gary

Fran

ce

Icelan

d Denmark

UK Czech

Rep

ublic

Austri

aSw

eden

German

y

Irelan

dBelg

iumSw

itzerl

and

Slov

enia

Japan Aus

tralia

Netherl

and

New Z

ealan

d Korea

Finla

nd

-2-1

01

2St

anda

rdis

ed S

core

s 8th

gra

de st

uden

ts

10 15 20 25 30Students/Teacher ratio

8

Diapositiva 15





• Low Pupil‐Teacher Ratios

15

Diapositiva 16

9

Diapositiva 17

Diapositiva 18





• Low Pupil‐Teacher Ratios

• Low Efficiency.

18

10

Diapositiva 19

PUPIL – TEACHER RATIOS??

19

Diapositiva 20

Evidence

• Important work by Hanushek JEL suggested that P/T ratios did not matter.

• This – I think – is now discredited – we have evidence from – Tennessee STAR experiment– Angrist and Lavy – Miamonides Rule– My own work with Marcenaro

• All suggests that P/T ratios matter.

20

11

Diapositiva 21

ACCOUNTABILITY AND QUASI MARKETS

21

Diapositiva 22

22

What Do We Mean by Accountability?

Fearon suggests … one person, A, is accountable to another B, if two conditions are met:

1. that there is an understanding that A is obliged to act in some way on behalf of B.

2. B is empowered by some formal institution or perhaps informal rules to sanction or reward A for her activities or performance in this capacity.

12

Diapositiva 23

23


Effective Accountability requires:

1. System provides full information to consumers.

2. Consumers have influence over priorities and goals of educational provision.

3. Consumers have choice of providers in a competitive environment.

4. No distortionary incentives.

Diapositiva 24

24


• Expenditure in education is a social choice problem.

• Are parents the customers?

• Does competition work?

• ‘Exit and Voice’ issue.

13

Diapositiva 25

25

How Can Educational Output and Efficiency be Measured and What is the Effect of

Accountability.

• Inputs and Outputs difficult to Observe

• Peer Effects (Lazear)

• Learning may yield fruit after many years.

• Geographical Mobility

• Wider Benefits of Learning.

Diapositiva 26

26

Incentives and Quasi‐Markets in UK Schools.

UK 1988 Education Reform Act

• Parental Choice of School

• Devolved budgets to schools based on pupil numbers.

• School League tables published of tests at 7,11,14,16,18.

14

Diapositiva 27

27


UK National Level 3, aged 14, % Reaching Expected Levels

1995 1998 2001Reading 49 71 81Maths 45 58 70Science 70 69 87

Diapositiva 28

28


• Absolute Standards?

• Focus on Marginal/Median child

• Diverts resources from less and most able

• Is the Quasi‐market doing the improving?

• Narrow tests ‐ citizenship & other skills.• Other evidence ‐ Gundlach.

15

Diapositiva 29

PRP for TEACHERS

29

Diapositiva 30

Experiences in the UK & US

• Reform in 2001 in the UK had very limited impact

• Huge problems of implementation.

• But some evidence that Incentive pay can work for teachers.

• But it costs – I would link it to a career pay structure.

30

16

Diapositiva 31

31

What are the Problems with the Incentives Structures in the Public

Provision of Education?

Basically because:

• Multitasking Environment

• Incentives can induce counterproductive effects

• Multiple Principals

Diapositiva 32

32

i) Education has Multiple Goals

• Dixit (2000) lists: basic skills, vocational skills, citizenship etc H&R view educational production in narrower terms.

• Holmstrom and Milgrom (1991)‐ agent diverts effort from less well measured activity.

17

Diapositiva 33

33

ii) Education has Multiple Principals

• These include: pupils, parents, teachers, governors, unions, LEAs, taxpayers, employers, pressure groups etc

• Dixit (1997) shows how the presence of multiple principals makes overall incentives much weaker.

Diapositiva 34

34

Postscript: A Lesson from History.

• 1860‐1890 An incentive system operated in the UK.

• Payment by results based on HMI inspectors.

• Incentives went wrong.

• Gaming was the order of the day.

18

Diapositiva 35

35

Postscript: A Lesson from History.

Matthew Arnold:

‘ as a game of mechanical contrivance in which the teachers will and must more and more learn how to beat us.’

Diapositiva 36

What About Teachers in Spain?

36

19

Diapositiva 37

Figure 4. Score’s percentile at 8th grade students as a function of teachers’salaries after 15 years experience.

TurkeyIsrael

GreeceItaly

PortugalSpain

USANorway

HungaryFrance

IcelandDenmark

UKCzech Republic

AustriaSweden

GermanyIreland

BelgiumSwitzerland

JapanAustralia

NetherlandsNew Zealand

KoreaFinland

020

4060

8010

0Sc

ore's

Per

cent

ile 8

th g

rade

stu

dent

s

10000 20000 30000 40000 50000 60000Teachers' salaries (2007 USA$ PPP)

Diapositiva 38

Figure 4. Score’s percentile at 8th grade students as a function of teachers’salaries after 15 years experience.

TurkeyIsrael

GreeceItaly

PortugalSpain

USANorway

HungaryFrance

IcelandDenmark

UKCzech Republic

AustriaSweden

GermanyIreland

BelgiumSwitzerland

JapanAustralia

NetherlandsNew Zealand

KoreaFinland

020

4060

8010

0Sc

ore's

Per

cent

ile 8

th g

rade

stu

dent

s

10000 20000 30000 40000 50000 60000Teachers' salaries (2007 USA$ PPP)

20

Diapositiva 39


• Paid at about average compared to other countries.

39

Diapositiva 40

Figure 2. Relative position (percentile) of teachers’ salaries in the earnings

distribution of the pop’n (Upper Secondary Education)

0.25.5.

751

0.25.5.

751

0.25.5.

751

0.25

.5.75

10.2

5.5.7

510.2

5.5.75

1

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

Argentina Australia Austria Belgium Brazil Chile

Czech Republic Denmark Finland France Germany Greece

Hungary Indonesia Ireland Italy Japan Korea

Malaysia Netherlands New Zealand Norway Peru Philippines

Portugal Spain Sweden Switzerland Thailand Tunisia

Turkey UK USA Uruguay

Percentile position of teachers (starting wages) in the earnings distributionPercentile position of teachers (after 15 years) in the earnings distribution

Percentile position of teachers (top wages) in the earnings distribution

Year

G h b C t

21

Diapositiva 41

Figure 2. Relative position (percentile) of teachers’ salaries in the earnings

distribution of the pop’n (Upper Secondary Education)

0.25.5.

751

0.25.5.

751

0.25.5.

751

0.25

.5.75

10.2

5.5.7

510.2

5.5.75

1

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

1995

1996

1997

1998

1999

2000

2001

2002

2003

2004

2005

Argentina Australia Austria Belgium Brazil Chile

Czech Republic Denmark Finland France Germany Greece

Hungary Indonesia Ireland Italy Japan Korea

Malaysia Netherlands New Zealand Norway Peru Philippines

Portugal Spain Sweden Switzerland Thailand Tunisia

Turkey UK USA Uruguay

Percentile position of teachers (starting wages) in the earnings distribution

Percentile position of teachers (after 15 years) in the earnings distribution

Percentile position of teachers (top wages) in the earnings distribution

Year

G h b C t

Diapositiva 42



• Paid at around 60‐70%ile in wage distribution.

42

22

Diapositiva 43

Growth in Teacher wages across countries

020

4060

800

2040

6080

020

4060

800

2040

6080

020

4060

800

2040

6080

0 15 30 0 15 30 0 15 30 0 15 30

0 15 30 0 15 30 0 15 30

Argentina Australia Austria Belgium Brazil Chile Czech Republic

Denmark Finland France Germany Greece Hungary Iceland

Indonesia Ireland Israel Italy Japan Jordan Korea

Malaysia Mexico Netherlands New Zealand Norway Peru Philippines

Portugal Spain Sweden Switzerland Thailand Tunisia Turkey

UK USA Uruguay

Mea

n W

age

(100

0$; 2

007

PPP)

Experience (years)Graphs by Country

Diapositiva 44

Growth in Teacher wages across countries

020

4060

800

2040

6080

020

4060

800

2040

6080

020

4060

800

2040

6080

0 15 30 0 15 30 0 15 30 0 15 30

0 15 30 0 15 30 0 15 30

Argentina Australia Austria Belgium Brazil Chile Czech Republic

Denmark Finland France Germany Greece Hungary Iceland

Indonesia Ireland Israel Italy Japan Jordan Korea

Malaysia Mexico Netherlands New Zealand Norway Peru Philippines

Portugal Spain Sweden Switzerland Thailand Tunisia Turkey

UK USA Uruguay

Mea

n W

age

(100

0$; 2

007

PPP)

Experience (years)Graphs by Country

23

Diapositiva 45




• Have a fairly flat wage progression – i.e. Very generous to new teachers.

45

Diapositiva 46




• Have a fairly flat wage progression – i.e. Very generous to new teachers.

• So would increasing teacher pay improve pupil performance?

46

24

Diapositiva 47

THE LINK BETWEEN TEACHER PAY AND PUPIL PERFORMANCE

47

Diapositiva 48

McKinsey Report 2007• ‘…. The quality of an education system cannot exceed the quality of its teachers’

Diane Ravitch

New York Times 3 March 2010 (pA22)• “Nations like Finland and Japan seek out the best college graduates for teaching positions, pay them well and treat them with respect. … They do this because this is the way to ensure good education. We’re on the wrong track”

25

Diapositiva 49

My Main Research Questions

• Does Relative Teacher Pay effect pupil performance?

Diapositiva 50

ONE LINE MESSAGEs!

• Recruiting teachers from higher in the wage distribution will lead to better academic outcomes for children.

26

Diapositiva 51

My new research.

• Dolton and Marcenaro (2011) ‘If you Pay Peanuts do you get Monkeys?’, Economic Policy vol 65.– 39 Countries OECD data over 1995‐2009 using PISA and TIMSS

• Dolton and Lehmann (2011) ‘Does Higher Teacher Pay Improve Pupil Performance?’– 50 US state data over 1990‐2009 period using NAEP scores.

51

Diapositiva 52

So what do we need to answer this question?

• Good comparable cross state panel data on education scores.

• Good data on teachers salaries.

• VARIATION in these data – this is why within country or with State data rarely shows the link!!!!

• The necessary controls – on pupil teacher ratios, education spending etc

27

Diapositiva 53

Table 3.a. Determinants of Standardised Pupil Scores across Countries 1995-2006 (Each type of As

Specification I Specification II OLS Panel Simultan. OLS Panel Simultan.

Teaching hours per year (100s)

-0.027 0.093 -0.094** 0.102*** 0.089 0.049

(0.030) (0.066) (0.038) (0.035) (0.072) (0.040) Pupil/Teacher ratio

-0.066***

0.037*

-0.057***

-0.082***

0.041*

-0.075***

(0.009) (0.022) (0.010) (0.012) (0.022) (0.010) Women fraction of teaching staff (%)

0.004

0.014**

0.004

-0.017***

0.014**

-0.010

(0.005) (0.006) (0.007) (0.005) (0.007) (0.006) Teachers' salaries after 15 years in 1000$

0.052***

0.030**

0.044*** (0.006) (0.015) (0.011) Percentile position of teachers (after 15 years)

2.559***

1.496*

4.947** (0.687) (0.895) (2.150) GDP growth (%) 0.145*** -0.062** 0.184*** 0.108*** -0.073*** 0.171*** (0.024) (0.025) (0.027) (0.028) (0.028) (0.028) Year dummies: (reference year 1995)

√ √ √ √ √ √

Constant -2.063*** -3.470*** -0.967 -1.959*** -3.712*** -3.175* (0.475) (0.723) (0.603) (0.702) (0.832) (1.788) Observations 205 205 192 194 194 192 F-statistic 26.20*** 18.15*** 0.490 13.79*** 17.30*** 17.46*** R-squared Within 0.50 0.49 R-squared Between 0.19 0.49

R-squared Overall 0.54 0.01 0.44 0.37 0.05 0.44

Diapositiva 54

Marginal Effects from Cross Country Study

• $5000 or 15 % rise in teachers earnings

OR

• 5% shift up the wage distribution for teachers

• Will mean a .20 of a SD rise in test score hence about 8% rise in the test score.

28

Diapositiva 55

Marginal Effects from US State Study

• $7k (15%) rise in earnings => 6% rise

• 15% increase in relative wage => 6% rise

• 5% shift up the income distribution =>7% rise in pupil scores.

Diapositiva 56

Marginal Effects from US State Study

• $7k (15%) rise in earnings => 6% rise

• 15% increase in relative wage => 6% rise

• 5% shift up the income distribution =>7% rise in pupil scores.

• Double fraction of pay incentives to 30% => 3% rise in scores

29

Diapositiva 57

Policy Implications of Results

If we wish to improve pupil scores we need to:• Recruit teachers from further up income and ability distribution

• Make teacher a high status profession with high quality recruits.

• Accountability may not be the way to go.• However Efficiency Analysis is a different question.

Diapositiva 58

MAJOR POLICY PROBLEM

• Its not the present teachers who need to be paid more – its how do we get the more able people into teaching.

• We may need to remove some existing teachers and then up wages to encourage better people into the profession – cant be done overnight.

30

Diapositiva 59

SO WHAT TO DO IN SPAIN??That would be cost neutral??

• Increase pupil/teacher ratios

• Recruit higher quality teachers

• Have higher wages for teachers at the top end for high quality teachers.

• Progressively ease out of the profession lower quality teachers.

59

Ponencia: El riesgo de fracaso escolar analizado por

medio de las evaluaciones de competencias. Jorge Calero

Catedrático de Economía Aplicada de la Universidad de Barcelona y Presidente del Consejo Superior del Sistema Educativo de Cataluña.

31

El riesgo de fracaso escolar analizado por medio de las evaluaciones de competencias

Jorge Calero

Catedrático de Catedrático de Economía Aplicada

Universidad de Barcelona

1. La evaluación de competencias. Aspectos generales y riesgos

Abordaremos el análisis utilizando los datos correspondientes a PISA-2009, programa de evaluación externa de competencias de la OCDE y, en concreto, los relativos a las competencias de lectura. Algunas cuestiones previas y riesgos de la evaluación de competencias.

• Concepto (problemático) de competencias. Instrumental. • Evaluación y ránkings. Evaluación “neta” y evaluación “bruta”: ránkings de valor

añadido • “Colonización” del sistema educativo por la evaluación de competencias • Comportamientos estratégicos de los centros. Ejemplo: Estados Unidos después

de No Child Left Behind. • Necesidad de independencia de las agencias

2. El concepto de “riesgo de fracaso escolar” Los niveles de competencias de PISA permiten establecer un umbral, situado entre el nivel 1 y el nivel 2, que diferencia a los alumnos en función de su riesgo de fracaso escolar (véase OCDE, 2007). Asumimos, así, que los alumnos que no alcanzan el nivel 2 de PISA en la prueba de lectura carecen de las competencias suficientes para participar activamente en situaciones de la vida cotidiana o laboral. Obviamente, este umbral tiene un cierto componente arbitrario y, en todo caso, resulta discutible su adecuación a la diversidad de realidades educativas y laborales de los países de la OCDE. Sin embargo, aceptando su carácter convencional, lo consideramos un buen punto de partida instrumental para nuestro análisis. Schleicher (2007) expone que PISA no recoge todas las competencias relevantes para predecir el éxito futuro de un alumno pero sí recopila algunas de las más importantes. En palabras de Knighton y Bussière (2006:18), tener “competencias efectivas en lectura y credenciales en educación no garantizan el éxito en el futuro pero, sin ellas, (las personas) afrontan mayores riesgos de encontrarse barreras en el empleo, de tener una seguridad financiera reducida y una peor situación social”.

32

Diversos estudios longitudinales como Bushnik, Telford y Bussière (2004), Knighton y Bussière (2006) o Hillman y Thomson (2006), respaldan a Schleicher (2007), demostrando que la obtención de un nivel 1 o inferior reduce drásticamente las probabilidades de que un alumno concluya sus estudios de educación secundaria y de que continúe estudiando con 19 años de edad. Esta situación resulta grave, ya que las personas que no completan estudios de educación secundaria se enfrentan a peores perspectivas laborales (OCDE, 2008b). Una cuestión que empeora todavía más la situación de las personas que no completan estudios obligatorios es el hecho de que los trabajadores cualificados reciben más horas de formación en su puesto de trabajo que los no cualificados. Además, la brecha en las tasas de participación laboral por género es más amplia cuanto menor el nivel educativo. Para analizar el ajuste (o desajuste) del “fracaso PISA”, con respecto a otros indicadores vinculados al fracaso escolar, nos referimos, en concreto, a dos de ellos: por una parte, al “fracaso acreditación”, es decir, el referido a la falta de obtención de la titulación correspondiente a la educación obligatoria (graduado en Educación Secundaria Obligatoria (ESO); por otra parte, al abandono escolar prematuro (falta de continuidad de los estudios después de la educación obligatoria). El cuadro 1 permite una primera aproximación a los valores comparados de estos indicadores, referidos a España y la media de la Unión Europea.

Cuadro 1. Indicadores básicos vinculados al fracaso escolar. Porcentajes.

España UE-15 UE-27 1) "Fracaso PISA" (competencias de lectura 19,6 18,6 20,6 en niveles inferiores a 2). Edad: 15 años 2) Abandono escolar prematuro (titulación máxima educación secundaria obligatoria y 28,4 15,5 14,1 no participa en formación adicional). Edad: 18-24 años. 3) "Fracaso acreditación" (no obtención de 30,7 n.d. n.d. titulación al finalizar educación secundaria inferior).

Fuente: 1) OECD (2010), datos referidos a 2009; 2) EUROSTAT, base de datos on-line; 3) Instituto de Evaluación (2010), datos

referidos a 2007.

La distribución de competencias de lectura de los alumnos españoles deja un grupo cercano al 20% en situación de riesgo de fracaso escolar. Esta cifra es ligeramente mayor a la de los países de la U.E.-15, si bien es casi idéntica a la de los países que componen actualmente la Unión Europea. El riesgo de fracaso escolar tiene continuidad en cifras de abandono escolar prematuro que se encuentran por encima de la media de la Unión Europea y, a su vez, considerablemente

33

alejadas del objetivo fijado por el Consejo de la Unión Europea (2009) para los estados miembros, establecido en el 10% para el año 2020. El abandono escolar prematuro tiene una prevalencia muy importante en España, donde se dobla el valor correspondiente a la media europea. La relación entre el “fracaso PISA” y el “fracaso acreditación” no es, como se observa en el cuadro, ni mucho menos directa: en España un 28,4% de los alumnos no obtienen el título de Graduado en ESO, cuando únicamente el 19,6% incurre en “fracaso PISA”: al medir el nivel de competencias con instrumentos homologables internacionalmente encontramos que la situación de los alumnos españoles con más problemas de aprendizaje no se diferencia de la situación media de la Unión Europea; en cambio, al medir en función de procesos de evaluación internos al centro las diferencias son muy importantes. El “fracaso acreditado” español, por tanto, parece estar parcialmente motivado por niveles de exigencias de los profesores y centros españoles que no se corresponden con los aplicados en otros países de nuestro entorno. 3. El riesgo de fracaso escolar: descripción y consecuencias El riesgo de fracaso escolar al que accedemos a través de la información de PISA es, como hemos dicho, ligeramente mayor en España al de los países “centrales” de la Unión Europea. En el cuadro 2, donde pueden encontrarse detalles de la situación comparada referida a 2009, se observa que la acumulación de alumnos en las franjas más bajas de competencias va acompañada de valores medios de la distribución por debajo de la media de la OCDE. En realidad, la reducida dispersión de la distribución de competencias en el caso español (véase también el gráfico 1) está explicada en buena medida por su bajo nivel de sensibilidad ante cambios en la categoría socio-económica y cultural de la familia. La correlación entre el índice de Estatus Social, Económico y Cultural (ESCS, elaborado a partir de las características de la familia de cada alumno y que se agrega después también en el nivel de cada centro educativo) y el nivel de competencias proporciona una primera aproximación a cómo reacciona el sistema educativo ante las desigualdades sociales. Las correlaciones elevadas indican que las desigualdades sociales previas se traducen en desigualdades importantes en la adquisición de competencias, mientras que una correlación reducida nos indica que el sistema educativo en cuestión, o bien es más igualitario en sus resultados, o bien responde a desigualdades que no están incorporadas al índice ESCS. En el gráfico 2 puede observarse cómo España es uno de los países donde se da una reproducción más atenuada en el sistema educativo de las desigualdades sociales previas: por cada punto que varía el índice ESCS el nivel de competencias cambia en 29 puntos (esta cifra es mucho mayor, 38, para la media de los países de la OCDE).

34

Cuadro 2. Proporción de la población con una puntuación inferior al nivel 2 en la prueba de lectura de PISA-2009. Países de la Unión Europea.1

País % País % Finlandia 8,1 (536) Alemania 18,5 (497)Estonia 13,3 (501) España 19,6 (481)Países Bajos 14,3 (508) Francia 19,8 (496)Polonia 15,0 (500) Italia 21,0 (486)Dinamarca 15,2 (495) Grecia 21,3 (483)Irlanda 17,2 (496) República Eslovaca 22,2 (477)Suecia 17,4 (497) República Checa 23,1 (478)Letonia 17,6 (484) Lituania 24,4 (468)Portugal 17,6 (489) Luxemburgo 26,0 (472)Hungría 17,6 (494) Austria 27,6 (470)Bélgica 17,7 (506) Rumanía 40,4 (424)Reino Unido 18,4 (494) Bulgaria 41,0 (429)

Fuente: OECD (2010).

Gráfico 1. Distribución de los alumnos en función de los niveles de competencia en lectura. PISA-2009.

Fuente: Elaborado a partir de datos de OECD (2010). 1 Nota: Entre paréntesis la puntuación media.

35

Gráfico 2. Efectos de la categoría socioeconómica: Puntos de variación en la competencia de lectura por cada punto que varía ESCS. PISA-2009. Países OCDE.

Fuente: Elaborado a partir de datos de OECD (2010).

36

Gráfico 3. Efectos de la categoría socioeconómica: Puntos de variación en la competencia de lectura por cada punto que varía ESCS. PISA-2009. Comunidades Autónomas.

20 25 30 35 40

La Rioja Asturias

AndalucíaMadrid

Navarra España

Castilla y LeónCantabriaBaleares

AragónCataluña

MurciaCanarias

País VascoGalicia

Fuente: Elaborado a partir de datos de OECD (2010). La titularidad del centro educativo es una de las variables claves al analizar el riesgo de fracaso escolar en España. Una primera aproximación bivariante la encontramos en el cuadro 3. Otra variable sobre la que quisiéramos llamar la atención en esta primera aproximación, previa al análisis multivariable, es la relativa a la repetición de curso. En España la repetición de curso es mucho más frecuente que en el resto de países que participan en PISA (véase cuadro 4). La repetición constituye en España un tratamiento “estándar” y muy extendido, tanto en primaria como en secundaria, supuestamente orientado a reducir el fracaso escolar; sus efectos reales en tal sentido son probablemente nulos o negativos.2

2 Una discusión acerca de los efectos de la repetición sobre la eficacia de los sistemas educativos y su equidad puede encontrarse en Field et al. (2007).

37

Cuadro 3. Porcentaje de alumnos con “fracaso PISA” en función de la titularidad del centro educativo. Valores muestrales.

Privados independientes 7,8Concertados 11,59Públicos 23,75 Total 19,6

Fuente: Elaboración propia a partir de microdatos de PISA.

Cuadro 4. Incidencia de la repetición de curso en España a los 15 años. Porcentajes.

Repetición de un curso en secundaria 18,00 Repetición de un curso en primaria 4,74 Italia: repetición de más de un curso España: repetición de más de un curso, en secundaria 2,94 España: repetición de más de un curso, alguno de ellos antes de secundaria 5,72

Total 31,4

Fuente: Elaboración propia a partir de microdatos de PISA. Concluiremos este apartado haciendo referencia a algunas de las consecuencias que el fracaso escolar y el abandono escolar prematuro (de forma más general, un nivel reducido de cualificaciones) tienen sobre la participación de los individuos en el mercado de trabajo y, de forma más general, sobre la capacidad productiva de la economía. Nos centraremos, en concreto, en dos variables, la tasa de actividad y la tasa de ocupación. El cuadro 5 presenta los valores de ambas variables, desglosados en función del sexo y el nivel educativo. Las tasas de actividad y ocupación crecen a medida que se incrementa el nivel educativo. Esa relación se mantiene para ambos sexos, si bien, como es lógico, es más acusada para las mujeres debido a la muy reducida participación de las mujeres con bajo nivel educativo en el mercado de trabajo. Queda como elemento a retener la situación muy desventajosa en la que quedan las personas adultas que han sufrido fracaso escolar o abandono escolar prematuro.

38

Cuadro 5. Tasa de actividad y tasa de ocupación de la población entre 25 y 64 años en función del nivel educativo y el sexo. España, 2009.

Máximo secund.

inferior Secund. superior Superior Total

Tasa de actividad Hombres 83,3 90,51 92,3 87,47Mujeres 54,5 76,78 86,21 69,02 Total 69,3 83,75 89,18 78,33Tasa de ocupación Hombres 66,3 77,54 84,59 74,02Mujeres 41,6 64,03 78,07 57,66 Total 54,3 70,89 81,26 65,92

Fuente: Elaboración propia a partir de microdatos de la Encuesta de Población Activa, 2009, segundo trimestre.

4. Determinantes del riesgo de fracaso escolar en España La metodología que empleamos se basa en un modelo logístico multinivel aplicado a los datos de PISA-2009 en España (competencia de comprensión lectora). Las variables independientes del modelo pertenece a los ámbitos personal, familiar (características socio-culturales y económicas, junto con los recursos del hogar y su utilización) y escolar (características del centro y su alumnado, recursos personales y humanos y variables del proceso de enseñanza-aprendizaje). Apuntamos a continuación las variables que inciden más intensamente en el proceso. 4.1 Variables de ámbito personal

• Sexo: mayor riesgo en el caso de los chicos. • Repetición de curso. • Importancia de la asistencia a educación infantil

4.2 Variables de ámbito familiar Las variables del ámbito familiar se dividen en dos bloques: por un lado, las variables que aluden a las características socio-culturales y económicas y, por otro, las que se refieren a los recursos educativos del hogar y el modo en el que éstos son utilizados.

39

Características socio-culturales y económicas del hogar

• Origen inmigrante. Sólo en el caso de primera generación. • Categoría socioeconómica del hogar: Más riesgo en hogares de cuello azul y

cuello blanco no cualificado. Recursos del hogar y su utilización

• Importancia de recursos culturales: libros en el hogar. • Leer por placer: reduce el riesgo de fracaso escolar. • Lectura de cómics y revistas: reduce el riesgo de fracaso escolar.

4.3. Variables del ámbito escolar Las variables del ámbito escolar se dividen en cuatro bloques: características de la escuela, características del alumnado, recursos de los que dispone el centro y procesos educativos dentro del centro. Características de la escuela

• Titularidad de la escuela: no significativo (ni concertadas ni privadas independientes). Efecto composición.

Características del alumnado

• Falta de significatividad del porcentaje de alumnos inmigrantes. • Proporción de chicas en el centro (reducción del riesgo). • Nivel socioeconómico de los padres (a través de peer effects): incremento del

riesgo en el cado de dominancia de cuello azul en el centro. Recursos del centro

• Ratio alumno-profesor: peores ratios asociados a menores riesgos. Problema de causalidad inversa (centros con más necesidades previas tienen mejores ratios).

• Ratio alumnos-ordenadores: mejores ratios asociados a menores riesgos. Dificultades en aislar el efecto causal de los recursos físicos y humanos.

Procesos educativos en la escuela

• Variables de autonomía no significativas. • Variables de agrupación no significativas (probablemente, cancelación de efectos

opuestos). • Falta de significatividad de variables relativas a la disciplina y la metodología

docente.

Ponencia: Construcción de pruebas de evaluación de diagnóstico en competencias básicas del alumnado de

educación primaria y educación secundaria obligatoria Javier Gil Flores


40

Construcción de pruebas de evaluación de diagnóstico en competencias básicas del alumnado de educación primaria y educación secundaria obligatoria

Javier Gil Flores


INTRODUCCIÓN Las Evaluaciones de Diagnóstico constituyen uno de los elementos novedosos que introdujo la Ley Orgánica 2/2006 de 3 de mayo, de Educación (LOE) en nuestro sistema educativo. Su implementación supone el desarrollo de procedimientos de evaluación estandarizados para medir el nivel alcanzado por los escolares en relación a las competencias básicas del currículum. El objeto de las Evaluaciones de Diagnóstico son las competencias básicas alcanzadas por el alumnado al término del segundo ciclo de Educación Primaria (EP) y el segundo curso de la Educación Secundaria Obligatoria (ESO). Los resultados de estas evaluaciones habrán de proporcionar información sobre la situación del alumnado, de los centros y del propio sistema educativo, traduciéndose en la adopción de medidas por parte de los centros y por parte de las Administraciones educativas, dirigidas a la mejora de las deficiencias que pudieran detectarse. A partir de lo previsto en el articulado de la LOE se establece una diferenciación entre dos tipos de Evaluaciones de Diagnóstico, teniendo en cuenta la cobertura y el ámbito de responsabilidad desde el que se desarrollan:

• Las denominadas evaluaciones generales de diagnóstico tienen lugar en el marco de la evaluación general plurianual del sistema educativo, que es competencia de la Administración central. Se realizan sobre una muestra de centros, de tal manera que “permitan obtener datos representativos, tanto de los alumnos y centros de las Comunidades Autónomas como del conjunto del Estado” (art. 144). La responsabilidad de las mismas recae sobre el Instituto de Evaluación, dependiente del Ministerio de Educación.

• Las Evaluaciones de Diagnóstico previstas en los artículos 21 y 29 que, con

carácter censal, se realizarán en todos los centros y tendrán un “carácter formativo y orientador para los centros e informativo para las familias y para el conjunto de la comunidad educativa”. La realización de este segundo tipo de evaluaciones corresponde a las Administraciones educativas, que han de “proporcionar los modelos y apoyos pertinentes a fin de que todos los centros puedan realizar de modo adecuado estas evaluaciones” (artículo 144.2), y

41

“regular la forma en que los resultados de estas Evaluaciones de Diagnóstico que realizan los centros, así como los planes de actuación que se deriven de las mismas, deban ser puestos en conocimiento de la comunidad educativa” (artículo 144.3).

En nuestro país, el Instituto de Evaluación ha venido desarrollando estudios generales sobre los resultados del sistema educativo en los últimos años. Y además, se cuenta con la experiencia de participación en programas internacionales de evaluación como TIMMS, PIRLS o PISA. Sin embargo, este tipo de evaluaciones se han apoyado en la aplicación de pruebas en muestras de centros convenientemente seleccionadas. La diferencia fundamental con las Evaluaciones de Diagnóstico que establece la LOE radica en que éstas suponen aplicar la evaluación en la totalidad de los centros de nuestro sistema educativo. Este planteamiento supone equiparar nuestro sistema educativo con el de otros países del ámbito anglosajón, en los que tradicionalmente se han realizado de manera periódica evaluaciones estandarizadas del rendimiento. Pero además, el modelo propuesto hace hincapié en el carácter formativo para los centros, es decir, en la utilización de los resultados para diseñar y ejecutar actuaciones dirigidas a la mejora de los procesos de enseñanza-aprendizaje que tienen lugar en ellos. La Administración andaluza viene desarrollando anualmente desde el curso 2006-2007 la Evaluación de Diagnóstico con carácter censal, prevista en la LOE, abarcando a todos los centros sostenidos con fondos públicos que imparten los niveles de Educación Primaria o Educación Secundaria Obligatoria. De este modo, nuestra Comunidad Autónoma ha sido una de las primeras en el Estado Español en lo que respecta a la realización de este tipo de evaluaciones. En la Evaluación de Diagnóstico llevada a cabo en Andalucía se consideran las competencias básicas como objeto de evaluación. El desarrollo de competencias implica una serie de conocimientos, habilidades y actitudes transferibles y útiles para hacer frente a situaciones y problemas que se presentan en la vida real. En consecuencia, la evaluación de tales competencias supone la apreciación del desempeño del alumnado para comprender el mundo que le rodea, desenvolverse ante situaciones de la vida diaria y resolver problemas prácticos. La idea de fondo es, por tanto, valorar el grado en que la escuela prepara para la vida, y en qué medida los escolares están suficientemente formados para asumir su papel como ciudadanos que conforman una sociedad moderna. De cara a la evaluación, se ha partido de una serie de competencias básicas que se espera que el alumnado alcance al término de la enseñanza obligatoria. De acuerdo con la Ley de Educación de Andalucía (Ley 17/2007 de 10 de diciembre), estas competencias básicas son las siguientes:

42

• Competencia en comunicación lingüística • Competencia de razonamiento matemático • Competencia en el conocimiento y la interacción con el mundo físico y

natural • Competencia digital y tratamiento de la información • Competencia social y ciudadana • Competencia cultural y artística • Competencia y actitudes para seguir aprendiendo de forma autónoma a lo

largo de la vida • Competencia para la autonomía e iniciativa personal.

Las primeras ediciones de la Evaluación de Diagnóstico en Andalucía han abarcado la competencia en comunicación lingüística, referida a la utilización del lenguaje como instrumento de comunicación oral y escrita en lengua española, y de razonamiento matemático, entendida como la habilidad para utilizar números y operaciones básicas, los símbolos y las formas de expresión del razonamiento matemático para producir e interpretar informaciones y para resolver problemas relacionados con la vida diaria y el mundo laboral. En la tercera edición, se incorporó como objeto de evaluación la competencia en el conocimiento y la interacción con el mundo físico y natural, identificada con la habilidad para la comprensión de los sucesos, la predicción de las consecuencias sobre el estado de salud de las personas y la sostenibilidad medioambiental. Para ediciones sucesivas se ha previsto un calendario según el cual, junto a las competencias matemáticas y en comunicación lingüística, se incluyen rotativamente el resto de las competencias básicas. PROCESO DE CONSTRUCCIÓN DE PRUEBAS PARA LA EVALUACIÓN DE COMPETENCIAS La evaluación de competencias consiste básicamente en determinar el grado de desarrollo alcanzado por un individuo en relación a las competencias consideradas. Como en todo proceso de evaluación, la emisión de juicios valorativos acerca del objeto evaluado ha de apoyarse necesariamente en la recogida de evidencias, que permitan considerar en qué grado se ajustan a criterios previamente establecidos tanto las actuaciones realizadas por el alumnado como los productos de tales actuaciones. Desde el punto de vista metodológico, diferentes técnicas pueden ser utilizadas para la recogida de información sobre el nivel de competencia del alumno. En el caso de determinadas competencias se requiere de una observación directa del desempeño del alumno: habilidades manipulativas (p.e. manejo de software para solucionar problemas), actitudes (hacia la lectura, la resolución de problemas, etc.) o valores (perseverancia, minuciosidad, etc.). El uso del portafolio a lo largo del proceso de enseñanza aprendizaje, la realización de trabajos o actividades diversos, la resolución de problemas, la entrevista con el alumno serían vías para la

43

recogida de información sobre el grado de desarrollo competencial alcanzado. Los problemas para operativizar este tipo de técnicas en evaluaciones que abarcan a un elevado número de sujetos hacen preferibles las pruebas estandarizadas de lápiz y papel, que constituyen la fórmula aplicada en evaluaciones nacionales e internacionales a las que hemos hecho referencia en el apartado introductorio. A describir el modo en que se lleva a cabo la construcción de este tipo de instrumentos para la evaluación de diagnóstico dedicaremos los siguientes párrafos, tomando como referencia el proceso seguido en la Evaluación de Diagnóstico en Andalucía.

a) Análisis de las competencias El punto de partida para la construcción de pruebas es necesariamente la definición y clarificación del objeto de evaluación. Las competencias consideradas en nuestra Comunidad Autónoma han sido estructuradas en dimensiones. En el cuadro 1 se recogen las dimensiones contempladas para las primeras competencias básicas evaluadas en el marco de la Evaluación de Diagnóstico en Andalucía.

Cuadro 1. Dimensiones consideradas en competencias básicas objeto de la Evaluación de Diagnóstico en Andalucía.

Competencia básica Dimensiones

Competencia en comunicación lingüística (lengua española)

• Comprensión oral • Expresión oral • Comprensión lectora • Expresión escrita

Competencia matemática

• Organizar, comprender e interpretar información

• Expresión matemática • Plantear y resolver problemas

Competencia en conocimiento e interacción con el mundo físico y natural

• Metodología científica • Conocimientos científicos • Interacciones ciencia-tecnología-sociedad-

ambiente Un mayor nivel de análisis y concreción se obtiene al distinguir dentro de cada dimensión una serie de elementos de competencia. Tales elementos vienen a representar las operaciones o tareas concretas que los alumnos y alumnas tendrían que realizar para que pueda inferirse su dominio de las competencias básicas. Un ejemplo de éstos queda recogido en el cuadro 2, donde mostramos los elementos en que se desglosaban cada una de las dimensiones de la competencia matemática para el nivel de Educación Primaria.

44

Cuadro 2. Elementos para cada unas de las dimensiones consideradas en la competencia matemática (Evaluación de Diagnóstico en Andalucía).

Elementos de competencia matemática (EP)

1. Organizar, comprender e interpretar información 1.1. Identifica significado de la información numérica y simbólica. 1.2. Comprende información presentada en formato gráfico. 1.3. Ordena información utilizando procedimientos matemáticos.

2. Expresión matemática 1.1. Justifica resultados con argumentos de base matemática. 2.2. Se expresa con vocabulario y símbolos matemáticos básicos. 2.3. Utiliza formas adecuadas de representación según el propósito y la

naturaleza de la situación.

3. Plantear y resolver problemas 3.1. Traduce las situaciones reales a esquemas matemáticos. 3.2. Selecciona estrategias adecuadas, valorando la pertinencia de diferentes

vías para resolver un problema 3.3. Selecciona los datos apropiados para resolver un problema.

b) Determinación del formato de las pruebas

Un formato que han adoptado con frecuencia los instrumentos empleados a la hora de llevar a cabo evaluaciones estandarizadas del rendimiento es el de prueba objetiva. Una prueba objetiva puede constar de un número amplio de ítems, por lo que es posible cubrir con mayor exhaustividad el contenido objeto de evaluación. En la práctica, posiblemente los principales atractivos de una prueba objetiva son ausencia de subjetividad, rapidez y facilidad para la calificación, que la hacen especialmente adecuada en situaciones en las que, como la que nos ocupa, el número de alumnos evaluados es alto y pretendemos resultados comparables. Aunque diferentes formatos de preguntas pueden ser utilizados (items de verdadero-falso, de emparejamientos, de completar frases, de respuesta breve), el formato más popular de las preguntas que forman parte de una prueba objetiva es sin duda el ítem de opciones múltiples, que sitúa al alumnado ante varias respuestas para que elija entre ellas la respuesta correcta. Si bien el uso de pruebas objetivas conlleva una serie de ventajas entre las que se encuentran las que hemos destacado anteriormente, también se han señalado límites a su utilización. Así, un problema estaría en el tipo de aprendizaje que permiten medir. Se ha afirmado que las pruebas objetivas se prestan a la evaluación de aprendizajes simples (definiciones, conceptos,

45

recuerdo de datos, reconocimiento de hechos, etc.), sin ser adecuadas para evaluar aspectos reveladores de un conocimiento profundo, tales como capacidad de análisis, reflexión, crítica. Tratando de salvar estas limitaciones, la Evaluación de Diagnóstico en Andalucía ha adoptado como instrumento lo que podríamos denominar pruebas escritas basadas en situaciones-problema. Se trata de pruebas constituidas a partir de casos o situaciones que sirven como base para la interrogación, y que en la medida de lo posible remiten a situaciones similares a las que el alumnado puede encontrar en su vida escolar o extraescolar. Las situaciones-problema se apoyan en uno o varios de los siguientes tipos de información: - Textos escritos en los que se recogen informaciones diversas: anuncios, textos extraídos de

los medios de comunicación, instrucciones, carteles informativos, transcripción de diálogos, narración de hechos, descripción de situaciones, textos literarios, textos científicos, etc.

- Textos orales breves, que persiguen una finalidad comunicativa, y que pueden venir expresados en lengua castellana o en lenguas extranjeras, dependiendo del área en el que se centre la evaluación. El soporte de estos textos puede ser cualquier formato de registro en audio.

- Imágenes diversas, incluyendo fotografías, mapas, dibujos, esquemas o cualquier otra forma gráfica de representación de diferentes realidades.

En cualquier caso, la información inicial proporcionada al alumno es relativamente breve, teniendo en cuenta que un tamaño o número excesivo de textos o imágenes presentados incrementaría el tiempo necesario para la aplicación de la prueba. Cada situación o caso permite plantear varias cuestiones que podrían encuadrarse en algunos de los siguientes formatos: - Preguntas de respuesta cerrada, bajo el formato de elección múltiple. Podría tratarse tanto

de preguntas de respuesta dicotómica, en las que sólo una opción es correcta y las restantes se consideran erróneas, como preguntas con escala de respuesta graduada, de tal manera que cabe pensar en una respuesta correcta, una o más respuestas parcialmente incorrectas y una respuesta totalmente errónea.

La posibilidad de utilizar preguntas cerradas con respuestas en escala graduada posee el atractivo de adaptarse a las pretensiones de una evaluación formativa, dado que permitiría aportar información no sólo sobre si un alumno posee o no la competencia que se demanda de él para responder, sino también en qué grado la ha desarrollado, aportando información relevante sobre la medida en que su competencia en el elemento en cuestión es deficitaria y sobre el tipo de apoyos o refuerzos que requeriría.

- Preguntas que exigen el desarrollo de procedimientos y la obtención de resultados. Este tipo

de cuestiones contempla generalmente la necesidad de alcanzar un resultado único, aunque podrían describirse diferentes caminos para llegar al mismo. Tanto el procedimiento como el

46

resultado serían valorados, posibilitando el establecimiento de diferentes niveles de respuesta en función del grado de desarrollo competencial.

- Preguntas abiertas que admitirían respuestas diversas, las cuales aun siendo correctas

pueden diferir de unos sujetos a otros. Para evitar el problema de la subjetividad a la hora de la calificación, este tipo de preguntas debe contar con una plantilla de corrección, de tal manera que se intente cerrar las posibles respuestas a la pregunta estableciendo cuáles se considerarán correctas y cuáles no. La elaboración de criterios de corrección permite graduar las respuestas estableciendo, también en este caso, niveles de ejecución intermedios entre las respuestas correcta e incorrecta.

c) Definición de la tabla de especificaciones

Partiendo de una definición de las competencias básicas objeto de evaluación, el procedimiento habitual para determinar el contenido de las pruebas consiste en construir una tabla o matriz de especificaciones. Esta tabla cuza los elementos de competencia con los principales bloques de contenido contemplados en el currículo oficial (ver cuadro 3).

Cuadro 3. Formato de una tabla de especificaciones para la construcción de pruebas de evaluación.

Elementos de competencia

Bloq

ue 1

Bloq

ue 2

(…)

Bloq

ue n

Elemento 1

Elemento 2

(…)

Elemento n

En cada celda se consigna el número de ítems que incluirá la prueba para el elemento de competencia y el bloque implicados. Para fijar este número, habría que empezar por ponderar la presencia de los diferentes elementos de competencia en la prueba, asignando en los márgenes de cada fila el porcentaje de ítems que harán referencia a cada uno de ellos. Además, convendrá fijar la extensión final de la prueba, en número de ítems. Esa cantidad de ítems será la que quedará distribuida por filas, teniendo en cuenta la ponderación realizada previamente, y terminará siendo repartida entre las celdas de cada fila.

47

d) Redacción de ítems La redacción de ítems parte de la constitución de un equipo de redactores. Entre éstos se han venido incluyendo miembros de la inspección educativa, asesores o profesorado con experiencia docente en los ámbitos y niveles educativos objeto de evaluación. Homogeneizar el trabajo de las personas que trabajan en estos equipos requiere el desarrollo de acciones formativas dirigidas a la unificación de criterios y estrategias de redacción. Las personas implicadas en la redacción reciben además información precisa acerca del sentido de la evaluación que se pretende, la finalidad de las pruebas y, en consecuencia, la naturaleza de los ítems que han de ser redactados. El proceso de redacción de ítems se apoyaría en el análisis de las competencias objeto de evaluación. Partiendo de las competencias básicas, la concreción de elementos de competencia característicos en cada uno de los niveles educativos considerados da paso al establecimiento de criterios de desempeño para esos elementos. Un criterio establece, para cada elemento de competencia, indicadores de los resultados o consecuencias derivadas de las actuaciones del alumno que permiten situarlo en un nivel determinado de progreso con relación a la competencia medida. Los criterios de desempeño permiten, por tanto, establecer niveles de progreso que podrían concretarse en diferentes resultados observables de la actuación del alumno, a partir de los cuales quedaría determinado su grado de competencia. La evaluación de las competencias se hará efectiva mediante la recogida de evidencias de desempeño del alumno. Una evidencia de desempeño concreta situaciones o circunstancias en las que el alumno demuestra su nivel de competencia. Por tanto, los ítems de las pruebas usadas en las evaluaciones de diagnóstico configuran situaciones ante las que se plantan al alumno interrogantes cuya respuesta revela información útil para determinar su grado de competencia. Cabría establecer evidencias de desempeño que se vinculan a los diferentes niveles logrados en el desarrollo de competencias. Redactado un primer conjunto de ítems, se procede a la revisión de la calidad de los mismos, tratando de detectar errores en la redacción, tratamientos incorrectos de los contenidos, falta de adaptación de su dificultad al nivel al que se destinan, etc.

e) Aplicación piloto La construcción de pruebas e instrumentos de medida pasa necesariamente por una fase de experimentación o ensayo, en la cual se contrasta la idoneidad de las mismas. La configuración de las pruebas finales podrá definirse tras la realización de una aplicación piloto del conjunto de ítems redactados por los especialistas. Con este fin, el conjunto de ítems se divide en diferentes pruebas de 25-35 items, que son aplicadas respectivamente sobre muestras representativas del alumnado destinatario. La inclusión de ítems de anclaje (presentes en más de una prueba) hace posible la equiparación de parámetros para ítems que han sido contrastados con submuestras

48

diferentes. La representatividad de las muestras se puede asegurar seleccionando centros caracterizados por atender a población de diferente nivel socioeconómico y cultural. Una vez administradas las pruebas, su corrección y puntuación permitirá determinar las características psicométricas de cada ítem.

f) Selección de ítems para las pruebas

El contraste empírico de los ítems ofrece la oportunidad de seleccionar aquellos que resultan más adecuados para medir las competencias objeto de evaluación. Los criterios aplicados para descartar ítems son los siguientes:

- Ausencia de alguna de las categorías de respuesta. Aunque al construirlos se haya

pretendido generar un ítem ofreciendo diferentes opciones de respuesta reveladoras de otros tantos niveles en el desarrollo de la competencia, podría ocurrir que alguna de ellas no fuera elegida por ningún sujeto. En la práctica, ello supondría que el ítem cuenta con un menor número de opciones.

- Insuficiente capacidad de discriminación. Medida a través de la correlación ítem-total, la discriminación informa sobre la capacidad que tiene el ítem de identificar a sujetos con diferente nivel de competencia. Un ítem con buena discriminación es el que tiende a ser respondido correctamente por el alumnado más competente, y a ser errado por quienes presentan los niveles más bajos de competencia. En ocasiones, este patrón no se ve confirmado por los datos empíricos, lo cual indica la existencia de algún problema en la construcción de tales ítems, y por tanto la conveniencia de descartarlos.

- Niveles extremos de dificultad. Cuando la dificultad es excesivamente alta, la gran mayoría

de los examinados falla al responder a un ítem. Y al contrario, si la dificultad es demasiado baja, la práctica totalidad de los sujetos respondería con acierto. En ambos casos, el resultado en el ítem es constante, y si todos aciertan o todos fallan ante un determinado elemento, ese elemento no permite identificar con claridad a quienes poseen alta o baja capacidad en relación con la competencia medida.

Entre los criterios para decidir qué unidades concretas del banco de ítems deben incorporarse a las pruebas, estarían los siguientes: - Cobertura de las competencias objeto de evaluación. La selección de ítems debe garantizar

que las competencias y elementos de competencia que van a ser evaluados estén suficientemente representados.

49

- Inclusión de ítems de diferentes niveles de dificultad. Las pruebas han de contar con elementos situados en diferentes niveles de dificultad, de tal manera que nos permitan situar a los sujetos en el nivel de competencia que poseen. Si todos los elementos tuvieran el mismo nivel de dificultad, únicamente sería posible establecer qué sujetos superan ese nivel y cuáles no.

- Equiparación con otros modelos de pruebas. En el caso en que se construyan diferentes

pruebas de dificultad equivalente, la equiparación entre modelos es un criterio más a la hora de configurar dichas pruebas.

- Minimizar el número de situaciones-problemas. Por motivos de economía en el tiempo

requerido para responder a una prueba, puede ser útil recurrir a un número limitado de situaciones-problema, planteando múltiples ítems en relación a cada una de ellas. De ese modo, se simplifica el proceso de respuesta, dado que el examinado que responde a una prueba habrá de leer o familiarizarse con un número reducido de situaciones.

g) Ordenación de ítems

El orden de presentación de las preguntas dentro de las pruebas de evaluación puede responder a diferentes criterios. La ordenación al azar de los ítems de una prueba, generando diferentes modelos en los que las preguntas aparecen en distinto orden, se ha utilizado con el propósito de impedir la copia de respuestas entre los alumnos. El criterio de ordenación según dificultad creciente tiene como efecto la motivación del alumno evaluado, quien incrementa su confianza en sí mismo al percibir desde los primeros momentos que las preguntas planteadas son fáciles de responder. Sin embargo, en pruebas de una cierta extensión, este criterio supondría responder a las preguntas más difíciles al final, precisamente cuando el efecto del cansancio puede ser más evidente. Otro criterio a emplear podría apoyarse en el orden natural que se establece entre los bloques de contenido, de tal manera que las preguntas se podrían presentar siguiendo la misma secuencia de presentación de los contenidos en el currículo oficial. Por último, el agrupamiento de cuestiones que responden a una misma competencia es un modo de propiciar la concentración del sujeto en determinado tipo de destrezas o capacidades. En el caso de las pruebas para las Evaluaciones de Diagnóstico, se han mantenido unidas las cuestiones planteadas en relación a una misma situación o problema, aunque las competencias a las que están vinculadas sean de distinta naturaleza. REFLEXIONES FINALES La construcción y utilización de pruebas estandarizadas para la evaluación de competencias básicas ha sido objeto de críticas frecuentes por parte de algunos sectores sociales y también del ámbito educativo, desde donde se han señalado inconvenientes o limitaciones de este tipo de

50

procedimientos. Frente a ellas, es preciso reconocer las fortalezas inherentes a las pruebas de evaluación y al modo en que han venido utilizándose en nuestra Comunidad Autónoma. Un primer inconveniente surge del propio formato utilizado. Posiblemente el mejor modo de valorar la competencia de un alumno o alumna sea la observación directa de su desempeño ante situaciones prácticas escolares y extraescolares, a las que se enfrenta cotidianamente. La inviabilidad de este procedimiento cuando es preciso evaluar a un número elevado de sujetos hace que generalmente se opte por pruebas escritas. No obstante, éstas presentan como inconveniente su distanciamiento de las situaciones reales, que intentan recrear por medio del planteamiento de problemas prácticos. El problema se agrava aún más cuando se utilizan preguntas cerradas, en las que debe elegirse entre una serie de opciones de respuesta. Las posibilidades de demostrar el dominio de una competencia se ven de este modo limitadas. El carácter censal de la Evaluación de Diagnóstico hace que todos los sujetos del sistema educativo sean examinados mediante pruebas, fijándose para ello días concretos dentro del calendario escolar. Los riesgos de excesiva fatiga o la intención de no alterar excesivamente el ritmo de actividad que se desarrolla en los centros son razones que llevan a limitar la extensión de las pruebas. La utilización de en torno a una veintena de ítems viene siendo la práctica más extendida en las evaluaciones realizadas hasta el momento en los centros andaluces, lo cual supone un obstáculo para una completa y adecuada cobertura de los diferentes elementos de la competencia medida. De este modo, es posible aportar medidas de la competencia globalmente considerada, pero no cabe avanzar hacia un diagnóstico de mayor detalle, centrado en los elementos de competencia. La formación que reciben los redactores de ítems y las recomendaciones que se les ofrecen insisten en la necesidad de generar ítems que midan la competencia del sujeto más que los contenidos cognoscitivos abordados en el currículum escolar. A pesar de ello, parte de los ítems podrían sufrir un cierto sesgo hacia las situaciones escolares y las actividades típicamente académicas, que se apoyan en el dominio de conocimientos. En esta dirección, cabe incorporar a las pruebas de evaluación otros formatos de información apoyados en textos discontinuos o textos electrónicos, como es el caso de la reciente evaluación PISA 2009, en la que los sujetos son evaluados también en su capacidad de lectura digital. Una crítica que algunas asociaciones profesionales docentes y parte de los medios de comunicación lanzaron ante las primeras evaluaciones de diagnóstico apuntaba directamente a la dificultad de las pruebas. Se consideraba que el nivel de dificultad se había establecido deliberadamente en cotas bajas, con el fin de ofrecer una imagen positiva del rendimiento en nuestro sistema educativo. A la luz de los resultados obtenidos, se ha comprobado que el nivel de los ítems estaba a la altura de lo que los estudiantes pueden hacer. Además, las sucesivas ediciones de la evaluación de diagnóstico, con el consiguiente análisis de la evolución en las

51

puntuaciones logradas, ha hecho que este tipo de críticas hayan perdido intensidad, toda vez que las reflexiones realizadas en torno a los resultados conseguidos se han venido centrando en las tendencias observadas, antes que en valoraciones de los niveles alcanzados en una única evaluación. Frente a este tipo de inconvenientes o críticas, las pruebas empleadas en la Evaluación de Diagnóstico tienen el valor de hacer efectiva una evaluación estandarizada del rendimiento en todos los centros públicos o privados de nuestro sistema educativo. Ello supone una evaluación que implica a decenas de miles de estudiantes de 4º de EP y 2º de ESO, sin precedentes en nuestro país. La estandarización del proceso hace comparables los resultados obtenidos, ofreciendo a los centros un nivel de referencia para valorar sus propios logros en materia de rendimiento escolar. La evaluación que tradicionalmente realiza el profesorado como parte del proceso de enseñanza-aprendizaje ha utilizado criterios y técnicas no necesariamente coincidentes cuando analizamos diferentes contextos escolares. En consecuencia, las calificaciones asignadas al alumnado en un centro, como reflejo del aprendizaje conseguido, no siempre tienen el mismo significado que si esas mismas calificaciones se obtuvieran en otros centros. El empleo de las pruebas de evaluación proporcionadas en el marco de la Evaluación de Diagnóstico supone la oportunidad de contrastar las calificaciones que el profesorado asigna a su alumnado con las que obtienen en pruebas externas, no diseñadas por el propio profesor. En respuesta a la finalidad para la que han sido creadas, las pruebas de evaluación de competencias básicas del alumnado aportan una medida del rendimiento alcanzado en nuestro sistema educativo, cuyo análisis permite derivar a las autoridades educativas las medidas de mejora adecuadas para hacer frente a los déficits detectados. Además, las evaluaciones de diagnóstico aportan información a los centros, que pueden valorar su situación en relación a la media de centros andaluces y analizar una serie de factores que podrían estar incidiendo en los resultados logrados. Y por último, las pruebas de evaluación de competencias aportan información para las familias, complementando a la que habitualmente reciben a través de los centros sobre el aprovechamiento escolar de sus hijos. La utilización de pruebas de evaluación de competencias ha estimulado en cierta medida el desarrollo de una enseñanza basada en el desarrollo de competencias. El contenido de las pruebas ha hecho que la acción educativa de los centros considere cada vez más la necesidad de formar ciudadanos competentes, de forma que los aprendizajes escolares trasciendan lo meramente académico y les sirvan para desenvolverse con éxito en la vida real.

seminario reflexiones sobre la eficiencia de los sistemas ... · en forma alguna ni por cualquier...

Documents