programa lamp, hendrik van del pol y césar guadalupe

Literacy Assessment andMonitoring Programme (LAMP)

El Instituto de Estadística de la UNESCO (UIS) y su Programa de Evaluación y Monitoreo de

la Alfabetización (LAMP)

Hendrik van der PolCesar Guadalupe

Instituto de Estadística de la UNESCO

Asunción 23-25 noviembre 2010

Seminario Iberoamericano de evaluación de losniveles de alfabetismo de las personas jóvenes y adultas


El Instituto de Estadística de la UNESCO

En los años 1990 la calidad de los datos de la UNESCO se había deteriorado

La evaluación entonces efectuada recomendó:

1. Establecer un Instituto autónomo, conducido por su propio Consejo de Administración.

1999: Instituto de Estadística de la UNESCO

2. Reubicación fuera de la sede de la UNESCO

2001: Traslado a Montreal

Consecuencias:

El UIS puede desarrollar su

propia movilización de recursos

El UIS puede desarrollar su

propio reclutamiento


Presencia del UIS en el terreno


Los mandatos del UIS

Acopio y diseminación de información internacionalmente comparable

Análisis de la información comparada

Desarrollo de clasificaciones internacionales

Desarrollo de capacidades técnicas en los países

Promoción del uso de las estadísticas con relación a las áreas de trabajo de la UNESCO


La provisión de datos para informes destacados


Las prioridades del UIS

1. Mejorar la calidad de los datos

2. Reforzar las estadísticas e indicadores sobre resultados educativos

3. Fortalecer las estadísticas de la ciencia, cultura y comunicación


Presupuesto anual del UIS

0

2

4

6

8

10

12

14

16

2003 2004 2005 2006 2007 2008 2009 2010

Fiscal Year

To

tal

Ex

pe

nd

itu

re Programme activities

Total Gov B. Admin & Dir

Grand Total

Millions

Gasto

tota

l

Periodo presupuestal

Millones (USD)

Act. de programa

C. Adm, Admin y Dir

Total general


Programa de Evaluación y Monitoreo de la Alfabetización (LAMP)


Antecedentes

Educación para Todos (evaluación 2000)

◊En junio de 2001: reunión de expertos recomienda al UIS medir competencias de alfabetismo.

Dos elementos clave subyacen a esta sugerencia:

◊Creciente consenso acerca de que las competencias o habilidades existen en un continuo (y deben ser medidas como tales)

◊Ya existen experiencias de medición internacional de competencias de alfabetismo (OECD)


Antecedentes (ii)

En 2003 el UIS inicia el Programa de Evaluación y Monitoreo de la alfabetización (LAMP) como una iniciativa destinada a:

◊ Desarrollar una metodología para medir habilidades de alfabetismo

◊ Fortalecer las capacidades de los países para desarrollar de modo sostenido este tipo de mediciones

◊ Producir datos internacionalmente comparables que permitan el monitoreo global del alfabetismo


Antecedentes (iii)

Entre 2003 y 2010 un largo proceso de desarrollo metodológico y validación que ha permitido contar con una forma viable y robusta para conducir este tipo de mediciones.

◊ Gracias al esfuerzo y la colaboración de diversas organizaciones y expertos

◊ y de los equipos nacionales de:

El Salvador, Jordania, Marruecos, Mongolia, Níger, Paraguay, los Territorios Ocupados Palestinos, y Viet Nam.


Aspectos conceptuales: alfabetismo

Se considera alfabetizada a toda persona que es capaz de leer y escribir, comprendiéndola, una breve y sencilla exposición de hechos relativos a su vida cotidiana.

10a Conferencia General UNESCO (1958)

◊ Leer, y

◊ Escribir.

Comprensión (significados, no solo decodificar)

Texto breve (¿cuán breve?).

Texto simple (¿cuán simple?).

Vida diaria (¿de quién? contexto)

◊ UNSD (1997) Principles and recommendations for population and housing censuses. 2.145


Aspectos conceptuales: alfabetismo (ii)

Se considera alfabetizada funcional a toda persona que puede emprender aquellas actividades en que la alfabetización es necesaria para la actuación eficaz en su grupo y comunidad y que le permitan asimismo seguir valiéndose de la lectura, la escritura y la aritmética al servicio de su propio desarrollo y del desarrollo de la comunidad.

20a Conferencia General UNESCO (1978)

◊ Leer,

◊ Escribir, y

◊ Calcular

Funcionar de modo efectivo

Desarrollo individual y colectivo


Aspectos conceptuales: alfabetismo (iii)

El alfabetismo es la habilidad de identificar, comprender, interpretar, crear, comunicar y calcular, utilizando materiales impresos y escritos asociados con diversos contextos. El alfabetismo involucra un continuo de aprendizaje que habilita a las personas a alcanzar sus objetivos, desarrollar sus conocimientos y potenciales y participar plenamente en la comunidad y en la sociedad ampliada.

Reunión de expertos - UNESCO (2003)UNESCO (2005) "Aspects of literacy assessment."

◊ Comunicación efectiva (productiva y receptiva),

◊ Comunicación basada en textos escritos,

◊ Diferentes contextos,

◊ Continuo

Desarrollo individual/local/social


Aspectos conceptuales: alfabetismo (iv)

La alfabetización tiene que ver con la adquisición y el

uso de habilidades de lectura, escritura y cálculo matemático y, por lo tanto, con el desarrollo de la ciudadanía activa, el mejoramiento de la salud y los medios de subsistencia, y la igualdad entre los sexos. En los objetivos de los programas de alfabetización debe reflejarse este concepto.

(Campaña Mundial por la Educación, 2005)


Aspectos conceptuales: alfabetismo (v)

La alfabetización es un cimiento indispensable que

permite a los jóvenes y adultos aprovechar las oportunidades de aprendizaje en todas las etapas del continuo educativo. El derecho a la alfabetización es inherente al derecho a la educación.

(…)

Para estos fines, nos comprometemos a:

a) velar por que todas las encuestas y actividades de acopio de datos reconozcan el carácter continuo de la alfabetización;

CONFINTEA VI (2009)

Marco de Acción de Belem. 11


Medir el alfabetismo

Tomado del UIS Fact Sheet publicado el 8 Sep 2010

2008

P/T Sin datos

América del Norte y Europa Occidental 29 23 79.3

Asia del Este y el Pacífico 34 17 50.0

América Latina y el Caribe 42 16 38.1

Europa Central y del Este 21 3 14.3

Asia Occidental y del Sur 8 1 12.5

Estados Árabes 20 2 10.0

África Sub-Sahariana 45 2 4.4

Asia Central 9 0 0.0


Medir el alfabetismo (ii)

Población que declara saber leer y escribir

Población que declara no saber leer y escribir

¿Qué se puede hacer con esta información?

¿Qué es lo que sabemos gracias a esta información?


Medir el alfabetismo (iii)

Tasas de alfabetismo:

Auto-declaración.

◊ ¿Sabe usted leer y escribir? -> Si/No

◊ Percepción – formación de identidades.

◊ ¿Qué se entiende por la pregunta?

◊ ¿Quién contesta la pregunta?

Dicotomía - unidimensional.

◊ Si/No

◊ ¿Leer? ¿Escribir? ¿Calcular?

◊ ¿Leer qué? ¿Para qué?

No informa sobre habilidades. Personas que declaran saber leer y escribir.


Medir el alfabetismo (iii.e)

En un país/región 20% de la población es definida como α. (“analfabetos”)

Un objetivo de política:Reducir dicha proporción en 50% al año 2015.

Es decir:

◊ Hoy : 20% α (80% no-α)

◊ 2015 : 10% α (90% no-α)

Pero, ¿por que no plantear el objetivo de una manera “positiva”?

Entonces:

◊ En vez de 20 → 10% (-Δ); 80 → 90% (Δ)

◊ Es decir:

10 puntos de incremento, o

13% mejora (10 de 80).

No: 10% mejora

No: 50% mejora(Reducir a la mitad ≠ mejorar en 50%)


Usando la información para la política educativa

Entonces, ¿qué hacer?

Opción 1. Asumir que:

Los que declaran saber leer y escribir están alfabetizados y, por lo tanto, no son un motivo de preocupación. Corolario: una vez que la tasa de alfabetismo alcanza un determinado umbral el problema se termina.

Los que declaran no saber leer y escribir efectivamente no saben nada y hay que diseñar programas que ofrezcan lo mas básico a todos por igual (por ejemplo enseñar el alfabeto y decodificación básica).


Usando la información para la política educativa (ii)

Esta opción tiene problemas evidentes.

Entonces:

Opción 2: usar medidas complementarias.

• Es necesario medir aspectos adicionales, en especial los niveles de competencia de las personas.

(esto explica por que ciertos países ya no producen tasas de alfabetismo: no por que el problema se haya terminado, sino por que se aborda de modo diferente)


Medir el alfabetismo (iv)

Nivel educativo de la población. Años de estudio

Com

pete

ncia

s

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

---

+++



Nivel educativo de la población.

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Años de estudio

Com

pete

ncia

s

---

+++



Nivel educativo de la población. Años de estudio

Com

pete

ncia

s

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

---

+++


Medir el alfabetismo (v)

Nivel educativo de la población.

Problemas:

No todos los años de educación son iguales (algunas experiencias educativas aseguran mas aprendizajes que otras en el mismo tiempo).

Las personas ganan/sostienen/pierden sus habilidades en el transcurso de sus vidas dependiendo de sus experiencias.

Entonces: medir las competencias de modo directo.


Medir el alfabetismo (vi)

Medir competencias de alfabetismo:

Multi-dimensional:

◊ Lectura (textos continuos, discontinuos, etc.)

◊ Escritura

◊ Uso de números

Continuo de habilidades

◊ Desde tareas más simples hasta tareas más complejas.

¿Qué es lo que las personas saben y pueden hacer cuando se enfrentan a textos escritos?


Medir el alfabetismo (vii)

Hay diversas maneras de medir las competencias de alfabetismo que se observan en un continuo que va desde:

Hacerlo bien, hasta

Producir información errónea que puede inducir a profundos desaciertos.


Medir el alfabetismo (viii)

Ejemplos:

Leer un pequeño texto en el marco de una encuesta.

◊ Cuando Pedro se levantó esta mañana se miraba cansado.

◊ A María le resulta difícil trabajar con una persona argel.

◊ Ese cabro no esta ni ahí.

◊ El kion es un ingrediente clave en la cocina.

Problemas:

◊ Un problema de vocabulario no es idéntico a un problema de lectura.

◊ Decodificar no es leer.


Medir el alfabetismo (ix)

El amelio birlón de la kantriga

Fursa la entrocación con bleco gardo

Mientras grume el tardín su microlardo

Bajo la estefa lopra de la piga.

Asumo el cobalón ferco de horriga,

Voy faribando mi mandricunardo,

Porque sé que el espurmo llega ocardo

Cuando la frubatula se afoliga.

¿Quién bruna la escáfila niloforme

Bajo crísporas, línfulas y alumas

Que infibran de alatruz el alto borme?

Nadie… Sé que estoy nárvulo y moguno.

Lejos de la escalindra y las glafumas

Pero cerca del clinfo en que me escuno.

Jitanjáfora

Luis Felipe Angell (Sofocleto)

La decodificación y las características de cada

lengua


Medir el alfabetismo (ix)

Ejemplos:

Presentar un mapa de <país> y preguntar con que <país> limita al sur.

◊ Si el <país> es el propio hay un problema de conocimiento previo. No se necesita leer el mapa para contestar.

Presentar un texto sobre emergencias y preguntar a que número de teléfono hay que llamar a la policía.

◊ Si refiere al propio contexto, entonces la misma situación. No se necesita leer.

Pedir que se recite algunos versos del himno nacional.


Medir el alfabetismo (x)

Diversos problemas posibles:

Validez (¿se está midiendo lo que se debe medir?)

◊ Definir claramente lo que ha de medirse.

Confiabilidad (¿se está midiendo bien?)

◊ Un número muy pequeño de preguntas suele ser insuficiente.


Medir el alfabetismo (xi)

Ejemplo (PISA):


Medir el alfabetismo (xii)

Ejemplo (PISA 2000+):


Medir el alfabetismo (xiii)

Niveles de competencias en LAMP:• El Nivel 1 se asigna a personas que exhiben competencias muy bajas,

por ejemplo, el caso de individuos incapaces de determinar la cantidad correcta de medicina que deben administrar a un niño a partir de las instrucciones de la etiqueta.

• Los respondientes del Nivel 2 pueden manejar sólo materiales simples, claramente expuestos y que incluyan tareas de moderada complejidad. Denota bajos niveles de competencias, si bien menos obvios que los observados en el Nivel 1. Es posible que estas personas hayan desarrollado destrezas para satisfacer las exigencias impuestas por el quehacer cotidiano, pero sus bajos niveles de aptitud hacen muy difícil que puedan enfrentar exigencias novedosas, como sería la adquisición de nuevas competencias ocupacionales.

• El Nivel 3 muestra, a grandes rasgos, el nivel de competencia formalmente requerido para completar la educación secundaria e ingresar a la educación terciaria. Al igual que en los niveles superiores, requiere la habilidad para integrar diferentes fuentes de información y resolver problemas de naturaleza más compleja.

• Los Niveles 4 y 5 describen a los respondientes que han demostrado dominio de las competencias de procesamiento de información de alto orden.


Medir el alfabetismo (xiv)

Ejemplo (LAMP):

0

2

4

6

8

10

12

14

16

18

20

Niveles de competencia (lectura de textos continuos)

Nú

me

ro d

e c

aso

s (

%)

8%

36%

56%

--- +++


Medir el alfabetismo (xiv.b)

Ejemplo (LAMP):

0

2

4

6

8

10

12

14

16

18

20

NIveles de competencia (lectura de textos continuos)

Nu

me

ro d

e c

as

os

(%

)

15%

45%

40%

--- +++


Medir el alfabetismo (xv)

Pero, ¿qué es lo que saben los que tienen bajas competencias?

Necesidad de explorar las habilidades básicas que anteceden a la lectura competente: Componentes de Lectura.

Esta es una preocupación nueva en la evaluación estandarizada (por ejemplo, e esta considerando su inclusión en PISA) y comprende aspectos que son específicos de cada lengua y sistema de escritura (no comparables).


Medir el alfabetismo (xvi)

Componentes de Lectura en LAMP:

1. Reconocimiento de dígitos. Precisión y fluidez.

2. Reconocimiento de letras. Precisión y fluidez.

3. Reconocimiento de palabras. Precisión y fluidez.

4. Decodificación (pseudo-palabras, homófonos, palabras poco comunes). Precisión y fluidez.

5. Procesamiento de oraciones

Precisión, fluidez, y comprensión

6. Procesamiento de párrafos

Precisión, fluidez, y comprensión


Medir el alfabetismo (xvii)

Entonces:

0

2

4

6

8

10

12

14

16

18

20


Nú

me

ro d

e c

aso

s (

%)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

--- +++



Entonces:Reconocimiento de dígitos ( )

0

2

4

6

8

10

12

14

16

18

20


Nú

me

ro d

e c

aso

s (

%)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

--- +++



Entonces:Reconocimiento de dígitos ( ); Reconocimiento de letras ( )

0

2

4

6

8

10

12

14

16

18

20


Nú

mero

de c

aso

s (

%)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

--- +++



Entonces:Reconocimiento de dígitos ( ); Reconocimiento de letras ( ); Reconocimiento de palabras ( )

0

2

4

6

8

10

12

14

16

18

20


Nú

me

ro d

e c

as

os

(%

)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

--- +++



Entonces:Reconocimiento de dígitos ( ); Reconocimiento de letras ( ); Reconocimiento de palabras ( ); Procesamiento de párrafos ( )

0

2

4

6

8

10

12

14

16

18

20


Nú

me

ro d

e c

as

os

(%

)

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

--- +++


Medir y usar la información

Medir competencias de alfabetismo y sus pre-condiciones (Componentes de lectura), permite:

Dimensionar el problema de otra forma: los desafíos son mayores y más complejos.

◊ Entonces, el compromiso político es clave.

Contar con información especifica para ajustar la oferta educativa en alfabetismo.

◊ Entonces, la composición del equipo a cargo de la medición debe ser amplia.


Medir y usar la información (ii)

Pero medir competencias no agota el problema. Es necesario conocer quiénes (no) logran determinadas habilidades, cuál es su

nivel educativo,

sexo,

área de residencia,

nivel socio-económico

lengua materna,

experiencia diaria con textos – su entorno letrado.


¿Qué tiene que ver todo esto con LAMP?

Todo lo presentado es exactamente lo que LAMP nos ha permitido aprender e incluye los elementos centrales que organizan el diseño del programa LAMP.


Conjunto de instrumentos a ser administrado a una muestra de la población de 15 años y más. (encuesta en hogares + test educativo)

Cuestionario de

antecedentes

Test Filtro(17 preguntas)

Cuadernillo 1 o 2(≈30 preguntas)

Test

Localizador(18 preguntas)

Ejercicios de

componentes de

lectura

-

+

LAMP: diseño

Información sobre el

área de enumeración


Administrar esta batería de instrumentos toma tiempo: típicamente entre 60-120 minutos.

LAMP: diseño (ii)

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

15-2

9

30-4

4

45-5

9

60-7

4

75-8

9

90-1

04

105-1

19

120-1

34

135-1

49

150-1

64

165-1

79

180-1

94

195-2

09

210-2

24

255-2

69

Minutos


LAMP: el diseño permite medir…

Las siguientes competencias de alfabetismo:

- Lectura (textos continuos y no continuos)

- Uso de números (mediado por diferentes textos escritos)

- Componentes de lectura (para aquéllos con bajas habilidades).

Percepciones:

- En una escala ordinal de tres

niveles (no dicotomía)

- Con relación a:

- Lectura

- Escritura

(asociados a una lengua)

- Cálculo mental/oral y

mediado por textos

escritos.

Entorno letrado:

- A nivel individual.

- A nivel del hogar.

- A nivel comunal

(Oportunidades para enfoques

etnográficos)

Características socio-demográficas de la población


LAMP: el diseño NO permite

Medir habilidades de escritura.

Evaluar programas específicos.

(sin embargo, la estrategia de muestreo permite brindar atención especifica a segmentos específicos de la población: por ejemplo, graduados de los programas de alfabetización)


LAMP: ¿es costoso?

Varios elementos a considerar:

◊ ¿Cuánto cuesta no saber cómo estamos?

◊ ¿Cuánto cuesta desarrollar programas que no son efectivos pues no se basan en información robusta?

◊ ¿Cuánto cuesta medir mal?

Desperdicio en la medición

Riesgos en la acción

◊ ¿Cuánto cuesta medir bien y no usar la información?

Desperdicio en la medición

Efectos en credibilidad


LAMP: ¿es costoso? (ii)

LAMP no es un “estudio internacional”: no hay un costo por participar.

◊ El UIS cubre todos los costos asociados al desarrollo metodológico y la guía global del programa.

Los costos dependen íntegramente de los requerimientos nacionales y de satisfacer ciertos estándares de calidad requeridos.


LAMP: etapas en la implementación

Trabajo preparatorio en el país: establecer un equipo de trabajo y definir lo que se requiere y los costos asociados a ello.

Pre-test y test de campo: la validez de todo el esfuerzo depende de que los instrumentos y procedimientos funcionen.

Evaluación principal: operación de campo.

Análisis, diseminación y uso de la información.


OECD (IALS/ALL) LAMP

22 países 8 países (+5)

15 lenguas 10 lenguas

Europeas

13 Indo-Europeas

2 Urálicas

Afro-Asiáticas

Árabe, Hausa, Tamasheq

Altaica

Mongol

Austro-Asiática

Vietnamita

Indo-Europea

Francés, Castellano

Níger-Congo

Fulfulde

Nilo-Sahara

Kanuri, Zarma

1 Script: Alfabeto romano 3 Scripts: Árabe, Cirílico, y Romano

1 Sistema numérico: Números

arábigos occidentales2 Sistemas numéricos: Números

arábigos occidentales y orientales

(Seis

fam

ilias)

(Dos fa

milia

s)

LAMP: diversidad lingüística


LAMP: ¿dónde estamos hoy?

Los instrumentos y los manuales han sido ajustados para proceder con la evaluación principal en el primer grupo de países.Ocho países en este primer grupo. ◊ Mongolia está terminando el trabajo de campo.◊ Los Territorios Ocupados Palestinos, Jordania y Paraguay con

fechas firmes para los próximos 3-4 meses.◊ El Salvador, Níger, Marruecos y Viet Nam en proceso de

definiciones.

Resultados a publicarse a fines de 2011.

Nuevos países:◊ Anguilla, India, Jamaica, Laos, Namibia.

Consejo Asesor GlobalAgenda de investigación para la mejor continuaRol del UIS: (i) desarrollo metodológico; (ii) apoyo técnico; (iii) aseguramiento de la calidad.


El equipo en Montreal

Ocho personas.

◊ Cuatro que pueden comunicarse en Castellano.

◊ Cuatro en Francés

◊ Dos en Árabe.

◊ Dos en Chino.

◊ Una en Portugués.

◊ Una en Italiano.

◊ Ocho en Inglés.

Especialidades en Psicometría, Educación; Sociología; Economía; y Estadística.

Experiencia en investigación en general y evaluación educativa en particular.


Muchas gracias

http://www.uis.unesco.org

programa lamp, hendrik van del pol y césar guadalupe

Documents