divergencias en los determinantes del rendimiento en
TRANSCRIPT
Divergencias en los determinantes del rendimiento en
educación primaria por tipo de alumnado: un enfoque
bayesiano
José Manuel Cordero* [email protected]
César Manchón* [email protected]
Cristina Polo* [email protected]
* Departamento de Economía, Universidad de Extremadura, Av. de Elvas s/n, 06006 Badajoz, Spain.
Resumen
Este trabajo pretende explorar los determinantes del rendimiento educativo de diferentes tipologías de alumnos, entre las que destacan los que proceden de un entorno socioeconómico específico, los que alcanzan distintos niveles de competencias o los conocidos como alumnos resilientes, es decir, aquellos que a pesar de proceder de un entorno socioeconómico desfavorable son capaces de obtener buenos resultados académicos. Con este objetivo, se utiliza la información proporcionada por la base de datos PIRLS 2011 en la que se evalúa la comprensión lectora de los alumnos de educación primaria a escala internacional. Esta base de datos ofrece la ventaja de contar con un cuestionario específico para alumnos y familias, profesores y directores, que nos permite profundizar en las habilidades iniciales de los alumnos, pero también en las actividades motivadoras desarrolladas por sus padres y sus profesores. Dado el amplio volumen de información de la que se dispone, utilizamos un enfoque bayesiano con el que resulta posible obtener una estimación del efecto de cada variable candidata sobre la variable dependiente teniendo en cuenta todos los modelos posibles y la incertidumbre existente entre las estimaciones de cada modelo. Palabras clave: Educación, Enseñanza primaria, Resiliencia, Análisis Bayesiano,
Política educativa
Códigos JEL: H52, I21, I28, I29
1
1. Introducción
Una de las prioridades de los sistemas educativos de todo el mundo es conseguir que los
jóvenes participen y continúen en la educación más allá de las etapas obligatorias para
poder así afrontar con garantías su futura integración en el mercado laboral. Si bien es
cierto que la adquisición de competencias básicas y credenciales en educación no
garantiza el éxito futuro, sin ellas existe un mayor riesgo de encontrarse con barreras en
el acceso al empleo, de tener una seguridad financiera reducida y una peor situación
social (Knighton y Bussiere, 2006). De hecho, cuando una gran proporción de la
población carece de habilidades básicas, el crecimiento económico de un país a largo
plazo se ve amenazado.
En el caso particular de España, la proporción de jóvenes que no trabajan ni estudian ha
crecido de forma preocupante desde el comienzo de la crisis económica llegando a
alcanzar un máximo del 26% en 2013. Esta cifra supone un incremento de 10 puntos
respecto al año 2007, situando a nuestro país en las posiciones más altas entre los países
de la OCDE (OCDE, 2016a), a lo que hay que añadir que las tasas de abandono escolar
se mantienen en niveles muy elevados, aproximadamente el doble que la media de la
OCDE. Esta preocupación se ve reflejada en el hecho de que entre las metas fijadas por
la Estrategia de Educación y Formación 2020 de la Unión Europea se incluyan varios
objetivos estratégicos vinculados con los alumnos en riesgo de fracaso escolar, como
pueden ser la reducción del porcentaje de estudiantes con bajo rendimiento en
competencias básicas (inferior al 15%) y el porcentaje de alumnos que abandonan de
forma temprana el sistema educativo y la formación (inferior al 10%). Otra muestra de
esta preocupación se puede encontrar en algunas de las recientes reformas educativas
introducidas en la LOMCE, como la instauración de una evaluación individualizada de
carácter diagnóstico al finalizar el sexto curso de Educación Primaria1, que tiene por
objeto comprobar si se ha alcanzado nivel mínimo de competencias básicas en ciencia y
tecnología, comunicación lingüística (en castellano, en lenguas propias y en lengua
extranjera) y matemáticas2.
1 Esta medida se recoge en el artículo 20.3 de la Ley Orgánica 2/2006, de 3 de mayo, de Educación (LOE), modificada por la Ley Orgánica 8/2013, de 9 de diciembre, para la Mejora de la Calidad Educativa (LOMCE). 2 La implementación práctica de estas evaluaciones debía comenzar en el curso 2015/2016 en todo el territorio nacional, sin embargo varias Comunidades Autónomas se negaron a realizar dicha evaluación.
2
Los alumnos en situación de riesgo se caracterizan principalmente por provenir de
entornos socioeconómicos desfavorables y, desde etapas muy tempranas, tienen más
probabilidades de padecer problemas de conducta e incluso muestran un menor
desarrollo cognitivo (Willms, 2003). En el contexto específico español, según los datos
de un reciente informe elaborado por la OCDE, un 40% de los alumnos con este origen
tuvo un bajo rendimiento en PISA 2012, mientras que el porcentaje es del 8% para los
estudiantes con un nivel socioeconómico favorable (OCDE, 2016b). Además, esta
vinculación no se produce únicamente a nivel individual, sino que también se produce
un importante efecto contextual o peer effect asociado a las características demográficas
de los compañeros de aula o del centro escolar, el cual puede tener una influencia
incluso superior (Manski, 2000; Sacerdote, 2011).
Este trabajo se centra en el estudio de los factores determinantes del rendimiento
educativo de esta tipología de alumnado, haciendo especial hincapié en las actividades
que pueden llevar a cabo padres, profesores y centros educativos para conseguir que
estos alumnos logren vencer estas dificultades y alcanzar unos buenos resultados. Para
ello, en nuestro estudio se utiliza como fuente de información la base de datos PIRLS,
en la que se evalúan las competencias en comprensión lectora de los alumnos de cuarto
curso de primaria a nivel internacional. Nuestra atención se centra en esta primera etapa
del sistema educativo porque en este nivel es en el que se originan las principales
desventajas de los alumnos españoles respecto a los países de su entorno y dónde surgen
las primeras divergencias entre estudiantes según el entorno socioeconómico del que
proceden (Choi y Jerrim, 2016). Hasta hace poco tiempo, la evidencia empírica acerca
de este nivel educativo era prácticamente inexistente en nuestro país por la escasez de
datos, aunque en los últimos años se ha conseguido paliar en parte esta limitación
mediante la explotación de la información proporcionada por la Evaluación General de
Diagnóstico realizada por el Ministerio de Educación en 2009 (Betancor y Lopez-Puig,
2015; Hidalgo, A., & Lopez-Mayan, C., 2015; Santín y Sicilia, 2014, 2015, 2016) o los
alumnos participantes en las pruebas internacionales TIMSS y PIRLS en 2011 (García-
Fontes, 2012; García-Montalvo, 2012; Cordero y Manchón, 2014, Carabaña, 2015).
Para poder identificar a los alumnos que proceden de un entorno más desfavorecido
hemos construido un índice representativo del status socioeconómico mediante la
aplicación del método de componentes principales a la información proporcionada por
3
los padres acerca de su nivel educativo, su cualificación laboral y las posesiones en el
hogar. Una vez construido, resulta posible identificar a los alumnos que presentan un
valor más reducido para este indicador, de manera que hemos procedido a segmentar la
muestra para analizar las características específicas de estos alumnos. Asimismo, dentro
de esta selección, nos hemos concentrado en los alumnos que se sitúan en los extremos
de la distribución de resultados con el propósito de determinar si es posible identificar
patrones similares entre los alumnos que consiguen superar esta situación desfavorable
y lograr el éxito académico, conocidos habitualmente en la literatura como resilientes, y
los alumnos que se ven condicionados por su status socioeconómico al fracaso escolar.
Una de las principales ventajas que plantea el uso de la base de datos PIRLS es que
proporciona un amplio volumen de información acerca del grado de implicación de los
padres en el proceso de formación y aprendizaje de sus hijos, tanto en las etapas previas
a la escolarización3, como durante el proceso de formación que se desarrolla en la
escuela4, de manera que resulta posible explorar si algunas de estas actividades están
vinculadas al éxito o el fracaso escolar. Además, PIRLS también ofrece información
acerca de las prácticas docentes llevadas a cabo por los profesores en los centros, por lo
que también resulta interesante analizar si alguna de ellas está vinculada con un mejor
rendimiento. A todas estas variables hay que añadir las variables sobre el centro
educativo extraídas del cuestionario rellenado por los directores de los centros
educativos y las que se construyen a partir del cuestionario completado por los alumnos,
de modo que contamos con un volumen de información muy amplio sobre posibles
factores que pueden influir en el rendimiento académico.
Dado el gran volumen de variables que pueden estar relacionadas con nuestros
indicadores de interés, se ha optado por la aplicación de la técnica conocida como
promediado bayesiano de modelos (BMA por sus siglas en inglés), con la que resulta
posible considerar la incertidumbre del proceso de selección del modelo respecto a
todas las posibles alternativas que pueden incluirse como variables explicativas (Moral-
Benito, 2013). El empleo de esta técnica se ha convertido en una opción muy popular en
el ámbito económico desde las contribuciones seminales de Fernández et al. (2001) y
3 Entre estas actividades cabe destacar la promoción de la adquisición de conocimientos relacionados con
el aprendizaje de la lectura (véase Weinberg, 1996). 4 Nos referimos fundamentalmente al seguimiento y la ayuda prestada para la realización de los deberes.
4
Sala-i-Martin et al. (2004). Al disponer de bases de datos con distinta configuración
(antes y después de la segmentación de la muestra según el nivel socioeconómico y
distinguiendo entre alumnos resilientes y condicionados dentro de la muestra
segmentada representativa de los alumnos procedentes de un entorno más desfavorable)
nos encontramos con divergencias de criterio acerca de cuáles son los factores más
relevantes que deben ser incluidos en el modelo econométrico según cuál sea el tipo de
alumnado analizado.
El resto del artículo se estructura del siguiente modo. En la sección segunda se ofrece
una breve revisión de la literatura sobre los condicionantes del rendimiento académico
de los alumnos más propensos al fracaso escolar. En el bloque tercero se comentan las
principales características de la base de datos PIRLS, se explica el proceso utilizado
para la construcción del índice socioeconómico y la segmentación de la muestra y se
exponen las variables utilizadas en nuestro estudio empírico. En la sección cuarta se
explica la metodología utilizada, el BMA. En la sección quinta se presentan los
principales resultados y, por último, las conclusiones de los principales hallazgos del
estudio y señalamos algunas posibles recomendaciones de política educativa que se
derivan del mismo.
2. Revisión de la literatura
El interés por el estudio de los determinantes del rendimiento económico ha constituido
uno de los principales focos de atención de la economía de la educación desde sus
inicios (Coleman et al., 1966). Un aspecto en el que coinciden prácticamente todos los
estudios realizados en este campo es la importancia del entorno socioeconómico de la
familia del alumno (Sirin, 2005). No obstante, el bajo rendimiento en competencias
básicas no se explica únicamente por este factor, sino que suele existir una combinación
de factores entre los que destacan el origen inmigrante, vivir en hogares
monoparentales, hablar una lengua en casa distinta a la utilizada en la escuela, asistir a
escuelas rurales o no haber recibido educación preescolar (o sólo un año o menos),
como se pone de manifiesto en un reciente informe de la OCDE (2016b).
En dos estudios recientes en los que se aplican modelos logísticos multinivel para
analizar los factores determinantes del riesgo de fracaso escolar en España tomando
5
como referencia a la información proporcionada por la base de datos PISA, Calero et al.
(2010) y Choi y Calero (2013) coinciden en la identificación de la mayor parte de estos
factores, a los que se añaden los recursos educativos en el hogar y su utilización.
Utilizando un enfoque metodológico similar, en Cordero et al. (2012) se analizan las
diferencias existentes entre los factores determinantes del rendimiento de los alumnos
españoles de 15 años en PISA 2009, distinguiendo entre los dos extremos de la
distribución de resultados, es decir, entre los que no han adquirido unas competencias
básicas para poder acabar la enseñanza obligatoria (representados por aquellos que no
alcanzan el nivel 2 según la escala de PISA) y los que forman parte de la élite educativa
(niveles 5 y 6 en la escala de PISA). Para ambos tipos de estudiantes hay coincidencia
respecto a la importancia de algunos indicadores, por ejemplo, ser chica o el número de
libros en el hogar, pero también se aprecian diferencias. Así, para el primer grupo, la
condición de inmigrante o el hecho de no haber asistido a preescolar son factores que
tienen una gran incidencia mientras que, para el segundo, el factor más determinante es
el nivel educativo de la madre.
Alivernini (2013) también analiza las diferencias entre los dos extremos de la
distribución de resultados, aunque en este caso el análisis se refiere a alumnos de
educación primaria participantes en PIRLS 2006. Este estudio considera una muestra de
20 países, de modo que entre los posibles factores determinantes de la pertenencia al
grupo de alumnos con peores o mejores resultados se incluyen indicadores a nivel de
país (por ejemplo, el PIB per cápita o el gasto en educación primaria). Las variables que
inciden en mayor medida sobre la posibilidad de pertenecer al grupo de los peores
alumnos son el salario de los profesores de primaria y el número de libros,
especialmente en escuelas con un alumnado de menor nivel socioeconómico, mientras
que la adquisición de determinadas habilidades básicas antes de iniciar la etapa
preescolar, como puede ser la identificación de letras o números, está asociada con un
mejor rendimiento. Esta evidencia coincide con la de otros estudios previos centrados
en las primeras etapas del proceso de aprendizaje que se desarrolla en la escuela
(Aarnoutse et al., 2005, Cunha et al., 2010). De hecho, en un estudio reciente, Agasisti
y Cordero (2016) ponen de manifiesto que la formación y las habilidades adquiridas en
la etapa preescolar tienen un efecto más relevante sobre el rendimiento que el apoyo
prestado por los padres durante el proceso de educación formal en la escuela.
6
Una literatura muy relacionada con la anterior es la que se centra en el estudio de los
alumnos resilientes, es decir, aquellos que obtienen buenos resultados académicos a
pesar de pertenecer a un entorno socioeconómico desfavorable (Wang et al., 1994),
pues proporciona algunas claves sobre cómo vencer las dificultades y lograr buenos
resultados académicos. Los estudios sobre este tipo de alumnos se ha concentrado en
identificar sus características personales (Krovetz, 2007), destacando la motivación o la
autoconfianza como los principales factores explicativos del fenómeno (Wayman, 2002;
Borman y Overman, 2004). No obstante, los factores escolares también pueden jugar un
papel importante, como se encargan de poner de manifiesto otros trabajos que insisten
en el fomento de la asistencia y la participación regular en clase (Masten y Coatsworth,
1998), el mantenimiento de un número reducido de alumnos por aula (Robinson, 1990)
o la aplicación de prácticas docentes innovadoras que traten de captar la atención de los
alumnos procedentes de entornos desfavorables y les motiven a desarrollar sus
capacidades (Tajalli y Opheim, 2004). Para el contexto específico de España, existe
evidencia reciente acerca del efecto positivo de las aulas con un tamaño más reducido,
en las que existe un notable nivel de disciplina y bajas tasas de absentismo escolar
(Cordero et al., 2015). Otros estudios llegan a resultados similares al ampliar el ámbito
de estudio al contexto internacional, siendo la disciplina en el aula y las relaciones entre
profesores y alumnos los factores más relevantes a la hora de explicar el fenómeno de la
resiliencia (Agasisti y Longobardi, 2014a, 2014b).
3. Datos y variables
3.1. Base de datos
En este trabajo empírico utilizamos la información relativa a los alumnos españoles de
educación primaria que participaron en PIRLS 2011. Se trata de la cuarta oleada del
estudio que la Asociación Internacional para la Evaluación del Rendimiento Educativo
(IEA) realiza sobre el aprendizaje de la lectura desde 1991, en el que tuvo lugar la
primera edición, repitiéndose en 2001, ya con el nombre de PIRLS y su actual diseño,
2006 y 2011, consolidando así una secuencia de ciclos de cinco años. España ha
participado en las dos últimas ediciones y también en la próxima (2016).
Desde la primera edición el estudio PIRLS mantiene como objeto de su evaluación lo
que se denomina en inglés “reading literacy”, noción de comprensión lectora que ha
7
sido enriquecida y actualizada en las sucesivas ediciones por los expertos que forman el
Reading Development Group, subrayando la amplia importancia que esta tiene tanto en
la escuela como en la vida diaria. Más aun en cuarto curso de educación primaria, un
momento importante en el proceso de aprendizaje de las habilidades de comprensión
lectora, pues es el momento en el que los alumnos suelen haber aprendido a leer y están
ya están leyendo para aprender (Mullis et al., 2009)5.
La base de datos internacional PIRLS 2011 está compuesta por 254.914 estudiantes
procedentes de 9.300 centros con más de 13.000 profesores que representan a un total
de 61 países, aunque en esta investigación solo emplearemos la muestra representativa
de España, compuesta por 8.580 alumnos encuadrados en un total de 402 clases que
pertenecen a 312 centros escolares. La muestra está estratificada y se distribuye
proporcionalmente entre las Comunidades Autónomas6, consiguiendo unos resultados
representativos del conjunto del alumnado de cuarto curso en España, con una media de
edad en torno a los diez años.
Al igual que otras evaluaciones internacionales, PIRLS utiliza la metodología de
respuesta al ítem desarrollada por Rasch (1960/1980), según la cual las dificultades de
cada pregunta y las habilidades del alumno son estimadas de manera simultánea7. El
rendimiento de los alumnos se define mediante una variable continua que utiliza como
referencia el resultado de los alumnos a nivel internacional, con un valor medio de 500
puntos y una desviación típica de 100. Esta escala de puntuaciones se completa
estableciendo niveles o intervalos de rendimiento, asumiendo que si la puntuación del
alumno se encuentra próxima a un punto de la escala, es probable que sea capaz de
contestar con éxito a los ítems que están en ese nivel y por debajo, pero poco probable
que pueda realizar las tareas que se sitúan por encima, que son más complejas. El uso de
esta metodología implica que, en lugar de trabajar con un valor medio puntual de los
conocimientos de cada alumno, se utilicen cinco valores extraídos aleatoriamente de la
5 Reading literacy se define como la habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y valoradas por el individuo. Los lectores de corta edad son capaces de construir significado a partir de una variedad de textos. Leen para aprender, para participar en las comunidades de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal. 6 Las comunidades autónomas de Andalucía y Canarias participaron con muestras ampliadas en PIRLS 2011 con el fin de obtener datos sobre el rendimiento en comprensión lectora de su alumnado (Instituto Nacional de Evaluación Educativa, 2013, p. 28). 7 Con este sistema se consigue situar el nivel de competencia de cada alumno en una escala común, con
independencia de las preguntas que le hayan correspondido en el cuadernillo de la prueba.
8
distribución de resultados, denominados valores plausibles, entendidos como una
representación del rango de habilidades que tiene cada estudiante8. La principal ventaja
de utilizar estos valores es que permite una mejor estimación de la varianza del error de
medida, por lo que se disminuye la probabilidad de los errores de tipo I al hacer
inferencias respecto de la media y otros valores poblacionales (Wu, 2010).
Una de las principales ventajas que presenta esta base de datos en relación a otras como
PISA es que cuenta con más fuentes de información sobre el entorno del estudiante, ya
que además de los datos proporcionados por el director del colegio sobre el centro
escolar y el propio alumno acerca de sus características, motivaciones y hábitos de
estudio, también se extrae información de cuestionarios completados por los padres y
los profesores. Esta posibilidad nos permite conocer información sobre aspectos
relativos al apoyo prestado por los padres durante el aprendizaje en la etapa preescolar
y, posteriormente, con las tareas de clase o el clima del aula y las prácticas docentes
puestas en práctica por los profesores. Además, la posibilidad de contar con información
a nivel de aula en lugar de a nivel de centro posibilita una medición más adecuada del
denominado peer effect, al que hemos llamado peerclass. La amplitud de información
disponible en este estudio ha provocado que su uso esté cada vez más extendido dentro
de la comunidad científica (véase Lenkeit et al., 2015).
3.2. Construcción de un índice socioeconómico (ISE)
Dado el objetivo que se plantea el presente trabajo, resulta imprescindible construir un
índice compuesto representativo del status socioeconómico en escala continua, no sólo
por las ventajas que supone su incorporación como un factor relevante que pueda
explicar los resultados académicos9, sino también para poder segmentar la muestra de
alumnos.
La construcción de este indicador no es una tarea sencilla, puesto que dentro del ámbito
de la investigación educativa no existe consenso acerca de la conceptualización del
8 Para una revisión de la literatura de los valores plausibles puede acudirse a Mislevy (1991) y Mislevy et al. (1992). 9 Cowan et al. (2012) señalan que las ventajas que supone el uso de medidas compuestas representativas del status socioeconómico supera a sus desventajas, normalmente relacionadas con las mayores dificultades que plantea su interpretación a la hora de fijar los objetivos de las medidas de política educativa.
9
estatus socioeconómico (Harwell y LeBeau, 2010). Aunque puede ser aproximado
mediante diferentes combinaciones de variables, existe un cierto consenso acerca de
cuatro indicadores principales: la educación y la ocupación de los padres, sus ingresos y
las posesiones en el hogar (Hauser, 1994). En un estudio reciente en el que se analizan
las variables utilizadas para construir una medida del nivel socioeconómico en un
amplio número de estudios empíricos que utilizan la información proporcionada por
TIMSS (Chudgar et al., 2014), cuya configuración es prácticamente idéntica a la de
PIRLS, se observa que las posesiones en el hogar suelen aproximarse mediante el
número de libros en el hogar, mientras que el nivel educativo de los padres se puede
aproximar de diferentes maneras (el mayor valor de uno de los dos progenitores, una
combinación de ambos o simplemente el de la madre). A estos indicadores se suele
añadir alguna variable representativa de las posesiones en el hogar (ordenador, mesa de
estudio, diccionario o calculadora).
En nuestro caso, siguiendo a Yang y Guftansson (2004) hemos optado por el uso de
cinco variables: el mayor nivel educativo y profesional de la madre y el padre y el
número de libros totales en el hogar. A partir de ellas, se ha construido un índice
compuesto mediante el método de componentes principales, con el que resulta posible
sintetizar la información ofrecida por estas variables en un único factor con una pérdida
mínima de información. El uso de esta técnica está muy extendido en el contexto
educativo desde que Smith y Mayston (1987) recomendaran su aplicación cuando se
dispone de un elevado número de variables, representativas sobre un determinado
aspecto, que normalmente están correlacionadas entre sí. Algunos ejemplos del uso de
esta técnica en estudios recientes son los trabajos de Van Damme et al. (2010) o
Alvernini y Manganelli (2015). En el contexto español, Gil-Flores (2013) también
utiliza este enfoque para construir un índice socioeconómico a partir de la información
proporcionada por la Prueba de Diagnóstico de Andalucía, al igual que Cordero y
Manchón (2014) para sintetizar la información proporcionada por la base de datos
TIMSS.
Tras hacer las comprobaciones oportunas para valorar la viabilidad de la aplicación del
método de componentes principales (prueba de esfericidad de Bartlett, test de Kaiser
Meyer Olkin, etc.) se comprobó que existía una elevada correlación entre las variables
(véase Tabla 1). Así, se construyó nuestro índice en escala continua ISE utilizando la
10
información procedente de las cinco variables consideradas, obteniendo un único factor
representativo que explica el 59,69% de la varianza total. La tabla 1 muestra las
saturaciones de las variables en el índice ISE elaborado correspondiente al nivel
socioeconómico de cada estudiante.
Tabla 1. Saturaciones para la reducción de variables mediante el análisis de componentes principales, KMO y prueba de Bartlett
Análisis Factorial KMO y prueba de Bartlett
ISE Medida de adecuación muestral de Kaiser-Meyer-Olkin 0,779
Variable Peso
Prueba de esfericidad de Bartlett
Chi-cuadrado aproximado 16.455,77
MOTHJOB9 0,765 gl 10
FATHJOB9 0,784 Sig. 0
MOTHEDU6 0,827
FATHEDU6 0,825
BOOKS 0,647
3.3. Segmentación de la muestra
Una vez que se dispone de un índice continuo representativo del nivel socioeconómico
del alumnado, hemos procedido a segmentar la muestra total (8.580 estudiantes)
seleccionando únicamente a los alumnos que se sitúan en el cuartil más bajo del índice
ISE, un total de 3.638 alumnos y alumnas procedentes de 308 escuelas y 389 clases10.
En la Tabla 2 se muestran los estadísticos descriptivos de los cinco valores plausibles de
las dos muestras. Claramente se puede observar que los alumnos que tienen un menor
nivel socioeconómico presentan valores sensiblemente inferiores (alrededor de 20
puntos) en los cinco valores plausibles representativos de sus capacidades de
comprensión lectora. Esta diferencia se aprecia especialmente en las dificultades
existentes para alcanzar resultados excelentes (hay 48 puntos entre el valor máximo en
una y otra muestra).
10 Las variables originales utilizadas en el análisis de componentes principales presentaban valores categóricos, de modo que muchas observaciones tenían el mismo valor para el índice compuesto construido, lo que explica que el número de alumnos que componen la muestra sea muy superior al 25% de la muestra original.
11
Tabla 2. Estadísticos descriptivos de los valores plausibles en comprensión lectora
en la base de datos completa y segmentada
VARIABLES BASE DE DATOS COMPLETA BASE DE DATOS SEGMENTADA
(8.580 observaciones) (3.638 observaciones) Valores
Plausibles MEDIA DESV. TÍP. MÍNIMO MÁXIMO MEDIA DESV.
TÍP. MÍNIMO MÁXIMO
VP1 LECTURA 519,26 66,52 278,80 724,84 500,93 63,57 278,80 675,04 VP2 LECTURA 517,54 67,08 263,38 766,57 498,62 64,28 263,38 688,55 VP3 LECTURA 518,36 66,71 265,36 744,34 499,98 63,88 265,36 699,04 VP4 LECTURA 518,50 66,77 262,72 736,57 499,43 63,20 262,72 683,14 VP5 LECTURA 518,26 66,56 283,10 712,09 499,30 63,33 283,10 699,78
Dentro de la muestra segmentada, estamos interesados en identificar a los alumnos que
se sitúan en los dos extremos de la distribución de resultados. Por un lado, estarían los
denominados alumnos resilientes, es decir, los que, a pesar de encontrarse en esta
situación desfavorecida, son capaces de obtener un buen nivel de rendimiento
académico en comprensión lectora. Estos alumnos han sido identificados a través de una
variable dicotómica (RESILIEN) que adopta el valor 1 si el estudiante se sitúa en el
cuartil más alto (P75) dentro de esta muestra segmentada. Por el otro, definimos a los
alumnos y alumnas condicionados (CONDICIO), es decir, aquellos a los que su
procedencia de un entorno socioeconómico bajo puede condicionarles a obtener unos
malos resultados, por tanto, tendrá un valor unitario si el alumno está situado en el
cuartil más bajo (P25).
En un primer análisis exploratorio se analizarán los determinantes de los resultados
académicos de la muestra completa de 8.580 estudiantes, utilizando como variables
dependientes los cinco valores plausibles calculados para cada alumno en lectura en
PIRLS 2011. Posteriormente, el análisis se repetirá para la muestra segmentada
compuesta por los 3.638 estudiantes con un menor nivel socioeconómico según el valor
de la variable ISE creada ad hoc. El objetivo de este doble análisis consiste en buscar
similitudes y, sobre todo, divergencias en cuanto a los factores determinantes del
rendimiento para cada muestra. En un segundo análisis, una vez identificados estos
factores, estimaremos regresiones logísticas empleando la base de datos segmentada en
las que se utilizarán como dependientes las dos variables dicotómicas anteriormente
definidas (RESILIEN y CONDICIO) con el propósito de encontrar patrones similares
entre los estudiantes pertenecientes a cada grupo y subrayar las diferencias entre los dos
grupos objeto de estudio.
12
3.4. Variables
Como variables explicativas, además de las individuales utilizadas para construir el
indicador representativo del estatus socioeconómico, se ha seleccionado un amplio
conjunto de posibles factores explicativos de los resultados educativos. A nivel
individual, se recopila información sobre las características más comunes en este tipo de
investigaciones (género, ser repetidor, tener origen inmigrante o las posesiones
disponibles en el hogar), a las que se añade una amplia batería de preguntas
relacionadas con las habilidades desarrolladas en la etapa previa a la educación infantil
y en las actividades tempranas implementadas por su entorno familiar estrechamente
vinculadas con la comprensión lectora. Respecto a las variables a nivel de clase, la
información procede de los cuestionarios completados por los propios profesores, en los
que informan sobre sus características (género, formación, motivación, etc.), sus
prácticas docentes y el contexto del aula. A esta información se ha añadido un indicador
representativo del efecto compañero (PEERCLAS), que se define a través del valor
medio de la variable ISE de los compañeros de clase del alumno. Finalmente, la
información relativa a las variables escolares procede de los cuestionarios rellenados
por los directores de los centros, quienes informan sobre el contexto geográfico y
socioeconómico del centro, la composición de su alumnado y los recursos de los que
dispone.
La Tabla 3 contiene la definición de las variables concretas consideradas en nuestro
estudio, distinguiendo tres niveles (personales y familiares, a nivel de alumno; clase y
profesorado, a nivel de aula, y escuela) que son tenidas en cuenta en los distintos
modelos en función de los resultados del análisis bayesiano implementado.
Tabla 3. Variables seleccionadas en los distintos modelos
BASE DE DATOS COMPLETA (8.580 estudiantes) Variable
Dependiente Descripción
VP1 LECTURA Primer valor plausible: comprensión lectora VP2 LECTURA Segundo valor plausible: comprensión lectora VP3 LECTURA Tercer valor plausible: comprensión lectora VP4 LECTURA Cuarto valor plausible: comprensión lectora VP5 LECTURA Quinto valor plausible: comprensión lectora
BASE DE DATOS SEGMENTADA (3.638 estudiantes en el c uartil más bajo de ISE)
13
Variable Dependiente Descripción
RESILIEN Estudiante con ISE bajo situado en el primer (P25) cuartil de resultados
CONDICIO Estudiante con ISE bajo situado en el cuarto (P75) cuartil de resultados
Variables independientes por niveles
Nivel Alumno Descripción
Lang Lengua más frecuente en casa distinta a la del test Repeat El alumno/a es repetidor/a
BLangNo No dispone de libros en la lengua del test en casa BP100 Más de 100 libros en casa Internet Internet en casa PCHDay Usa ordenador a diario en casa
PCSchDay Usa el ordenador en la escuela a diario AskLearn Padres preguntan por aprendizaje RBookFre Padres leían libros frecuente en etapa preescolar TelStory Contaban cuentos frecuente etapa preescolar
TimeHWor Dedica tiempo tareas > 60` al día HelpHWor Padres ayudan a diario con las tareas HelpRead Padres ayudan a diario a practicar lectura SkillRLe Cuando empezó primaria reconocía la mayoría de letras del abecedario SkillRWo Leía algunas palabras al comenzar primaria SkillRSe Leía frases al comenzar primaria SkillWLe Habilidad escribir letras FathEdu6 Educación padre terciaria MothEdu6 Educación madre terciaria FathJob9 Trabajo padre cualificado (nivel 9 - 11) MothJob9 Trabajo madre cualificado (nivel 9 - 11)
Nivel Clase Descripción
TRespect Los estudiantes son respetuosos con los profesores TDifLan5 Más de 5 alumnos en clase tienen dificultades con la lengua TRWhole Profesor/a enseña lectura en actividades para toda la clase TRAsPlan Trabajan de forma independiente en un plan asignado
TRNedRem Número de estudiantes en clase que necesitan apoyo en lectura TRVocabu Profesor/a enseña nuevo vocabulario sistemáticamente TRSBookC Da tiempo para que lean libros de su elección
TRPc Ordenador para uso en clase PeerClas Efecto compañero por clase
Nivel Escuela Descripción
ScNStud Número de estudiantes en la escuela Sc4thStu Número de estudiantes en 4º curso
ScHDes25 Más del 25% estudiantes de hogares desfavorecidos ScLang50 50%, o menos, estudiantes hablan la lengua del test en la escuela ScVillag Ciudad < ó = 15.000 habitantes ScUrban Entorno inmediato escuela urbano ScLowInc Entorno inmediato escuela con ingreso bajo ScInsMin Tiempo de clase al día (en minutos) ScComput Número de ordenadores escuela 4º curso ScTEvStu Evaluación profesorado: rendimiento alumnos
14
Las Tabla 4 recoge los principales estadísticos descriptivos de todas estas variables
consideradas en nuestro estudio, distinguiendo las estimaciones implementadas para la
base de datos completa y de la base segmentada para el menor nivel socioeconómico
con variable dependiente dicotómica, RESILIEN y CONDICIO.
Tabla 4. Estadísticos descriptivos de los regresores en la base de datos completa y
segmentada
BASE COMPLETA BASE SEGMENTADA Regresores (Nivel
alumno) MEDIA DESV. TÍP. MEDIA DESV. TÍP.
ASKLEARN 0.71 0.46 0,72 0,45 BLANGNO 0.07 0.25 0,06 0,24
BP100 0.36 0.48 0 0 FATHEDU6 0.24 0.42 0 0 FATHJOB9 0.22 0.42 0 0
HELPHWOR 0.65 0.48 0,71 0,46 HELPREAD 0.45 0.50 0,51 0,5 INTERNET 0.82 0.39 0,74 0,44
LANG 0.24 0.43 0,24 0,42 MOTHEDU6 0.27 0.44 0 0 MOTHJOB9 0.21 0.40 0 0
PCHDAY 0.57 0.50 0,57 0,49 PCSCHDAY 0.05 0.22 0,06 0,24 RBOOKFRE 0.42 0.49 0,29 0,45
REPEAT 0.09 0.29 0,13 0,33 SKILLRLE 0.52 0.50 0,46 0,5 SKILLRSE 0.30 0.46 0,26 0,44 SKILLRWO 0.43 0.49 0,37 0,48 SKILLWLE 0.48 0.50 0,44 0,5 TELSTORY 0.55 0.50 0,46 0,5 TIMEHWOR 0.27 0.44 0,3 0,46
Regresores (Nivel clase) MEDIA DESV. TÍP. MEDIA DESV. TÍP. PEERCLAS -0.05 0.56 -0,09 0,53 TDIFLAN5 0.01 0.12 0,02 0,12 TRASPLAN 0.48 0.50 0,48 0,5 TRESPECT 0.85 0.36 0,85 0,35 TRNEDREM 4.09 2.52 4,16 2,51
TRPC 0.18 0.39 0,19 0,39 TRSBOOKC 0.23 0.42 0,21 0,41 TRVOCABU 0.61 0.49 0,61 0,49 TRWHOLE 0.93 0.26 0,93 0,25
Regresores (Nivel escuela) MEDIA DESV. TÍP. MEDIA DESV. TÍP.
SC4THSTU 50.80 25.89 50,62 25,83 SCCOMPUT 19.86 16.82 19,85 16,87 SCHDES25 0.25 0.43 0,25 0,44 SCINSMIN 286.02 27.31 285,88 27,13 SCLANG50 0.09 0.29 0,09 0,29 SCLOWINC 0.25 0.43 0,25 0,44
15
SCNSTUD 544.64 379.23 539,11 375,32 SCTEVSTU 0.79 0.41 0,79 0,41 SCURBAN 0.25 0.43 0,25 0,43 SCVILLAG 0.33 0.47 0,33 0,47
4. Metodología
En la mayoría de estudios empíricos en los que se pretenden explorar los efectos de un
conjunto de potenciales factores sobre una variable de interés los investigadores suelen
seleccionar un único modelo econométrico, normalmente el que ofrece unos resultados
más satisfactorios en términos de identificación de variables con efecto significativo, de
entre el amplio rango de alternativas existentes. Este procedimiento supone desechar
multitud de opciones que podrían ser también validas, lo que implica un importante
sesgo en las conclusiones obtenidas, al ser ignorada la incertidumbre existente en cuanto
a la selección del modelo (Raftery, 1995). En respuesta a este problema, la
implementación de la técnica conocida como promediado bayesiano de modelos (BMA,
por sus siglas en inglés) propuesta originalmente por Leamer (1978) ofrece una solución
mejorada en términos de capacidad predictiva de los modelos (Doppelhofer et al.,
2003).
La idea fundamental en la que se basa este enfoque metodológico es computar una
media ponderada de las estimaciones condicionales entre todos los modelos posibles,
pues todos ellos proporcionan información relevante acerca de los parámetros de la
regresión que se pretende estimar (Durlauf et al., 2008). De esta manera, se obtiene una
estimación el efecto de cada variable candidata sobre la variable de interés teniendo en
cuenta la incertidumbre existente entre las estimaciones de cada modelo. Asimismo,
esta aproximación proporciona al investigador un criterio para seleccionar las variables
que deben ser incluidas en el modelo como regresores11, que serán aquellas que
expliquen un mayor porcentaje de la varianza de la variable dependiente.
El marco estadístico sería un modelo de regresión normal por mínimos cuadrados
ordinarios en el que hay un número k de potenciales variables explicativas (X). En este
caso, la incertidumbre del modelo es el resultado de la selección de los posibles
regresores que pueden incluirse en el lado derecho de la siguiente ecuación: 11 Véase Hoeting et al. (1999) para una discusión general sobre este método.
16
� = �� + � �~�0, � �� (1)
donde y es un vector que representa a la variable dependiente, X es una matriz de
regresores que pueden o no incluirse en el modelo y β es un vector que contiene los
parámetros que se pretenden estimar. Considerando todos los posibles regresores, hay
un total de 2k modelos posibles (Mj para j = 1,2,3,…,2k) que buscan explicar y. Lo que
hace el promediado de modelos es estimar un parámetro para cada modelo Mj y calcular
el promedio de las diferentes estimaciones según lo probable que sea cada modelo:
���� = ∑ ��������� , (2)
Donde jω representa la ponderación asociada con el modelo j. En el espíritu de la
inferencia Bayesiana la ponderación asignada a cada modelo y las estimaciones
condicionales de sus parámetros estarán determinadas en base a los datos y las
probabilidades fijadas a priori. Por tanto, la distribución posterior de cualquier
coeficiente de interés (βh) en función de los datos vendrá dado por la expresión
Pβ�|D� = ∑ P!β�"M$%P!M$"D%$:'()*+ (3)
Asumiendo una probabilidad del modelo a priori )( jMP , resulta posible computar la
probabilidad posterior de cada modelo Mj como el ratio entre su probabilidad marginal y
la suma de las probabilidades marginales de todos los modelos posibles
,!-�".% = ,!."-�% /�0�
/1�= P!D"M$%
/*+�∑ /2|*3�/*3�45
367, (4)
expresión que puede transformarse fácilmente en
,!."-�% = 8 P!."��,-�% P!��"-�%9��, (5)
donde jβ es el vector de parámetros del modelo jM , )( jj MP β es una distribución de
probabilidad asignada a priori a los parámetros del modelo Mj por el investigador y
17
)( jMP es la probabilidad a priori de jM en el verdadero modelo (Raftery et al., 1997).
Siguiendo a Leamer (1978), se puede considerar que β es una function de βj para cada j
=1,...,2k, de manera que resulta posible calcular la densidad a posteriori de los
parámetros para todos los modelos considerados según la ley de la probabilidad total:
:�|.� = ∑ , ;��� !-�".%:!�"., -�%. (6)
Por tanto, la distribución a posteriori de β en la ecuación (2) es una media ponderada de
sus distribuciones a posteriori para cada uno de los modelos, donde las ponderaciones
vienen dadas por )( DMP jj =ω . Las medias posteriores estimadas de cada parámetro
(���� = ��<, ���, … , ��; ) se obtienen considerando el valor esperado en la ecuación (6):
>��│.� = ∑ ��, ;��� !-�".% (7)
con la siguiente varianza asociada
@AB!��".% = ∑ [@AB ;��� !�"., -�% + �� ],!-�".% − >�|.� . (8)
Esta varianza incluye la media ponderada de todas las varianzas estimadas de los
modelos individuales junto con la varianza ponderada en las estimaciones de los
parámetros en los diferentes modelos. Aunque el ratio entre ���� y la desviación
estándar )ˆ( MAVar β no tiene la misma distribución de los modelos de mínimos
cuadrados ordinarios tradicionales, se puede considerar que las variables con un valor
mayor que dos tienen un efecto significativo sobre la variable dependiente, puesto que
incorpora el 95% de la distribución a posteriori excluyendo el valor cero.
Al margen del modelo de regresión tradicional que se asume en la ecuación (1), donde
la variable dependiente es continua y tiene una distribución normal, pueden existir
modelos en los que la distribución de la población no adopte esta forma, por lo que el
uso del modelo anteriormente expuesto conduciría a estimaciones sesgadas e
ineficientes. Esto puede ocurrir, por ejemplo, cuando la variable de interés adopta una
forma dicotómica o categórica. En estos casos resulta necesario adaptar el modelo al uso
18
de una distribución binominal utilizando una función de enlace para convertir el modelo
en una regresión logística12.
Además, una vez que se ha estimado la probabilidad a posteriori de cada modelo, resulta
posible obtener la denominada probabilidad de inclusión a posteriori (PIP) para cada
variable k, es decir, la probabilidad de que el coeficiente asociado a la variable sea
distinto de cero. La PIP, interpretada habitualmente como una medida de la importancia
de la variable en el modelo, se calcula como la suma de las probabilidades de todos los
modelos en los que se incluye la variable k:
,�,; = ,G; ≠ 0|.� = ∑ ,!-�".%IJK< . (9)
Las variables que presentan valores de PIP más elevados son los que explican en mayor
medida la variabilidad de la variable dependiente, por tanto deben ser consideradas
como las variables explicativas más robustas. Kass & Raftery (1995) establecen una
regla general para interpretar estos valores: valores superiores al 99 % son indicativos
de un efecto muy fuerte; valores entre el 95% y el 99% implican un efecto notable;
valores entre el 75% y el 95% representan una evidencia positiva; valores entre el 50%
y el 75% reflejan un efecto débil y, finalmente, valores inferiores al 50% suponen que
no existe efecto.
Por último, debe señalarse que la correcta implementación del modelo BMA requiere
dar solución a dos aspectos problemáticos. Por un lado, las complicaciones
computacionales que pueden surgir cuando el número de variables consideradas en el
análisis es muy elevado, ya que el número de modelos a estimar crece en proporción
geométrica (2k), y por otro, la obtención de una estructura específica de los valores
asignados a priori a los parámetros y a los modelos. Si bien la explicación detallada de
las múltiples alternativas que existen para dar solución a estos problemas excede de los
objetivos de la presente investigación13, en las siguientes líneas se expone una breve
descripción de las soluciones adoptadas en el contexto específico del presente análisis
empírico implementado en el lenguaje computacional del software estadístico R. En
primer lugar, se ha optado por utilizar el algoritmo MCMC (Markov Chain Monte
12 Véase Kaplan (2014) para un análisis detallado de este proceso. 13 Véase Moral-Benito (2013) para más detalles.
19
Carlo) desarrollado por Madigan y York (1995) para reducir la carga computacional del
BMA. En particular, este método construye una cadena de Markov cuya distribución
estacionaria sea la distribución a posteriori. En segundo lugar, se utiliza la información
a priori sobre la unidad (UIP por sus siglas en inglés) sobre el espacio de los
parámetros, que atribuye la misma información al valor asignado a priori que el que se
contiene en una observación, y se asume que cada modelo tiene a priori la misma
probabilidad14.
5. Resultados
En este apartado se presentan los resultados obtenidos tras la aplicación de la técnica
BMA a las dos muestras consideradas (base de datos total y segmentada) con el fin de
identificar similitudes y divergencias entre los factores asociados con el rendimiento
educativo de la muestra total de estudiantes y el conjunto representativo de los
estudiantes procedentes de un entorno socioeconómico más adverso. A continuación,
centrándonos únicamente en la base de datos segmentada, se utiliza el modelo BMA
adaptado a una función logística para identificar los factores vinculados con la
condición de alumno resiliente o condicionado, es decir, las variables dicotómicas
representativas de los dos extremos de la distribución de resultados de los alumnos con
menor nivel socioeconómico.
En la Tabla 5 se muestra una comparativa entre los factores más relevantes identificados
por la técnica bayesiana para la base de datos completa (8.580 estudiantes) y la
segmentada (3.638 alumnos), considerando como variable dependiente en ambos casos
los resultados obtenidos en comprensión lectora, representados mediante los cinco
valores plausibles disponibles en PIRLS. Para identificar las variables que explican en
mayor medida la variabilidad de la variable dependiente nos basamos en los valores de
la probabilidad de inclusión a posteriori (PIP), mostrando únicamente aquéllos que
presentan un valor del PIP superior al 75% según el criterio descrito en el apartado
anterior.
14 Eicher et al. (2011) demuestran que estos supuestos ofrecen unos mejores resultados que cualquier otra alternativa.
20
Tabla 5. Resultados del análisis bayesiano (base completa frente a segmentada)
BAYESIANO 1 BAYESIANO 2 Muestra completa Muestra segmentada Variable PIP Variable PIP SkillRLe 100 SkillRLe 100
TRespect 100 TRespect 100 Internet 100 Internet 100
ScTEvStu 100 ScTEvStu 100 RBookFre 100 RBookFre 100 TRVocabu 100 TRVocabu 100 TelStory 100 TelStory 100 PCHDay 100 PCHDay 100
Lang 100 Lang 100 HelpRead 100 HelpRead 100
Repeat 100 Repeat 100 PCSchDay 100 PCSchDay 100 TRWhole 100 SkillRWo 95,3
TimeHWor 100 ScVillag 93,7 Sc4thStu 100 AskLearn 93,2 ScLang50 100 ScHDes25 86,7 HelpHWor 100 TRNedRem 86,7 PeerClas 100 HelpHWor 85,9 ScNStud 99,0
SkillRSe 98,8 ScComput 97,5 ScInsMin 96,1 ScVillag 96,0
ScHDes25 95,9 SkillRWo 95,3
TRPc 92,5 AskLearn 88,9 TDifLang5 88,8
TRNedRem 80,1 TRAsPlan 75,7
De los resultados ofrecidos por esta tabla 5 resaltamos el mayor número de variables
con una PIP superior al 75% en el modelo de la base de datos completa (31 variables)
frente a la base de datos segmentada (18). De hecho, todas las variables identificadas
como relevantes en la muestra segmentada también aparecen para la totalidad de los
estudiantes, por lo que, en principio, no podemos decir que haya factores específicos
asociados con el rendimiento académico de los alumnos de un nivel socioeconómico
más desfavorecido. Sin embargo, hay determinadas variables que están asociadas al
rendimiento de todos los alumnos, pero que no influyen significativamente en los de
21
nivel socioeconómico más bajo, como el número de estudiantes matriculados (en la
escuela y en el curso), el número de alumnos que no hablan la lengua del test (en la
escuela o en la clase), dedicar más de una hora al día a las tareas, que el profesor enseñe
lectura en actividades dirigidas a toda la clase o, de manera sorprendente, el efecto
compañeros, aproximado por las características socioeconómicas de los alumnos que
pertenecen a la misma clase.
En la base de datos completa, aproximadamente la mitad de las variables a considerar
son variables a nivel individual, existiendo una amplia coincidencia con los factores
señalados en el apartado dos de revisión de la literatura. Ser repetidor y tener que
dedicar más de una hora al día a las tareas puede influir en una menor motivación y
autoconfianza, en consonancia con Wayman (2002), o Borman y Overman (2004).
Podemos destacar algunos rasgos del entorno familiar también resaltados en otros
estudios, como hablar en casa una lengua distinta a la del test (como se recoge en
OCDE, 2016b), tener conexión a internet y usar el ordenador a diario, relacionados con
las conclusiones de Calero et al. (2010), o Choi y Calero (2013), en cuanto a los
recursos educativos en el hogar y su uso, o el índice socioeconómico construido, entre
otras variables. Las habilidades adquiridas antes de comenzar primaria, en concreto,
reconocer la mayoría de las letras del abecedario o leer algunas palabras y frases, fueron
apuntadas como factores de un mejor rendimiento por algunos autores destacados en el
apartado dos y reforzadas en los resultados presentes. Sin embargo, también brotan en
este análisis la importancia de las actividades desarrolladas en casa por los padres en la
etapa preescolar; ayudar con las tareas y la lectura pero, sobre todo, leer libros y contar
cuentos.
Entre los resultados de la tabla 5 para la base de datos completa, también debemos
señalar algunas variables escolares y del aula con un efecto muy fuerte (PIP = 100%).
En particular, dentro del ámbito del aula, debemos destacar que los estudiantes sean
respetuosos con los profesores, en el sentido de las buenas relaciones entre profesor y
alumno señalado por Agasisti y Longobardi (2014); la importancia del efecto
compañeros en el aula (PeerClas), de igual forma apuntado por Manski (2000), o
Sacerdote (2011), entre otros; y algunas estrategias y prácticas docentes (como destacan
Tajalli y Opheim, 2004), como enseñar vocabulario nuevo de forma sistemática o llevar
a cabo algunas actividades de lectura para toda la clase y, otras, de forma independiente
en un plan asignado. Otras variables, como disponer de ordenador en clase, contar con
22
más de cinco alumnos que tengan dificultades idiomáticas en el aula, o el mayor número
de estudiantes que necesitan apoyo en la lectura, presentan un efecto notable y deben ser
tenidas en cuenta. En relación al conjunto de la escuela y su entorno, el número de
estudiantes en la escuela y matriculados en cuarto curso, si se trata de un centro donde
el 50%, o menos, de los estudiantes hablan la lengua del test, usar el ordenador a diario
en el ámbito escolar, o que el profesorado sea evaluado atendiendo al rendimiento de los
alumnos, son factores que presentan un efecto fuerte. Con un efecto notable debe ser
considerado el número de ordenadores disponibles para su uso en cuarto curso, el
tiempo dedicado a clases al día, si el centro está ubicado en un pueblo con menos de
quince mil habitantes (entre los factores señalados en OCDE, 2016a), o si más del 25%
de los estudiantes proceden de hogares desfavorecidos (en relación a las variables
señaladas por Alivernini, 2013).
Entre las variables que influyen en los resultados de los alumnos más desfavorecidos,
casi dos tercios corresponden a variables individuales del estudiante y de su entorno
familiar, lo que nos lleva a pensar que las principales medidas de política educativa
dirigidas a los alumnos más desfavorecidos deben concentrarse en su propio contexto
familiar. Entre estas variables influyentes destacan el hecho de ser repetidor, hablar una
lengua distinta en casa y, sobre todo, las habilidades adquiridas antes de comenzar la
educación primaria (reconocer letras o leer palabras) o las actividades desarrolladas por
los padres en esas etapas, como leerles libros con frecuencia, contarles cuentos, o
ayudarles con las tareas o la lectura. También algunas posesiones, como disponer de
conexión a internet, y el uso del ordenador en casa a diario. En el entorno del aula,
resaltamos el respeto hacia el profesorado y determinadas estrategias de enseñanza
implementadas por los profesores, como enseñar vocabulario nuevo de forma
sistemática o el número de estudiantes que necesitan apoyo en la lectura en el aula. Por
último, respecto a las variables de la escuela, cabe señalar el hecho de que los
profesores sean evaluados por los alumnos, que el centro se localice en un pueblo con
menos de quince mil habitantes, el uso a diario del ordenador en el colegio, o que más
del 25% de los estudiantes procedan de hogares desfavorecidos.
En la Tabla 6 se muestran los resultados del análisis bayesiano aplicado a la base de
datos segmentada comparando los resultados del modelo anterior con los que tienen
como variable dependiente una variable dicotómica (resiliente y condicionado). Si nos
23
fijamos en la comparación entre estos dos últimos modelos, se aprecian divergencias
notables, como cabía esperar, tanto en número de variables seleccionadas (13 en el
primer caso y 19 en el segundo), como en la composición de dichas variables, con un
claro protagonismo de las variables individuales en el análisis bayesiano con resilientes
y una composición más equilibrada en el caso de los alumnos condicionados, para los
que podemos destacar un mayor número de factores asociados al aula y al centro.
Un aspecto destacado es que tanto en el caso de los alumnos resilientes como en los
condicionados, el efecto compañero sí que aparece como un factor influyente, lo que
nos indica que el entorno de la clase sólo resulta influyente para los dos extremos de la
distribución de alumnos con un bajo nivel socioeconómico, mientras que no se
considera relevante para explicar los resultados académicos del conjunto de los alumnos
de esta base segmentada para este nivel.
Tabla 6. Resultados del análisis bayesiano con base segmentada. Comparativa entre variable dependiente continua y dicotómicas (resiliente y condicionado)
BAYESIANO 2 BAYESIANO 3 (Logit) BAYESIANO 4 (Logit)
V.Dep. continua V.Dep. Resiliente V. Dep. Condicionado
VARIABLE PIP VARIABLE PIP VARIABLE PIP
SkillRLe 100 SkillRLe 100 Lang 100
TRespect 100 Internet 100 Repeat 100
ScTEvStu 100 HelpRead 100 PCSchDay 100
RBookFre 100 PCHDay 100 RBookFre 100
Internet 100 Repeat 100 TelStory 100
TRVocabu 100 PCSchDay 100 HelpRead 100
ScVillag 100 PeerClas 100 SkillRLe 100
PCHDay 100 TRespect 93,7 Trespect 100
Lang 100 RBookFre 90 TRVocabu 100
HelpRead 100 HelpHWor 88,7 PeerClas 100
Repeat 100 ScLowInc 85,6 ScHDes25 100
PCSchDay 100 TelStory 82,4 ScTEvStu 100
SkillRWo 95,3
ScVillag 98
TelStory 93,7 TRNedRem 90,9
AskLearn 93,2 ScInsMin 87,2
ScHDes25 86,7 TRSBookC 80,7
TRNedRem 86,7 Sc4thStu 78,1
HelpHWor 85,9 ScComput 76,6
AskLearn 76,3
24
La mayoría de las variables que aparecen asociadas con la condición de resiliente ya
aparecían en el modelo anterior, con la excepción del efecto compañero. Pero si nos
fijamos en las divergencias entre los modelos 3 y 4, resulta posible identificar algunas
claves que pueden ayudarnos a explicar por qué unos alumnos tienen éxito y otros no,
perteneciendo ambos a un entorno socioeconómico poco favorecedor. Entre las
características individuales y del entorno familiar, entre los resilientes destacan algunas
posesiones en el hogar, como disponer de internet, usar el ordenador a diario, o no
contar con libros en la lengua del test, mientras que entre los condicionados el hecho de
hablar una lengua distinta en el hogar resulta un factor clave para explicar sus
problemas de aprendizaje. Presentan gran relevancia y coincidencia en ambos grupos,
resilientes y condicionados, las actividades desarrolladas por los padres en la etapa
preescolar, leer libros y contar historias, especialmente; o la ayuda con la lectura y, de
igual forma, las habilidades adquiridas por los alumnos antes de primaria, destacando el
reconocimiento de la mayoría de letras del abecedario. Sin embargo, aunque también
existen coincidencias, son los niveles de aula y escuela donde ambos grupos presentan
mayores divergencias. De esta forma, el efecto compañeros y el respeto hacia el
profesorado son dos factores relevantes en ambos grupos, sin embargo, algunas
variables parecen incidir especialmente en el grupo del alumnado condicionado, como
el número de alumnos que necesitan apoyo a la lectura en clase y algunas prácticas
docentes, como enseñar vocabulario nuevo de forma sistemática o dar tiempo para que
lean libros de su propia elección. Finalmente, en el entorno escolar también hay
coincidencias, el uso del ordenador a diario en la escuela o que el entorno inmediato de
la escuela sea de ingreso bajo o procedan de hogares desfavorecidos. Pero, de nuevo,
encontramos variables que parecen influir de forma particular al grupo de alumnos y
alumnas condicionados. Que la escuela se sitúe en una localidad pequeña, el número de
estudiantes de cuarto curso, el tiempo de clase al día, el número de ordenadores en la
escuela para cuarto curso, o que el profesorado sea evaluado atendiendo al rendimiento
de los alumnos.
6. Conclusiones
Con el ánimo de aportar evidencia empírica en el estudio de los factores condicionantes
del rendimiento en comprensión lectora de los alumnos y alumnas de cuarto de primaria
25
procedentes de un entorno socioeconómico desfavorecido, el presente trabajo, centrado
en la base de datos PIRLS 2011, ofrece los resultados de un conjunto de estimaciones
que nos permiten conocer cuáles son las variables más estrechamente relacionadas con
dicho rendimiento, diferenciando dos grupos de alumnos y alumnas especialmente
relevantes dentro de aquellos que tienen un entorno socioeconómico más
desfavorecidos, los resilientes y los condicionados.
En este sentido, el análisis bayesiano resulta ser una herramienta fundamental y acertada
en la reducción de la incertidumbre en el proceso de selección de las variables más
idóneas para construir modelos y poder llevar a cabo las estimaciones oportunas con
mayor robustez y garantías, evitando de esta manera problemas de multicolinealidad.
Muestra de ello, son las variables que presentan una evidencia clara para ser
consideradas dependientes tras los resultados del análisis bayesiano en concordancia
con las conclusiones obtenidas en la mayoría de los estudios señalados en el apartado de
revisión bibliográfica. A pesar de esta coincidencia, también existen factores novedosos
en el análisis que presentamos que deben ser tenidos en consideración en estudios
posteriores, como señalaremos en los puntos siguientes.
Todas las variables destacadas en la aplicación del análisis bayesiano a la muestra
segmentada para el nivel socioeconómico más bajo también aparecen en los resultados
de la base de datos para todos los alumnos, lo que nos hace pensar que no hay factores
específicos exclusivos de este nivel. Sin embargo, estos resultados han de ser matizados
con los extremos de la distribución, es decir, con los grupos de alumnos resilientes y
condicionados. La mayor parte de estas variables se ubican en el nivel de las
características propias del alumno y su entorno familiar, por lo que debemos resaltar la
necesidad de actuación en este ámbito particular para evitar el fracaso y abandono
escolar, como a continuación se expresa.
En relación a las similitudes y divergencias entre los resultados de la base de datos para
todos los estudiantes y la base segmentada, podemos destacar la coincidencia en
algunos factores relevantes e influyentes. Entre las características personales, ser
repetidor es un rasgo fundamental a considerar en ambos casos y también al tener en
cuenta las variables dependientes dicotómicas resilientes y condicionados. Además, esta
característica puede tener una repercusión directa sobre otros factores que la literatura
26
también resalta, como la motivación y la autoconfianza, lo que nos lleva a reflexionar
sobre la conveniencia de dicha estrategia educativa. Hablar en casa una lengua distinta a
la del test también destaca como variable a considerar en la base completa y
segmentada, así como en el caso de los alumnos y alumnas condicionados; y algunas
posesiones del hogar como disponer de conexión a internet o el uso del ordenador a
diario en casa.
Sin embargo, hay algo en lo que queremos incidir de forma particular, dada su
importancia en la etapa preescolar, que resalta en los resultados obtenidos en todos los
modelos: las habilidades adquiridas antes de primaria, en particular, reconocer la
mayoría de letras del abecedario, y las actividades desarrolladas en casa por los padres,
poniendo el foco en la lectura de libros de forma frecuente, contar cuentos e historias,
así como la ayuda a la lectura.
Las mayores divergencias surgen en el ámbito escolar y del aula, aunque también
encontramos coincidencias. En el ámbito del aula, destacamos que una relación cordial
y de respeto hacia el profesorado es un rasgo común a considerar en todos los modelos.
El efecto compañeros es una variable claramente influyente, con un efecto fuerte, en la
base de datos completa y, aunque no lo sea en la segmentada, también es un factor a
considerar entre los alumnos y alumnas resilientes y condicionados. Destacan también
determinadas estrategias docentes, no tanto en el grupo de los resilientes, pero sí
claramente en la muestra con todos los alumnos, en la segmentada para el menor nivel
socioeconómico, y entre los alumnos y alumnas condicionados, especialmente, la
enseñanza sistemática de vocabulario nuevo. Por otro lado, en el entorno escolar, el uso
del ordenador a diario en la escuela se muestra como una variable a tener en cuenta en
todos los modelos, apuntando la necesidad de profundizar en el estudio del uso de la
tecnología en el ámbito educativo. De igual manera, destaca que el centro se ubique en
un entorno con un bajo nivel de ingresos o que más del 25% de los estudiantes procedan
de hogares desfavorecidos. Que el profesorado sea evaluado en función del logro de los
estudiantes, o que el centro se localice en un pueblo pequeño, son factores que destacan
entre los resultados de la base completa, segmentada y en el grupo de alumnos
condicionados, no tanto entre los resilientes.
27
Finalmente, queremos dejar constancia sobre las cautelas que deben mantenerse a la
hora de interpretar estos resultados procedentes de una muestra de sección cruzada en
términos de causalidad. Consideramos, por tanto, que la toma de decisiones de política
educativa debe estar basada en trabajos experimentales o cuasi-experimentales en los
que sí resulta posible identificar relaciones de causalidad subyacentes. En este sentido,
debemos subrayar que este estudio no pretende explicar las razones específicas por las
que se producen los fenómenos que se han identificado. No obstante, se ofrece una
amplia descripción de las características de los grupos más vulnerables que requieren
una mayor investigación y atención por parte de las autoridades educativas.
Por otro lado, las pruebas de evaluación de sexto de primaria constituyen una
oportunidad para evaluar el logro de competencias básicas en una etapa crucial en el
proceso educativo y, en la medida que se difundan y publiquen sus resultados, más que
para la elaboración de rankings educativos entre Comunidades Autónomas, o
condicionar la nota de los alumnos, pueden ser aprovechadas para indagar en los
factores determinantes del éxito en el logro de tales competencias, o de las carencias y
dificultades en su consecución en esta primera etapa, con el objetivo último de
conseguir reducir las tasas de abandono escolar temprano y evitar el fracaso escolar en
etapas posteriores.
28
Referencias bibliográficas
Aarnoutse, C., van Leeuwe, J., Verhoeven, L. (2005). Early literacy from a longitudinal perspective, Educational Research and Evaluation, 11(3), 253-275.
Agasisti, T. y Cordero, J. (2016). The determinants of repetition rates in European countries: early skills or subsequent parents’ help? Insights from an empirical analysis using PIRLS 2011 data, Journal of Policy Modeling, en prensa.
Agasisti, T. y Longobardi, S. (2014a). Inequality in education: can Italian disadvantaged students close the gap?, Journal of Behavioral and Experimental Economics, 52, 8-20.
Agasisti, T. y Longobardi, S. (2014b). Educational institutions, resources, and students' resiliency: an empirical study about OECD countries, Economics Bulletin, 34(2), 1055-1067.
Alivernini, F. (2013). An exploration of the gap between highest and lowest ability readers across 20 countries. Educational Studies, 39(4), 399-417.
Alivernini, F. y Manganelli, S. (2015). A Multilevel Structural Equation Model Testing the Influences of Socio-Economic Status and Pre-Primary Education on Reading Literacy in Italy. Procedia-Social and Behavioral Sciences, 205, 168-172.
Betancor, S. M. G., & López-Puig, A. J. (2015). Escolarización temprana, trimestre de nacimiento y rendimiento educativo en educación primaria. Revista de Educación, 369, 159-183.
Borman, G.D. y Overman, L.T. (2004). Academic resilience in mathematics among poor and minority students. The Elementary School Journal, 177-195.
Bryk, A.S. y Raudenbush, S.W. (1992). Hierarchical Linear Models. Applications and Data Analysis Methods, Thousand Oaks (CA): Sage Publications.
Campbell, E.Q., Hobson, C.J., Mc Partland, J., Mood, A.M., Weinfeld, F.D., y York, R. (1966). Equality of Educational Opportunity. Washington: Office of Education.
Calero, J., Choi, A. y Waisgrais, S. (2010). Determinantes del riesgo de fracaso escolar en España: una aproximación a través de un análisis logístico multinivel aplicado a PISA-2006, Revista de Educación, núm. extraordinario, 225-256.
Carabaña, J. (2015). Repetir hasta 4º de Primaria: determinantes cognitivos y sociales según PIRLS. RASE: Revista de la Asociación de Sociología de la Educación, 8(1), 7-27.
Choi, A. y Jerrim, J. (2016). The use (and misuse) of PISA in guiding policy reform: the case of Spain, Comparative Education, en prensa.
29
Chudgar, A., Luschei, T.F. y Fagioli, L. (2014). A Call for Consensus in the Use of Student Socioeconomic Status Measures in Cross-National Research using the Trends in International Mathematics and Science Study (TIMSS), Teachers College Record, June 16.
Cordero, J. M., Manchón, C. y Simancas, R. (2012). Análisis de los condicionantes del rendimiento educativo de los alumnos españoles en PISA 2009 mediante técnicas multinivel. Presupuesto y Gasto Público, 67, 71-96.
Cordero, J.M. y Manchón, C. (2014). Factores explicativos del rendimiento en educación primaria: un análisis a partir de TIMSS 2011. Estudios sobre Educación, 27, 9-35.
Cordero, J. M., Pedraja, F. y Simancas, R. (2015). Factores del éxito escolar en condiciones socioeconómicas desfavorables, Revista de Educación, 370, 172-198.
Corral, N., Zurbano, E., Blanco, A., García, I. y Ramos, A.B. (2012). Estructura del entorno educativo familiar: su influencia sobre el rendimiento y el rendimiento diferencial. En PIRLS-TIMSS 2011 Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias, Volumen II: Informe español, Análisis Secundario. Instituto Nacional de Evaluación Educativa, Madrid.
Cowan, C. D., Hauser, R. M., Kominski, R. A., Levin, H. M., Lucas, S. R., Morgan, S. L., Spencer, M. B. y Chapman, C. (2012). Improving the measurement of socioeconomic status for the National Assessment of Educational Progress: A theoretical foundation (Recommendations for the National Center for Education Statistics). Washington, DC: National Center for Education Statistics.
Cunha, F., Heckman, J. J., & Schennach, S. M. (2010). Estimating the technology of cognitive and noncognitive skill formation. Econometrica, 78(3), 883-931.
Doppelhofer, G., Miller, R. y Sala-i-Martin, X. (2003). Determinants of Long-Term Growth: A Bayesian Averaging of Classical Estimates (BACE) Approach. American Economic Review.
Durlauf, S. N., Kourtellos, A. y Tan, C. M. (2008). Are Any Growth Theories Robust?, The Economic Journal, 118(527), 329-346.
Eicher, T. S., Papageorgiou, C. y Raftery, A. E. (2011). Default priors and predictive performance in Bayesian model averaging, with application to growth determinants, Journal of Applied Econometrics, 26(1), 30-55.
Fernandez, C., Ley, E. y Steel, M. F. (2001). Model uncertainty in cross-country growth regressions, Journal of Applied Econometrics, 16(5), 563-576.
García-Fontes, W. (2012). Efectos de los hábitos de lectura familiares sobre los resultados académicos en PIRLS 2011. En PIRLS-TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. Volumen II: Informe español. Análisis Secundario. Instituto Nacional de Evaluación Educativa, Madrid.
30
García Montalvo, J.J. (2012). Nivel socioeconómico, tipo de escuela y resultados educativos en España: el caso de TIMSS PIRLS 2011. En PIRLS-TIMSS 2011. Estudio Internacional de progreso en comprensión lectora, matemáticas y ciencias. Volumen II: Informe español. Análisis Secundario. Instituto Nacional de Evaluación Educativa, Madrid.
Gil-Flores, J. (2013). Medición del nivel socioeconómico familiar en el alumnado de Educación Primaria, Revista de educación, (362), 298-322.
Goldstein, H. (1995). Multilevel statistical models (2nd edition). New York: Wiley Publishers.
Harwell, M. y LeBeau, B. (2010). Student eligibility for a free lunch as an SES measure in education research.Educational Researcher, 39(2), 120–131.
Hauser, R. M. (1994). Measuring socio economic status in studies of child development. Child Development, 65(6), 1541-1545.
Hidalgo, A., & Lopez-Mayan, C. (2015). Teaching styles and achievement: student and teacher perspectives. Working Paper 2/2015, Universidad Autónoma de Madrid.
Hoeting, J. A., Madigan, D., Raftery, A. E. y Volinsky, C. T. (1999). Bayesian model averaging: a tutorial. Statistical Science, 382-401.
Hox, J. (1995). Applied Multilevel Analysis. Amsterdam: TT-Publikaties.
Instituto Nacional de Evaluación Educativa (2013). PIRLS-TIMSS 2011. Estudio Internacional de Progreso en Comprensión Lectora, Matemáticas y Ciencias. Volumen I: Informe Español, Ministerio de Educación, Cultura y Deporte, Madrid.
Instituto Nacional de Evaluación Educativa (2016). PIRLS 2016. Marco de Evaluación (2ª Edición), Ministerio de Educación, Cultura y Deporte, Madrid.
Kaplan, D. (2014). Bayesian statistics for the social sciences, The Guilford Press, New York.
Knighton, T. y Bussière, P. (2006). Educational outcomes at age 19 associated with reading ability at age 15. Ottawa: Statistics Canada.
Krovetz, M.L. (2007). Fostering resilience: Expecting all students to use their minds and hearts well. Corwin Press.
Leamer, E. (1978). Specification searches: Ad hoc inference with non-experimental data, Wiley, New York.
Lenkeit, J., Chan, J., Hopfenbeck, T.N. y Baird, J. (2015). A review of the representation of PIRLS related research in scientific journals, Educational Research Review, 16, 102-115.
31
Ley Orgánica 2/2006, de 3 de mayo, de Educación (BOE núm. 106, de 4 de mayo de 2006).
Ley Orgánica 8/2013, de 9 de diciembre, para la Mejora de la Calidad Educativa (BOE núm. 295, de 10 de diciembre de 2013).
Machin, S. y McNally, S. (2008). The literacy hour. Journal of Public Economics, 92(5), 1441-1462.
Madigan, D. y York, J. (1995): Bayesian Graphical Models for Discrete Data, International Statistical Review, 63, 215-232.
Manski, C. F. (2000). Economic Analysis of Social Interactions, Journal of Economic Perspectives, 14, 115-136.
Martin, A.J. y Marsh, H.W. (2006). Academic resilience and its psychological and educational correlates: A construct validity approach, Psychology in the Schools, 43(3), 267-281.
Masten, A.S. y Coatsworth, J.D. (1998). The development of competence in favorable and unfavorable environments: Lessons from research on successful children. American Psychologist, 53(2), 205.
Mullis, I., Martin, M., Kennedy, A., Trong, K. y Sainsbury, M. (2009). PIRLS 2011 Assessment Framework. TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College.
OECD (2016a). Society at a Glance 2016: OECD Social Indicators, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264261488-en
OECD (2016b). Low performing students: Why they fall behind and how to help them succeed, PISA, OECD Publishing, Paris.
Rasch, G. (1960/1980). Probabilistic models for some intelligence and attainment tests, Copenhagen, Danish Institute for Educational Research, Expanded edition (1980), The University of Chicago Press.
Raftery, A.E. (1995). Bayesian model selection in social research. Sociological Methodology, 25, 111-164.
Raftery, A.E., Madigan, D. y Hoeting, J.A. (1997). Bayesian model averaging for linear regression models, Journal of the American Statistical Association, 92, 179-191.
Raudenbush, S., Bryk, A., Cheong, Y. y Congdon, R. (2004). HLM 6 (Manual), Lincolnwood (IL): Scientific Software International.
Robinson, G.E. (1990). Synthesis of research on effects of class size. Educational Leadership, 47(7), 80-90.
32
Sacerdote, B. (2011). Peer effects in education: How might they work, how big are they and how much do we know thus far? En Hanushek, E.A., Machin, S.J. and Woessmann, L. (eds.). Handbook of the Economics of Education, 3: 249-277, North-Holland: Amsterdam.
Sala-i-Martin, X., Doppelhofer, G. y Miller, R. (2004). Determinants of Long-Term Growth: A Bayesian Averaging of Classical Estimates (BACE) Approach, American Economic Review, 94(4), 813-835.
Santín, D. y Sicilia, G. (2014). ‘¡Quiero cambiar a mi hijo de grupo!’. Factores explicativos de la eficiencia técnica de los colegios en España. Revista de Evaluación de Programas y Políticas Públicas, (2), 79-109.
Santín, D. y Sicilia, G. (2015). El impacto de la educación infantil en los resultados de primaria: evidencia para España a partir de un experimento natural. En Esteban, M. (coord.) Reflexiones sobre el sistema educativo español, Fundación Europea Sociedad y Educación, Madrid, pp. 45-74.
Santín, D. y Sicilia, G. (2016). Does family structure affect children's academic outcomes? Evidence for Spain. The Social Science Journal, en prensa.
Sirin, S.R. (2005). Socioeconomic status and academic achievement: A meta-analytic review of research, Review of Educational Research, 75(3), 417–453.
Smith, P. y Mayston, D. (1987). Measuring Efficiency in the Public Sector. OMEGA International Journal of Management Science, 15, 181-189.
Tajalli, H. y Opheim, C. (2004). Strategies for closing the gap: predicting student performances in economically disadvantaged schools. Educational Research Quarterly, 28(4), 44-54.
Van Damme, J., Liu, H., Vanhee, L. y Pustjens, H. (2010). Longitudinal studies at the country level as a new approach to educational effectiveness: explaining change in reading achievement (PIRLS) by change in age, socioeconomic status and class size. Effective Education, 2(1), 53-84.
Wang, M.C., Haertel, G.D. y Walberg, H.J. (1994). Educational resilience in inner cities. En Wang, M.C., Gordon, E.W. (eds.). Educational resilience in inner-city America: Challenges and prospects, Hillsdale, NJ: Erlbaum, 45-72.
Wayman, J. C. (2002). The utility of educational resilience for studying degree attainment in school dropouts. The Journal of Educational Research, 95(3), 167-178.
Weinberger, J. (1996). Literacy goes to school: The parents' role in young children's literacy learning. SAGE Publications.
33
Willms, J. D. (2003). Ten Hypotheses about Socioeconomic Gradients and Community Differences in Children’s Developmental Outcomes. Final Report. Applied Research Branch. Strategic Policy. Human Resources Development. Canada.
Willms, J.D. y Smith, T. (2005). A Manual for Conducting Analyses with Data from TIMMS and PISA, Report prepared for UNESCO Institute for Statistics.
Wu, M. (2010). Measurement, Sampling, and Equating Errors in Large Scale Assessments. Educational Measurement: Issues and Practice, 29, (4), 15–27.
Yang, Y. y Gustafsson, J.E. (2004). Measuring socioeconomic status at individual and collective levels. Educational Research and Evaluation, 10(3), 259-288.