bases de datos de excale

Bases de datos de ExcaleTaller sobre el uso de las bases de datos del

INEE. EXCALE y PISACiudad de México, 24, 25 y 26 de septiembre de

2012

Puntos a tratar

• ¿A quienes evalúamos?• Los instrumentos de los Excale• El tipo de archivos• Tipos de variables incluidas• Datos perdidos• Ejercicio. Descarga de bases• Relación entre bases• Analizando los datos del Excale

¿A quienes evaluamos?Población objetivo: • Alumnos de todo el país del grado escolar evaluado• Se excluyen alumnos: migrantes y que no puedan resolver las pruebas por alguna

discapacidad. En preescolar no se evalúan los alumnos de Educación Indigena• Además, se recolecta información de padres, docentes y directores

Nivel de desagregación de resultados (dominios de estudio):• Nacional• Por estrato escolar o modalidad• Por estado (entidad federativa)• Por modalidad-estado(no se refieren a representatividad)

Se selecciona una muestra de alumnos y a partir de sus resultados se hace la inferencia hacia la población objetivo

¿A quienes evaluamos?Estratos escolares o modalidades:

SEP/Tipo SEP/SostenimientoPrimariasIndígena EI Administradas por la DGEI Educación IndígenaCominitario CC Administradas por CONAFE Cursos comunitarios

Urbano público UPPrimarias generales públicas en poblaciones de 2500 hab o más

Rural público RPPrimarias generales públicas en poblaciones de menos de 2500 hab

Privado UPV Primarias generales privadas Privado

SecundariasGenerales GRAL Secundarias públicas generales General PúblicoTécnicas TEC Secundarias públicas técnicas TécnicaTelesecundarias TV Secundarias públicas telesecundarias TelesecundariaPrivadas PRIV Secundarias privadas Gral, Téc, TV Privado

General

Público

INEE

¿A quienes evaluamos?

¿Por qué el INEE solamente trabaja con muestras de alumnos?

Para evaluar al Sistema Educativo no hace falta evaluar a cada uno de los alumnos

Las evaluaciones muestrales son confiables y económicas En los censos es difícil controlar la fuga de información En los censos es difícil homologar las condiciones de

aplicación de las pruebas

Desventajas: Se requiere de muestreos ‘complejos’ Se requieren técnicas de análisis especializadas

Instrumentos de los Excale

• Pruebas de logro de alumnos

• Cuestionarios para ...– alumnos, (todos el mismo)– padres (sólo en preescolar)– Docentes (no siempre)– Directores

Pruebas de logro de los alumnos

• La mayoría…• Pruebas matriciales. Cada alumno solamente

resuelve un subconjunto de la prueba.• Preguntas de opción múltiple. De 4 opciones

• Excepciones:• Expresión escrita: no matricial, se definen

criterios de calificación (rúbricas)• Preguntas de crédito parcial

E Pruebas de logro de los alumnosEjemplo de diseño matricial:Excale-03 2010, Español

Forma Aspecto o identificación Sigla(s) Bloque1 Bloque2 Bloque3 Bloque1 Bloque2 Bloque31 Español E 1 2 6 PEA PEB PEF2 Español E 2 3 7 PEB PEC PEG3 Español E 3 4 8 PEC PED PEH4 Español E 4 5 9 PED PEE PEI5 Español E 5 6 10 PEE PEF PEJ6 Español E 6 7 11 PEF PEG PEK7 Español E 7 8 12 PEG PEH PEL8 Español E 8 9 13 PEH PEI PEM9 Español E 9 10 1 PEI PEJ PEA10 Español E 10 11 2 PEJ PEK PEB11 Español E 11 12 3 PEK PEL PEC12 Español E 12 13 4 PEL PEM PED13 Español E 13 1 5 PEM PEA PEE

Cuestionarios … variablesSe pretende entender un poco más…

Alumno y su familia• Capital económico

• Capital cultural

• Clima familiar

• Antecedentes escolares

• Tareas

• Motivación

• Lengua indígena

• Labores domésticas

• Trabajo remunerado

• Etc...

Docentes• Perfil personal

• Perfil profesional

• Condiciones laborales

Salón de clases• Prácticas de instrucción

• Tiempo de instrucción

• Motivación

• Interacción alumno-docente

• Clima

• Disciplina

• Tamaño del grupo

Cuestionarios … variables

Escuela

• Organización• Clima• Relaciones entre docentes• Función directiva• Trabajo colegiado• Participación de los padres• Etc. ,etc.

¿Qué información se tiene?• Alumnos (Bases de datos)

– Respuestas calificadas de preguntas de logro– Puntajes de logro ‘escalados’ (200-800). ‘Valores plausibles’ (reduce sesgos)– Respuestas al cuestionario de aspectos de ‘contexto’ – Sexo, edad, …

• Docentes (Bases de datos)– Respuestas a cuestionario de ‘contexto’

• Directores (Bases de datos)– Respuestas a cuestionario de ‘contexto’

• Cuestionarios PDF

• Resultados de logro (XLS) NUEVO. Excale-06 2009 y Excale-03 2010

• Porcentajes de respuesta de cuestionarios (XLS) NUEVO. Excale-06 2009 y Excale-03 2010

• Toda la información proviene de muestras• Las bases de datos son anónimas, no permiten identificar a individuos o escuelas que participaron

LEY FEDERAL DE TRANSPARENCIA Y ACCESO A LA INFORMACIÓN PÚBLICA GUBERNAMENTAL

El tipo de archivos de bases• Formato:

– .Txt (excepto ciclo escolar 2004-2005 SPSS)• Se incluye sintaxis para construir las bases de datos en dos formatos:

– .SAV (SPSS)– .SAS7BDAT (SAS)

• A la sintaxis solamente se le tiene que hacer un pequeño ajuste para indicar la ‘ruta’ en donde se encuentran los archivos y en donde se quiere grabar la base ya construida.

• La sintaxis incluye:– La ubicación de las variables en el archivo txt– El formato de las variables: cadena, numérico, etc– La definición de los valores ‘perdidos’– Las etiquetas de las variables y los valores que toman las variables en el cuestionario

Los resultados entán en Excel y los cuestionarios en PDF

• Todas y cada una de las variables incluidas están etiquetadas

Tipos de variables incluidas

• De identificación• Respuestas a preguntas de logro• Respuestas a preguntas del cuestionario• De puntajes escalados• Del diseño muestral• De ponderación• Utilitarias

Tipos de variables incluidas• De identificación

– Alumno. Del 1 hasta ... (aleatorio)– Docente. Del 1 hasta ... (aleatorio)– Escuela. Del 1 hasta ... (aleatorio)– id_ent. Código de la entidad federativa (1-32)– nom_ent. Nombre de la entidad (Ags-Zac)– id_mod. Código de la modalidad– Mod. Modalidad (Primaria o Preescolar)

• UP. Escuelas urbanas públicas (Pob mayor o igual a 2500 Hab)• RP. Escuelas rurales públicas• EI. Educación Indígena• CC. Cursos comunitarios• UPV. Privadas

Tipos de variables incluidas• De identificación

– Mod. Modalidad (Secunaria)• GRAL. Secundaria General• TEC. Secundaria Técnica• TV. Telesecundaria• PRIV. Privada

– Turno_es. Turno de la escuela (1 Mat, 2 Vesp, 3 Disc, 5 mixto)

Tipos de variables incluidas• Respuestas a preguntas de logro

– Ya calificadas en 0 y 1 (Dicotómicas) ó 0, 1 y 2 (Crédito parcial)

– En las pruebas matriciales, el nombre de la variable indica la ubicación dentro del diseño• Ejemplo: PMA01 indica...

– P, es de primaria. (S sec y E prees)– M, de matemáticas. (E esp, C FCE, N de

CN)– A01, es el reactivo 1 del bloque A

Tipos de variables incluidas• Respuestas a preguntas del cuestionario

– El nombre de la variable indica el...• encuestado (A alumno, P profesor, D

director y T padre o tutor)• nivel (preescolar E, promaria P, secundaria S)

Ejemplo: AP001 indica que es una pregunta para el alumno del cuestionario de primaria.– Además se incluye: sexo, edad en ac, edad

normativa

Tipos de variables incluidas• De puntajes escalados

Valores plausibles.- son cinco variables que conforman la escala de logro. Esta escala por definición tiene media 500 y desviación estándar 100, dentro de un rango aprox. de 200 a 800 (primera evaluación)

PV1Esp, ... PV5Esp; PV1Mat,..., PV5Mat;....

Para algunos casos de Expresión escrita se han utilizado los ‘valores plausibles’.

Niveles de logro . Los niveles de logro son cuatro: por debajo del básico, básico, medio y avanzado. A cada ‘valor plausible’ se le asocia con una variable ‘nivel de logro’ que toma los valores 1 , 2, 3 ó 4 dependiendo del valor del valor plausible en particular.

EspNVL1,..., EspNVL5; MatNVL1,... MatNVL5

Tipos de variables incluidas• Del diseño muestral

– ENTEST. Estrato muestreal. Forma en que se subdividió la muestra para aumentar su eficiencia. En general para los Excale se considera la entidad con la modalidad educativa.

– ENTESTDOM. Indica si la subdivisión del estrato muestral fue diseñada para dar resultados hasta esa división. Los casos en donde no, se marcan como 99999.

De ponderación• w_alu.- Ponderador de los alumnos, y se calcula por cada

asignatura y uno para la bases de contexto. Siempre que se quiere analizar el logro se toma el ponderador de la asignatura, aún contrastando con variables de contexto. Se construye considerando las dos etapas de muestreo, por lo que no es necesario considerar el ponderador de escuelas.

• w_esc.- Ponderador de las escuelas y los directores.• w_doc.- Ponderador de docentes. • w_fstr1 – w_fstr80.- son los ponderadores de replicación

BRR, los cuales son 80. Se utilizan para estimar el error estándar utilizando el método Balanced Repeated Replication. A partir del Excale-03 2010 ya se empezó a utilizar 100 (para el cuestionario de alumnos)

Tipos de variables incluidas

Datos perdidos

• 5 .- no alcanzó a responder ese reactivo (muy raro)

• 6 .- hubo un error en la impresión y se considera como no administrado o es ilegible (escritura)

• 7 .- ese reactivo no se administró• 8, 98 .- respuesta múltiple• 9, 99 .- respuesta omitida

Portal web del INEE

Ejercicio. Descarga de bases (5 min)

• Descargar las archivos de datos del Excale-03. Ciclo escolar 2009-2010– Cuestionario de alumnos, docentes, directores

(PDF)

• Excale-03 Alumnos. Español, Mat, CN y FCE• Excale-03 Alumnos, Cuestionario• Excale-03 Docentes y Directores, Cuestionario• Excale-03 Cuestionarios PDF• Excale-03 Resultados XLS

Ejercicio. Descarga de bases

Ejercicio. Descarga de basesBase de alumnos Logro CN, Excale-03 2010

Ejercicio. Descarga de basesBase de Alumnos

Excale-03 2010

Ejercicio. Descarga de basesCuestionario PDF de AlumnosExcale-03 2010

Ejercicio. Descarga de basesBase de Docentes, Excale-03 2010

Ejercicio. Descarga de basesCuestionario PDF Docentes, Excale-03 2010

Ejercicio. Descarga de basesResultados logro

Ejercicio. Descarga de basesPorcentajede respuesta de cuestionarios

La comparabilidad de resultadosExcale-09, 2005-2012

2005 20122008

A B C

A B

Itemscomunes Items

comunes

Pob.común Pob.

común

Cambio curricular

Relación entre bases

• Las bases contienen las 'ligas' para poder unirlas entre sí.

Español

Mate

FCE

CN

Cuestionario del alumno o padre

Cuestionario de Docentes

Cuestionariode Directores

escuela

docentealumno

Analizando los datos del Excale

• Sobre el analisis e interpretación en general

– ¿Qué se puede o debe decir?– ¿Qué NO se puede o NO se debe decir?


• Esencialmente el Excale es un estudio que recoge información sobre lo que los estudiantes saben del currículo, además...

• recolecta información sobre las características de las escuelas, sobre sus directores y sobre sus alumnos, sus opiniones y, en general, el contexto en que se desarrolla la acción educativa.

• Los datos recolectados por los Excale tienen un invaluable poder descriptivo

• Se pueden hacer afirmaciones sobre la asociación del logro con diversas variables entre sí o entre ellas, no de causalidad


• Los EXCALE no son experimentos– No se controla la asignación de los alumnos,

docentes o directores a 'grupos' de tratamiento– Los eventos ya han pasado y solamente se registra

lo que ha pasado– No podemos establecer causalidad o efectos

directos (a lo más se llega a la 'causalidad estadística')


• Podríamos preguntar...– Existe relación (estadística) entre el logro de los

alumnos y la motivación que el profesor les da?

• No debemos preguntar...– ¿La motivación que los profesores hacen con sus

alumnos efecta (incrementa) el logro de los alumnos?


• Podemos responder...– Aquellos alumnos que reportan que sus

profesores los motivan a aprender tienden a obtener mejores resultados de logro que aquellos que reportan que sus maestros no los motivan

• No debemos responder...–Mayor logro es un efecto de la motivación que los

profesores les dan a sus alumnos– Los alumnos aprenden más si sus profesores los

motivan


¿Qué puede decirse de estos datos al nivel descriptivo? Se pueden dar resultados a nivel nacional y modalidad educativa o estrato educativo, en algunos casos también es posible realizar estimaciones (revisar el informe) a nivel entidad federativa y por modalidad al interior de las entidades federativas.


• ¡Cuidado con la interpretación de resultados considerando las variables del Cuestionario!

• Ejemplo: ¿Cuentas con el programa 'Oportunidades'?Si : Promedio de 400, No: Promedio de 550

• Error de interpretación: 'El programa Oportunidades afecta negativamente al logro de los alumnos'


• ¡Siempre se deben de considerar los errores estándar!• ¡Cuidado! Entre mayor la desagregación

mayor será el error estándar

Gracias

¿Preguntas?

bases de datos de excale

Documents