1

Para comprender cómo es que estudiamos la efectividad de las escuelas o las clases consideremos un sencillo modelo de una organización… Una organización cuenta con ciertos inputs o recursos, los cuales a través de ciertos procesos transforma en outcomes o resultados y se sitúa en cierto contexto. Esto es un modelo sobre-simplificado, pero que sirve a nuestros propósitos de comprender cómo es que se estudia la efectividad de las escuelas y de las aulas. Sirve a nuestro interés de comprender cuáles son los procesos educativos que incrementan los outcomes de los estudiantes considerando los inputs (Scheerens, 2000).

2

Este sencillo modelo de una organización se puede complejizar ampliamente si consideramos que existen diversos inputs, procesos y outcomes en una organización. Por ejemplo, en una escuela habrán inputs de los profesores, los estudiantes, sus familias, etc. Habrán diversos outcomes como rendimiento académico en matemáticas, ciencias, lenguaje, resultados de índole valórico, cívico, resultados como nivel de ingreso a universidades o institutos técnicos, etc. Tal como usted pudo corroborar en la actividad anterior, los outcomes o resultados que los distintos actores del sistema educativo esperan de la escuela son tan variados como actores hay en el sistema, por no mencionar el sin número de procesos e interacciones que ocurren al interior de las organizaciones.

3

Y así, podemos analizar las organizaciones de manera sistémica. Los outcomes de una organización servirán de inputs a otras que a su vez generaran otros outcomes… Por ejemplo, los outputs de la educación preescolar servirán como inputs a la educación escolar. La formación inicial de profesores servirá también como input a la educación de la escuela. Los resultados o outcomes de la educación escolar, por su parte, servirán como inputs a la educación técnica o universitaria, etc.

Este mapa general no podemos perderlo de vista. Pero analizarlo completo sería muy complejo. ¡Imagina tener en consideración todas éstas organizaciones y sistemas en la cabeza al mismo tiempo! Es por ello que, analizaremos cómo es que se estudia la efectividad de las escuelas y cómo un mini sistema dentro de esta escuela, cómo es que estudiamos la efectividad instruccional, o bien, la efectividad de una clase. Sin embargo, el modelo organizacional y metodológico con el que analizamos las escuelas y clases no es solo aplicable a éstas, sino que podríamos traspasar estos modelos a otras organizaciones y sistemas. No te preocupes, de eso no nos encargaremos ahora, pero si es importante que lo tengas presente… uno nunca sabe cuando habrá de necesitar recursos como estos. En fin…, volvamos a las escuelas y las clases que es lo que nos compete en este curso.

4

Los objetivos de la escuela y la instrucción se discuten desde los inicios de su existencia. Se han discutido objetivos tan variados como aquellos religiosos, productivos, valóricos, ciudadanos, etc. Comúnmente, hoy en día, las discusiones de los objetivos de aprendizaje abordan temas tan amplios como el desarrollo de habilidades para el siglo XXI u otros más acotados y concretos como el aprendizaje de la literacidad y numeracidad básica. Asimismo, se espera que las escuelas desarrollen actitudes positivas, educación física, sentido de pertenencia, respeto, amor por el aprendizaje. Posiblemente la expectativa más común es que la escuela logre el rendimiento académico de sus estudiantes (Hattie & Anderman, 2013). Teniendo en consideración que el rendimiento académico es un objetivo limitado, dado que es un objetivo más o menos consensuado, y el más estudiado, utilizaremos este objetivo de la educación como el foco de este curso.

5

Ahora bien, ¿qué es el rendimiento académico? Este también es un tema controversial tanto en términos de su definición como en términos de cómo logramos mejorar el rendimiento. Hay para quienes el rendimiento académico es incrementar el aprendizaje de matemáticas o lenguaje, o porque no incrementar los resultados en pruebas estandarizadas (Guskey, 2013) como SIMCE o PSU.Y si pensamos en cómo es que se puede mejorar el rendimiento, nuevamente aparecen tantas posibles respuestas como contextos. Comúnmente escuchamos “aquí es diferente” “con estos niños funciona así”.

6

En términos muy simples, rendimiento significa “lograr algo”. En educación, ese “algo” suele referirse a ciertas metas educativas articuladas. Porque las metas educativas o académicas suelen ser muy diversas y multifacéticas, el “rendimiento académico de los estudiantes” debe considerarse como tal. Para ser precisos, las discusiones sobre rendimiento académico de los estudiantes debe ir de la mano con definiciones muy estrictas de qué refiere, con claros descriptores que clarifiquen la especificidad con la que los distintos participantes de la escuela comprenden las metas de la escuela. De este modo podemos poner atención a las actividades instruccionales que nos permitirán alcanzar tales objetivos claramente descritos.

7

Además de la necesidad de especificidad y diversidad de medidas de rendimiento escolar, es necesario tener en consideración que, si empleamos medidas de rendimiento escolar como las pruebas estandarizadas, entonces tenemos que considerar mediciones reiteradas. Puede suceder que una medición se realiza un día de mucho calor, o un día en el que en el colegio hay mucho ruido, etc. Las mediciones de ese año pueden ser muy bajas, aun cuando la escuela A normalmente saca altos resultados. Es el resultado de ese año una indicación de que la escuela ha empeorado. No necesariamente. Es por ello que, es importante tener en consideración que las medidas de pruebas estandarizadas son tan solo una medida, que puede ser inestable (Chay, McEwan & Urquiola, 2005), y que debe comprenderse en contexto. Se debe tener en consideración que los resultados de una prueba estandarizada son indicadores del rendimiento académico de los estudiantes, y como indicadores, estos son tan precisos como lo son las medidas en sí mismas.

8

Pero no todos los estudiantes que ingresan a nuestras escuelas o nuestras aulas son iguales…. Nuestros niños y niñas llegan a las escuelas con distintos niveles de desarrollo, salud, género, personalidad, actitudes, aspiraciones, niveles de concentración, cultura, intereses, conocimientos y habilidades.

9

Asimismo, los niños y niñas provienen de familias diversas, con diversa composición familiar, recursos familiares (que les permiten acceso a cultura, libros, transporte escolar, etc.), con padres con distintos niveles de educación, con o sin empleos, con distintas disposiciones a relacionarse con la escuela y el trabajo que ellas desarrollamos.

10

Asimismo, los colegios también difieren respecto de los recursos con los que cuentan (entiéndase recursos no solo en términos monetarios), recursos puede ser desde recursos monetarios como el nivel de gasto por estudiante, infraestructura, acceso a tecnologías, el nivel de experiencia de sus directivos y docentes. Asimismo un recurso puede verse como la cantidad de estudiantes por profesor como el tamaño del colegio. También pueden considerarse como inputs los servicios de apoyo con los que cuenta el colegio en su comunidad, como sería por ejemplo, contar con apoyo de las familias, apoyo de los servicios de salud, etc.

11

El contexto en el cual opera la escuela también genera influencias que afectan el funcionamiento de la organización. Dentro de las variables contextuales que podemos identificar están, por ejemplo, el curriculum nacional, las pruebas nacionales estandarizadas, los estándares curriculares, de profesores, el lugar geográfico en que se ubica la escuela, si éste es urbano o rural, el funcionamiento del sistema educacional nacional en general, si estamos en el contexto de un país desarrollado o uno en vías de desarrollo… habrán diferencias tremendas dependiendo del contexto. Por ejemplo, la evidencia empírica nos muestra que en países desarrollados, las variables que más explican la efectividad de las escuelas son los procesos educativos más que los inputs, mientras que en los países menos desarrollados es al revés, la diferencia en efectividad de las escuelas es explicada más que nada por los inputs más que por los procesos educativos (Scheerens, 2000). ¿Puedes imaginar por qué sucede esto? (Pon pausa en el video por un momento, hazte un café y piensa porque crees que sucede esto). Pues bien… en un país de muy escasos recursos, no importa tanto que tan bueno sea el profesor, si la sala de clases no tiene bancos escolares, luz, suelo, agua, y donde los niños tal vez no han tomado desayuno. En éste caso parece ser más importante el equipamiento básico del colegio y la alimentación de los estudiantes. En cambio, en un país desarrollado, donde las necesidades básicas de los niños están cubiertas y la infraestructura de las escuelas es más apropiada, entonces claro que la diferencia en el aprendizaje de los estudiantes puede estar marcada por las acciones que realicen los profesores en sus clases, es decir, por los procesos educativos. ¿Ves? Si quieres leer respecto de esta interesante discusión te invito a leer la lectura de Scheerens (2000) disponible en las lecturas complementarias.

12

Entonces, no sería justo evaluar la efectividad de un colegio o de una clase comparando solo los outcomes. Es fundamental tomar en consideración cuales son los inputs de nuestros estudiantes. Así, lo importante es que para evaluar la efectividad de una escuela debemos tener alguna medida que nos permita dar cuenta de la ganancia en aprendizaje que obtienen los estudiantes, o bien, porque la escuela A es mejor que la escuela B, si las diferencias no se deben a diferencias en la población de estudiantes de los dos colegios? (Scheerens, 2000). Ejemplo de SIMCE. Debemos evaluar el valor agregado que aportan las escuelas al aprendizaje de los niños y niñas. Como habrás de imaginar, esto supone un tremendo desafío, puesto que para tener una buena medida de valor agregado debiésemos tener evaluaciones iniciales y finales de los niños en variados outcomes.

13

Y a su vez debemos tener estas mediciones para niños y niñas de variadas escuelas dado que como vemos, la efectividad de una escuela es un concepto relativo. Una escuela no es buena en sí misma, sino en comparación con otras escuelas. Las medidas de valor agregado nos permiten hacer un ranking o posicionar las escuelas para ver cuáles son mejores que las otras.

14

En los estudios de efectividad escolar, no es sólo importante el ranking de las escuelas en tanto a su valor agregado, y las características que tienen esas escuelas. La pregunta más relevante desde los estudios de efectividad escolar es qué características llevan a las escuelas a incrementar su rendimiento? O bien, ¿por qué es que la escuela A logra incrementar el valor agregado sus estudiantes más que la escuela B?

Esto implica que no queremos solo tener información fotográfica de las características de las distintas escuelas, sino que la información que necesitamos es ver la evolución de estas escuelas en el tiempo. Queremos ver cómo es que estas escuelas están mejorando.

15

¿Cómo estudiamos la causalidad? Imagine un mundo hipotético en el cual podemos controlar todo… absolutamente todo: el color de pelo de las personas, su personalidad, sus habilidades, sus emociones, sus conocimientos, su bagaje cultural y social… todo… Compararíamos los resultados de dos estudiantes exactamente iguales (igual color de pelo, iguales conocimientos previos, padres iguales, etc.) que van a distintas escuelas A y B.

16

Entonces podríamos comparar los resultados, y el grupo de estudiantes que obtienen mejores resultados entonces podremos decir que ellos atendieron el colegio que es más efectivo.

Este mismo mundo hipotético puede aplicarse cuando queremos estudiar la efectividad instruccional. Simplemente tenemos que pensar en una sala de clases en lugar de una escuela.

17

Pensemos un momento en que refiere la causalidad…. Empleare una metáfora para hacer el punto. Por ejemplo, imaginemos que lo que quiero es comprender porque cierta planta de rosas A crece mas rápido que una planta B. Como ve, estoy preocupada del crecimiento de la planta, y no del porte de la planta en si mismo, es decir, estoy preocupada del valor agregado del porte de la planta, de la diferencia entre el porte en un tiempo 0 y el porte en un tiempo 1 entre ambas plantas. La pregunta más básica entonces es: que características tienen las plantas y los ambientes de A y B y cómo se comparan. La planta A tiene 4 botones, mientras que la planta B tiene 5. La planta A esta en un campo de riego, mientras que la planta B esta en tierra mas árida. La planta A recibe 8 horas de sol al día, mientras que la planta B recibe 10 horas de sol. Y así… Si pudiera cuantificar todas las características, entonces podría ver cuáles son los atributos en los cuales las plantas se diferencian más y entonces podría pensar que esos atributos de la planta y su ambiente son los que explican las diferencias en crecimiento. Esto sería una explicación muy débil de las causas que hacen que una planta crezca mas rápido que la otra. En cambio, si pudiésemos comparar dos plantas similares y observar cambios específicos que suceden en los atributos del ambiente, entonces podremos tener una explicación más clara sobre qué genera las diferencias en la tasa de crecimiento. Por ejemplo, si lo único que diferencia entre el tiempo 0 y 1, y las plantas A y B es la cantidad de horas de exposición solar, digamos que ésta ha ido incrementando para la planta A y para la planta B se ha mantenido constante, entonces podríamos inferir que, a medida que incrementa la exposición solar para las rosas, incrementa también la tasa de crecimiento de la misma. Una conclusión así supone que no existen otras diferencias entre las plantas A y B ni el ambiente de ambas. Pero a pesar del supuesto, que por lo cierto no es un supuesto irrelevante, podemos tener mayor confianza en que las conclusiones de nuestra observación son acertadas.

Detén el video y piensa un momento en algún ejemplo que a ti te haga mas sentido. Por el momento he revisado un ejemplo de efectividad de escuelas, y de crecimiento de una planta. Piensa y escribe en un párrafo, cuál sería el panorama perfecto para evaluar causalmente la efectividad de una clase. Postéalo en el foro. Lee también las respuestas de tus compañeros y comenta las fortalezas y debilidades de las propuestas que ha realizado al menos uno de tus compañeros.

No olvides continuar revisando el video una vez que hayas terminado la actividad. O por el contrario, puedes decidir realizar la actividad una vez que hayas terminado el video.

18

Ahora bien, ya que está claro que la efectividad escolar requiere de una definición clara de outcomes a evaluar, que refiere al valor agregado de las escuelas, de que es un concepto relativo y que para realizar un estudio de causalidad se requiere de la comparación de diversas escuelas.

19

¿Cómo es que realizamos tales comparaciones si no contamos con los mundos hipotéticos que mencionamos e imaginamos antes?

20

…no existen niños y niñas exactamente iguales. No podemos controlarlo todo para satisfacer nuestra curiosidad por responder a estas preguntas… Es por ello que recurrimos a distintas herramientas de investigación como son por una parte el diseño de las investigaciones, y por otra parte, los controles estadísticos. No entraremos en detalle en metodologías de investigación puesto que no es el objetivo del curso. Pero si entraremos a revisar qué evidencia empírica nos ofrecen las investigaciones y revisaremos sus implicancias practicas.

21

Ya hemos comprendido que la efectividad escolar es un concepto que refiere al valor agregado de las escuelas, que es un concepto relativo y que busca comprender la causa de la efectividad. Ahora bien, la comprensión del concepto de escuelas o clases efectivas requiere de ciertas precauciones:

22

Una de ellas es que las escuelas no son homogéneas. Es decir, la escuela A no tiene necesariamente el mismo efecto en todos los estudiantes que atienden la escuela A. Asimismo, no necesariamente la escuela A es buena en incrementar las habilidades de razonamiento lógico, las habilidades de comunicación y los valores de sus estudiantes. Hay algunas escuelas que son mejores para algunos estudiantes, mientras que otras son mejores para otro grupo de estudiantes. Así como hay escuelas que son mejores incrementando el aprendizaje de los estudiantes en algunos objetivos y no en otros. Sin embargo, cuando comparamos las escuelas tendemos a basarnos en una ganancia promedio, de grupos de estudiantes y de áreas académicas, y no necesariamente en la ganancia de ciertos grupos de estudiantes o una amplitud diferenciada de metas escolares. Si queremos ser más rigurosos en nuestros estudios de escuelas efectivas debemos considerar la especificidad de los grupos de estudiantes y evaluar diversas metas de aprendizaje.

23

Otra de las precauciones que se debe tener en consideración es, qué es aquello que los apoderados ven como efectividad de una escuela… ¿consideran los papás los resultados finales del colegio o ponen atención al valor agregado que ofrece la escuela a sus hijos? Este no es un tema trivial para la situación chilena donde nuestros apoderados tienen la posibilidad de elegir libremente a que colegio envían a sus hijos… La evidencia empírica indica que parece ser que el valor agregado de un colegio no es necesariamente lo que los apoderados consideran cuando seleccionan el establecimiento educacional para sus hijos, sino el resultado final (Carrasco & San Martin, 2012), el SIMCE o la PSU o el nivel de ingreso a las universidades de sus ex-alumnos…

Sin embargo, esto no debiera desincentivar la investigación de efectividad escolar, sino por el contrario, esto debiera incentivar medidas para ofrecer mayor información a los apoderados para que tomen decisiones más acertadas.

24

25