Revista Internacional de Educación para la Justicia Social, 2018, 7(2), 145-173.
https://doi.org/10.15366/riejs2018.7.2.009
*Contacto: [email protected]
ISSN: 2254-3139 www.rinace.net/riejs/ revistas.uam.es/riejs
Recibido: 1ª Evaluación: 2ª Evaluación: Aceptado:
19 de septiembre 2017 9 de diciembre 2017 23 de abril 2017 3 de mayo 2018
Un Estudio de Validación de una Escala de Evaluación
del Constructo de Justicia Social Percibida en
Educación Primaria y Secundaria
Validation Study of an Evaluation Scale of ‘Perceived Social
Justice’ in the Primary and Secondary Education
Anna Jordina Llorens * Jesús Miguel Jornet
Purificación Sánchez-Delgado
Universitat de València, España
La evaluación educativa se ha basado fundamentalmente en el éxito académico. Sin embargo, estudios recientes han valorado estudiar la percepción que el propio alumnado tiene sobre otros aspectos como, por ejemplo, el de la justicia social. Así pues, el objetivo general de nuestro trabajo es el diseño de un instrumento que permita evaluar la percepción que crea el alumnado sobre justicia social educativa (JSP-E) a partir de las interacciones y relaciones que se establecen entre alumnado y profesorado. El constructo “Justicia Social Percibida en la Educación" se incluye dentro de la dimensión de equidad del modelo de evaluación de instituciones y sistemas educativos definido en Jornet (2012) dirigido a valorar la aportación de la educación para el desarrollo personal y la transformación social. Para ello, los jueces llevarán a cabo diferentes fases de valoración (relevancia, adecuación, susceptibilidad de cambio y claridad), en donde se considerarán cada uno de los criterios para recoger dicha percepción. Finalmente, también, se reflejan en este artículo las puntuaciones de valoración de los jueces y la propuesta final de la escala que queremos trabajar.
Descriptores: Justicia social; Docente; Percepción; Evaluación; Método de evaluación.
The educational evaluation has been based fundamentally on academic success. However, recent studies have valued studying the perception that the students themselves have about other aspects such as, for example, that of social justice. Therefore, the general objective of our work is the design of an instrument that allows evaluating the perception that students create about educational social justice (JSP-E) from the interactions and relationships established between students and teachers. The construct "Social Justice Perceived in Education" is included within the equity dimension of the model of evaluation of institutions and educational systems defined in Jornet (2012) aimed at assessing the contribution of education for personal development and social transformation. To do this, the judges will carry out different phases of assessment (relevance, adequacy, susceptibility to change and clarity), where each of the criteria for collecting said perception will be considered, and finally, this article will also reflect the evaluation of the judges and the final proposal of the scale that we want to work.
Keywords: Social justice; Teachers; Perceptions; Evaluation; Evaluation methods.
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
146
Introducción
En trabajos anteriores (Jornet, Sancho y Bakieva, 2015a; Llorens, 2016) avanzamos en la
definición de un constructo relativo a la percepción de justicia social que el alumnado va
construyendo a partir de sus vivencias escolares. El constructo “Justicia Social Percibida
en la Educación (JSP-E, en lo sucesivo)” se incluye dentro de la dimensión de equidad del
modelo de evaluación de instituciones y sistemas educativos definido en Jornet (2012)
dirigido a valorar la aportación de la educación para el desarrollo personal y la
transformación social. Desde esta misma concepción de equidad, es como nosotros
concebimos la evaluación como justa (Hidalgo, 2017), independientemente del método de
recogida de información que se establezca.
Ya en Llorens (2016) comenzamos a diseñar las bases del instrumento JSP-E. En este caso,
nuestro interés se orienta a medir la percepción individual de justicia de los alumnos,
respecto a la interacción y las relaciones que establecen con otros agentes educativos. A
partir de Llorens (2016), pudimos perfilar la definición inicial de Jornet, Sancho y Bakieva
(2015a) incidiendo en el valor del efecto de las interrelaciones que se dan entre los agentes
involucrados en la escuela.
Como constructo, entendemos que la JSP-E se configura precisamente a partir de las
vivencias que tiene el alumnado en la escuela, tanto con sus iguales, como en relación con
el profesorado. Por lo tanto, se trata de una construcción personal que, naciendo desde las
emociones y las percepciones, se va convirtiendo en sentimiento arraigado y se va
constituyendo en una forma de asumir su relación con el mundo, orientando sus actos,
previendo sus consecuencias y valorando si las mismas son contingentes con las
expectativas que cada cual se crea. Es importante considerarlo así, porque –como hipótesis
interpretativa que orienta esta propuesta– entendemos que se relacionará con el esfuerzo,
con la implicación que el alumnado pueda estar dispuesto a ofrecer, con el Valor Social
Subjetivo que se le da a la educación (VSE-S; Sancho, Jornet y González-Such, 2016), con
la resiliencia y con la motivación. Se trata pues de un constructo socio-afectivo, de carácter
evolutivo y que puede llegar a condicionar la acción del alumnado, creando una visión
facilitadora u obstaculizadora. Con independencia de las consecuencias inmediatas para la
vida escolar, es posible que contribuya a la visión global que, como persona, se configura
cada cual acerca de la justicia social en mayúsculas; es decir, aquélla que nos
encontraremos o no, a lo largo de toda la vida. Obviamente, ello es un aspecto que va más
allá de cualquier pretensión de investigación a corto plazo, puesto que su estudio
requeriría de un seguimiento longitudinal que no podemos prever si sería posible realizar
en algún estudio a medio-corto plazo como éste. Por ello, nos centramos en lo inmediato,
en aquello que es aprehensible en el escenario escolar.
Así pues, este modelo hace referencia a cómo nos afecta el contexto en que vivimos y cómo
sus cambios pueden crearnos expectativas personales que nos influyen en nuestra manera
de pensar y de concebir el mundo que nos rodea. Tal y como hemos señalado, pensamos
que las vivencias de justicia/injusticia social que se dan en el contexto educativo van
permeando en el alumnado a través de sus emociones y van construyendo el sentimiento
de lo que consideran como existencia o inexistencia de justicia social.
Por otra parte, es conveniente insistir en los puntos de vista que compartimos con diversos
autores (Connell, 1997; Hidalgo, 2017; Jornet, 2012; Lundgren, 2013) acerca de las
reflexiones básicas para evaluar los sistemas educativos, además de las competencias
Revista Internacional de Educación para la Justicia Social
147
cognitivas que todos aquellos constructos psico-socio-afectivos deben tener para
promover la finalidad principal de la educación: el desarrollo integral de la persona1. Es
por ello que fomentar valores más allá de las materias académicas2 es uno de nuestros
intereses principales a la hora de promover evaluaciones de sistemas educativos justos. En
definitiva, la tarea educativa debe trabajar para desarrollar mejores personas para que, a
su vez, puedan mejorar la sociedad. Otros autores dirían que nuestra perspectiva trata de
fomentar una educación orientada hacia una concepción de Sostenibilidad Social. Llámese
como se considere, promover evaluaciones justas es nuestra preocupación principal y por
ello queremos recoger las percepciones del alumnado para que, a partir de ahí, podamos
iniciar una propuesta de evaluación diferente a la actual, una evaluación que sin duda
nosotros consideramos como justa y en la que el alumnado sea el verdadero protagonista
no sólo como fin, sino como individuo que necesita ser comprendido, escuchado y
valorado. Porque si de verdad creemos que los educandos son los protagonistas de la
educación, ¿por qué la mayoría de las veces sus percepciones quedan ninguneadas a la hora
de aplicar cambios educativos? ¿Hasta qué punto quedan reflejados sus intereses en los
informes de calado internacional?
Así pues, el objetivo general del trabajo que aquí presentamos es el diseño de un
instrumento que permita evaluar la percepción que tiene el alumnado de la Justicia Social
Percibida en Educación (referida a la escuela o a la justicia escolar; JSP-E), a partir de las
interacciones y relaciones que se establecen entre alumnado y profesorado. Los objetivos
específicos son:
Realizar una aproximación al estado del arte acerca del desarrollo teórico,
investigador y evaluativo de la JSP-E por el alumnado.
Establecer una definición operativa del constructo, y su traducción en
dimensiones, indicadores e ítems de evaluación.
Aportar una primera evidencia de validación de constructo (y de contenido) a
partir del análisis de expertos o jueces.
Diseñar una escala que permita su posterior análisis empírico en cuanto a sus
propiedades métricas y evidencias de validación.
Establecer una propuesta final que pueda ser aplicada en un estudio piloto.
1. Revisión de la literatura
Desde la propuesta de Connell (1997), pasando por las propuestas más actuales de Murillo
e Hidalgo (2015), hemos considerado oportuno tener en cuenta la definición del término
de JSP-E validada por Jornet, Sancho y Bakieva (2015a, p. 118)3 y en base a ella matizamos
su operativización en Llorens (2016, p. 42):
1 Véase que las opiniones y las percepciones del alumnado ya se tenían en cuenta para el ámbito de la evaluación educativa dentro de la taxonomía de objetivos educativos de Bloom y otros (1956). 2 Téngase en cuenta, por ejemplo, las fundamentaciones que promulga la ética del cuidado. Respecto a ella, véanse las aportaciones de autores como Neufeld (1992); Fernández Herrería y López López (2010); Murga-Menoyo y Novo Villaverde (2014), entre otros. 3 Téngase en cuenta que esta definición se realiza dentro del modelo de evaluación para la Cohesión Social (Jornet 2012) por lo que los límites de la definición de este constructo se establecen en relación a las definiciones de los demás constructos, por lo que pueden haber variables que se asocien a estos otros constructos también.
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
148
La imagen que se construye de ésta (JSP-E) a partir de las relaciones y las interacciones que se crean en el ámbito escolar con todos sus integrantes: el equipo directivo, el profesorado, el alumnado y otras personas involucradas en el contexto académico.
Como características intrínsecas del concepto aquí definido, nótese que se enfatiza de la
siguiente manera:
Se trata de una percepción del alumnado, por lo que los mismos acontecimientos
o situaciones no necesariamente tienen que ser interpretados de la misma
manera por todo el alumnado, sino que cada cual filtra la realidad según sus
construcciones personales, a la par que los nuevos acontecimientos pueden ir
reconfigurando tales construcciones4.
Se construye a partir de las relaciones e interacciones personales/sociales que se
dan en el entorno escolar.
No se circunscribe a lo que se produce respecto al alumno particular que
responde como protagonista de la acción, sino que incluye todo lo que observa y
le impacta en su forma de ver e interpretar lo que sucede en el mundo escolar en
el que se desarrolla.
La preocupación por el desarrollo de la justicia social en la escuela implica el desarrollo
global de la persona considerando, además de los conocimientos cognitivos necesarios, los
valores cívico-éticos, democráticos y sociales a adquirir (Connell, 1997). Como constructo
socio-afectivo se desarrollará construyendo el entramado de construcciones personales
que definirán la forma de ser y estar de la persona en el mundo; es decir, de una u otra
manera formará parte del proceso de configuración de su personalidad.
Primeramente, para poder iniciar nuestro estudio de JSP-E hemos realizado una revisión
pormenorizada de aquellos trabajos que presentan un instrumento que pretende analizar
de alguna manera la justicia social percibida en ámbitos educativos. Es por ello que en el
cuadro 1 hemos querido recoger una síntesis de aquellos estudios que consideramos
relevantes y que están estrechamente vinculados con la propuesta de JSP-E. De entre los
revisados asumimos como puntos de partida para la operativización del constructo y
diseño del instrumento los trabajos de Ludlow, Enterline y Cochran-Smith (2008) y Jacott
y otros (2014) (cuadro 1).
En concreto, para comenzar con el diseño de nuestro instrumento, se ha procedido a
seleccionar la información teórica más relevante a partir del trabajo de Connell (1997),
aunque éste no presentara ningún instrumento, hasta pasar por aquellos más actuales que
sí presentan un instrumento.
Respecto a las bases teóricas del constructo, principalmente se han tenido en cuenta las
reflexiones de Jornet, Sancho y Bakieva (2015b) y de Fraser (2008) para valorar la justicia
educativa como “reconocimiento”, ya que sus propuestas también se han identificado en
otros trabajos posteriores con preocupaciones similares (Hidalgo, 2017).
4 En definitiva, nos basamos en la Teoría de los Constructos Personales (TCP), formulada por Kelly (1955) y que dio origen al denominado alternativismo constructivista en las teorías de la personalidad, descrito por Rivas, Alcantud y Gaya (1994).
Revista Internacional de Educación para la Justicia Social
149
Cuadro 1. Selección de investigaciones que consideran la Justicia Social dentro del ámbito
educativo
INSTRUMENTOS INTERÉS DEL INSTRUMENTO AUTOR/ES Y
FECHA
Escala de creencias: Aprendiendo a Enseñar para la Justicia Social.
Se evalúan las actitudes docentes hacia el aprendizaje de la Justicia Social en el ámbito educativo.
Ludlow, Enterline y Cochran-Smith (2008).
Escala de Justicia Social para los futuros maestros.
Se analizan los principios de equidad, sensibilidad social, responsabilidad social y percepción de situaciones de discriminación.
Turhan (2010).
Escala LTSJ-B.
Actitudes docentes y creencias sobre la Justicia Social en el ámbito educativo. Con ella se recogieron datos de 304 profesores australianos en formación.
Cochran-Smith y otros (2012).
Escala LTSJ-B mejorada.
Actitudes docentes y creencias sobre la Justicia Social en el ámbito educativo.
Ginns y otros (2014).
Cuestionario de Justicia Social.
Evaluación de las concepciones sobre Justicia Social en el ámbito escolar por docentes y alumnado de Educación Primaria y Secundaria.
Jacott y otros (2014).
Cuestionario de Justicia Social percibida para alumnado universitario en el contexto estadounidense.
Escalas valoradas sobre creencias y percepciones en: Justicia en el Mundo Racismo simbólico Neosexismo Motivación por los Servicios Públicos Los resultados y las implicaciones de estos análisis son analizados y discutidos en el mismo artículo.
Torres-Harding y otros (2014).
Modelos evaluativos que parten de la observación analítica: Learning Record.
En el estudio se valoran aquellos métodos evaluativos que perpetúan injusticas sin tener en cuenta las necesidades y características particulares del alumnado durante el proceso de enseñanza-aprendizaje.
Syverson (2009). Barr y Tagg (1998)
Fuente: Elaboración propia a partir de Jornet, Sancho y Bakieva (2015a, p. 119).
Por otra parte también, para poder comprender adecuadamente la definición de este
constructo, debemos tener en cuenta cuáles son las dimensiones en las que JSP-E se divide
o en qué escenarios se enmarca dentro de la vida escolar. Esto son: a) el centro, como
macro-escenario en el que se producen las interacciones más alejadas y difusas, pero en el
que se manifiesta un clima de relaciones que puede llegar a ser percibido por el alumnado,
y b) el aula, micro-escenario más cercano al alumnado, en donde éstos interaccionan con
semejantes y profesorado respecto a tareas y normas específicas. Sin ninguna duda, ambos
escenarios constituyen las dimensiones de análisis situacional del constructo de JSP-E.
Además, en el estudio de la JSP-E, no podemos dejar de lado a los profesionales de la
educación, sobretodo, a los docentes. Porque son ellos quienes constituyen el modelo de
referencia en el proceso educativo formal. Son quienes, mediante sus interacciones, sus
mensajes y sus conductas proyectan sobre el alumnado conocimientos, sentimientos y
experiencias. Son quienes pueden reconducir las situaciones educativas. Pero, ¿qué pasa
cuando las circunstancias impiden que el alumnado logre lo que desee lograr? ¿La
docencia otorga las mismas oportunidades de actuación a todo el alumnado? ¿Qué
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
150
facilidades aporta el profesorado o qué ayudas aportan éstos a sus alumnos? ¿Se muestra
al alumnado cuáles son sus derechos, obligaciones y libertades? Otra de las preocupaciones
que nos concierne, y que coincide con la declaración de Educación para el Desarrollo
Sostenible (UNESCO, 2012), es de si se trata a todo el alumnado de manera equitativa,
independiente de su origen étnico, género o características particulares. Y lo que es más
importante, ¿se les otorga el mismo respeto a todos? Y otra duda más, ¿todo el alumnado
se siente igual de valorado por todos sus profesores? Éstas y otras son las cuestiones
centrales a evaluar en un sistema educativo justo (Hidalgo, 2017), y por ello queremos
conocer qué percepción tiene el alumnado respecto a estas cuestiones. Además, a la hora
de aplicar nuestra propuesta, debemos tener en cuenta que consideramos al profesorado
como un modelo esencial de autoridad del que, de su buena o mala acción, dependerá el
ejercicio de justicia (asumiblemente distributiva) y que, en consecuencia, el alumnado
percibirá de manera positiva o negativa.
2. Método
A continuación, indicamos las fases de valoración y los criterios trabajados que se han
tenido en cuenta para el diseño del instrumento final (figuras 1 y 2). Respecto a los análisis
métricos, este estudio se enmarca en el enfoque de análisis de evidencias de validez desde
una concepción unitaria (APA, AERA y NCME, 2014), que se describen en Leyva (2004),
Ruiz-Primo, Jornet y Backhoff (2006), Bakieva (2016) y Jornet, González-Such y Bakieva
(2017) (figura 3).
2.1. Participantes
En las figuras siguientes (cuadros 2 y 3) se presenta un desglose pormenorizado de las
características personales de los jueces que han participado en las diversas fases de
valoración. El único filtro que se ha realizado para escoger a los jueces ha sido la
consideración de que en su conjunto debían cubrir todos los ambientes educativos. Para
ello, se ha intentado trabajar con un grupo de profesionales que posea una experiencia
profesional amplia y variada, en donde los jueces participantes tienen bagaje teórico-
práctico de al menos una de las siguientes profesiones: orientador, maestro de infantil y
primaria, profesor de secundaria y FP, profesor de universidad, educador social, orientador
y otros campos (inspector de educación, logopeda, psicólogo, etc.).
En total son 30 los jueces que han valorado la escala de relevancia y susceptibilidad de
cambio y 26 los que han valorado la escala de claridad y adecuación.
En la fase de valoración de relevancia y susceptibilidad de cambio, respecto a los jueces
participantes distribuidos por edad, encontramos que el grupo mayoritario corresponde al
intervalo de 21 a 30 años (37%), seguido del intervalo de 31 a 40 años (30%), del intervalo
de 51 a 60 años (20%) y finalmente del intervalo de 41 a 50 años (13%). Por tanto, podemos
decir que es un grupo de jueces relativamente joven.
En cuanto a la profesión de los jueces participantes en esta fase, el grupo más numeroso
corresponde a los profesores de universidad (33%), seguido del grupo “otros” en el que se
incluyen profesiones tales como psicólogos, logopedas e inspectores de educación (27%),
seguido del grupo de maestros de infantil y primaria (13%), profesores de secundaria y FP
(13%) y el grupo de orientadores y educadores sociales (13%).
Revista Internacional de Educación para la Justicia Social
151
Figura 1. Fases para la definición y operativización de constructos para instrumentos de
medida
Fuente: Elaborado a partir de Jornet, González-Such y Bakieva (2017).
En cuanto a los años de experiencia profesional, podemos decir que es un grupo de
participantes compuesto sobre todo por profesionales de corta experiencia (56%), lo que
significa que han trabajado hasta 10 años. Así, el 44% de participantes son profesionales
con más de 10 años de experiencia profesional.
En la fase de valoración de claridad y adecuación, los jueces participantes distribuidos por
edad, tienen características similares al caso anterior, puesto que el grupo mayoritario
corresponde al intervalo de 21 a 30 años (35%), seguido del intervalo de 31 a 40 años
(27%), del intervalo de 51 a 60 años (23%) y finalmente del intervalo de 41 a 50 años (15%).
Por tanto, podemos decir que también es un grupo de jueces relativamente joven.
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
152
Figura 2. Proceso de valoración y grupos de jueces
Fuente: Elaboración propia.
Figura 3. Validez como concepto unitario (APA, AERA, y NCME, 2014)
Fuente: Recuperado de Bakieva (2016, p. 140).
En cuanto a la profesión de los jueces participantes en esta fase, el grupo más numeroso
corresponde a los profesores de universidad (38%), seguido del grupo “otros” en el que se
incluyen profesiones tales como psicólogos, logopedas e inspectores de educación (23%),
profesores de secundaria y FP (15%), maestros de primaria (12%), y especialistas como
orientadores y educadores sociales (12%).
Por último, en cuanto a los años de experiencia profesional, podemos decir que es un grupo
de participantes compuesto tanto por profesionales de corta experiencia (51%), como por
profesionales de más de 10 años de experiencia (49%).
Revista Internacional de Educación para la Justicia Social
153
Cuadro 2. Grupo de jueces para valorar escalas de relevancia y susceptibilidad de cambio
HOMBRE MUJER TOTAL N. % N. % N. %
Edad
51-60 3 10 3 10 6 20 41-50 1 3,3 3 10 4 13,3 31-40 4 13,3 5 16,6 9 30 21-30 4 13,3 7 23,3 11 36,6
Total 12 40 18 60 30 100
Profesión
Orientador 1 3,3 1 3,3 2 6,6 Infantil 1 3,3 1 3,3 Primaria 3 10 3 10 Secundaria 2 6,6 1 3,3 3 10 FP 1 3,3 1 3,3 Universidad 5 16,6 5 16,6 10 33,3 Ed. Social 1 3,3 1 3,3 2 6,6 Otros 2 6,6 6 20 8 26,6
Total 12 40 18 60 30 100
Experiencia Profesional (años)
>26 3 10 1 3,3 4 13,3 21-25
16-20 4 13,3 4 13,3 11-15 2 6,6 3 10 5 16,6 6-10 3 10 1 3,3 4 13,3 <5 4 13,3 9 30 13 43,3
Total 12 40 18 60 30 100
Fuente: Elaboración propia.
Cuadro 3. Grupo de jueces para valorar escalas de claridad y adecuación
HOMBRE MUJER TOTAL N. % N. % N. %
Edad
51-60 3 11,5 3 11,5 6 23,07 41-50 1 3,8 3 11,5 4 15,3 31-40 3 11,5 4 15,3 7 26,9 21-30 3 11,5 6 23,07 9 34,6
Total 10 38,4 16 61,5 26 100
Profesión
Orientador 1 3,8 1 3,8 Primaria 3 11,5 3 11,5 Secundaria 2 7,6 1 3,8 3 11,5 FP 1 3,8 1 3,8 Universidad 5 19,2 5 19,2 10 38,4 Ed. Social 1 3,8 1 3,8 2 7,6 Otros 1 3,8 5 19,2 6 23,07
Total 10 38,4 16 61,5 26 100
Experiencia Profesional (años)
>26 3 11,5 1 3,8 4 15,3 21-25
16-20 4 15,3 4 15,3 11-15 2 7,6 3 11,5 5 19,2 6-10 3 11,5 1 3,8 4 15,3 <5 2 7,6 7 26,9 9 34,6
Total 10 38,4 16 61,5 26 100
Fuente: Elaboración propia.
2.2. Instrumentos
Para el desarrollo de las diversas fases de consulta a expertos, se ha procedido según se
describe en Jornet, González-Such y Bakieva (2017). El análisis documental se ha tomado
como insumo para el ajuste inicial de la definición del constructo, sustentando el trabajo
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
154
sobre un grupo focal o comité total de jueces expertos. Las valoraciones realizadas por
comités de juicio se han estructurado en cada caso (indicadores de la definición e ítems) en
escalas de valoración tipo Likert, de 4 puntos. Las escalas de valoración a considerar han
sido: relevancia (importancia en la definición del constructo), susceptibilidad de cambio
(grado en que el aspecto medido es susceptible de cambio mediante una intervención
educativa orientada a la mejora), claridad de la formulación (de los ítems en relación a la
población objeto de análisis), y adecuación (grado en que la formulación de los ítems es
pertinente al problema y situación educativa).
De este modo, para el trabajo con los comités de juicio se ha desarrollado un cuestionario
que incluye: datos personales, sin identificación nominal, los indicadores/ítems a valorar,
según los cuatro criterios mencionados anteriormente, e ítems abiertos para recoger las
propuestas de reformulación, observaciones o indicaciones acerca de posibles sesgos en la
formulación (en total, 28 + 6 = 34 ítems).
2.3. Análisis de la información
Para el análisis de la información se ha procedido inicialmente, a nivel teórico, al análisis
de contenido. Para el estudio derivado de los comités de juicio se ha trabajado los
diferentes elementos valorados mediante los análisis descriptivos; y para el análisis de la
consistencia/congruencia inter-jueces se ha llevado a cabo el coeficiente W de Kendall y
los valores resultantes de la correlación intra-clase. Asimismo, finalmente, se ha procedido
a un análisis de conglomerados de K- medias para identificar perfiles de juicio, en relación
con los criterios de valoración utilizados por los jueces.
3. Resultados
La presentación de resultados la organizamos en los siguientes apartados: bases teóricas,
congruencia y consistencia inter-jueces (fiabilidad de juicio), características de los
indicadores o ítems según los comités y análisis de conglomerados de K-medias.
3.1. Bases teóricas
Respecto al trabajo con el grupo focal, las categorías de formulación de indicadores que se
tomaron de manera inicial se presentan en el cuadro 4.
La operativización de estas categorías para poder formular una escala aplicable, y, por lo
tanto, comprensible, para el alumnado de educación primaria y secundaria obligatoria,
dirigió la formulación de los ítems que posteriormente fueron valorados por los comités
de expertos. Entre ambas dimensiones, inicialmente se identificaron 28
indicadores/elementos, 11 pertenecen a la primera dimensión y 17 a la segunda,
establecidos ya en Jornet, Sancho y Bakieva (2015a), de los que prácticamente no han
sufrido ninguna variación destacable). De este modo, con el fin de no ser reiterativos, tras
los análisis realizados la traducción de los indicadores en ítems únicamente implicó la
formulación de éstos al estilo de pregunta en un lenguaje adaptado a la población objeto.
De esta manera, omitimos el listado de indicadores posterior y presentamos directamente
los ítems tal y como quedaron diseñados previo y posterior al proceso de valoración de
jueces (cuadros 6, 7 y 8). Por ello, téngase en cuenta que los ítems que se vayan a destacar
a continuación en el proceso de valoración de jueces corresponden a los ítems reflejados
en estos cuadros. Concretamente, su correspondiente traducción se realiza teniendo en
cuenta que todos ellos son ítems de redacción previa a la valoración de jueces (es decir, en
Revista Internacional de Educación para la Justicia Social
155
los cuadros 6 y 8 quedan indicados en la columna de la parte izquierda). Recordamos que
el total de los ítems para esta fase es de 28 (a los que después se les suma 6 ítems más de
carácter cualitativo).
Cuadro 4. Categorías de definición de ítems
DIMENSIÓN 1. LA JUSTICIA SOCIAL PERCIBIDA EN EL CENTRO COMO ORGANIZACIÓN Ejercicio de la autoridad por parte de los docentes (respeto de normas en el centro educativo). Reconocimiento mutuo (entre todos los agentes implicados). Respeto a la diversidad (orientación inclusiva). Imparcialidad para el ejercicio de la autoridad. Ausencia de factores de discriminación. La influencia del contexto social (barrio, zona en la que residen, etc.)
DIMENSIÓN 2. LA JUSTICIA SOCIAL PERCIBIDA EN EL AULA Ejercicio de la autoridad por parte de los docentes (respeto de normas en el aula). Gestión de conflictos en el aula. Imparcialidad para el ejercicio de la autoridad. La contingencia en la respuesta docente (apoyo, premio, castigo). Ausencia de factores de discriminación Reconocimiento mutuo (entre todos los agentes
implicados). Autocontrol flexibilidad del profesorado. Flexibilidad del profesorado (reconocimiento de sus propios errores). La evaluación como demostración de justicia. Respeto a la diversidad (orientación inclusiva).
Fuente: Elaboración propia.
3.2. Valoración de jueces: Congruencia y consistencia inter-jueces
A continuación, hemos llevado a cabo el proceso de valoración de los jueces. Las opciones
de valoración de las escalas (figura 2) se han presentado en una escala Likert de 4 opciones,
siendo la opción 1 “nada” y la opción 4 “mucho”. De las valoraciones obtenidas, hemos
analizado los indicadores de congruencia y consistencia. Estos indicadores se han tomado
como garantía para la selección posterior de elementos, buscando así un consenso inter-
subjetivo de jueces. Y, posteriormente, de los criterios que se establezcan en este consenso
saldrá la propuesta piloto. Por lo que refiere a la valoración de jueces que hemos llevado a
cabo, en Jornet, González-Such y Bakieva (2017) comentamos la conveniencia de realizar
análisis con procesos de juicio de forma iterativa de manera que se pueda identificar si en
los comités (grupos totales) existen grupos de jueces de opinión concordante (grupo
depurado) o de si se dan divergencias asociadas a subgrupos (grupo diferencial). De todos
ellos hemos obtenido también los valores de congruencia y consistencia. En definitiva y
para todos los casos, aportamos como indicador de consistencia la Correlación Intra-clase
y para congruencia el coeficiente W de Kendall. El objetivo con dichas valoraciones es
comprobar si se aportan resultados coherentes entre las diversas perspectivas (grupo total,
depurado y diferencial) como evidencia de validación.
En el primer análisis, respecto a las escalas de relevancia y susceptibilidad de cambio
(cuadro 5), vemos que la fiabilidad obtenida para el comité total en ambos casos es media-
baja. En el comité depurado sube en ambos casos, sobre todo en el caso de relevancia,
aunque los resultados respecto a la escala de susceptibilidad total respecto al comité
diferencial y sobre fiabilidad son los más óptimos. Observamos que en todos los casos al
menos obtenemos significación de al menos 0,05 (*). Respecto al indicador de congruencia,
observamos que en ambos comités depurados el resultado es más alto que la correlación
intra-clase y que en todos los casos obtiene una significación asintótica bilateral
significativa del 0,001 (***) lo que significa que existe acuerdo. En el comité depurado,
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
156
mejora su puntuación de manera que se eleva y mantiene su significación. Sin embargo,
en el grupo diferencial de la escala de relevancia observamos que baja su puntuación y así
mismo pierde también la significación, mientras que en la escala de susceptibilidad
mantiene estos valores de manera muy similar a los del comité depurado. Sin ninguna
duda, los resultados más óptimos se encuentran en el grupo diferencial de la escala de
susceptibilidad de cambio.
Cuadro 5. Indicadores de congruencia y consistencia intra-jueces de relevancia y
susceptibilidad de cambio
RELEVANCIA (FASE 1, COMITÉ 1, N=30)
COMITÉ TOTAL (N = 30) COMITÉ DEPURADO (N =
12) DIFERENCIALES (N = 18)
R Intra-clase
W Kendall
R Intra-clase
W Kendall
R Intra-clase
W Kendall
0,42*** 0,58*** 473,616** 0,62*** 0,67*** 392,29*** NE 0,39 77,45**
SUSCEPTIBILIDAD DE CAMBIO (FASE 1, COMITÉ 1, N=30)
COMITÉ TOTAL (N = 30) COMITÉ DEPURADO (N = 7) DIFERENCIALES (N = 23)
R Intra-clase
W Kendall
R Intra-clase
W Kendall
R Intra-clase
W Kendall
0,37* 0,66*** 449,99* 0,46** 0,65*** 344,33*** 0,95*** 0,64*** 166,44***
Nota: * significativo al 0,05. ** Significativo al 0,01*** Significativo al 0,001.
Fuente: Elaboración propia.
Respecto a los estadísticos de estas dos primeras escalas (cuadro 1 del anexo) observamos
medias muy altas con respuestas muy homogéneas en la mayoría de los casos (teniendo
en cuenta los resultados obtenidos en el cociente de variación, en lo sucesivo CV). El único
juez que presenta respuestas más dispares es el juez 27 para la escala de relevancia. Los
mayores resultados estadísticos obtenidos se encuentran en los jueces 7, 12, 16 y 20 para
la escala de relevancia (con un 3,96) y en el juez 7 para la escala de susceptibilidad (con un
3,96 también). Las medias más bajas se encuentran en ambos casos en el juez 9 (con un
2,29).
En el segundo análisis, respecto a las escalas de claridad y adecuación (cuadro 6) vemos
que la consistencia inter-jueces obtenida para el comité total en ambos casos es baja. En
el comité depurado sube en ambos casos y, sobre todo, en el caso de adecuación, siendo
éste el resultado más óptimo de consistencia de todas las escalas valoradas. Observamos
también que sólo en la escala de claridad se obtiene una significación de 0.05 o del 95%
(*). Respecto al indicador de congruencia, observamos que en ambos comités depurados
el resultado es más alto que la correlación intra-clase y que en todos los casos obtiene una
significación asintótica bilateral significativa siendo en la escala de adecuación de 0,001
(***) y en la de claridad de 0,05 (*). Tanto en el comité depurado como en los diferenciales,
el W de Kendall mantiene su puntuación de manera muy similar al comité total. Sin
ninguna duda, los resultados más óptimos se encuentran en la escala de adecuación, tanto
en el comité depurado como en el diferencial, donde además todos los valores obtienen
significación del 0,001 (***) que denotaría la interpretación de un consenso mayor.
Respecto a los estadísticos de estas otras escalas (cuadro 2 del anexo) observamos de
nuevo medias muy altas con respuestas muy homogéneas en la mayoría de los casos
(teniendo en cuenta los resultados obtenidos en CV). Los mayores resultados estadísticos
obtenidos se encuentran en el juez 7 para la escala de claridad (con un 3,96) y en los jueces
Revista Internacional de Educación para la Justicia Social
157
13 y 18 para la escala de adecuación (con un 3,97). Las medias más bajas se encuentran en
ambos casos en el juez 9 (con un 2,29).
Cuadro 6. Indicadores de congruencia y consistencia intra-jueces de claridad y adecuación
CLARIDAD (FASE 2, COMITÉ 1, N = 26)
COMITÉ TOTAL (N = 26) COMITÉ DEPURADO (N = 8) DIFERENCIALES (N = 18)
R Intra-clase
W Kendall
R Intra-clase
W Kendall
R Intra-clase
W Kendall
0,34* 0,70* 490,99* 0,51*** 0,73*** 410,59*** NE 0,61*** 68,43*
ADECUACIÓN (FASE 2, COMITÉ 1, N=26)
COMITÉ TOTAL (N = 26) COMITÉ DEPURADO (N = 9) DIFERENCIALES (N = 17)
R Intra-clase
W Kendall
R Intra-clase
W Kendall
R Intra-clase
W Kendall
0,28 0,64*** 449,99 0,96*** 0,63*** 366,79*** 0,93*** 0,63*** 73,34***
Nota: * significativo al 0,05. ** Significativo al 0,01*** Significativo al 0,001.
Fuente: Elaboración propia.
En general, observamos que la mayoría de los jueces expertos en cuanto a sus valoraciones
sobre relevancia, susceptibilidad, claridad y adecuación, obtienen medias elevadas, en
torno a 2,29 hasta 3,97 y con un CV bastante homogéneo. Ello significa que los jueces han
otorgado valoraciones similares en sus respuestas y que podemos fiarnos de las medias
estadísticas, teniendo en cuenta que éstas son altas o muy altas. Además, aunque el criterio
de consistencia de la correlación intra-clase sea bajo para algunos casos, al realizar el
análisis de las puntuaciones sobre el nivel estadístico de W de Kendall observamos cómo
el resultado sí que es elevado y donde también presenta significación de al menos un 95%.
Es por ello que de manera general se considera que los ítems son valorados de forma
homogénea por el conjunto de jueces. Esto es positivo porque denota que todos presentan
una opinión similar sobre los criterios trabajados.
3.3. Análisis descriptivos de criterios: Revisiones por ítems
De manera general podemos observar que los resultados de las medias de los ítems son
muy altos. Respecto a la escala de relevancia (cuadro 3 del anexo) el ítem con mayor media
es el número 18 (3,77) y el ítem con menor media es el número 4 (3,4). Las opiniones de
los jueces, teniendo en cuenta el CV, son muy homogéneas. Ello quiere decir que existe
bastante acuerdo a la hora de valorar. Las valoraciones más altas, cuando separamos
grupos, las encontramos en el grupo de depurados respecto a los diferenciales,
observándose que en los diferenciales se da mayor variabilidad si tenemos en cuenta el CV.
Es decir, en el grupo de depurados se presenta mayor valoración a la vez que mayor
consenso. Pese con todo, en ambos grupos (depurados y diferenciales) las valoraciones son
elevadas. Además, al realizar la U de Mann Whitney observamos que no existen
diferencias estadísticamente significativas entre ambos grupos y en ningún ítem, por lo
que podemos asumir que la valoración del grupo total es representativa.
Respecto a la escala de susceptibilidad de cambio (cuadro 4 del anexo) los ítems con mayor
media son el número 18 y el 25 (3,73) y el ítem con menor media es el número 17 (3,33).
Las opiniones de los jueces, teniendo en cuenta el CV, son también muy homogéneas. Las
valoraciones más altas, cuando separamos grupos, las encontramos en el grupo de
diferenciales respecto a los depurados, aunque observándose que en los diferenciales se da
mayor variabilidad si observamos el CV. Es decir, en el grupo de diferenciales se presenta
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
158
mayor valoración, pero no obtienen un mayor consenso. Aun así, en ambos grupos las
valoraciones son elevadas. Además, al realizar la U de Mann Whitney observamos que
tampoco existen diferencias estadísticamente significativas entre ambos grupos y en
ningún ítem. De nuevo podemos asumir que la valoración del grupo total es
suficientemente representativa.
En lo que refiere a la escala de claridad (cuadro 5 del anexo) los ítems con mayor media
son el número 18 (3,77) y el ítem con menor media es el número 17 (3,35). Las opiniones
de los jueces, teniendo en cuenta el CV, son nuevamente muy homogéneas. Las
valoraciones más altas, cuando separamos grupos, las encontramos esta vez en el grupo
de depurados respecto a los diferenciales donde, además, si tenemos en cuenta el CV, es
donde también obtenemos mayor consenso. De igual manera, ambos grupos presentan
valoraciones elevadas. Una vez más, al realizar la U de Mann Whitney observamos que
no existen diferencias estadísticamente significativas entre ambos grupos y en ningún
ítem. Nuevamente podemos asumir que la valoración del grupo total es representativa.
Respecto a la escala de adecuación (cuadro 6 del anexo) los ítems con mayor media son el
número 18 (3,77) y el ítem con menor media es el número 7 (3,42). Las opiniones de los
jueces, teniendo en cuenta el CV, son también muy homogéneas. Las valoraciones más
altas, cuando separamos grupos, las encontramos en el grupo de depurados respecto a los
diferenciales, sin embargo, si tenemos en cuenta el CV es donde obtenemos menor
consenso. Pese a todo, en ambos grupos las valoraciones son elevadas. Además, al realizar
la U de Mann Whitney observamos que no existen diferencias estadísticamente
significativas entre ambos grupos, pero sí respecto a algunos ítems. Encontramos
diferencias significativas en el 95% en los ítems 13, 14, 19 y 20. Aun así y con todo,
podemos asumir que la valoración del grupo total es también suficientemente
representativa.
3.4. Análisis de conglomerados de K-medias
Finalmente, para presentar de forma más precisa las puntuaciones más extremas de los
grupos valorados, se realiza el análisis de conglomerados k-medias. Este análisis pretende
concretar en torno a qué puntuaciones se concentran las puntuaciones diferenciales y a la
vez pretende explorar cual es el número óptimo de grupos que se puede proponer para el
diseño y validación del instrumento con el que pretendemos evaluar la JSP-E. En este
sentido, los resultados obtenidos destacan que la propuesta más óptima se debe llevar a
cabo con 2 grupos (resultados en el cuadro 7).
Además, la figura 4 ofrece los dos centros de conglomerados finales, es decir, los centros
de conglomerados tras el proceso de iteración. La figura resume los valores centrales de
cada conglomerado, observándose valores promedios de percepción por parte de los
participantes por encima de 3 para el primer conglomerado, es decir, los participantes
están entre el “muy de acuerdo” y “totalmente de acuerdo” con respecto a la escala Likert
utilizada. Sin embargo, en los resultados del segundo conglomerado vemos que la
respuesta oscila entre el “bastante de acuerdo” y “muy de acuerdo”. La interpretación del
primer conglomerado es que los expertos acogen de manera positiva el instrumento
atendiendo a las diferentes dimensiones que se han propuesto. Por otro lado, el segundo
conglomerado indica que la recogida de información sobre la percepción de los alumnos
de justicia social puede, a través de las diferentes dimensiones, llegar a ser más baja. Estos
resultados se interpretan de esta manera, pero hay que tener en cuenta que no llegan a ser
significativos.
Revista Internacional de Educación para la Justicia Social
159
Cuadro 7. Conglomerados de K-medias
Nº DEL
CONGLOMERADO
CLÚSTER DE K MEDIAS (CONGLOMERADO DE K
MEDIAS)
2 clúster 3 clúster
Relevancia (30 jueces)
1 19 19 2 11 10 3 - 1
Susceptibilidad (30 jueces)
1 22 22 2 8 7 3 - 1
Adecuación (26 jueces)
1 20 20 2 6 5 3 - 1
Claridad (26 jueces)
1 20 20 2 6 5 3 - 1
Fuente: Elaboración propia.
Figura 4. Centro de conglomerados finales
Fuente: Elaboración propia.
3.5. Instrumento final
En definitiva, todos los ítems han sido valorados de manera muy homogénea por el
conjunto de jueces en todos los criterios que se han considerado en la revisión. Obsérvese
que todos los cocientes de variación son inferiores al 33% y, en muchos casos, no llegan
tan siquiera al 20%. Ello constituye una evidencia acerca de que los jueces han valorado
cada elemento, respecto a todos los criterios trabajados, de forma muy similar por lo que
las medias de cada reactivo pueden entenderse como muy representativas. El resultado
obtenido es muy positivo ya que indica que por lo general hay una buena valoración de los
criterios propuestos y ello es lo que nos va a permitir que podamos continuar diseñando
nuestra propuesta. La versión final del instrumento se presenta a continuación. En los
cuadros 8 y 10, se muestra una comparativa entre la propuesta previa a la valoración de
jueces y cómo queda dicha propuesta tras la valoración.
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
160
Cuadro 8. Comparativa instrumento previo y final a la valoración de jueces. Dimensión 1:
La Justicia Social Percibida en el centro como organización
PREVIO A LA VALORACIÓN DE LOS JUECES POSTERIOR A LA VALORACIÓN DE LOS
JUECES
1. Las personas que dirigen el cole hacen que se respeten las normas de convivencia.
1.1. ¿Las personas que dirigen el colegio hacen que se respeten las normas de convivencia?
2. Los maestros/as de tu cole te ayudan a solucionar las peleas que tenéis entre compañeros/as.
Eliminado
3. Crees que en tu colegio todos los/as maestros/as son igual de importantes.
1.2. ¿Crees que en tu colegio todos los maestros son igual de importantes?
4. Has visto a maestros/as que rechazan a niños/as por ser de otra religión, etnia o país.
1.3. ¿Has visto a maestros que rechazan a niños por ser de otra religión o de otro país?
5. Crees que hay maestros/as que tienen a alumnos/as favoritos/as.
Eliminado
6. El colegio permite que tus compañeros/as te acepten tal y como eres.
1.4. ¿Los maestros permiten que tus compañeros te acepten tal y como eres
7. Hay maestros/as que no quieres que te den clase porque son demasiado exigentes.
Eliminado
8. Crees que el colegio trata mejor a unas familias que a otras (porque tienen más dinero, porque son de otro país o porque tienen más estudios)
1.7. ¿Crees que el colegio trata mejor a unas familias que a otras (porque tienen más dinero, porque son de otro país o porque tienen más estudios)?
9. Los/as maestros/as dan la atención necesaria a los alumnos/as en el patio.
Reformulado: 1.8. ¿Los maestros están pendientes de todos los alumnos para que no haya problemas entre ellos (en el patio, en los pasillos)?
10. Los/as maestros/as ayudan a los/as alumnos/as que tienen más dificultades.
Eliminado
11. Los/as maestros/as hablan con los/as alumnos/as de manera individual cuando alguien lo necesita.
Eliminado
Fuente: Elaboración propia.
En el cuadro 9 se presentan otros ítems que han surgido durante el proceso de reflexión.
Los jueces han estimado oportuno añadirlos tras las modificaciones o eliminaciones
realizadas o simplemente por el hecho de que el instrumento no había tenido en cuenta,
en su forma previa, criterios similares a ellos.
Cuadro 9. Ítems que han surgido durante el proceso de valoración y que se añaden después
al instrumento
1.5. ¿Hay maestros que te riñen demasiado? 1.6. ¿Hay maestros que no quieres que te den clase porque no te tratan bien?
Fuente: Elaboración propia.
4. Discusión y conclusiones
Respecto al diseño del instrumento, dentro del marco de discusión académica, hemos
tenido en cuenta otras escalas que han trabajado las consideraciones de la justicia social
percibida en el ámbito educativo (cuadro 1). Para ello, y principalmente, nos hemos
centrado en las aportaciones de las investigaciones de Ludlow, Enterline y Cochran-Smith
Revista Internacional de Educación para la Justicia Social
161
(2008) y Jacott y otros (2014), las cuales desarrollan cómo la percepción de los agentes
educativos puede llegar a ser fiable para medir la JSP-E dentro del ámbito escolar.
Cuadro 10. Comparativa instrumento previo y final a la valoración de jueces. Dimensión
2: La Justicia Social Percibida en el aula
PREVIO A LA VALORACIÓN DE LOS JUECES POSTERIOR A LA VALORACIÓN DE LOS JUECES 12. Crees que tus maestros/as tienen
alumnos/as preferidos/as. 2.1. ¿Crees que tus maestros tienen alumnos
preferidos? 13. Crees que tus maestros/as tienen manía a
algunos/as alumnos/as. 2.2. ¿Crees que tus maestros tienen manía a
algunos alumnos? 14. Crees que tus maestros/as de clase te
tratan de la misma manera a ti que al resto de tus compañeros/as.
2.3. ¿Crees que tus maestros de clase te tratan de la misma manera a ti que al resto de tus compañeros o compañeras?
15. Tus maestros/as son justos/as cuando solucionan problemas entre alumnos/as.
2.4. ¿Son tus maestros justos cuando solucionan problemas entre alumnos?
16. Tus maestros/as se enfadan si los/as alumnos/as se equivocan.
2.5. ¿Se enfadan si los alumnos os equivocáis en clase?
17. Crees que tus maestros/as crean normas de clase injustas.
2.6. ¿Crees que tus maestros crean normas de clase injustas?
18. Tus maestros/as intentan ayudarte cuando tienes problemas.
2.7. ¿Intentan ayudarte tus maestros cuando tienes problemas?
19. Crees que te mereces las notas que te ponen tus maestros/as.
2.8. ¿Crees que te mereces las notas que te ponen tus maestros?
20. Crees que compañeros/as de tu clase aprueban sin merecérselo.
Eliminado
21. Tus maestros/as ponen mejores notas a los alumnos/as que les caen bien.
2.9. ¿Crees que tus maestros ponen mejores notas a los alumnos que les caen bien?
22. Piensas que cualquiera de tus maestros/as, aunque te conozca poco, te felicita cuando haces algo bien.
Reformulado: 2.10. ¿Te felicitan tus maestros cuando te portas bien?
23. Piensas que cualquiera de tus maestros/as, aunque te conozca poco, te felicita cuando trabajas bien.
Reformulado: 2.11. ¿Te felicitan tus maestros cuando trabajas bien?
24. Tus maestros/as reconocen sus propios errores en clase.
2.12. ¿Tus maestros reconocen sus propios errores en clase?
25. Tus maestros/as te ayudan a entender lo que es justo y lo que es injusto.
Reformulado: 2.13. ¿Te ayudan tus maestros a entender lo
que es justo y lo que es injusto? (te explican la diferencia)
2.14. ¿Tus maestros tratan en clase lo que es justo y lo que es injusto?
26. Crees que hay injusticias en tu barrio que te afectan.
Reformulado: 1.9. ¿Crees que hay injusticias en tu barrio o
zona donde vives que te afectan (violencia, drogas, pobreza)?
27. Crees que hay injusticias en el mundo que te afectan.
28. Tus maestros/as te animan a participar en las actividades de clase.
2.15. ¿Tus maestros os animan a participar en las actividades de clase?
Fuente: Elaboración propia.
Los últimos autores, por ejemplo, ya destacaban la escasez de estudios cuantitativos que
trabajasen las representaciones de los estudiantes y de los profesores acerca de la justicia
social y respecto a las implicaciones que ésta puede tener dentro del proceso evaluativo
(Hidalgo, 2017). De manera diferente a la nuestra, ya que nosotros proponemos el diseño
de un cuestionario, Jacott y otros (2014) presentan un instrumento basado en dilemas. Sin
embargo, y al igual que nosotros, lo desarrollan a partir de la teoría de justicia social para
el ámbito educativo de Fraser (2008), teoría considerada dentro de la escuela crítica y
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
162
nuevas teorías del siglo XX y XXI (clasificación realizada por Llorens, 2016). Así pues,
ellos diseñan ítems relacionados con las tres dimensiones de dicha teoría: la distribución,
el reconocimiento y la representación. En nuestro trabajo destacamos que la dimensión
más reflexionada ha sido la de reconocimiento y dentro de ella hemos trabajado sobre todo
la consideración de llevar a cabo una evaluación justa (Hidalgo, 2017) que refleje la
existencia o inexistencia de equidad de oportunidades y reconocimiento de las acciones
que el profesorado lleva a cabo con el alumnado. En concreto, en el estudio de Jacott y
otros (2014) se mencionan los resultados obtenidos, pero no especifican de manera
pormenorizada el procedimiento de creación del instrumento o al menos, no de una
manera en que nosotros podamos realizar comparaciones. Sin embargo, para nosotros ha
sido importante dar a conocer el número de jueces que han valorado cada una de las escalas
al igual que hemos querido reflejar su experiencia profesional y académica, la paridad en
el sexo y otras variables interesantes como es la edad. Estos datos los hemos querido dar
a conocer para poder comprobar, en futuros estudios, si dichas variables han podido influir
y de qué manera en las respuestas de los jueces. En esta línea, una de las pocas
consideraciones que se explicitan en Jacott y otros (2014) son los orígenes académicos de
los expertos que han participado en su estudio. Tanto en su propuesta como en la nuestra,
vemos que los resultados métricos son muy positivos y ello lo demuestra la homogeneidad
de respuestas que han llevado a cabo los jueces durante todo el proceso. Por otra parte,
uno de los estudios que sí que ha explicitado de manera pormenorizada, al igual que
nosotros, el proceso de validación de su instrumento de valoración (en concreto una escala
de creencias) es el de Ludlow, Enterline y Cochran-Smith (2008), donde intentan
demostrar cómo los análisis de TRI (Teoría de Respuesta al Ítem) pueden llegar a ser
mucho más fiables que los de TCT (Teoría Clásica de los Tests) para el campo académico
de las percepciones. Desde nuestra perspectiva, esta puede ser una de las líneas futuras de
investigación a tener en cuenta. Además, y principalmente de manera singular, en este
trabajo hemos querido destacar qué subgrupos de jueces se han formado para aportar
mayor validez a nuestro instrumento, dividiendo así las respuestas más homogéneas en el
grupo que hemos llamado “depurado” y las respuestas dispersas en el grupo que hemos
llamado “diferencial”.
Por otra parte, aunque el estudio de Ludlow, Enterline y Cochran-Smith (2008) va
remitido al profesorado, tienen en cuenta algunos de los criterios que a nosotros también
nos interesan, como son: las actitudes de respeto e inclusión por parte del profesorado
hacia la multiculturalidad, si el profesorado ayuda o no a los educandos con dificultades,
la responsabilidad de los equipos educativos por mantener hábitos educativos o de si
existen relaciones justas en las instituciones. Este estudio lo hemos considerado
fuertemente vinculado a nuestro interés de investigación ya que, ellos al igual que
nosotros, pretenden fomentar una educación crítica que no sólo deba quedarse enmarcada
dentro de la propia institución educativa sino también en la sociedad o en el contexto en
el que vive el alumnado. De manera semejante a la nuestra, estos autores pretenden
estudiar si las percepciones que se obtengan de su estudio pueden llegar a proyectarse en
la personalidad futura de los participantes y de si ello pueda llegar a afectarles en las
relaciones sociales futuras que les toque vivir.
Además, en nuestro trabajo los jueces han valorado las escalas de relevancia,
susceptibilidad de cambio, claridad y adecuación. La consideración de dichos criterios en
su conjunto se encuentra en muy pocos trabajos, puesto que sólo la podremos encontrar
en aquellas escalas que enmarquen su instrumento dentro de la búsqueda de la Cohesión
Revista Internacional de Educación para la Justicia Social
163
Social (Jornet, 2012). Por ejemplo, el criterio de susceptibilidad de cambio (educativo) lo
hemos introducido como un aspecto inherente al concepto de evaluación en el sentido de
cómo pueden influir las percepciones del alumnado en el proceso educativo y cómo éstas
pueden orientar al cambio o la mejora de dicho proceso. Éste es el sentido de equidad y
mejora educativa que previamente se ha estudiado y desarrollado en estudios como Jornet
(2012) o Hidalgo (2017).
En lo que se refiere a las conclusiones, realizaremos una reflexión global para evitar ser
reiterativos y no volver a desarrollar las preocupaciones ya tratadas en otros apartados.
En concreto, respecto a las características de nuestro instrumento, hemos tenido en cuenta
las implicaciones que puede tener la Educación para trabajar la Justicia Social (Fraser,
2008; Hidalgo, 2017; Jornet, Sancho y Bakieva, 2015b; Murillo y Hernández, 2011, entre
otros) y de ahí hemos pasado a desarrollar nuestra propia propuesta. A partir de los
intereses educativos que tratan dichos autores en sus respectivos estudios, hemos tenido
en cuenta cuáles de éstos podían ser los más próximos a nuestra propuesta de JSP-E y los
hemos reflejado en el instrumento, considerando algunos tales como el aprendizaje
colaborativo, crítico y reflexivo, y otras valoraciones que tengan que ver con la motivación
del alumnado, su rendimiento (Bravo et al., 2008), su inclusión, su respeto, sus emociones
y opiniones, etc.
Respecto a las valoraciones emitidas por los jueces, vemos que los resultados métricos son
óptimos. Por ejemplo, la escala de susceptibilidad muestra que los jueces entienden que
todos los aspectos valorados por los ítems son susceptibles de cambio, es decir, que
podríamos orientar programas de intervención educativa para su mejora. En general, y
para todas las escalas, existe acuerdo entre los expertos respecto a los criterios analizados
y esto es un aval para pensar que estamos en una buena dirección al traducir la definición
teórica en ítems, es decir, al operativizar el constructo en un instrumento de medida (una
escala, en concreto, sería la traducción de nuestra propuesta). Hay que destacar que las
medias obtenidas en el proceso de valoración han sido muy altas, pues ninguna baja de 3
puntos respecto a una escala de Likert de 1 a 4 puntos. El ítem con media inferior en la
mayoría de los casos es el ítem número 17 (Crees que tus maestros/as crean normas de
clase injustas). De igual manera, si consideramos estos resultados comparándolos
directamente con los análisis que hemos llevado a cabo para interpretar la consistencia
inter-jueces del constructo (W de Kendall) obtenemos que son positivos. Únicamente, los
resultados extraídos en el ítem 17 muestran que los jueces podrían pensar que el alumnado
no va a poder valorar cómo el maestro puede transmitir las normas de clase porque quizá
no siempre todas las reglas se hagan explícitas o no siempre se transmitan con total
claridad. Aquí los jueces pueden haber estado asumiendo que el alumnado necesita un nivel
cognitivo mayor para poder juzgar cada una de las normas de clase. Independientemente
de este resultado, consideramos que este criterio puede seguir estando bien planteado ya
que puede haber profesores o maestros que sí que dejen claras y explícitas cuáles vayan a
ser las normas de clase y, por lo tanto, en este caso, la percepción podría ser más fácilmente
identificable.
De manera general, para poder consensuar éstas y otras explicaciones relativas a los
criterios finales hemos establecido el consenso intersubjetivo de jueces como base de
objetividad teniendo en cuenta cada uno de los criterios valorados. Hay que destacar que
durante el proceso de valoración no ha habido ninguna propuesta llamativa de cambio en
la definición ni tampoco ninguna valoración negativa de sesgo. De esta manera, podemos
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
164
argumentar que este proceso aporta una aproximación inicial de validez a nuestro futuro
instrumento.
En definitiva, respecto al proceso de valoración, los jueces consideran que los ítems
propuestos pueden llegar a medir las acciones del profesorado que, por parte del alumnado,
puedan ser percibidas como justas. Es por ello que a partir de todas las propuestas de
cambio que los jueces han establecido para cada uno de los ítems (cuadros 8, 9 y 10),
concretamente la columna de la derecha–, se redactará un instrumento (una escala) que
pueda llegar a ser utilizable para un futuro ensayo piloto.
Aun así y de manera concluyente, la Justicia Social Percibida o JSP-E requiere de un largo
trabajo de estudio empírico y reflexivo. En ese sentido, nuestro trabajo no termina aquí.
Consideramos que el instrumento aún puede depurarse mucho más. Asimismo, los análisis
de propiedades métricas deben continuar, además, de que deben ser realizados sobre
muestras de jueces representativas. Queda para el futuro también poder desarrollar un
ensayo piloto que refleje las consideraciones de los propios estudiantes. Además, otra de
las hipótesis futuras a comprobar sería si la percepción de justicia que van interiorizando
los neófitos durante su proceso de enseñanza-aprendizaje podrá afectar a su consideración
sobre las relaciones y la justicia en su vida social futura.
Agradecimientos
Este trabajo forma parte del Proyecto I+D financiado por el MINECO (España) “Sistema
educativo y cohesión social: Diseño de un modelo de evaluación de necesidades” (Ref.
Secs_Evalnec, nº 37437).
Referencias
APA., AERA. y NCME. (2014). Standards for educational and psychological tests and manuals.
Washington, DC: American Psychological Association.
Bakieva, M. (2016). Diseño y validación de un instrumento para evaluar la Colegialidad Docente. Tesis
doctoral. Universitat de València.
Barr, R. B. y Tagg, J. (1998). De la enseñanza al aprendizaje: Un nuevo paradigma para la educación de
pregrado. Guadalajara: Universidad de Guadalajara.
Bloom, B., Englehart, M. Furst, E., Hill, W. y Krathwohl, D. (1956). Taxonomy of educational
objectives: The classification of educational goals. Nueva York, NY: Longman.
Bravo, D., Falck, D., González, R., Manzi, J. y Peirano, C. (2008). La relación entre la evaluación
docente y el rendimiento de los alumnos: evidencia para el caso de Chile. Santiago de Chile:
Universidad de Chile.
Cochran-Smith, M., Ludlow, L., Ell, F., O’Leary, M. y Enterline, S. (2012). Learning to teach for
social justice as a cross-cultural concept: Findings from three countries. European Journal of
Educational Research, 1(2), 171-198. https://doi.org/10.12973/eu-jer.1.2.171
Connell, R.W. (1997). Escuelas y justicia social. Madrid: Ediciones Morata.
Fraser, N. (2008). Scales of justice. Reimagining political space in a globalizing world. Nueva York, NY:
Columbia University Press.
Ginns, P., Fryer, L., Amazan, R., McCormick y Loughland, A. (2014). Evaluation of the learning
to teach for social justice-beliefs scale in an Australian context. Higher Education Research &
Development, 95(3), 1-13.
Revista Internacional de Educación para la Justicia Social
165
Hidalgo, N. (2017). Concepciones sobre una evaluación justa de los estudiantes. Una aproximación
fenomenográfica. Tesis doctoral. Universidad Autónoma de Madrid.
Jacott, L., Maldonado, A., Sainz, V., Juanes, A., García-Vélez, T. y Seguro, V. (2014). Representations
of social justice amongst Spanish teachers and students. En P. Cunningham y N. Fretwell (Eds.),
Innovative practice and research trends in identity, citizenship and education (pp. 122-139).
Londres: CiCe.
Jornet, J. M. (2012). Las dimensiones docentes y cohesión social: Reflexiones desde la evaluación.
Revista Iberoamericana de Evaluación Educativa, 5(1), 349-362.
Jornet, J. M., González-Such, J. y Bakieva, M. (2017). Aproximaciones cualitativas para la
definición y validación de constructos de instrumentos estandarizados de medida. Enfoque
teórico y metodología. Comunicación presentada en el 6º Congresso Ibero-Americano em
investigação qualitativa and 2º International Symposium on Qualitative Research. Portugal.
Jornet, J. M., Sancho, C. y Bakieva, M. (2015a). Diseño y validación del constructo teórico de
justicia social percibida por el alumnado en los centros escolares. Revista Internacional de
Educación para la Justicia Social, 4(2), 111-126.
Jornet, J. M., Sancho, C. y Bakieva, M. (2015b). Validación del constructo de justicia social
percibida. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77.
Kelly, G. A. (1955). The psychology of personal constructs. Nueva York, NY: Norton.
Leyva, Y. (2004). Validez de constructo en la evaluación de competencias médicas mediante pruebas
referidas al criterio. Tesis doctoral. Universidad Autónoma de Aguascalientes.
Llorens, A. J. (2016). Diseño de una escala para evaluar la justicia social percibida en la escuela. Trabajo
fin de Máster. Valencia: Universitat de València.
Ludlow, L. H., Enterline, S. E. y Cochran-Smith, M. (2008). Learning to teach for social justice
beliefs scale: An application of rasch measurement principles. Measurement and Evaluation in
Counselling and Development, 40(4), 194-211.
https://doi.org/10.1080/07481756.2008.11909815
Lundgren, U. P. (2013). PISA como instrumento político. La historia detrás de la creación del
programa PISA. Profesorado. Revista de Currículum y Formación del Profesorado, 17(2), 16-29.
Murillo, F. J. y Hernández-Castilla, R. (2011). Hacia un concepto de justicia social. REICE. Revista
Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 9(4), 7-23.
Murillo, F. J. e Hidalgo, N. (2015). Enfoques fundamentantes de la evaluación de estudiantes para
la justicia social. Revista Iberoamericana de Evaluación Educativa, 8(1), 43-61.
Rivas, F., Alcantud, F. y Gaya, C (1994). La técnica de rejilla: Manual de construcción, aplicación y
tratamiento de la información. Valencia: Programa GOLIAT.
Ruiz-Primo, A., Jornet, J. M. y Backhoff, E. (2006). Acerca de la validez de los exámenes de la calidad
y el logro educativos (Excale). Ciudad de México: Instituto Nacional de Evaluación Educativa.
Sancho, C., Jornet, J. M. y González-Such, J. (2016). El constructo valor social subjetivo de la
educación: validación cruzada entre profesorado de escuela y universidad. Revista de
Investigación Educativa, 34(2), 329-350. https://doi.org/10.6018/rie.34.2.226131
Syverson, M. (2009). Social justice and evidence-based assessment with the learning record. Forum
on Public, Policy, 1(29), 5-27.
Torres-Harding, S. R., Steele, C., Schulz, E., Taha, F. y Pico, C. (2014). Student perceptions of
social justice and social justice activities. Education, Citizenship & Social Justice, 1(9), 55-66.
https://doi.org/10.1177/1746197914520655
UNESCO. (2012). Educación para el desarrollo sostenible. París: UNESCO.
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
166
Anexos
Cuadro 1. Estadísticos de los elementos y total-elemento de relevancia y susceptibilidad
JUECES RELEVANCIA SUSCEPTIBILIDAD RELEVANCIA SUSCEPTIBILIDAD
Med. Des.
típica CV Med.
Des. típica
CV Correla. elemento-
total corregida Alfa de Cronbach si se
elimina el elemento Correl. elemen-total corregida
Alfa de Cronbach si se elimina el elemento
Juez1 3,89 0,31 8,09 3,79 ,63 16,64 ,11 ,419 -,13 ,425 Juez2 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez3 3,43 0,88 25,63 3,71 ,60 16,15 -,08 ,481 ,00 ,386 Juez4 3,75 0,44 11,76 3,68 ,61 16,63 -,27 ,475 ,00 ,387 Juez5 3,00 0,00 0,00 3,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez6 3,39 0,69 20,20 3,93 ,38 9,62 -,08 ,463 ,38 ,309 Juez7 3,96 0,19 4,77 3,96 ,19 4,77 ,02 ,427 ,43 ,334 Juez8 2,57 0,69 26,84 2,36 ,62 26,37 ,11 ,418 ,26 ,311 Juez9 2,29 0,85 37,38 2,29 ,85 37,38 ,62 ,235 ,15 ,344
Juez10 3,68 0,48 12,93 3,93 ,26 6,68 ,52 ,340 ,14 ,358 Juez11 3,93 0,26 6,68 3,93 ,38 9,62 -,05 ,435 -,29 ,426 Juez12 3,96 0,19 4,77 2,82 ,61 21,69 -,21 ,443 ,21 ,327 Juez13 2,96 0,19 6,38 2,96 ,51 17,13 -,04 ,431 ,22 ,330 Juez14 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez15 3,14 0,65 20,70 3,68 ,48 12,93 ,27 ,377 ,43 ,281 Juez16 3,96 0,19 4,77 3,86 ,36 9,24 ,02 ,427 ,11 ,359 Juez17 3,86 0,36 9,24 3,89 ,57 14,56 -,24 ,462 ,10 ,359 Juez18 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez19 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez20 3,96 0,19 4,77 3,39 ,50 14,66 ,02 ,427 -,14 ,413 Juez21 3,39 0,50 14,66 2,75 ,52 18,84 ,28 ,385 ,01 ,382 Juez22 2,75 0,66 23,47 3,68 ,48 12,93 -,00 ,444 ,22 ,331 Juez23 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez24 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367 Juez25 3,32 0,77 23,25 3,93 ,26 6,68 ,23 ,383 ,14 ,358 Juez26 4,00 0,00 0,00 4,00 0,00 0,00 0,00 ,422 0,00 ,367
Revista Internacional de Educación para la Justicia Social
167
Juez27 3,11 1,13 36,47 3,89 ,31 8,09 ,24 ,374 ,18 ,350 Juez28 3,64 0,49 13,39 3,64 ,49 13,39 ,19 ,402 ,08 ,363 Juez29 3,07 0,60 19,67 3,07 ,60 19,67 ,44 ,339 ,03 ,379 Juez30 3,25 0,44 13,57 3,21 ,50 15,51 -,03 ,439 ,08 ,364
Nota: N ítems: 28. N válido según lista =30 jueces.
Fuente: Elaboración propia.
Cuadro 2. Estadísticos de los elementos y total-elemento de claridad y adecuación
JUECES CLARIDAD ADECUACIÓN CLARIDAD ADECUACIÓN
Med. Des.
típica CV Med.
Des. típica
CV Correla. elemento-
total corregida Alfa de Cronbach si se
elimina el elemento Correla. elemento-
total corregida Alfa de Cronbach si se
elimina el elemento Juez1 3,79 0,63 16,64 3,89 0,31 8,09 -,03 ,380 ,28 ,232 Juez2 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez3 3,71 0,60 16,15 3,43 0,88 25,63 ,19 ,303 ,05 ,294 Juez4 3,68 0,61 16,63 3,75 0,44 11,76 ,16 ,312 -,09 ,313 Juez5 3,00 0,00 0,00 3,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez6 3,93 0,38 9,62 3,39 0,69 20,20 ,36 ,278 -,00 ,303 Juez7 3,96 0,19 4,77 3,96 0,19 4,77 ,42 ,306 -,06 ,290 Juez8 2,36 0,62 26,37 2,57 0,69 26,84 ,25 ,280 ,126 ,249 Juez9 2,29 0,85 37,38 2,29 0,85 37,38 ,00 ,388 ,393 ,083
Juez10 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez11 3,93 0,26 6,68 3,68 0,48 12,93 ,29 ,310 ,565 ,113 Juez12 3,93 0,38 9,62 3,93 0,26 6,67 -,17 ,390 ,142 ,262 Juez13 2,82 0,61 21,69 3,97 0,19 4,77 ,34 ,245 -,056 ,290 Juez14 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez15 2,96 0,51 17,13 2,97 0,19 6,37 ,13 ,325 ,019 ,281 Juez16 3,68 0,48 12,93 3,14 0,65 20,70 ,44 ,237 ,157 ,236 Juez17 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez18 3,86 0,35 9,24 3,97 0,19 4,77 ,07 ,341 ,095 ,273 Juez19 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez20 3,89 0,57 14,56 3,86 0,36 9,24 -,03 ,373 -,179 ,324 Juez21 3,39 0,50 14,66 3,96 0,19 4,77 -,36 ,451 ,019 ,281 Juez22 2,75 0,52 18,84 3,39 0,50 14,66 -,01 ,366 ,058 ,275
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
168
Juez23 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez24 4,00 0,00 0,00 4,00 0,00 0,00 ,00 ,341 ,00 ,276 Juez25 3,68 0,48 12,93 2,75 0,65 23,47 ,14 ,322 -,126 ,348 Juez26 3,93 0,26 6,68 3,32 0,77 23,25 ,07 ,342 -,001 ,309
Nota: N ítems: 28. N válido según lista =26 jueces.
Fuente: Elaboración propia.
Cuadro 3. Estadísticos descriptivos. Escala de relevancia
TOTALES DEPURADOS DIFERENCIALES Mín. Máx. Media Desv. Típica CV Media Desv. Típica CV Media Desv. Típica CV
It1Rel 2 4 3,57 0,57 15,91 3,62 ,590 16,298 3,44 ,527 15,319 It2Rel 1 4 3,47 0,82 23,60 3,52 ,873 24,801 3,33 ,707 21,231 It3Rel 1 4 3,5 0,82 23,43 3,52 ,873 24,801 3,44 ,726 21,104 It4Rel 1 4 3,4 0,93 27,41 3,33 1,017 30,54 3,56 ,726 20,393 It5Rel 2 4 3,5 0,68 19,49 3,48 ,680 19,54 3,56 ,726 20,393 It6Rel 2 4 3,63 0,62 16,94 3,71 ,561 15,121 3,44 ,726 21,104 It7Rel 2 4 3,37 0,72 21,31 3,38 ,740 21,893 3,33 ,707 21,231 It8Rel 1 4 3,43 0,86 25,01 3,33 ,966 29,009 3,67 ,500 13,623 It9Rel 1 4 3,4 0,72 21,29 3,43 ,746 21,749 3,33 ,707 21,231 It10Rel 3 4 3,7 0,47 12,59 3,76 ,436 11,595 3,56 ,527 14,803 It11Rel 3 4 3,63 0,49 13,50 3,67 ,483 13,16 3,56 ,527 14,803 It12Rel 1 4 3,53 0,78 21,98 3,57 ,746 20,896 3,44 ,882 25,639 It13Rel 1 4 3,5 0,78 22,20 3,52 ,680 19,318 3,44 1,014 29,476 It14Rel 2 4 3,57 0,57 15,910 3,57 ,507 14,201 3,56 ,726 20,393 It15Rel 3 4 3,7 0,47 12,59 3,71 ,463 12,479 3,67 ,500 13,623 It16Rel 1 4 3,47 0,82 23,60 3,48 ,873 25,086 3,44 ,726 21,104 It17Rel 1 4 3,33 0,88 26,55 3,29 ,956 29,057 3,44 ,726 21,104 It18Rel 3 4 3,77 0,43 11,41 3,86 ,359 9,3 3,56 ,527 14,803 It19Rel 2 4 3,6 0,56 15,64 3,57 ,598 16,75 3,67 ,500 13,623 It20Rel 1 4 3,43 0,82 23,82 3,38 ,865 25,591 3,56 ,726 20,393 It21Rel 1 4 3,43 0,90 26,18 3,33 1,017 30,54 3,67 ,500 13,623 It22Rel 3 4 3,7 0,47 12,59 3,76 ,436 11,595 3,56 ,527 14,803 It23Rel 2 4 3,6 0,62 17,25 3,76 ,539 14,335 3,22 ,667 20,714
Revista Internacional de Educación para la Justicia Social
169
It24Rel 2 4 3,57 0,63 17,53 3,57 ,676 18,935 3,56 ,527 14,803 It25Rel 2 4 3,7 0,54 14,46 3,71 ,561 15,121 3,67 ,500 13,623 It26Rel 2 4 3,6 0,56 15,64 3,76 ,436 11,595 3,22 ,667 20,714 It27Rel 2 4 3,47 0,63 18,13 3,57 ,598 16,75 3,22 ,667 20,714 It28Rel 2 4 3,63 0,62 16,94 3,81 ,402 10,551 3,22 ,833 25,869
Nota: válido según lista =30 jueces.
Fuente: Elaboración propia.
Cuadro 4. Estadísticos descriptivos. Escala de susceptibilidad de cambio
TOTALES DEPURADOS DIFERENCIALES Mín. Máx. Media Desv. Típica CV Media Desv. Típica CV Media Desv. Típica CV
It1Sus 2 4 3,67 0,55 14,90 3,70 ,559 15,108 3,57 ,535 14,985 It2Sus 2 4 3,67 0,61 16,51 3,70 ,559 15,108 3,57 ,787 22,044 It3Sus 2 4 3,57 0,73 20,39 3,57 ,728 20,392 3,57 ,787 22,044 It4Sus 2 4 3,6 0,68 18,75 3,57 ,728 20,392 3,71 ,488 13,153 It5Sus 2 4 3,67 0,66 18,011 3,61 ,722 20 3,86 ,378 9,792 It6Sus 1 4 3,5 0,86 24,60 3,39 ,941 27,758 3,86 ,378 9,792 It7Sus 1 4 3,5 0,78 22,20 3,48 ,790 22,701 3,57 ,787 22,044 It8Sus 1 4 3,43 0,82 23,82 3,35 ,885 26,417 3,71 ,488 13,153 It9Sus 1 4 3,53 0,68 19,29 3,48 ,730 20,977 3,71 ,488 13,153 It10Sus 2 4 3,67 0,55 14,90 3,70 ,470 12,702 3,57 ,787 22,044 It11Sus 2 4 3,67 0,55 14,90 3,65 ,573 15,698 3,71 ,488 13,153 It12Sus 1 4 3,53 0,73 20,68 3,48 ,790 22,701 3,71 ,488 13,153 It13Sus 1 4 3,43 0,77 22,57 3,52 ,593 16,846 3,14 1,215 38,694 It14Sus 2 4 3,6 0,56 15,64 3,57 ,590 16,526 3,71 ,488 13,153 It15Sus 2 4 3,63 0,56 15,32 3,61 ,583 16,149 3,71 ,488 13,153 It16Sus 1 4 3,53 0,73 20,68 3,48 ,790 22,701 3,71 ,488 13,153 It17Sus 1 4 3,33 0,84 25,35 3,22 ,902 28,012 3,71 ,488 13,153 It18Sus 3 4 3,73 0,45 12,06 3,70 ,470 12,702 3,86 ,378 9,792 It19Sus 3 4 3,7 0,47 12,59 3,70 ,470 12,702 3,71 ,488 13,153 It20Sus 2 4 3,63 0,62 16,94 3,61 ,656 18,171 3,71 ,488 13,153 It21Sus 1 4 3,6 0,68 18,75 3,57 ,728 20,392 3,71 ,488 13,153 It22Sus 2 4 3,57 0,73 20,39 3,61 ,656 18,171 3,43 ,976 28,454
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
170
It23Sus 2 4 3,47 0,73 21,04 3,48 ,665 19,109 3,43 ,976 28,454 It24Sus 2 4 3,57 0,57 15,91 3,57 ,590 16,526 3,57 ,535 14,985 It25Sus 2 4 3,73 0,52 13,97 3,65 ,573 15,698 4,00 ,000 0 It26Sus 2 4 3,53 0,68 19,29 3,61 ,656 18,171 3,29 ,756 22,978 It27Sus 1 4 3,47 0,82 23,60 3,57 ,843 23,613 3,14 ,690 21,974 It28Sus 2 4 3,67 0,61 16,51 3,61 ,656 18,171 3,86 ,378 9,792
Nota: válido según lista =26 jueces.
Fuente: Elaboración propia.
Cuadro 5. Estadísticos descriptivos. Escala de susceptibilidad de claridad
TOTALES DEPURADOS DIFERENCIALES Mín. Máx. Media Desv. típ. CV Media Desv.Típica CV Media Desv. Típica CV
It1Cla 2 4 3,65 0,56 15,40 3,72 ,575 15,456 3,50 ,535 15,285 It2Cla 2 4 3,69 0,55 14,88 3,83 ,383 10 3,38 ,744 22,011 It3Cla 2 4 3,58 0,70 19,64 3,61 ,608 16,842 3,50 ,926 26,457 It4Cla 2 4 3,65 0,69 18,88 3,78 ,548 14,497 3,38 ,916 27,1 It5Cla 2 4 3,69 0,68 18,40 3,78 ,548 14,497 3,50 ,926 26,457 It6Cla 1 4 3,5 0,91 25,89 3,56 ,856 24,044 3,38 1,061 31,39 It7Cla 1 4 3,58 0,76 21,17 3,67 ,767 20,899 3,38 ,744 22,011 It8Cla 1 4 3,46 0,86 24,83 3,50 ,786 22,457 3,38 1,061 31,39 It9Cla 1 4 3,58 0,70 19,64 3,67 ,485 13,215 3,38 1,061 31,39
It10Cla 2 4 3,69 0,55 14,88 3,78 ,428 11,322 3,50 ,756 21,6 It11Cla 2 4 3,69 0,55 14,88 3,72 ,575 15,456 3,63 ,518 14,269 It12Cla 1 4 3,58 0,76 21,17 3,67 ,594 16,185 3,38 1,061 31,39 It13Cla 1 4 3,5 0,76 21,77 3,67 ,594 16,185 3,13 ,991 31,661 It14Cla 2 4 3,65 0,56 15,40 3,67 ,594 16,185 3,63 ,518 14,269 It15Cla 2 4 3,65 0,56 15,40 3,67 ,594 16,185 3,63 ,518 14,269 It16Cla 1 4 3,58 0,76 21,17 3,67 ,594 16,185 3,38 1,061 31,39 It17Cla 1 4 3,35 0,85 25,25 3,44 ,705 20,494 3,13 1,126 35,974 It18Cla 3 4 3,77 0,43 11,41 3,78 ,428 11,322 3,75 ,463 12,346 It19Cla 3 4 3,73 0,45 12,12 3,78 ,428 11,322 3,63 ,518 14,269 It20Cla 2 4 3,65 0,63 17,23 3,78 ,428 11,322 3,38 ,916 27,1 It21Cla 1 4 3,65 0,69 18,88 3,78 ,428 11,322 3,38 1,061 31,39
Revista Internacional de Educación para la Justicia Social
171
It22Cla 2 4 3,5 0,76 21,77 3,39 ,850 25,073 3,75 ,463 12,346 It23Cla 2 4 3,5 0,76 21,77 3,39 ,850 25,073 3,75 ,463 12,346 It24Cla 2 4 3,58 0,58 16,15 3,56 ,511 14,353 3,63 ,744 20,495 It25Cla 2 4 3,73 0,53 14,29 3,78 ,428 11,322 3,63 ,744 20,495 It26Cla 2 4 3,5 0,71 20,20 3,50 ,707 20,2 3,50 ,756 21,6 It27Cla 1 4 3,42 0,86 25,06 3,44 ,856 24,883 3,38 ,916 27,1 It28Cla 2 4 3,62 0,64 17,60 3,67 ,594 16,185 3,50 ,756 21,6
Nota: válido según lista =26 jueces.
Fuente: Elaboración propia.
Cuadro 6. Estadísticos descriptivos. Escala de susceptibilidad de adecuación
TOTALES DEPURADOS DIFERENCIALES Mín. Máx. Media Desv. Típica CV Media Desv. Típica CV Media Desv. Típica CV
It1Ad 2 4 3,54 0,58 16,44 3,53 ,624 17,677 3,56 ,527 14,803 It2Ad 2 4 3,58 0,64 17,96 3,65 ,606 16,602 3,44 ,726 21,104 It3Ad 1 4 3,5 0,81 23,20 3,41 ,870 25,513 3,67 ,707 19,264 It4Ad 1 4 3,5 0,86 24,57 3,59 ,870 24,233 3,33 ,866 26,006 It5Ad 2 4 3,58 0,70 19,64 3,71 ,588 15,849 3,33 ,866 26,006 It6Ad 2 4 3,69 0,62 16,75 3,71 ,588 15,849 3,67 ,707 19,264 It7Ad 2 4 3,42 0,70 20,56 3,59 ,618 17,214 3,11 ,782 25,144 It8Ad 1 4 3,46 0,91 26,16 3,53 1,007 28,526 3,33 ,707 21,231 It9Ad 1 4 3,46 0,76 21,99 3,59 ,795 22,144 3,22 ,667 20,714
It10Ad 3 4 3,73 0,45 12,12 3,76 ,437 11,622 3,67 ,500 13,623 t11Ad 3 4 3,69 0,47 12,76 3,76 ,437 11,622 3,56 ,527 14,803 It12Ad 1 4 3,54 0,81 22,91 3,71 ,772 20,808 3,22 ,833 25,869 It13Ad 1 4 3,54 0,76 21,50 3,76 ,562 14,946 3,11 ,928 29,839 It14Ad 2 4 3,65 0,56 15,40 3,82 ,393 10,287 3,33 ,707 21,231 It15Ad 3 4 3,73 0,45 12,12 3,82 ,393 10,287 3,56 ,527 14,803 It16Ad 1 4 3,5 0,86 24,57 3,53 ,943 26,713 3,44 ,726 21,104 It17Ad 1 4 3,46 0,81 23,44 3,53 ,874 24,759 3,33 ,707 21,231 It18Ad 3 4 3,77 0,43 11,41 3,82 ,393 10,287 3,67 ,500 13,623 It19Ad 2 4 3,65 0,56 15,40 3,82 ,393 10,287 3,33 ,707 21,231 It20Ad 2 4 3,58 0,70 19,64 3,76 ,562 14,946 3,22 ,833 25,869
A. J. Llorens, J. M. Jornet y P. Sánchez-Delgado
172
It21Ad 1 4 3,54 0,81 22,91 3,65 ,862 23,616 3,33 ,707 21,231 It22Ad 3 4 3,69 0,47 12,76 3,71 ,470 12,668 3,67 ,500 13,623 It23Ad 2 4 3,58 0,64 17,96 3,65 ,606 16,602 3,44 ,726 21,104 It24Ad 2 4 3,69 0,55 14,88 3,71 ,588 15,849 3,67 ,500 13,623 It25Ad 2 4 3,73 0,53 14,29 3,76 ,562 14,946 3,67 ,500 13,623 It26Ad 2 4 3,54 0,58 16,44 3,59 ,507 14,122 3,44 ,726 21,104 It27Ad 2 4 3,46 0,65 18,70 3,47 ,624 17,982 3,44 ,726 21,104 It28Ad 2 4 3,58 0,64 17,96 3,65 ,606 16,602 3,44 ,726 21,104
Nota: válido según lista =30 jueces.
Fuente: Elaboración propia.
Revista Internacional de Educación para la Justicia Social
173
Breve CV de los autores
Anna Jordina Llorens
Magister en Política, Gestión y Dirección de los Centros Educativos por la Universitat de
València (con Premio Extraordinario) y graduada en Magisterio Primaria con Mención
en Educación Física en la Universitat Jaume I de Castelló de la Plana. Actualmente
colabora como investigadora del Departamento de Métodos de Investigación y
Diagnóstico en Educación (MIDE) en la Facultad de Filosofía y Ciencias de la Educación,
Universitat de València, y es miembro del Grupo de Evaluación y Medición GEM-EduCo
(www.uv.es/gem/gemeduco). Actualmente desarrolla su investigación de doctorado en
torno al tema de evaluación de la dimensión de Justicia Social Percibida por el alumnado
de primaria y secundaria, en el marco de la evaluación de Sistemas Educativos para la
Cohesión Social. ORCID ID: https://orcid.org/0000-0002-5402-5129. Email:
Jesús Miguel Jornet Meliá
Licenciado y doctor en Filosofía y Ciencias de la Educación por la Universidad de
Valencia, España. Catedrático de la Universitat de València, desde 2006. Coordinador del
Grupo GemEduCo y miembro del Grupo de Innovación Docente InnovaMIDE. Ha sido
miembro Consejo Técnico del INEE, y actualmente pertenece a diversas asociaciones
nacionales y europeas de investigación y evaluación educativas (SEP, AIDIPE, EERA,
AEOP, RIIED) y es asesor de diversas revistas de investigación y evaluación educativas.
Líneas de investigación: de medición (construcción y validación de instrumentos) y
evaluación (diseño y desarrollo de sistemas de evaluación) en educación. Para más
información http://www.uv.es/gem/gemeduco/. ORCID ID: https://orcid.org/0000-
0001-6905-497X. Email: [email protected]
Purificación Sánchez Delgado
Doctora en Ciencias de la Educación. Profesora Contratada Doctora de la Universitat de
València del área de Medición y Evaluación Educativa. Ha impartido docencia en el área
de la educación y sobre evaluación e intervención y metodología de evaluación de
programas en el área de la logopedia. Miembro del Grupo de Evaluación y Medición
(GEM) (www.uv.es/gem). En el ámbito de la medición educativa trabaja en el desarrollo
y validación de pruebas para medir diferentes tipos de variables educativas vinculadas al
área del lenguaje. En el ámbito de la evaluación, trabaja tanto en evaluación de sistemas
educativos como evaluación de aprendizajes y competencias. ORCID ID:
https://orcid.org/0000-0003-4443-8904. Email: [email protected]