abigail perea pautas para el anÁlisis de la calidad del...

JARDUERA FISIKOA ETA KIROLA IKERTZEKO I. BILTZAR BIRTUALA I CONGRESO VIRTUAL DE INVESTIGACIÓN EN LA ACTIVIDAD FÍSICA Y EL DEPORTE

Vitoria-Gasteiz, septiembre de 2005. pág. 1/15

PAUTAS PARA EL ANÁLISIS DE LA CALIDAD DEL DATO EN LA OBSERVACIÓN DE LOS DEPORTES COLECTIVOS: UNA APLICACIÓN EN EL

FÚTBOL

Abigail Ernesto Perea Rodríguez ([email protected]) Julen Castellano Paulis

Antonio Hernández Mendo Efrén Pérez Castellano David Álvarez Pastor

Resumen

En el presente trabajo se proponen las pautas para llevar a cabo el análisis de la calidad del dato en la observación, codificación y registro de deportes colectivos, en una aplicación específica en fútbol. Una vez configurado el sistema de codificación para descripción de la acción de juego en el fútbol, se ha realizado una observación sistemática. En ella se registraron ciertos tipos de comportamiento estratégicos interactivos entre los equipos, diseñados ad hoc, así como los contextos de interacción en los que tienen lugar, todo ello dentro de una ubicación espacial del terreno de juego. Se utiliza la metodología observacional, apoyada en un software elaborado a propósito para esta investigación: la aplicación informática SOCCAFv2.2 video. Para garantizar en cierta medida la calidad de los datos se ha utilizado la concordancia consensuada. Además se han llevado acabo una serie de análisis para determinar la calidad del dato mediante la estimación de diferentes coeficientes de correlación y asociación, entre los que destacamos la Kappa de Cohen. A medida que los valores estimados con estos coeficientes han sido satisfactorios se han ido incorporando nuevos análisis más exigentes al tiempo que precisos, como son, por ejemplo, los empleados habitualmente para estimar la variabilidad a través de los análisis de la varianza y de generalizabilidad.

Palabras clave: Fútbol, instrumento de observación, fiabilidad, calidad del dato. 1. Introducción

En la Metodología Observacional, hay diferentes formas de estimar la fiabilidad de los datos registrados y cada una de ellas genera un coeficiente diferente. Se debe tener en cuenta que los conceptos de concordancia, fiabilidad y validez presentan dificultades entre sí (Blanco Villaseñor y Anguera, 1993). Podemos analizar los registros realizados por un mismo observador en dos momentos diferentes de la misma sesión de observación (intraobservador), o por un grupo de observadores en el mismo periodo temporal (interobservadores), o en diferentes momentos separados por un periodo de tiempo (estabilidad). Para determinar la calidad del dato en esta investigación se han utilizado los índices de acuerdo y de asociación; también se ha aplicado la corrección por efecto del azar con el índice de Kappa de Cohen, de manera similar a como han sido utilizados en otros trabajos de investigación (Ardá, 1998; Gorospe, 1999; Castellano, 2000a y 2000b; Garay, 2003; Usabiaga, 2005). En todos los casos se ha utilizado la concordancia consensuada (Anguera 1990). A medida que los valores estimados con estos coeficientes han sido satisfactorios se han ido incorporando nuevos análisis más exigentes al tiempo que precisos, como por ejemplo los empleados



habitualmente para expresar la variabilidad a través de los análisis de la varianza y de generalizabilidad tal y como se han realizado en otros estudios (Blanco Villaseñor, 1989, 1993, 2001; Arnau, Blanco Villaseñor y Losada 1991, 2004; Blanco Villaseñor, Losada y Anguera, 1991; Martínez, 1996; Blanco Villaseñor y Hernández Mendo, 1998; Blanco Villaseñor y Anguera, 2003; Castellano y Blanco Villaseñor, 2003, 2004a, 2004b y 2005 en prensa; Usabiaga, 2005). 2. Método 2.1. Sujetos

El estudio de la calidad del dato se ha efectuado mediante la observación, codificación y registro de la primera parte (45 minutos) del encuentro Brasil vs. Alemania durante la final del Mundial de fútbol de Corea y Japón disputado en 2002. Cada observación ha supuesto el registro de más de 1.350 códigos. Dos equipos de observadores han codificado el mismo encuentro en dos momentos distintos.

2.2. Material

El material utilizado en la codificación y registro del flujo comportamental de la muestra ha incluido: la grabación en formato VHS, la digitalización del partido, un ordenador portátil con procesador Intel Pentium III (696 MHZ, 128 Mb de RAM y 40 Gb en disco duro) y el software para el análisis de la acción de juego en el fútbol SOCCAFv2.2 video (Perea, Alday y Castellano, 2005a) confeccionado ad hoc para esta investigación (figura 1).



Figura 1. Software para el análisis de la acción de juego en el fútbol: SOCCAFv2.2.0 video.

Para el análisis de los datos se empleó el paquete estadístico SPSS v.10.0

para Windows, el software para la Observación deportiva Match Vision Studio v3.0 (Perea, Alday y Castellano, 2005b; Castellano, Perea y Alday 2005) confeccionado también ad hoc para esta investigación, el programa de análisis secuencial SDIS-GSEQ (Bakeman y Quera, 1996) en su versión para Windows, el programa estadístico SAS (Schlotzhauer and Littell, 1997; SAS Institute Inc, 1999) y el programa GT versión 2.0.E. (Generalizability Study de Yeswijn, 1996).

2.3. Procedimiento

Las diferentes codificaciones y registros de la primera parte del partido las han realizado dos grupos de observadores, después de seguir un plan de entrenamiento a partir de un protocolo de observación. Los cuatro observadores fueron agrupados de dos en dos para garantizar la concordancia consensuada (Anguera, 1990), es decir, se han formado dos unidades de observación: obs a y obs b. Cada una de las unidades observó la primera parte del partido en dos momentos diferentes (1 y 2), separados entre ellos dos semanas. El total de las observaciones es de cuatro: obs a1, obs b1, obs a2 y obs b2. De esta manera, tendremos dos indicadores que hagan referencia a la concordancia intraobservadores (obs a1 comparado con el obs a2 y el obs b1 comparado con el obs b2). Además disponemos de dos indicadores para estimar la concordancia interobservadores (obs a1 comparado con el obs b1 y el obs a2 comparado con el obs b2).

Con respecto a la inobservabilidad, considerada como el periodo de tiempo en el que un sujeto, el equipo o lo que se quiera observar no pueda ser observado (Anguera 1988). Podemos decir que en esta ocasión sólo ha ocurrido algún breve periodo de tiempo en el que la visión del juego no ha sido continua, y ha sido debido fundamentalmente a causas de carácter tecnológico (Hernández Mendo, 1996), ya que por motivo de la repetición de ciertas jugadas no se ha podido visionar con total continuidad la dinámica del juego. Aun así, en ningún caso ha existido discontinuidad en la sesión de observación durante un período de tiempo superior al 10% de la misma, lo que nos ha permitido considerar el total de la sesión para llevar los correspondientes análisis de fiabilidad (Anguera, 1990). Los breves períodos de inobservabilidad no se han tenido en cuenta para la presente investigación.

La constancia intra e inter sesional son dos requisitos encaminados a facilitar la buena marcha del procedimiento, y que actúan como importante garantía para no incurrir en carencias o errores metodológicos que darían lugar indefectiblemente a registros falseados (Anguera y Blanco Villaseñor 2003). En esta ocasión, para el análisis de la calidad del dato, solo nos interesa considerar el primero de esos conceptos, el de la estabilidad intrasesional, ya que únicamente se va a realizar la observación y el registro de cuatro veces pero de una única parte de un mismo partido de fútbol. Con relación al mantenimiento de la constancia intra sesional, las decisiones que hemos tomado son:

• Los partidos no han sufrido interrupciones temporales debido a la falta de luz, lluvia u otras circunstancias que afecten al desarrollo continuo del juego.

• Se ha seleccionado un partido en el que no han existido expulsiones o lesiones, que hicieran cambiar el estado inicial de equilibrio numérico entre los dos equipos participantes.



La herramienta de observación utilizada fue el SOCCAF2, revisión adaptada y

ampliada de la herramienta SOCCAF, Sistema de Observación de la Acción de Juego en Fútbol, propuesto por Castellano (2000). Dicha herramienta está concebida dentro del marco de la Metodología Observacional, en la cual las categorías son exhaustivas y mutuamente excluyentes (EME). Las categorías han sido definidas con su núcleo categoríal, nivel de plasticidad y situación sociomotriz, que permitirá llevar a cabo una descripción de la acción de juego en el fútbol. Nueve son los criterios con los que cuenta el sistema de categorías, con los que podremos delimitar la observación de la acción de juego en el fútbol:

• Criterio 1: Campo • Criterio 2: Parte • Criterio 3: Resultado • Criterio 4: Espacialización • Criterio 5: Balón fuera de juego • Criterio 6: Balón en juego • Criterio 7: Orientación • Criterio 8: Tiempo • Criterio 9: Duración A continuación aportaremos una pequeña definición de cada una de las

categorías que corresponden a cada uno de los criterios:

• Criterio 1: Campo (3 categorías) Categorías del criterio Campo

Local El partido se realiza en el campo del equipo observado Visitante El partido se realiza en el campo del equipo adversario Neutro El partido se realiza en un campo neutro al equipo observado y adversario

Tabla 1. Categorías del criterio Campo.

• Criterio 2: Parte (2 categorías) Categorías del criterio Parte

Primera Corresponde al primer periodo de 45’ minutos que compone el partido Segunda Corresponde al segundo periodo de 45’ minutos que compone el partido Tabla 2. Categorías del criterio Parte.

• Criterio 3: Resultado (3 categorías)

Categorías del criterio Resultado Ganando El equipo observado esta ganando el partido

Empatando El equipo observado y el equipo adversario empatan en el resultado del partido

Perdiendo El equipo observado esta perdiendo el partido Tabla 3. Categorías del criterio Resultado.

• Criterio 4: Espacialización (14 categorías), pertenecientes a las zonas en que es dividido el terreno de juego



Figura 2. Categorías del criterio Espacialización.

• Criterio 5: Balón fuera de juego (8 categorías)

Categorías del criterio Balón fuera de juego IRCP Penalti o falta en contra del equipo observado IRCp Saque de puerta o corner en contra del equipo observado IRFP Penalti o falta a favor del equipo observado IRFp Saque de puerta o corner a favor del equipo observado IRCM Saque de banda en contra del equipo observado IRFM Saque de banda a favor del equipo observado GOLF Gol a favor del equipo observado GOLC Gol en contra del equipo observado

Tabla 4. Categorías del criterio Balón fuera de juego. • Criterio 6: Balón en juego (58 categorías)

Categorías del criterio Balón en juego Inicio de la posesión del balón (8 categorías)

RMT La zona retrasada del equipo observado recupera el balón, teniendo la zona media y la retrasada del equipo adversario delante.

RAT La zona retrasada del equipo observado recupera el balón, teniendo a todo el equipo adversario delante.

MRT La zona media del equipo observado recupera el balón, teniendo la zona retrasada del equipo adversario delante.

MMT La zona media del equipo observado recupera el balón, teniendo la zona media y la retrasada del equipo adversario delante.

MAT La zona media del equipo observado recupera el balón, teniendo a todo el equipo adversario delante.

ART La zona adelantada del equipo observado recupera el balón, teniendo la zona retrasada del equipo adversario delante.

AMT La zona adelantada del equipo observado recupera el balón, teniendo la zona media y la retrasada del equipo adversario delante.

GT El portero del equipo observado recupera el balón. Desarrollo de la posesión (21 categorías)

RMC El equipo observado continúa la posesión en la zona retrasada por una transmisión del balón, teniendo la zona media y la retrasada del equipo adversario delante.

RMc El equipo observado continúa la posesión en la zona retrasada por una retención del balón, teniendo la zona media y la retrasada del equipo adversario delante.

RAC El equipo observado continúa la posesión en la zona retrasada por una transmisión del balón, teniendo a todo el equipo adversario delante.

RAc El equipo observado continúa la posesión en la zona retrasada por una retención del balón, teniendo a todo el equipo adversario delante.

MRC El equipo observado continúa la posesión en la zona media por una transmisión del balón, teniendo la zona retrasada del equipo adversario delante.

MRc El equipo observado continúa la posesión en la zona media por una retención del balón, teniendo la zona retrasada del equipo adversario delante.

MMC El equipo observado continúa la posesión en la zona media por una transmisión del balón, teniendo la zona media y la retrasada del equipo adversario delante.

MMc El equipo observado continúa la posesión en la zona media por una retención del balón, teniendo la zona media y la retrasada del equipo adversario delante.

MAC El equipo observado continúa la posesión en la zona media por una transmisión del balón, teniendo a todo el equipo adversario delante.



MAc El equipo observado continúa la posesión en la zona media por una retención del balón, teniendo a todo el equipo adversario delante.

ARC El equipo observado continúa la posesión en la zona adelantada por una transmisión del balón, teniendo la zona retrasada del equipo adversario delante.

ARc El equipo observado continúa la posesión en la zona adelantada por una retención del balón, teniendo la zona retrasada del equipo adversario delante.

AMC El equipo observado continúa la posesión en la zona adelantada por una transmisión del balón, teniendo la zona media y la retrasada del equipo adversario delante.

AMc El equipo observado continúa la posesión en la zona adelantada por una retención del balón, teniendo la zona media y la retrasada del equipo adversario delante.

AOC El equipo observado continúa la posesión en la zona adelantada por una transmisión del balón, teniendo superados a todos los jugadores menos el portero del equipo adversario.

AOc El equipo observado continúa la posesión en la zona adelantada por una retención del balón, teniendo superados a todos los jugadores menos el portero del equipo adversario.

TIR El equipo observado tira a gol. IG El guardameta del equipo adversario intercepta el balón. IR La zona retrasada del equipo adversario intercepta el balón. IM La zona media del equipo adversario intercepta el balón. IA La zona adelantada del equipo adversario intercepta el balón.

Final de la posesión del balón (8 categorías) RMP La zona media del equipo adversario recupera el balón, teniendo la zona retrasada

del equipo observado delante. RAP La zona adelantada del equipo adversario recupera el balón, teniendo a la zona

retrasada del equipo observado delante. MRP La zona retrasada del equipo adversario recupera el balón, teniendo la zona media y

la retrasada del equipo observado delante. MMP La zona media del equipo adversario recupera el balón, teniendo la zona media y la

retrasada del equipo observado delante. MAP La zona adelantada del equipo adversario recupera el balón, teniendo la zona media

y la retrasada del equipo observado delante. ARP La zona retrasada del equipo adversario recupera el balón, teniendo a todo el equipo

observado delante. AMP La zona media del equipo adversario recupera el balón, teniendo a todo el equipo

observado delante. PG El portero del equipo adversario recupera el balón.

Desarrollo de la no – posesión del balón (21 categorías) RMN El equipo adversario continúa la posesión en la zona media por una transmisión del

balón, teniendo la zona retrasada del equipo observado delante. RMn El equipo adversario continúa la posesión en la zona media por una retención del

balón, teniendo la zona retrasada del equipo observado delante. RAN El equipo adversario continúa la posesión en la zona adelantada por una transmisión

del balón, teniendo la zona retrasada del equipo observado delante. RAn El equipo adversario continúa la posesión en la zona adelantada por una retención

del balón, teniendo la zona retrasada del equipo observado delante. MRN El equipo adversario continúa la posesión en la zona retrasada por una transmisión

del balón, teniendo la zona media y la retrasada del equipo observado delante. MRn El equipo adversario continúa la posesión en la zona retrasada por una retención del

balón, teniendo la zona media y la retrasada del equipo observado delante. MMN El equipo adversario continúa la posesión en la zona media por una transmisión del

balón, teniendo la zona media y la retrasada del equipo observado delante. MMn El equipo adversario continúa la posesión en la zona media por una retención del

balón, teniendo la zona media y la retrasada del equipo observado delante. MAN El equipo adversario continúa la posesión en la zona adelantada por una transmisión

del balón, teniendo la zona media y la retrasada del equipo observado delante. MAn El equipo adversario continúa la posesión en la zona adelantada por una retención

del balón, teniendo la zona media y la retrasada del equipo observado delante.



ARN El equipo adversario continúa la posesión en la zona retrasada por una transmisión del balón, teniendo a todo el equipo observado delante

ARn El equipo adversario continúa la posesión en la zona adelantada por una retención del balón, teniendo a todo el equipo observado delante.

AMN El equipo adversario continúa la posesión en la zona media por una transmisión del balón, teniendo a todo el equipo observado delante.

AMn El equipo adversario continúa la posesión en la zona media por una retención del balón, teniendo a todo el equipo observado delante.

OAN El equipo adversario continúa la posesión en la zona adelantada por una transmisión del balón, teniendo superados a todos los jugadores menos el portero del equipo observado.

OAn El equipo adversario continúa la posesión en la zona adelantada por una retención del balón, teniendo superados a todos los jugadores menos el portero del equipo observado.

LAN El equipo adversario tira a gol. GI El guardameta del equipo observado intercepta el balón. RI La zona retrasada del equipo observado intercepta el balón. MI La zona media del equipo observado intercepta el balón. AI La zona adelantada del equipo observado intercepta el balón.

Tabla 5. Categorías del criterio Balón en juego.

• Criterio 7: Orientación (2 categorías). Categorías del criterio Orientación

Frente Un jugador del equipo con posesión de balón lo recibe de frente a la portería contraria en las zonas 9, 10, 11, 12, 13 y 14

Espalda Un jugador del equipo con posesión de balón lo recibe de espalda a la portería contraria en las zonas 9, 10, 11, 12, 13 y 14

Tabla 6. Categorías del criterio Orientación. 3. Resultados Al revisar la bibliografía existente referente a la estimación de la concordancia entre las observaciones, encontramos diferentes índices aplicables en el cálculo de la concordancia tanto intraobservadores como interobservadores, que nos demuestra que es un tema en el que no existe unanimidad sobre los estadísticos que deberían ser utilizados.

Primeramente queremos subrayar que para este estudio, se ha utilizado la concordancia consensuada (Anguera, 1990), que consiste en que los observadores obtengan un acuerdo entre ellos previamente al registro, perfeccionando al mismo. Por eso cada uno de los grupos estuvo compuesto por dos observadores.

Las cuatro observaciones realizadas (Obs a1, Obs a2, Obs b1 y Obs b2), para la determinación de la calidad del dato, representan la codificación del flujo conductual desarrolladas en el mismo partido (Brasil-Alemania), por el grupo A de observadores (Obs a1), por el grupo de B de observadores (Obs b1), por una segunda codificación del grupo A de observadores (Obs a2), y otra segunda observación del grupo B de observadores (Obs b2), separadas en el tiempo respecto a la primera de sus observaciones. En la tabla que a continuación mostramos (tabla 7) vienen recogidas las frecuencias absolutas registradas:

CATEGORÍAS OBS a1 OBS a2 OBS b1 OBS b2 1 19 20 20 22 2 9 8 9 11 3 20 21 18 18



4 16 16 17 16 5 104 104 102 112 6 77 77 73 65 7 88 86 86 84 8 66 64 70 68 9 78 78 82 81 10 73 75 70 72 11 3 4 4 3 12 17 17 16 17 13 23 23 24 23 14 5 5 5 5

IRCP 7 7 6 7 IRCp 11 11 11 11 IRFP 13 13 14 13 IRFp 6 6 6 6 IRCM 14 14 14 14 IRFM 11 11 11 11 GOLF 0 0 0 0 GOLC 0 0 0 0 RMT 0 1 1 4 RAT 21 22 25 20 MRT 0 0 0 0 MMT 17 15 12 14 MAT 0 0 0 0 ART 1 1 1 1 AMT 0 0 0 0 GT 0 0 0 0

RMC 6 5 9 7 RMc 1 2 0 1 RAC 25 22 21 19 RAc 4 3 3 2 MRC 0 2 2 5 MRc 0 0 1 0 MMC 63 67 68 69 MMc 16 19 15 19 MAC 1 2 2 0 MAc 1 0 1 0 ARC 30 26 24 26 ARc 5 6 5 6 AMC 4 2 1 1 AMc 0 0 1 0 AOC 1 1 1 1 AOc 0 0 0 0 TIR 6 6 6 6 IG 1 1 1 1 IR 8 6 9 11 IM 10 12 8 7 IA 1 1 1 1

RMP 0 0 0 0 RAP 1 1 1 1 MRP 0 0 0 2 MMP 16 19 18 17



MAP 1 1 1 0 ARP 18 18 21 17 AMP 4 1 0 3 PG 3 3 3 3

RMN 1 2 2 8 RMn 0 0 1 2 RAN 32 32 33 32 RAn 9 8 9 7 MRN 1 1 3 5 MRn 1 1 1 1 MMN 87 90 89 88 MMn 19 22 18 20 MAN 3 3 4 0 MAn 2 2 1 0 ARN 54 53 51 49 ARn 11 11 14 9 AMN 5 1 1 4 AMn 1 0 0 1 OAN 0 0 0 0 Oan 0 0 0 0 LAN 5 5 5 5 GI 1 1 1 1 RI 19 18 22 24 MI 17 19 15 13 AI 3 2 2 2

FRENTE 130 132 127 127 ESPALDA 55 55 60 60

TOTAL 1381 1383 1379 1381 Tabla 7. Frecuencias absolutas de las categorías para cada una de las observaciones de cada uno de los grupos.

Seguidamente se llevó a cabo, desde un enfoque cuantitativo, un análisis correlacional (tabla 8). Para ello se estimó el coeficiente de Pearson así como los coeficientes de Tau de Kendall y el coeficiente de Spearman.

Coeficiente de correlación Coeficiente

para la sesión Obs a1 y Obs a2 (Concordancia

intra)

Obs b1 y Obs b2 (Concordancia

intra)

Obs a1 y Obs b1 (Concordancia

inter)

Obs a2 y Obs b2 (Concordancia

inter) Pearson 0,999 0,996 0,997 0,995

Tau de Kendall 0,932 0,871 0,896 0,873 Spearman 0,976 0,945 0,956 0,947

Tabla 8. Coeficientes de correlación de Pearson, Tau de Kendall y Sperman. En tercer lugar se realizó, también, el análisis de Kappa de Cohen, que hace referencia al concepto de asociación. En este tipo de estadístico se tienen en cuenta los errores por efecto de azar, al tiempo que se tienen en cuenta el orden en que los observadores han registrado las categorías. Intervalo a intervalo los códigos anotados por los observadores son comparados. Para este tipo de análisis los datos registrados deben mantener el orden de registro y no convertirlo en frecuencias absolutas (tal y como aparecen en la tabla 7). Los archivos de datos podrían



corresponderse con la tabla 9 que a continuación mostramos (por motivos de espacio solo presentamos una pequeña muestra).

OBS a1 OBS a2 OBS b1 OBS b2 8 AMC 8 AMC 8 AMC 8 AMC 6 RAC 6 RAC 6 RAC 6 RAC

12 IRCp 12 IRCp 12 IRCp 12 IRCp 7 MMN 5 MMN 5 MMN 7 MMN 6 RMT 6 MMT 8 MMT 6 MMT 7 ARC 7 ARC 7 ARC 7 ARC 7 MMC 7 MMC 5 MMC 7 MMC 7 ARC 7 ARC 7 ARC 5 ARC 6 RMC 6 RAC 6 RMC 8 RAC

12 IRCp 12 IRCp 12 IRCp 12 IRCp 7 MMN 7 MAN 7 MAN 7 MMN

… … … … Tabla 9. Registros de los datos para cada uno de los observadores manteniendo el orden cronológico de codificación.

En la tabla que a continuación mostramos (tabla 10) se han estimado los índices para cada grupo de categorías por separado, y para la sesión completa.

Índice de Kappa de Cohen

Macrocategorías Obs a1 y Obs a2 (Concord. intra)

Obs b1 y Obs b2 (Concord. intra)

Obs a1 y Obs b1 (Concord. inter)

Obs a2 y Obs b2 (Concord. inter)

Zonas 0,97 0,89 0,91 0,92 I. reglamentaria 1,00 0,98 0,98 1,00

Inicio de la posesión 0,95 0,87 0,87 0,87

Desarrollo de la posesión 0,94 0,85 0,87 0,87

Final de la posesión 0,96 0,87 0,91 0,90

Desarrollo de la no posesión 0,96 0,82 0,85 0,85

Orientación 0,98 0,88 0,91 0,91 Sesión completa 0,97 0,89 0,91 0,92

Tabla 10. Índices de concordancias (intra e inter) para las distintas macrocategorías y para el conjunto de la sesión.

Por último, de manera complementaria, se han realizado análisis de los componentes de varianza y generalizabilidad. En realidad estos últimos análisis hubieran bastado para evaluar la calidad del registro de los datos. Superan en precisión y garantías los análisis antecedentes.

La teoría de la Generalizabilidad puede considerarse a la vez como una extensión y una liberalización de la Teoría Clásica de los Test, lo que se logra por medio de la aplicación de los procedimientos derivados de los modelos de Análisis de la Varianza y de diseño experimental a los datos de test (Martínez, 1996). La teoría de la Generalizabilidad nos ofrece así un marco más satisfactorio para buscar las estimaciones de precisión y generalización de márgenes de error, ya que es



suficientemente globalizadora como para adaptarse a las condiciones particulares de cada objeto de medida (Blanco Villaseñor, 1992; Blanco Villaseñor, Losada y Anguera, 1991). En esta ocasión, en la línea marcada por los estudios realizados por Blanco Villaseñor (1989, 1997 y 1998), Blanco Villaseñor y Hernández Mendo (1998), Blanco Villaseñor, Castellano y Hernández Mendo (2000), Castellano, Hernández Mendo, Gómez de Segura, Fontetxa y Bueno (2000), Castellano (2000), Garay (2003) y Castellano y Blanco Villaseñor (2004), se ha elaborado un diseño que se compone de cuatro facetas:

1. Observador (O): En ella se distinguen dos niveles, correspondientes a los dos grupos de observadores que realizaron la codificación.

2. Momento (M): Se distinguen dos niveles, que corresponden a las fases

(momentos) en el que el grupo de observadores realizaron la observación.

3. Zona (Z): Se han distinguido 14 zonas del terreno de juego. Todas ellas abarcan todo a lo largo y ancho del campo. Las 14 zonas son las siguientes: las zonas 1, 2, 3 y 4 abarcarán el área propia, línea de fondo, hasta la línea del área grande, todo lo que supone el ancho del campo, las zonas 5 y 6 abarcarán desde la línea del área grande, hasta la línea imaginaria tangencial al circulo central y paralela a la línea de fondo abarcando, todo el ancho del campo, las zonas 7 y 8 el espacio comprendo entre las dos líneas paralelas tangentes al círculo central de 9,15 metros de radio, abarcando el centro del campo hasta las líneas laterales, las zonas 9 y 10 desde la línea paralela tangente al círculo central dentro del campo hacia el que se ataca hasta la línea marcada por el área rival en toda su anchura y las zonas 11, 12, 13 y 14 el área rival hasta la línea de fondo y todo lo que supone el ancho del campo.

4. Contexto (C): Se distinguen 66 niveles, están agrupados en los siguientes

criterios: interrupción reglamentaria, inicio de la posesión del balón, desarrollo de la posesión del balón, final de la posesión del balón y desarrollo de la no posesión del balón. En la tabla que a continuación mostramos (tabla 11), se recoge el modelo de

las cuatro facetas y los valores obtenidos para un tipo de procedimiento de Modelo General Lineal (GLM), del cual se han seleccionado los del tipo III ya que los datos no han sido escogidos de manera aleatoria. Además con el programa GT se ha estimado el % de variabilidad de cada una de las facetas y de sus interacciones, así como los coeficientes absolutos y relativos de generalizabilidad, siguiendo los trabajos de Taylor (1979) y Plewis (1988).



Observador (O) * Momento (M) * Contexto (C) * Zona (Z)

r2= 0.391660

Facetas gº de l Pr > F Type lll SS

% de varianza

Observador (O) 1 0.9787 0% Momento (M) 1 0.9929 0%

O * M 1 0.9929 0% Contexto (C) 65 <.0001 21%

O * C 65 1.0000 0% M * C 65 1.0000 0%

O * M * C 65 1.0000 0% Zona (Z) 14 <.0001 6%

O * Z 14 1.0000 0% M * Z 14 1.0000 0%

O * M * Z 14 1.0000 0% C * Z 910 <.0001 69%

O * C * Z 910 1.0000 1% M * C * Z 910 1.0000 0%

O * M * C * Z 910 1.0000 2% CZO/M e2= 0.988 O= 0.988 CZM/O e2= 0.984 O= 0.984

Tabla 11. Valores de los grados de libertad (gº de l), significación y % de varianza para cada una de las variables del modelo y de sus interacciones (significativo cuando Pr>F < 0.001). En las últimas dos filas de abajo se han estimado los coeficientes relativos y absolutos de la generalizabilidad para el diseño Contextos * Zonas * Observadores / Momentos (CZO/M) y Contextos * Zonas * Momentos / Observadores (CZM/O).

En la últimas dos filas de la tabla 11 se incluyen dos análisis de generalizabilidad, considerando dos planes de estimación diferentes. En el primero de ellos (CZO/M), cuando se ha colocado la faceta momentos como variable de instrumentación nos permitirá estimar la fiabilidad intraobservadores, ya que los momentos hace referencia a las dos observaciones realizadas por el mismo grupo de observadores con quince días de diferencia. En segundo lugar (CZM/O) se ha colocado la faceta observadores como variable de instrumentación. Con este diseño podremos estimar la fiabilidad interobservadores, ya que estaremos comparando los registros realizados en la misma sesión por los dos grupos de observadores diferentes. 4. Discusión

Los resultados obtenidos nos indican que tanto la herramienta observacional elaborada ad hoc para el análisis de la acción de juego en el fútbol (SOCCAF2) como el entrenamiento exhaustivo de los observadores parecen haber cumplido con las expectativas generadas superando el control de la calidad de los datos registrados a tres niveles.

Por lo que se refiere a los índices de correlación, podemos afirmar que son altos y satisfactorios, ya que los valores encontrados se aproximan a 1, lo que permite afirmar cierta estabilidad de los observadores y de los momentos en cuanto al registro de los datos con la herramienta utilizada a tal efecto.

Los resultados obtenidos en el índice de Kappa de Cohen son similares a los obtenidos para el índice de concordancia, comparando los registros intervalo a



intervalo (es decir, respetando el orden cronológico de codificación de las conductas) podemos calificarlos igualmente como satisfactorios.

Por último, respecto a los estadísticos inferenciales a partir de los análisis de componentes de varianza y generalizabilidad de las diferentes facetas del modelo nos han deparado valores que permiten realizar interpretaciones en el mismo sentido, y además, nos han aportado más información. En el cálculo de la fiabilidad de los observadores, su análisis revela que la variabilidad para la faceta observador y para la faceta de momento es nula, mostrando que el observador y el momento de la realización de la misma no afectan ni explican en absoluto la variabilidad observada. Si ni los momentos ni los observadores ‘llevan el peso’ de esta variabilidad podemos interpretar que la fiabilidad inter e intra observadores es óptima. Complementando lo anterior, en el análisis global de los coeficientes de generalizabilidad de ambas estructuras de diseño, CZM/O y CZO/M, hemos obtenido valores para la estimación precisión de generalización próximos a 1, lo que incide nuevamente en las interpretaciones realizadas con anterioridad. El valor residual estimado para este modelo, el representado por la interacción de las cuatro facetas observador*momento*contexto*zona (O*M*C*Z) tiene un valor de tan solo un 2%, con lo que podemos pensar que el modelo propuesto deja sin explicar una mínima parte de la variabilidad del sistema.

Hemos seguido lo más estrictamente posible las pautas marcadas por la Metodología Observacional, y vistos los resultados del control de la calidad de los datos observacionales, podemos confirmar que el estudio que presentamos, respecto a la fiabilidad, reúne la cientificidad exigible a toda investigación. A partir de ahora podemos comenzar otra de las fases del estudio que consistirá en la observación, codificación y registro de la muestra estimada. 5. Referencias Anguera, M. T. (1988). Observación en la escuela. Barcelona: Graó. Anguera Argilaga, M. T. (1990). Metodología observacional. En J. Arnau, M. T.

Anguera y J. Gómez Benito. Metodología de la investigación en ciencias del comportamiento (pp. 125-236). Murcia: Universidad de Murcia.

Ardá, A. (1998). Análisis de los patrones de juego en fútbol a 7. Estudio de las acciones ofensivas. Tesis Doctoral: Universidade da Coruña.

Arnau Gras, J. Blanco Villaseñor, A. y Losada López, J. (1991). Estimación de la precisión de un diseño multivariable de medidas repetidas. Anales de psicología, 7 (1), 85-104.

Bakeman, R. y Quera, V. (1996). Análisis de la interacción. Análisis secuencial con SDIS y GSEQ. Madrid: RA-MA.

Blanco Villaseñor, A. (1989). Fiabilidad y generalización de la observación conductual. Anuario de Psicología, 43 (4), 5-32.

Blanco Villaseñor, A. (1992). Aplicaciones de la Teoría de la Generalizabilidad en la selección de diseños evaluativos. Bordón, 43 (4), 431-459.

Blanco Villaseñor, A. (1993). Fiabilidad, precisión, validez y generalización de los diseños observacionales. En M. T. Anguera (Ed.), Metodología observacional en la investigación psicológica (Vol. 2, pp. 149-274). Barcelona: P.P.U.

Blanco Villaseñor, A. (1997). Precisión en la evaluación de la Investigación Observacional. En V Congreso de Metodología de las CC. Humanas y Sociales. Sevilla: AEMCCO. 23-26 de septiembre.



Blanco Villaseñor, A. (1998, Mayo). Evaluación predictiva de la variabilidad y generalización de conductas de juego en tenis. Comunicación presentada en el V Congreso de Evaluación Psicológica (Symposium 'Aplicaciones de la observación sistemática en la evaluación de actividades físico-deportivas'). Benalmádena Costa, Málaga. (30 abril al 3 de mayo de 1998).

Blanco Villaseñor, A. (2001). Generalizabilidad de observaciones uni y multifaceta: estimadores LS y ML. Metodología de las Ciencias del Comportamiento, 3 (2), 161-193.

Blanco Villaseñor, A., Losada, J. L., y Anguera, M. T. (1991). Estimación de la precisión en diseños de evaluación ambiental. Evaluación Psico-lógica / Psychological Assessment, 7 (2), 223-257.

Blanco Villaseñor, A. y Hernández Mendo, A. (1998). Estimación y generalización en un diseño de estructura espacial defensiva en el fútbol. En J. Sabucedo, R. García Mira, E. Ares y D. Prada (Eds.), Medio Ambiente y Responsabilidad Humana (pp. 579-583). A Coruña: Tórculo.

Blanco Villaseñor, A., Castellano, J. y Hernández Mendo, A. (2000). Generalizabilidad de las observaciones de la acción del juego en el fútbol. Psicothema, 12, suplemento 2 (81-86).

Blanco Villaseñor, A. y Anguera, M. T. (2003). Calidad de los datos registrados en el ámbito deportivo. En A. Hernández Mendo (Coord.), Psicología del deporte (Vol. 2): Metodología. Buenos Aires: efdeportes.com.

Blanco Villaseñor, A. y Losada, J. L. (2004). Generalización en Diseños Observacionales: alternativas de estimación y modelización. Metodología de las ciencias del Comportamiento, Suplemento 2004, 79-84.

Castellano, J. (2000a). Observación y análisis de la acción de juego en fútbol. Tesis Doctoral. San Sebastián: Universidad del País Vasco.

Castellano, J. (2000b). Observación y análisis de la acción de juego en fútbol. Revista Digital de Educación Física y Deportes, 22 [http/www.efdeportes.com].

Castellano, J. y Blanco Villaseñor, A. (2003, septiembre). El marcador como elemento orientador del comportamiento estratégico de los equipos de fútbol: Estimación y análisis de la variabilidad. VIII Congreso de Metodología de las Ciencias Sociales y de la Salud. Valencia.

Castellano, J. y Blanco Villaseñor, A. (2004a). El soporte de marca en el fútbol y la variabilidad del comportamiento estratégico de los equipos (57-66), en A. González y E. Requena (Ed), Investigación en Ciencias del Deporte. Universidad del País Vasco.

Castellano, J. y Blanco Villaseñor, A. (2004b). A time vs frequency model for the estimation and analysis of variability in soccer. VII Congreso Europeo de Evaluación Psicológica. Málaga.

Castellano, J. y Blanco Villaseñor, A. (2005, en prensa). Análisis del comportamiento estratégico de los equipos de fútbol. En J. Castellano Paulis, L. M. Sautu Apellaniz, A. Hernández Mendo, A. Blanco Villaseñor, A. Goñi Grandmontagne y F. Martínez de Ilarduya (coord.), Socialización y deporte: revisión crítica. Diputación Foral del Álava.

Castellano, J., Perea A. and Alday, L. (2005). Match Vision Studio v3.0. Free Paper presented at Measuring Behavior 2005, 5th International Conference on Methods and Techniques in Behavioral Research, Wageningen, The Netherlands, 30 August - 2 September 2005.



Castellano, J., Hernández Mendo, A., Gómez de Segura, P., Fontetxa, E. y Bueno, I. (2000). Sistema de codificación y análisis de la calidad del dato en el fútbol de rendimiento. Psicothema, vol 12, 4 (635-641).

Garay, O. (2003). Observación y análisis de la acción de juego del tenis de dobles. Tesis Doctoral: Universidad del País Vasco.

Gorospe, G. (1999). Observación y análisis en el tenis de individuales. Aportaciones del análisis secuencial y de las coordenadas polares. Tesis Doctoral no publicada. San Sebastián: Universidad del Pais Vasco.

Hernández Mendo, A. (1996). Observación y análisis de patrones de juego en deportes sociomotores. Tesis Doctoral: Universidad de Santiago de Compostela.

Martínez Arias, R. (1996) Psicometría: Teoría de los tests psicológicos y educativos. Madrid. Síntesis.

Plewis, I. (1988). Estimating generalizability in systematic observation studies. British Journal of Mathematical & Statistical Psychology, 41, 53-62.

Perea, A., Alday, L. y Castellano, J. (2005a, en prensa). Software para el análisis de la acción de juego en el fútbol “SOCCAFv2.2 video, en L. M. Sautu Apellaniz, J. Castellano Paulis, A. Blanco Villaseñor, A. Hernández Mendo, A. Goñi Grandmontagne y F. Martínez de Ilarduya (coord.), Evaluación e intervención en el ámbito deportivo. Diputación Foral de Álava.

Perea, A., Alday, L. y Castellano, J. (2005b, en prensa). “Match Vision Studio” Software para la observación deportiva, en L. M. Sautu Apellaniz, J. Castellano Paulis, A. Blanco Villaseñor, A. Hernández Mendo, A. Goñi Grandmontagne y F. Martínez de Ilarduya (coord.), Evaluación e intervención en el ámbito deportivo. Diputación Foral del Álava.

SAS Institute Inc. (1999), SAS/STAT User's Guide, Version 7-1, Cary, NC: SAS Institute Inc.

Schlotzhauer, S. D. and Littell, R. C. (1997), SAS System for Elementary Statistical Analysis, Second Edition, Cary, NC: SAS Institute Inc.

Taylor, J. L. (1979). Development of the physical education observation instrument using generalizability study theory. Research Quarterly for Exercise & Sport, 50 (3), 468-481.

Usabiaga, O. (2005). Descripción y análisis de la pelota vasca: aplicación en mano parejas. Tesis Doctoral. San Sebastián: Universidad del País Vasco.

Ysewijn, P. (1996). GT: Software for Generalizability Studies. Mimeografía.

abigail perea pautas para el anÁlisis de la calidad del...

Documents