confiabilidad resumen

Upload: dore-paola-p-g

Post on 28-Feb-2018

249 views

Category:

Documents


0 download

TRANSCRIPT

  • 7/25/2019 confiabilidad resumen

    1/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    TEMAS

    T1. Confiabilidad. 2T2. Error estndar de medida... 4T3. Fuentes de error... 8T4. Mtodos para estimar la confiabilidad.. 15

    T5. Longitud del test y variabilidad de la muestra.......................... 22

  • 7/25/2019 confiabilidad resumen

    2/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    T1. CONFIABILIDAD

    DEFINICIN

    Magnusson (2005): que los resultados de un test puedan ser reproduciblesbajo ciertascondiciones, es decir, que los puntajes obtenidos a travs de una prueba sean los mismos

    si se vuelve a medir el mismo rasgo en condiciones idnticas.

    Anastasi y Urbina (1998) consistencia de las puntuaciones obtenidas por una personacuando se le administra la misma prueba o un test equivalente.

    Aragn (2011) menciona que es la precisin con que un test mide un atributo, es decir, laausencia de errores de medicin.

    Exactitud de la medida, independientemente de lo que uno este midiendo lo que haquerido medir (Magnusson, 2005).

    TICA

    En primer lugar hay que asegurar la estabilidad de los datosderivados de la aplicacinde la prueba. Buscamos con esto que la medicin sea precisa, en el sentido de que

    efectivamente mida la ubicacin tericamente verdadera de los sujetos en el constructo

    de inters. Esto es, confiabilidad.

    IMPORTANCIA

    Partiendo de estas definiciones se puede decir que la confiabilidad es esencial para que

    los datos proporcionados por el instrumento puedan utilizarse e interpretarse de forma

    adecuada con un grado conocido de confianza (Magnusson, 2005).

    INCONFIABILIDAD

    Dispersin de los valores obtenidos de repetidas mediciones de la misma distancia,bajo condiciones similares (Magnusson, 2005).Cuanto mayor es la diferencia entre

    medidas del mismo rasgo en repetidas ocasiones, tanto menor es la confiabilidad

    Resultado de la sensibilidad del instrumento a los factores que no afectan el tamaode las medidas sistemticamente, pero cambian de una situacin de medida a otra(Magnusson, 2005). El instrumento de medicin es sensible a las fluctuaciones

    Intraindividuales y a las diferencias interindividuales al medir el constructo endiferentes ocasiones (Magnusson, 2005).

    MEDICIN DE LA CONFIABILIDAD

    El coeficiente de correlacin () para el acuerdo entre medidas repetidas bajocondiciones similares, constituye el valor numrico de la confiabilidad de los datos que

    pueden obtenerse en un instrumento dado (Magnusson, 2005).

  • 7/25/2019 confiabilidad resumen

    3/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    CARACTERSTICAS DESCRIPCINCoeficiente rtt= 0 a 1Rango 0-1Signo Positivo

    Coeficiente DeterminacinInterpretacin Grados. No es una cuestin de todo o nada.

    INTERPRETACIN

    RANGOS MAGNITUD0,81 A 1 Muy alta0,61 A 0,80 Alta0,41 A 0,60 Moderada0,21 A 0,40 Baja0,01 A 0,20 Muy baja

    COEFICIENTE DE CONFIABILIDAD

    Si el instrumento es insensible a los factores debido al azar, los puntajes del individuo en

    medidas sucesivas sern idnticos y sus posiciones en las distribuciones que podemos

    construir en cada ocasin de medida sern las mismas, por lo que la correlacin entre las

    distribuciones ser 1.0 (completamente confiable).

    TEST PARALELOS

    Instrumentos de medidas equivalentes. Los test paralelos deben construirse de tal manera

    que una aplicacin de dos test de la misma correlacin entre las dos distribuciones de

    puntaje, que la de dos aplicaciones de uno de los test.

    Se basa en la suposicin de que se puede quitar todas las huellas de la primera

    aplicacin en la segunda ocasin.

    Los tem que correspondan entre s en los test paralelos debern ser similares en

    CONTENIDO, INSTRUCCIONES, TIPO DE RESPUESTA y DIFICULTAD, que las

    medidas con ambos den los mismos resultados que el medir dos veces con uno de ellos.

    TEST PARALELOS AL AZAR

    Tests compuesto de tems seleccionados al azar de la misma poblacin de tem-

    Correlacin entre un test dado y un test paralelo.

  • 7/25/2019 confiabilidad resumen

    4/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    T2. ERROR ESTANDAR DE MEDIDA

    TEORA DEL PUNTAJE VERDADERO

    Todo puntaje obtenido es la combinacin de

    MODELO LINEAL CLSICO

    = Posicin del sujeto en el continuo latente que representa al raso. Se asumeconstante

    =Diferencia entre el puntaje observado y el puntaje verdadero. Se considera aleatorio

    (al azar). Se asume cambiante o variante entre medidas.

    DISTRIBUCIN MUESTRAL

    Distribucin terica compuesta por los estadsticos obtenidos de todas las posibles

    muestras de tamao n dentro de una poblacin.

    La dispersin de la distribucin depende del tamao de la muestra y la varianza de losindividuos.

    DISTRIBUCIN MUESTRAL DE V

    Proviene de infinitas aplicaciones de una misma prueba (o test paralelos) a un mismo

    sujeto.

    Distribucin normal

    La TC est formada por el puntaje verdadero o media V

    La dispersin debe ser pequea

    La desviacin estndar esEEM

  • 7/25/2019 confiabilidad resumen

    5/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    La medida de los puntajes obtenidos es el puntaje verdadero

    ERROR

    El puntaje de error de un individuo en una medicin resulta de la diferencia entre el

    puntaje observado y el puntaje verdadero

    =

    Factores individuales o ambientales

    Cambian de una ocasin de medida a otra y en cierto grado modifican la capacidad de

    ejecucin del individuo.

    Propiedades de los errores

    = 0

    = 0

    = 0

    La media de los puntajes de error es cero. Esto es cierto para a) un nmeroinfinito de individuos en el mismo test, sin importar sus puntajes verdaderos. B)

    para los puntajes de error de un individuo en un nmero infinito de test paralelos.

    La correlacin entre los puntajes error en diferentes aplicaciones del test escero para un nmero infinito de individuos. Esto es razonable si los puntajes errorson considerados como errores al azar.

    La correlacin entre los puntajes verdaderos y los puntajes error es cero. Ladireccin de los errores es independiente del tamao de los puntajes verdaderos

    para un nmero infinito de individuos.

    Tipos de errores

    Error Sistemtico Es un problema de validez

    Error aleatorio la confiabilidad es SOLOdel error aleatorio, el error sistemtico no esun tema para la confiabilidad.

  • 7/25/2019 confiabilidad resumen

    6/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    SUPOSICIN

    A partir de las suposiciones clsicas acerca de los errores, se puede derivar unaecuacin para computar el intervalo de la escala dentro del cual se puede hallar elpuntaje verdadero del individuo con algn grado conocido de confianza, cuando se tieneel puntaje obtenido del individuo.

    ERROR ESTANDAR

    En toda distribucin muestral, la dispersin (desviacin estndar) se denomina ERRORESTNDAR. En el caso de la distribucin muestral del puntaje verdadero, se denominaERROR ESTANDAR DE MEDIDA.

    Es la desviacin estndar de los puntajes de error de un individuo para un nmero infinito

    de test paralelos.

    =

    =

    =

    =

    Caractersticas

    1. La magnitud del EEM es una funcin de la magnitud del coeficiente de

    confiabilidad

    2. El coeficiente de confiabilidad puede dar una impresin engaosa de confianza.

    1. La magnitud del coeficiente de confiabilidad es afectada por cambios en la

    homogeneidad de la muestra, la magnitud del EEM no depende de esto.

    INTERVALOS DE CONFIANZA

    El error estndar de medida se computa para calcular los intervalos dentro de los cuales

    se encuentra el puntaje observado de un individuo para un puntaje verdadero dado con

    cierto grado de seguridad.

    Frmula para el clculo de los intervalos de confianza

    = .

    = .

  • 7/25/2019 confiabilidad resumen

    7/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Frmula para el clculo de Z

    =

    Frmula para el clculo de confiabilidad

    =

    =

  • 7/25/2019 confiabilidad resumen

    8/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    T3. Fuentes de errorESQUEMA DE LA CLASE

    1. Fuentes de error aleatorioa. Sujeto evaluado

    b. Caractersticas del instrumento

    c. Interaccin con el evaluador

    d. Condiciones de la aplicacin

    e. Calificacin

    f. Adivinacin

    2. Falta de Paralelismo entre pruebas paralelas3. Variaciones de largo alcance4. Memoria5. Velocidad6. Sobrestimacin y subestimacin de la confiabilidad

    LA VARIANZA DE ERROR (

    )(Esquema)

    El puntaje totalde un individuo est conformado tanto por varianza verdaderacomo deerror.

    =

    Lavarianza total ( ) se encuentra conformada tanto por varianza verdaderacomo

    varianza de error.

    =

    S esto es as, entonces podemos definir a la confiabilidad como la proporcin de la

    2Que es 2

    =

    Por lo tanto, conociendo la confiabilidad de las puntuaciones de un test es posible estimar

    la varianza de error.

  • 7/25/2019 confiabilidad resumen

    9/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    =La sumatoria de ciertos nmeros de componentes de error, los cuales son el

    resultado de ciertos nmeros de fuentes especficas de error. Es decir, la varianza de la

    distribucin de los componentes de error

    2 =

    2 ()2

    2 ()2 ()

    2 ()2 + etc.

    CARACTERSTICAS

    - Son independientes entre s. Los diferentes mtodos dan diferentes estimaciones

    del tamao de esta varianza.

    - Las estimaciones de la varianza de error son afectadas por fuentes diferentes.

    1. FUENTES DE VARIANZA DE ERROR () Error aleatorioDefinicin= Errores producidos por factores que dan como resultado que los puntajesindividuales difieran de un test paralelo a otro, aunque los puntajes verdaderos sean los

    mismos. Entre ellas se encuentra: el sujeto evaluado, caractersticas del instrumento,

    interaccin con el evaluador/aplicador del test, condiciones de aplicacin, calificacin,

    adivinacin.

    a. Sujeto Evaluado= Fatiga, motivacin, estado de salud, estado fsico.Eliminar =Control, estandarizacin de la situacin de la aplicacin.Relacin= >

    (sujeto evaluado), <

    b. Caractersticas del Instrumento

    Explicacin:Si la formulacin de los tems, las respuestas posibles, los requisitos de lasrespuestas, etc. son ambiguos, hay la posibilidad de que los individuos no interpreten los

    tems de la misma manera de una ocasin a otra (Magnusson, 2005)

    = Puede causar reacciones distintas en los sujetos= mala traduccin, reaccionesambiguas.

    Eliminar = Control, estandarizacin, calidad del instrumento, instrucciones explicitas,

    aplicaciones, prueba pilotos.

    Relacin= >(caractersticas del instrumento), <

    c. Interaccin con el evaluador

    Explicacin: El papel del aplicador del test en diferentes tipos de exmenes. Elaplicador del test tiene mayor oportunidad de crear condiciones que conduzcan a unaejecucin ptima, adaptando su comportamiento al del individuo que est siendo

    examinado, adaptacin que es difcil hacer en un examen grupal. El efecto que tiene la

    inevitable interaccin entre los examinadores y los examinadossobre la ejecucin y elcomportamiento de los individuos examinados (depende de ambas partes). Algunos

    individuos, son fcilmente afectados e inhibidos por el contacto personal de las

  • 7/25/2019 confiabilidad resumen

    10/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    situaciones de examen individual Las instrucciones dadas a los individuosexaminados, las cuales tambin pueden ser fuentes de error si hay falta de claridad(Magnusson, 2005).

    = Interaccin que hay entre las personas que aplican y los resultados de las pruebas.

    Percepcin social.

    Eliminar =Rapport, respetar la consigna.Relacin= >

    (Interaccin con el evaluador), <

    d. Condiciones de la aplicacin (() )

    Explicacin: Lugar donde se lleva a cabo el examen, el grado de las perturbacionesexteriores, etc.

    = Factores ambientales

    Eliminar = control, estandarizacinRelacin= >(condiciones de la aplicacin), <

    d. Calificacin (() )Explicacin: La persona que evala las respuestas, es decir, la que decide si unarespuesta es correcta o errnea, desempea un papel importante en la produccin de

    errores de medida. Si definimos la objetividad como el acuerdo entre diferentes jueces, la

    carencia de objetividad en la calificacin producir una varianza de error. Los diferentes

    jueces llegarn a diferentes conclusiones acerca de lo que es cierto o error por lo que

    respecta a la respuesta dudosas. Siempre que un individuo da una respuesta que no

    haba sido prevista o que no est abarcada por las reglas con que se estandariz el test,

    su puntaje depende de la habilidad y criterio del calificador.

    =Se puntu la prueba y no sea sistemtico.

    Eliminar

    =Reglas claras y explicitas, estandarizacin, preparacin de los evaluadores.Relacin= >(calificacin), <

    e. Adivinacin (() )

    Explicacin:Ocurre en los llamados de eleccin mltiple, las respuestas se presentan enforma de opciones, una de las cuales es correcta. Si un individuo examinado es incapaz

    de resolver un tem, puede adivinar.

    =Responder al azar

    Eliminar =Factor de correccin. Al aplicar el factor de correccin, los sujetos deben

    estar conscientes de esto. Permite disminuir el error al azar.Relacin= >(Adivinacin), <

  • 7/25/2019 confiabilidad resumen

    11/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    2. FALTA DE PARALELISMO ENTRE PRUEBAS PARALELAS ()

    La confiabilidad es: un acuerdo entre test paralelos, suponiendo que estos midenexactamente el mismo puntaje verdadero. Igualmente, la confiabilidad es el acuerdo entre

    test paralelos al azar, compuesto por tems sacados de la misma batera de tem.

    Medicin:Coeficiente de precisin. La correlacin entre test paralelos que miden exactamente elmismo puntaje para cada individuo, da la exactitud con que los tems incluidos en el test

    en cuestin miden lo que miden. Es una expresin de la varianza de error, cual toma su

    mnimo valor cuando todas las condiciones para test paralelos son satisfechas

    completamente.

    Es un coeficiente terico: Cuando construimos test para medidas paralelas,normalmente tratamos de hacer que los test sean tan semejantes entre s como

    sea posible. De esta manera nos aproximamos a las condiciones de los test

    estrictamente paralelos. En la prctica, sin embargo, es imposible satisfacer

    completamente los requerimientos tericos para tales test. Los tests que usamos

    medirn de hecho puntajes verdaderos algo diferentes para cada individuo. En

    conjunto miden el mismo puntaje verdadero. Habr entonces una correlacin

    positiva entre los test, pero cada uno de los tests medir tambin algo que es un

    puntaje verdadero para ese test, pero no es medido por otro. Por el contrario, el

    ltimo mide un componente verdadero que es especfico de l y que no es medido

    por el primer test.

    El componente verdadero especfico que es medido por uno de los test paralelos,

    pero no por los otros, no contribuir a la correlacin entre los tests (es decir, al

    coeficiente de confiabilidad), a pesar de que los componentes verdaderos

    contribuyen al a varianza verdadera total de cada uno de los tests.

    Coeficiente de equivalencia:El coeficiente que se obtiene al estimar la correlacin entretest paralelos. El efecto a tratar es

    2 como varianza de error, cuando computamos los

    coeficientes de equivalencia, es que el coeficiente que obtenemos subestima el

    coeficiente de precisin.

    La varianza verdadera, que tratamos como varianza de error cuando computamos los

    coeficientes de equivalencia, ser mxima cuando nada se haga para lograr que los test

    para los cuales se calcula el coeficiente sean ms semejantes cuando se construyen al

    azar con tems tomados de la misma batera.

    Trminos Importantes:Pruebas paralelas:Pruebas que miden lo mismo (igual en contenido y dificultad). Hayequivalencia. Existe un acuerdo entre test paralelos.

    Falta de paralelismo: Cuando se cree que dos medidas son paralelas y no lo son. Nohay equivalencia.

    Fuente de varianza ()=Varianza verdadera. Esto sugiere que existen cambios en el

    rasgo.

    Cambios en el rasgo=subestima la confiabilidad.

  • 7/25/2019 confiabilidad resumen

    12/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Medicin:Coeficiente de equivalencia (rtt).Se obtiene al estimar la correlacin entre test paralelosNota:Tericamente, los test paralelos deberan medir el mismo rasgo. Sin embargo, en la

    realidad miden distintos puntajes verdaderos, lo importante es que el coeficiente de

    equivalencia (o coeficiente de confiabilidad) sea alto.

    Coeficiente de precisin (rtt)= expresin de la 2cuando todas las condiciones para los

    test paralelos son satisfechas> rtt > paralelismo.

    Coeficiente de confiabilidad= Disminuye.

    3. VARIANCIONES DE LARGO ALCANCE O FLUCTUACIONES EN EL PUNTAJE

    VERDADERO ( )

    Explicacin: La correlacin entre test paralelos como expresin de la confiabilidad decada uno de los tests, supone que los puntajes verdaderos de cada individuo son los

    mismos en ambos test. Uno puede, sin embargo, suponer que el puntaje verdadero

    cambia de una ocasin a otra y que la magnitud del cambio depende del tiempo

    transcurrido entre las dos ocasiones. Si un test completamente confiable se aplica en dos

    ocasiones separadas, la correlacin entre los resultados de las dos aplicaciones para un

    gran nmero de individuos no, necesariamente ser 1,0, ya que una sola medida da los

    puntajes verdaderos de los individuos en una ocasin especfica.

    La varianza verdadera de una ocasin que no correlaciona con la varianza verdadera de

    la otra ser tratada entonces como varianza de error. Es resultado de las fluctuaciones de

    las posiciones verdaderas de los individuos sobre el continuo y no tienen nada que ver

    con la capacidad que tiene el test para medir con exactitud los puntajes verdaderos. Si al

    computar la confiabilidad del test, incluimos esta varianza en la varianza total de error,

    subestimaremos la habilidad y capacidad que tiene el test para medir los puntajes

    verdaderos.

    Trminos importantes:Definicin=Cambios autnticos en el puntaje verdadero. Cuando hay un cambio real enel puntaje verdadero (V)Cambios en el rasgo=Subestima la confiabilidad y la calidad del instrumento para medircon exactitud los puntajes verdaderos. Esto se define como Cambios/fluctuaciones

    autnticos en el puntaje verdadero. (En funcin del tiempo).Coeficiente de confiabilidad=Disminuye.Factores=Maduracin, aprendizaje, deterioro, efectos del pretest, demencia.Perodo de aplicacin de los instrumentos: en nios= 1 mes y en adultos 6 meses.Control=Conocimientos del comportamiento de la variable, pruebas diferentes diseadaspara grupo de edad.

    4. MEMORIA ( )

    Explicacin: Este error origina una varianza superficialmente verdadera. Los efectos dela memoria pueden presentarse por la aplicacin repetida de un test. Los efectos de la

    memoria de la primera aplicacin afectarn el resultado de la segunda si se aplica el

    mismo test en dos ocasiones sucesivas. Los individuos necesitan recordar la respuesta

  • 7/25/2019 confiabilidad resumen

    13/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    dada en la primera ocasin y repetirla en la segunda, para que nosotros obtengamos

    completo acuerdo entre los resultados de las dos medidas.

    Obtendremos un acuerdo que afecta la correlacin entre las medidas repetidas, pero que

    no es una expresin de la confiabilidad del mtodo. Ese componente del puntaje obtenido

    en la primera ocasin que reaparece en la segunda, en parte lo hace as, no porque los

    test midan el mismo puntaje verdadero, sino a causa de la memoria.Cuando computamos la correlacin entre medidas repetidas de una variable con el mismo

    test, la varianza de error debida a la memoria ser tratada como varianza verdadera y por

    consiguiente contribuir a sobrestimar la capacidad del test para medir los puntajes

    verdaderos y luego a sobrestimar su confiabilidad.

    Trminos importantes:Definicin= Ocurre cuando el sujeto por recordar lo que respondi en la preguntaanterior, vuelve a responder igual la respuesta anterior.

    Error sistemtico=Introduce el error sistemtico, se asume verdadera.Control= Pruebas paralelas (controla la memoria como fuente de varianza), cambiarorden de los tems, mayor intervalo entre aplicaciones

    Coeficiente de confiabilidad= Incrementa falsamente rtt. Se encuentra sobreestimada.

    2. VELOCIDADCuando la velocidad de ejecucin del sujeto afecta el resultado. Cuando la prueba mide

    velocidad de ejecucin. (Ej. Prueba de poder-pruebas de capacidad).

    Aquellos test sensibles a la velocidad, son falsamente estables, en ocasiones

    incrementa falsamente la confiabilidad.

    Control= Variar orden de los tems, prueba paralela, mayor intervalo de

    aplicacin, debe ser fcil.

    SOBRESTIMACIN Y SUBESTIMACIN DE LA

    1. SUBESTIMA LA CONFIABILIDAD () Y LAS CALIFICACIONES

    En algun os mtodo s, el comp onente V se incluy e en la est imac in del

    com ponente de E total

    = , =

    Esto significa que la varianza verdadera se toma como error. (V e) Falta de paralelismo entre pruebas paralelas (Falta de equivalencia)

    Fluctuaciones de los puntajes verdaderos (en funcin del tiempo)

    o Subestima la capacidad del test para medir con exactitud los puntajes

    verdaderos

    Variaciones de largo alcance (Cambio autentico en el puntaje verdadero)

  • 7/25/2019 confiabilidad resumen

    14/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    2. INCREMENTA FALSAMENTE LA

    En otro s, parte del comp onente de error s i rve com o puntaje verdadero

    = =

    Esto significa que la varianza de error se toma como verdadera (e V)

    Memoria

    Velocidad

  • 7/25/2019 confiabilidad resumen

    15/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    T4. Mtodos prcticos para estimar la confiabilidad

    ESQUEMA DE LA CLASEMtodos para estimar la confiabilidad

    1. Test retest

    2. Pruebas paralelas3. Divisin por mitades4. Kuder-Richardson5. Alpha de Cronbach.

    TEST RE-REST

    Explicacin:Aplicar el mismo instrumento por segunda ocasin.Calculo

    Coeficiente de confiabilidad ()= correlacin entre los resultados de la mismapersona en 2 aplicaciones de la prueba.

    o Muestra el grado en el que los resultados de una prueba puedengeneralizarse en otras ocasiones.

    o > rtt, < susceptible son los resultados a cambios fortuitos.

    SPSS= este coeficiente se estima por medio de la correlacin entre los puntajesobtenidos en dos momentos. En SPSS lo hacemos mediante la funcin correlacinBivariada

    Formula

    Intervalo= depende de la variable que se pretende medir y de los sujetos examinados(Etapas evolutivas).

    Mide= Estabilidad temporal del Puntaje verdadero. Predice el comportamiento futuro.

    = Fluctuaciones aleatorias (largo alcance) = reducirse espuriamente. Memoria (Corto alcance) = incrementarse espuriamente. Varianza verdadera Efectos de aplicacin Adivinacin Falta de acuerdo entre los calificadores o evaluadores.

    Desventajas restringido a cambios al azar de corto alcance Practica produce grados de mejora

    Efectos de la memoria: intervalos corto, mayor recuerdo, resultados no

    independientes, elevada y falsa.

  • 7/25/2019 confiabilidad resumen

    16/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    PRUEBAS PARALELASExplicacin: Se construyen 2 test tratando de satisfacer lo mejor posible las condicionesde estricto paralelismo. El rtt es llamado coeficiente de equivalencia.Calculo:

    = correlacin entre las puntuaciones de las 2 formas. Correlacin entre las 2versiones.

    SPSS= este coeficiente se estima por medio de la correlacin entre los puntajesobtenidos en dos momentos. En SPSS lo hacemos mediante la funcin correlacinBivariada

    Intervalo= corto o largo. Si hay tiempo entre las aplicaciones puede disminuir porcambios en el PV.Mide= estabilidad temporal y consistencia de las respuestas a las diferentes muestra detems.

    = Aplicacin Adivinacin Calificacin

    Informacin sobreEl Paralelismo y equivalencia= n de reactivos, = forma de expresarse, = contenido, =alcance y dificultad.Muestreo de contenido= en qu medida los resultados de la prueba dependen de losfactores especficos de la seleccin de reactivos particulares.

    Ventaja Facilita la aplicacin de la misma prueba al mismo Sujeto. No afecta memoria. Recomendada en test de velocidad

    Desventaja Efecto del primer test sobre el segundo el uso de formas alternas reduce pero

    no elimina el efecto de la prctica. Difcil construccin de un test equivalente grado en el que la naturaleza de la

    prueba cambia con la repeticin.Fluctuaciones:Fluctuaciones (corto intervalo)

    + fluctuaciones en el desempeo (da informacin de la equivalencia, paralelismo y

    estabilidad temporal)- efecto de la memoria, no fluctuaciones del puntaje verdadero.

    Fluctuaciones (Largo Intervalo)+ Fluctuaciones temporales (informacin equivalencia y paralelismo)+ No efecto de la memoria + informacin de la respuesta de los sujetos a los diferentes reactivos- fluctuaciones del PVCostosas en tiempo y dinero.

  • 7/25/2019 confiabilidad resumen

    17/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Nota=

    DIVISIN POR MITADESExplicacin: Mediante diversos procedimientos es posible obtener una medida de rtt apartir de una nica aplicacin de la prueba ya que al dividirla en mitades equivalentes. Seobtienen 2 puntuaciones de cada persona.Calculo:

    = Se obtienen mitades paralelas de una misma prueba y se calcula lacorrelacin entre ellas.

    Se dividen en: Pares e impares- Divisin intencionada.

    Formula

    Formula Spearman- Brown

    = 2

    +Correccin del rtt

    Cuando se aplica el coeficiente de divisin por mitades, la formula requiere que seduplique la longitud o tamao de la prueba (+ tems) Los tems deben ser homogneos. Cada tem debe medir la misma clase de

    puntaje verdadero.contenido.

    =

    1 ( 1)

    SPSS=toma en cuenta al test dividido en dos partes (ej. par-impar) y se estima elcoeficiente mediante la correlacin entre las dos mitades. El submen estadsticoes igual al Alpha de Cronbach y al resto de los mtodos. Aunque no as la salidadel anlisis, en la que se expresan estadsticos para cada mitad y para el testcomo un todo.

    Caractersticas Cada mitad debe ser equivalente en contenido y dificultad.

    Afectada por la cantidad de tems > tems, > rtt

    Informacin= paralelismo equivalencia entre las pruebas (= contenido, =dificultad)

    = Aplicacin Adivinacin Calificacin

  • 7/25/2019 confiabilidad resumen

    18/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Mide=coeficiente de precisinVentaja

    Eficiente en cuanto a costo y tiempo Este mtodo tiene el inconveniente de no ser til ante pruebas de velocidad.

    Desventaja No da informacin de la estabilidad temporal.

    KUDER-RICHARDSON

    Explicacin: Un test se encuentra conformado por tantos test paralelos como temstenga. Cada tem es tratado como un test paralelo.

    Supone que todos los tems tienen = X y SCalculo: =La correlacin entre 1 tem y su tem paralelo da la rtt de 1 solo tem.

    Spearman Brown=se usa para estimar la rtt de un test compuesto de n tems.Caracterstica

    Coeficiente de consistencia interna

    Proporcin de la sv2determinada por el tamao de los trminos de covarianza paraun n dado de tems.

    > homogneos, > rtt Cada tem = frecuencia correcta e intercorrelacin con otros tems.

    =

    Muestreo de contenidoheterogeneidad

    Ventajas Da la mejor rtt expresada como test paralelos al azar Requiere de 1 sola aplicacin

    Desventaja Inadecuado para pruebas de velocidad

    ALPHA DE CRONBACH

    Confiabilidad por CONSISTENCIA INTERNA DE LA PRUEBA

    Cronbach (1951) la magnitud en que los tems de un test estn correlacionadoscalculando el promedio de las correlaciones entre los reactivos que forman un instrumento(citado en Oviedo y Campo, 2005).

    Magnusson (2005)reporta que ste ndice se refiere al grado en que los diferentes tems

    de un instrumento covaran estadsticamente e indica cmo se relacionan entre s.Asimismo, Cervantes (2005) comenta que permite observar la intercorrelacin entre losdistintos componentes de un instrumento, es decir, la estimacin de la equivalencia de losreactivos entre s.

    Rango: Los valores de este coeficiente varan entre 0 a 1, siendo los valores mscercanos a 1 indicadores de un alto grado de consistencia interna (Magnusson, 2011). Elclculo de este coeficiente proporciona informacin sobre qu reactivo se comporta de

  • 7/25/2019 confiabilidad resumen

    19/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    manera inconsistente y produce un valor ms bajo de confiabilidad que el que seesperara si se eliminara del test (Aragn, 2011).

    Oviedo y Campo (2005) InterpretacinValor mnimo aceptable = 0,70. Menor = baja consistencia.Valor mximo aceptable = 0,90. Mayor =Sobreestimacin.

    Aceptable = 0,80-0,90.

    =

    Adivinacin Aplicacin Velocidad Cantidad de tem El muestreo de contenido La heterogeneidad de la conducta muestreada. < homogeneidad < consistencia entre reactivo.

    Oviedo y Campo (2005)expresan que representa una propiedad inherente del patrn de

    respuesta de alguna poblacin estudiada, no es un rasgo de una escala en s misma porlo que puede variar en funcin al grupo al que se le aplique el instrumento.

    = Correlacin entre todos los tems del test o el promedio de todas las posiblesdivisiones por mitades.Se toma cada tem como un test paralelo.

    Se calcula la rtt entre tems. Si rtt es alto no se garantiza que sea homogneos.

    SPSS= Estimada por medio del Coeficiente Alpha de Cronbach, el cual toma a cadatem como anlogo a una prueba paralela dentro del test, y representa la media de lasintercorrelaciones entre todas las posibles mitades del test.

    Mide= Homogeneidad de los tems o consistencia interna del test. Promedio de rxy de todos los tems Es ms estable que el K-R La heterogeneidad es mala o buena dependiendo del constructo.

    HeterogneoCI- Personalidad HomogneoCalculo-Parcial

    Consideraciones Importantes Es indicador de la unidimensionalidad del test, pero se requiere verificar la

    estructura factorial de la prueba. Practicidad1 sola aplicacin.

    Homogeneidad de la muestra Anastasi y Urbina (1998) sealan que una de las fuentes de varianza de error de la

    confiabilidad es la heterogeneidad del rea muestreada. A mayor heterogeneidad, menor rtt A mayor homogeneidad, mayor rtt Si un test mide diversos constructos psicolgicos o aspectos del

    comportamiento menor ser su rtt

  • 7/25/2019 confiabilidad resumen

    20/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Si un test mide un solo constructo psicolgico o aspecto delcomportamiento mayor ser su rtt

    Interpretacin 0.81-1 Muy alta

    0.61 0.8 altaaceptable

    0.41-0.60 moderada inadmisible

    0.21 a 0.40 baja

    0.01 a 0.20 muy baja80% de la varianza del test es varianza de error.

    CONFIABILIDAD ENTRE CALIFICADORES (O JUECES)

    Explicacin:Grado de acuerdo o consistencia que existe entre dos o ms evaluadores.Rxy=coeficiente de correlacin entre las puntuaciones asignadas por cada experto.

    Kappa Theta

    Interpretacin=Proporciona informacin del error como resultado de la calificacin de la

    prueba. Significancia estadstica

  • 7/25/2019 confiabilidad resumen

    21/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    Depende del uso.

    MERCADO 0,70 (No mal coeficiente)MEDICINA 0,70 (Terrible) debe ser superior a 0,80CL NICO 0,70 (terrible). Al tomar decisiones clnicas debe ser superior a 0,90.INVESTIGACIN Entre 0,70 y 0,80

  • 7/25/2019 confiabilidad resumen

    22/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    T5. Longitud del test y homogeneidad de la muestraESQUEMA DE LA CLASE

    7. Longitud del test8. Varianza de error9. Homogeneidad de la muestra

    LONGITUD DEL TEST

    La confiabilidad de los puntajes de un test es una funcin del nmero de tems que

    componen el test.

    La confiabilidad es una funcin lineal del nmero de tems.

    Un test de cierta longitud da un error al azar de cierto tamao y direccin cuando es

    aplicado a un individuo dado.

    Si definimos la confiabilidad como la exactitud con que un test estima los puntajesverdaderos, la confiabilidad se incrementar al aumentar el nmero de test paralelosincluidos en el test total.

    Esto sucede ya que los errores estn compuestos por diferentes signos y magnitudes,

    cuanto mayor es el nmero de test paralelos incluidos en el test total, tanto mayor ser el

    nmero de errores que se cancelarn entre s. Esto permitir que gradualmente nos

    acerquemos al puntaje verdadero de un individuo.

    Por lo tanto, si se aade un nmero infinito de test paralelos, nos acercamos al puntaje

    verdadero de cada individuo y al valor 1.0 para la confiabilidad de los puntajes del testtotal.

  • 7/25/2019 confiabilidad resumen

    23/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    QU SUCEDE CON LA VARIANZA AL INCREMENTAR LA LONGITUD DEL ITEM?

    VARIANZA DEL TEST TOTAL

    Primero veremos que le sucede a la varianza de los puntajes observados cuando el test

    se dobla en longitud, aadiendo un nmero igual de nuevos tems. S se supone que

    estos tems son paralelos a los del test original, las varianzas de las dos mitades del testson iguales.

    VARIANZA VERDADERA

    Los puntajes verdaderos en los test paralelos se supone que son iguales para cada

    individuo. La varianza verddera, despus que se ha doblado el npumero de items serepresenta de la siguiente manera.

    Cuando la longitud del test se dobla, la varianza de los puntajes verdaderos (2) ser

    cuatro veces la del test original.

    2 se incrementa como el cuadrado de n cuando la longitud del test aumenta n

    veces

    VARIANZA DE ERROR

    Cuando se duplica el nmero de tem tambin se duplica la varianza de la distribucin de

    puntajes de error

    El incremento en la varianza de error cuando se aumenta la longitud del test es

    directamente proporcional al nmero de veces que el test aument su longitud. La nica suposicin hecha aqu es que no hay relacin sistemtica entre los

    puntajes de error en test paralelos.

    La correlacin entre puntajes de error para tests paralelos es cero.

  • 7/25/2019 confiabilidad resumen

    24/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas.

    RESUMEN

    Incremento Rpido (exponencial) Lento

    Como se

    incrementa

    El cuadrado del nmero de veces que

    el test es aumentado en longitud

    Directamente proporcional al

    incremento en la longitud del test

    Que pasa Cuando el test se incrementa el

    longitud, la representa una porcin

    mayor de la

    Que indica El test es ms confiable.

    La confiabilidad ha sido definida previamente como la parte de la varianza totalcompuesta de la varianza de la distribucin de los puntajes verdaderos.

    Cuando el test es alargado, la varianza verdadera se incrementa con mayor rapidez que

    la varianza de error. Mientras que la varianza verdadera se incrementa como el cuadrado

    del nmero de veces que el test es aumentado en longitud, el incremento de la varianza

    de error es directamente proporcional al incremento en la longitud del test.

    Entonces, cuando el test se incrementa en longitud, la varianza verdadera representa una

    porcin mayor de la varianza total. Esto indica a su vez que el test ser ms confiable.

    CALCULO

    Supone que los tems aadidos al test original son similares a los iniciales en

    dificultad, intercorrelaciones y contenido. Las partes adicionales del test pueden considerarse como paralelas a las incluidas

    en el test original.

    Efecto que tiene el incremento en la longitud del test en la confiabilidad

  • 7/25/2019 confiabilidad resumen

    25/25

    CONFIABILIDAD

    Magnusson, D. (2005) Teora de los tets: psicometra diferencial, psicologa aplicada, orientacin vocacional.(2da ed.)

    Mxico: Trillas

    HOMOGENEIDAD DE LA MUESTRA DE PUNTAJES VERDADEROS

    El tamao del coeficiente de confiabilidad depende de la heterogeneidad de la muestra de

    puntajes verdaderos. A mayor homogeneidad en la muestra de Individuos

    La

    2 =

    2 =

    2 = sin (independientedelahomogeneidaddelamuestra)

    Solo el tamao del coeficiente de confiabilidad es afectado por diferencias en lahomogeneidad de la muestra.

    RESUMEN

    HETEROGENEIDAD DE LA MUESTRA DE PUNTAJES VERDADEROS > Heterogeneidad > rtt < Heterogeneidad < rtt

    HOMOGENEIDAD DE LOS REACTIVOS > Homogeneidad > rtt

    < Homogeneidad < rtt

    FORMULARIO DE EJERCICIOS

    Formula de Spearman-Brown

    = . ( ).

    Frmula para divisin por mitades.

    Frmula para el nmero de veces que se debe aumentar el test para incrementar laconfiabilidad

    =.( )

    .( )

    Nota= el punto (.) significa un signo de multiplicacin (x)