sesion 8 - confiabilidad y validez[1].pdf
![Download Sesion 8 - CONFIABILIDAD Y VALIDEZ[1].pdf](https://vdocuments.co/public/t1/desktop/images/cloud_download_icon2.png)
TRANSCRIPT
-
Mg. IRMA LUZ YUPARI AZABACHE
-
Requisitos de
la Medicin
Validez Confiabilidad
Validez de
Contenido
Validez de
Criterio
Validez de
Constructo
Factores Que Atentan Contra La Validez Y Confiabilidad
-
Tirador 1: Ni
confiabilida
d ni validez
Tirador 3:
Confiabilidad y
validez
Tirador 2:
Confiabilidad,
pero no validez
RELACIN ENTRE LA CONFIABILIDAD Y VALIDEZ
Un instrumento de medicin puede ser confiable pero no
necesariamente vlido (un aparato puede ser consistente en lo
resultados que produce pero puede no medir lo que pretende).
-
La confiabilidad responde a la pregunta con cuntaexactitud los tems, reactivos o tareas representan al
universo de donde fueron seleccionados?.
Un cuestionario, es confiable cuando su aplicacinrepetida al mismo sujeto u objeto, produce los mismos
resultados y es operativo cuando su vocabulario es
entendido en un sentido unvoco, o sea exactamente con
el significado definido por el diseador del instrumento.
CONFIABILIDAD DEL INSTRUMENTO DE
RECOLECCIN DE DATOS:
-
Los procedimientos ms utilizados son:
1. Test-retest( Medida de Estabilidad) Un mismoinstrumento es aplicado dos o ms veces a un mismogrupo de personas en condiciones similares. Si lacorrelacin entre los resultados de las diferentesaplicaciones es altamente positiva, el instrumento seconsidera confiable.
2. Medidas paralelas o formas equivalentes (Dosversiones diferentes pero equivalentes, se administra aun mismo grupo de personas ).
3. Divisin por mitades o mitades partidas (Una pruebafragmentada en dos partes equivalentes).
4. Alfa de Cronbach y Kuder Richarson
-
Mtodo Nmero de veces
que el instrumento es administrado
Nmero de versiones diferentes
del instrumento
Nmero de participantes que proveen los datos
Inquietud o pregunta que
contesta
Estadstico a usar
Estabilidad (test-retest)
Dos veces en tiempos distintos
Una versin
Cada participante responde al instrumento dos veces
Responden los individuos de una manera similar a un instrumento si se les administra dos veces?
Coeficiente de Correlacin
Formas alternas
Dos veces al mismo tiempo o con una diferencia muy corta
Dos versiones diferentes pero equivalentes
Cada participante responde a cada versin del instrumento
Cuando dos versiones de un instrumentos son similares Hay convergencia o divergencia en las respuestas a ambas versiones?
Coeficiente de Correlacin
Formas alternas y prueba-posprueba
Dos veces en tiempos distintos
Dos versiones diferentes pero equivalentes
Cada participante responde a cada versin del instrumento
Cuando dos versiones de un instrumentos son similares Hay convergencia o divergencia en las respuestas a ambas versiones?
Coeficiente de Correlacin
Mitades partidas
Una vez
Una fragmentada en dos partes equivalentes
Cada participante responde a la nica versin
Son las puntuaciones de una mitad del instrumento similares a las obtenidas en la otra mitad?
Coeficiente de Correlacin
Medidas de consistencia interna(alfa y KR20 y21)
Una vez
Una versin
Cada participante responde a la nica versin
Las respuestas a los tems del instrumento son coherentes?
Coeficiente de Alfa de Cronbach y de KR
-
En este caso, el anlisis se realizo a travs del Alpha de Cronbach (10% de
la poblacin objeto de estudio ):
Para el puntaje de los tems, se utiliz la escala de Likert, de la siguiente
forma:
Totalmente De Acuerdo: 5 puntos
De Acuerdo: 4 puntos
Neutral: 3 puntos
En Desacuerdo: 2 puntos
Totalmente en Desacuerdo: 1 punto
-
Tabla: Escala de Valoracin del Alfa de Cronbach
Valor Alfa de Cronbach Apreciacin
[0.95 a + > Muy elevada o Excelente [0.90 - 0.95> Elevada
[0.85 - 0.90> Muy buena [0.80 - 0.85> Buena
[0.75 - 0.80> Muy Respetable [0.70 - 0.75> Respetable
[0.65 - 0.70> Mnimamente Aceptable [0.40 - 0.65> Moderada
[0.00 - 0.40> Inaceptable
Fuente: De Vellis (1991)
-
RESULTADOS DEL PROCESAMIENTO DE LA
CONFIABILIDAD DEL INSTRUMENTO DE
RECOLECCIN DE DATOS:
Estadsticos de fiabilidad
.790 10
Alfa de
Cronbach
N de
elementos
Estadsticos total-elemento
35.3500 25.818 .637 .750
35.0000 25.263 .756 .738
34.9500 23.945 .829 .724
35.0000 25.263 .650 .747
35.0000 27.474 .595 .760
34.5500 31.839 .063 .806
35.0500 26.155 .677 .748
35.0500 24.787 .572 .756
34.9500 24.576 .623 .749
35.6500 36.661 -.363 .879
P1
P2
P3
P4
P5
P6
P7
P8
P9
P10
Media de la
escala si se
elimina el
elemento
Varianza de
la escala si
se elimina el
elemento
Correlacin
elemento-tot
al corregida
Alfa de
Cronbach si
se eleimina
el elemento
Sin embargo se puede observar que si se elimina la pregunta 10, el
alfa de cronbach aumentara pero por decisin del autor se decidi
conservar la pregunta dado que era importante para el test.
Se alcanzo un Nivel de
Confiabilidad Muy
Respetable con un Alpha
= 0.79, siendo este test
consistente y adecuado
para el estudio
-
Estadsticos de fiabilidad
.756 10
Alf a de
Cronbach N de elem entos
Estadsticos total-elemento
31.6475 22.259 .549 .718
31.3597 23.348 .520 .725
31.4604 23.424 .535 .724
31.7698 23.526 .513 .726
31.5252 23.382 .439 .734
31.5396 23.018 .464 .730
31.7914 22.514 .544 .719
31.8561 22.588 .423 .736
31.8417 22.337 .490 .726
32.4748 27.396 -.055 .813
P1
P2
P3
P4
P5
P6
P7
P8
P9
P10
Media de la
escala si se
elim ina el
elemento
Varianza de
la escala s i
se elim ina el
elemento
Correlacin
elemento-total
corregida
Alf a de
Cronbach si
se eleimina
el elem ento
Estadsticos de fiabilidad
.825 5
Alf a de
Cronbach N de elementos
Estadsticos total-elemento
14.8921 7.256 .500 .829
14.6043 7.009 .710 .765
14.7050 7.267 .673 .776
15.0144 7.377 .633 .787
14.7698 6.932 .614 .792
P1
P2
P3
P4
P5
Media de la
escala si se
elimina el
elemento
Varianza de
la escala si
se elimina el
elemento
Correlacin
elemento-total
corregida
Alfa de
Cronbach si
se eleimina
el elemento
Al comprobar la fiabilidad para los elementos con todos los datos
se obtiene lo siguiente:
Para la motivacin intrnseca:
-
Estadsticos de fiabilidad
.623 5
Alf a de
Cronbach N de elementos
Estadsticos total-elemento
13.0432 7.926 .338 .588
13.2950 7.470 .456 .535
13.3597 6.435 .548 .473
13.3453 6.894 .499 .506
13.9784 8.413 .120 .709
P6
P7
P8
P9
P10
Media de la
escala si se
elim ina el
elemento
Varianza de
la escala s i
se elim ina el
elemento
Correlacin
elemento-total
corregida
Alf a de
Cronbach si
se eleimina
el elem ento
Estadsticos de la escala
16.7554 10.606 3.25675 5
Media Varianza Desviacin tpica N de elem entos
Para la motivacin extrnseca :
-
En el caso de instrumentos con coeficientes de confiabilidad
moderados como en este caso (0.623), una manera de saber hasta
dnde los mismos pueden ser aceptables, consiste en comparar
la desviacin estndar de la distribucin de puntajes (Sy) con el
error estndar de medicin (EEM) (Carlos Ruiz Bolvar,), cuya
frmula es:
EEM = error estndar de medicin.
Sy = Desviacin estndar de la distribucin de puntajes totales.
rtt = Coeficiente de confiabilidad.
En estos casos se recurre al criterio del error estndar de
medicin para decidir sobre la aceptabilidad de un coeficiente de
confiabilidad moderado, se requiere que se cumpla la condicin
de que Sy > EEM.
-
Como se puede observar, en el caso el EEM(1.9045) no excede el valor de la Sy(3.257); es
decir, que se cumple la condicin de
aceptabilidad sealada anteriormente. (Sy >
EEM). En consecuencia, el instrumento puede
ser utilizado
-
VALIDEZ DEL INSTRUMENTO DE RECOLECCIN DE
DATOS:
- Segn Hernndez, la validez se refiere, al grado en que uninstrumento (cuestionario) realmente mide las variables que pretende
medir.
-Una pregunta es vlida si estimula informacin exacta y relevante.
-La seleccin y la redaccin influyen en la validez de la pregunta.
- Algunas preguntas que son vlidas para un grupo de personas,
pueden no serlo para otro grupo.
- Entre menos tenga que reflexionar el sujeto, ms vlida ser la
respuesta. La validez implica congruencia en la manera de plantear
las preguntas.
La validez puede ser :
De contenido De criterio De constructo
-
VALIDEZ DE CONTENIDO
Se refiere al grado en que el test presenta una muestra
adecuada de los contenidos a los que se refiere, sin
omisiones y sin desequilibrios de contenido.
La validez de contenido se utiliza principalmente con tests
de rendimiento, y especialmente con los tests educativos y
tests referidos al criterio. En este tipo de tests se trata de
comprobar los conocimientos respecto a una materia o un
curso.
La validez de contenido descansa generalmente en el
juicio de expertos (mtodos de juicio). Se define como el
grado en que los tems que componen el test representan
el contenido que el test trata de evaluar.
-
Para este anlisis se ha utilizado el programa Excel
Versin 2007,y se aplic la tcnica estadstica
denominada Coeficiente de Proporcin de Rangos (CPR)
basado en el mtodo a juicio de expertos, que consiste
en un examen sistemtico de cada de uno de los tems -
preguntas del mismo, para determinar si miden las
variables que se espera medir, la pertinencia del
contenido, la claridad de los enunciados de cada uno de
ellos, y el nivel de concordancia entre los evaluadores.
Se sigui el siguiente procedimiento:
Se solicit la colaboracin de tres expertos de la carrera
de psicologa, con el objeto de determinar la pertinencia
de contenido de los tems del instrumento. Se les entreg
el cuestionario y la informacin necesaria y se obtuvo la
evaluacin del cuestionario de cada uno de los expertos.
-
TESIS: RELACIN ENTRE LA MOTIVACIN Y EL RENDIMIENTO
ACADMICO DEL CURSO DE ESTADSTICA EN ESTUDIANTES
DEL CUARTO CICLO DE LA FACULTAD DE DERECHO DE LA
UNIVERSIDAD CSAR VALLEJO EN EL SEMESTRE 2008-II
OBJETIVOS DE LA INVESTIGACION:
Objetivo General:
Determinar el nivel de relacin existente entre la motivacin de
los estudiantes de la facultad de derecho de la UCV y el
rendimiento acadmico del curso de estadstica.
Objetivos especficos:
Determinar el nivel de relacin existente entre la motivacin
intrnseca del alumno y el rendimiento acadmico en estadstica.
Determinar el nivel de relacin existente entre la motivacin
extrnseca del alumno y el rendimiento acadmico en
estadstica.
-
ANEXO B: VALIDACION DEL CUESTIONARIO
FORMATO PARA EVALUACIN DEL CUESTIONARIO
Datos del Evaluador:
Apellidos y Nombres: .
Nmero de Colegiatura:..
Profesin:.
Lugar de Trabajo:.
Cargo que desempea:
rea:
tems-
Preguntas
Objetivos
Especficos
Escala Evaluativa Observaciones
A B C
1,2,3,4 y 5 1
6,7,8,9 y 10 2
ESCALA EVALUATIVA DE CORRESPONDENCIA ITEMS- OBJETIVOS:
A: TOTALMENTE DE ACUERDO
B: DE ACUERDO
C: DESACUERDO
-
La informacin proporcionada por cada uno de los expertos se
proces y analiz calculando el coeficiente de proporcin de
rango corregido.
TABLA B1: TABULACIN DE LOS DATOS RESPECTO A LA EVALUACIN
DEL INSTRUMENTO
ITEM PREGUNTASEVALUADORES
1 2 3
I 1, 2, 3, 4, 5 A A A
II 6, 7, 8, 9, 10 A B A
Fuente: Clculos Propios
-
Segn los especialistas, existe una muy alta validez y
concordancia de los mismos, esto se evidencia al calcular el
Coeficiente de Proporcin de Rango que alcanz un 87 %.
TABLA B2:
TABULACION SEGN ESCALA EVALUATIVA DE LOS ITEMS
ITEM PREGUNTASEVALUADORES
1 2 3
I 1, 2, 3, 4, 5 3 3 3
II 6, 7, 8, 9, 10 3 2 3
Puntaje escala Evaluativo de los tems:
A: Totalmente De Acuerdo : 3 puntos
B: De Acuerdo : 2 puntos
C: Desacuerdo: 1 punto
Fuente: Clculos Propios
-
PromedioProporcion
de Rangos
ITEM PREGUNTAS 1 2 3 ri de cada item
I 1, 2, 3, 4, 5 3 3 3 9 3 1.00 0.037
II 6, 7, 8, 9, 10 3 2 3 8 2.667 0.89 0.037
TOTALES 6 5 6 0 17 5.667 1.89 0.074
EVALUADORESS ri Pe
j
rii
Pr
)Pr
(Prk
iiP
K= Numero
de rangos
de la escala
evaluativa
j
jPe
1
Promedio de Rangos
para cada tem
Proporcin de Rangos para cada tem i: Es el
promedio de rangos de cada tems individuo
dividido entre el puntaje mximo de la escala
evaluativo de los tems (coeficiente de validez de
cada tem)
Correccin:
J: Nmero de jueces : 3
-
NiPCPR
Pr
Coeficiente de Proporcin de Rangos:
CPR : 0.944
CPRc: 0.944-0.074
CPRc: 0.870 Muy Alta
Coeficiente de Proporcin de Rangos
Corregido :
N= Numero de tems
CPRc: CPR - Pe
INTERPRETACION
Mayor que Menor igual que Validez y concordancia
0 0.4 Baja
0.4 0.6 Moderada
0.6 0.8 Alta
0.8 1 Muy Alta
2
89.1CPR
-
VALIDEZ DE CONSTRUCTO
Se refiere al grado en que el instrumento de medida cumple
con las hiptesis que cabra esperar para un instrumento de
medida diseado para medir precisamente aquello que
deseaba medir. Se puede considerar un concepto general
que abarcara los otros tipos de validez.
El trmino constructo hace referencia a un concepto
terico psicolgico inobservable (ej. la inteligencia, cada
factor de personalidad, las aptitudes, las actitudes, etc.)
La definicin operativa de estos constructos presenta
considerables dificultades en la prctica, ya que no son
directamente observables. Debido a esto, la validacin de
un constructo es un proceso laborioso y difcil.
-
En resumen, las tcnicas correlacionales o de la o
consistencia interna relativa empleados en la validez
de constructo son procedimientos de correlacin
entre:
Item Test
Item Escala (Subtests)
Escala Test o Test Subtests
TECNICAS CORRELACIONALES
ESCALA DE VALORACIN PARA INTERPRETAR LA CORRELACIN EN LA VALIDACIN
ri.t Nivel de discriminacin 0.40 a ms Muy bueno 0.30 0.39 Bueno 0.20 0.29 Deficiente
0 0.19 Insuficiente Fuente: Elosua Oliden y Bully Garay ( 2012), Pg. 58.
-
ANLISIS FACTORIAL
El anlisis factorial nos indica cmo tienden a
agruparse los tems o variables. Examinando el
contenido conceptual de los tems que pertenecen al
mismo factor podemos comprender qu factores [o
constructos] subyacentes explican las correlaciones
entre los tems. El anlisis factorial de un
instrumento de medicin ayuda a establecer la
validez de constructo de lo que estamos midiendo,
en el sentido de que nos analiza la estructura del
constructo que estamos pretendiendo medir.
-
EL ANLISIS DE COMPONENTES PRINCIPALES
Segn Johnson(2000), el ACP comprende un
procedimiento matemtico que transforma un conjunto de
variables correlacionadas de respuesta en un conjunto
menor de variables no correlacionadas llamadas
componentes principales . Tambin menciona que la
mayora de libros sobre Mtodos Multivariados sugieren
que los objetivos principales de un ACP son :
1) Reducir la dimensionalidad de un conjunto de datos,
2) Identificar nuevas variables significativas subyacentes
Uriel, E. y Aldas (2005) plantean que el mtodo de
Componentes Principales tiene por objeto transformar
un conjunto de variables , a las que denominan
variables originales , en un nuevo conjunto de variables
denominadas componentes principales. Estas ltimas
se caracterizan por estar intercorrelacionadas entre s.
Agregan que como medida de la cantidad de
informacin incorporada en una componente se utiliza
su varianza.
-
PROCEDIMIENTO PARA HALLAR LOS
COMPONENTES PRINCIPALES
1.- Analizar si los datos cumplen con las condiciones
mnimas para la aplicacin de la prueba (Prueba KMO y
de Esfericidad de Bartlett)
2.- Hallar comunalidades, es decir , la proporcin de la
varianza del indicador que es explicada por los
componentes o factores comunes.
3.- Obtencin de los componentes principales.
4. Seleccin del Nmero de Componentes
5. Interpretacin de los Componentes
6.Aplicacin de los resultados al anlisis
-
Para realizar esta prueba es necesario analizar si los datos
cumplen las condiciones mnimas para la aplicacin de la
tcnica:
-
Podemos comprobar que se presenta una buena adecuacin
muestral a los datos, ya que el estadstico de Keiser-Meyer-Olkin
(KMO), que nos indica la proporcin de la varianza que tienen en
comn las variables analizadas, presenta un valor de 0,802,
coeficiente cercano a la unidad que es lo ms aconsejado para
este tipo de anlisis, y la prueba de esfericidad de Bartlett que
comprueba las variables estn correlacionadas. Esto nos indicarauna buena adecuacin de los datos a un modelo de anlisis
factorial.
KMO y prueba de Bartlett
.802
438.374
45
.000
Medida de adecuacin muestral de
Kaiser-Meyer-Olkin.
Chi-cuadrado
aproximado
gl
Sig.
Prueba de esfericidad
de Bartlett
-
TABLA :VARIANZA TOTAL EXPLICADA
Fuente: Clculos Propios
-
EN EL GRFICO SE
PUEDE OBSERVAR
QUE EXISTEN 2
COMPONENTES CON
AUTOVALORES
SUPERIORES A 1
-
TABLA MATRIZ DE COMPONENTES ROTADOS
. Al llevar a cabo la rotacin de factores, encontramos que
los dos componentes con autovalores mayores a uno
explicaron el 55.01 % de la varianza total
Fuente: Clculos Propios
1 2
P1 1 0.52 0.47
P2 1 0.80 0.13
P3 1 0.78 0.19
P4 1 0.76 0.16
P5 1 0.79 0.07
P6 2 0.39 0.47
P7 2 0.28 0.69
P8 2 0.02 0.81
P9 2 0.13 0.72
P10 2 0.44 0.42
PREGUNTAS DIMENSIN
Componente
Las rotaciones son transformaciones lineales que facilitan la interpretacin sin alterar
la proporcin de varianza explicada por los factores
-
VALIDEZ DE CRITERIO
Se establece al validar un instrumento de medicin alcompararlo con algn criterio externo que pretende medir
lo mismo.
Si el criterio se fija en el presente de manera paralela sehabla de validez concurrente (los resultados se
correlacionan con el criterio en el mismo momento o punto
de tiempo).
Si el criterio se fija en el futuro se habla de validezpredictiva( ejem: una prueba para determinar la capacidad
gerencial de candidatos a ocupar puestos ejecutivos se
validara comparando los resultados con el desempeo
posterior de los ejecutivos)
-
Escala de valoracin del coeficiente de correlacin de Pearson
Valor de r Grado de correlacin
-1.00 Correlacin negativa Perfecta
-0.90 Correlacin negativa Muy fuerte
-0.75 Correlacin Negativa Considerable
-0.50 Correlacin Negativa Media
-0.25 Correlacin Negativa dbil
0.00 No existe correlacin alguna entre las variables
+0.10 Correlacin Positiva Muy Dbil
+0.25 Correlacin Positiva Dbil
+0.5 Correlacin Positiva Media
+0.75 Correlacin Positiva Considerable
+0.90 Correlacin positiva Muy fuerte
+1.00 Correlacin positiva Perfecta
Hernndez, Fernndez y Baptista ( 2010)
-
La improvisacin. Algunas personas creen que elegir uninstrumento de medicin o desarrollar uno es algo fcil y que norequiere de supervisin alguna.
La traduccin, an cuando adaptemos los trminos a nuestrolenguaje no es ni remotamente validarlo.
La inadecuacin o falta de empata. Hay instrumentos que tienenun lenguaje muy elevado para el entrevistado o no toma en cuentadiferencias de sexo, edad, nivel ocupacional y educativo.
Las condiciones de aplicacin. El ruido, presionar para que unapersona conteste un instrumento largo en un perodo de tiempocorto, el hambre o falta de motivacin para responder influirnegativamente en la validez y confiabilidad de la medida.
Los aspectos mecnicos. Que el instrumento tenga instruccionesprecisas, que se lea bien (si se trata de un cuestionario escrito), queno le falten pginas, que haya un espacio adecuado para contestar.
Factores que pueden afectar la confiabilidad y la
Validez