FIABILIDAD Y VALIDEZ

FIABILIDAD Y VALIDEZ DE ENCUESTAS

FIABILIDAD Y VALIDEZ

DE ENCUESTAS

FIABILIDAD DE ENCUESTASCohen (1996), Davis (1996), Hayes (1998) y Huck (1996) estn de acuerdo en que la fiabilidad de un instrumento de medicin hace referencia a la consistencia de un resultado. Esto es, el cuestionario de datos ser consistente despus de pruebas repetidas, utilizando los mismo o diferentes valores, para las mismas preguntas o similares.

Diferentes procedimientos estadsticos han sido desarrollados para probar la fiabilidad (consistencia). Cada una de las diferentes tcnicas proporciona una medida de consistencia llamada coeficiente de fiabilidad. Ese nmero tendr un valor de 0.00 a +1.00. El valor 0.00, establece que la consistencia est ausente, mientras que el valor de +1.00 indica una consistencia total. Huck (1996) establece que el coeficiente de fiabilidad puede ser negativo, pero debera ser cambiado a 0.00. Davis (1996) establece que no existen lineamientos absolutos como el coeficiente de fiabilidad pero proporciona el siguiente paquete de estndares para consideracin:

0.7 utilizado para investigacin exploratoria

0.8 utilizado para investigacin bsica

0.9 utilizado para escenarios aplicados para decisiones importantes

Cohen (1996) lista las razones (excluyendo al humano) por las que el puntaje o las respuestas de la encuesta pueden variar del valor real:

Elaboracin del cuestionario: Variacin entre las preguntas del cuestionario en contenido o seleccin

Administracin del cuestionario: La temperatura de la sala estuvo muy alta, la iluminacin fue pobre, el cuestionario del administrador se entreg tarde pero aplicaciones de prueba con los tiempos lmite originales

Puntaje e interpretacin del cuestionario: No todas las pruebas son calificadas por una mquina, algunas son calificadas de manera subjetiva por los humanos.

Si las calificaciones del cuestionario no muestran mucha variacin, entonces el coeficiente de fiabilidad debera ser cercano a 1.00. Los fundamentos del estado de fiabilidad establecen que un puntaje observado est compuesto de dos partes bsicas: el puntaje real y el error de valor.

Puntaje observado = puntaje real + error de valor

Variacin (puntaje observado) = variacin (puntaje real) + variacin (error de valor)

Fiabilidad =

Como la variacin de error disminuye en valor (o como los puntajes del cuestionario son ms consistentes) el coeficiente de fiabilidad ser ms cercano al valor de 1.00. Esto puede indicar un muy buen juego de datos. Por otro lado, como la informacin en la evaluacin es inconsistente, entonces el coeficiente de fiabilidad caer.

Existen 3 pruebas de fiabilidad que pueden ser utilizadas:

- Fiabilidad de prueba:Utilizado para evaluar la consistencia desde la primera reevaluacin

prueba hasta la ltima prueba.

- Fiabilidad de

formas paralelasDos pruebas similares le darn un puntaje consistente

- Fiabilidad de Los mismos puntos del cuestionario producirn los mismos

consistencia internaresultados dentro de el cuestionarioFiabilidad de cuestionario-reevaluacin

Los mismos temas sern medidos dos veces con el mismo instrumento de medicin, con un tiempo de prueba separado. Esto es, una separacin de un da, semana, mes o ao es utilizada antes que la misma prueba sea administrada a los mismos temas. El investigador correlacionar los juegos de puntajes para determinar el monto de consistencia en la informacin. En el reporte, el coeficiente de fiabilidad es renombrado como el coeficiente de fiabilidad de prueba-reevaluacin.

Fiabilidad de formas paralelas

Esta prueba puede estar referida como formas equivalentes o alternar pruebas de fiabilidad. Los sujetos son probados con dos diferentes formas que miden las mismas caractersticas, pero difiere la precisin de las preguntas.

Es utilizado un corto periodo de tiempo para realizar el cuestionario. Un coeficiente de equivalencia indica el grado de consistencia entre las dos formas.

Fiabilidad de consistencia interna

Esta es una prueba de la consistencia del cuestionario en s. Un instrumento debera poseer una fiabilidad de consistencia interna alta. Los mtodos disponibles son:

Fiabilidad de Dispersin-media: el investigador analizar los puntos de el cuestionario mediante la dispersin del cuestionario a la mitad. Las preguntas con nmero impar sern comparadas con las preguntas de nmeros pares.

Kuder-Richardson #20 (K-R 20): Una variacin de la anterior. Se le llama K-R 20 porque fue la 20va frmula en el clculo eventual. Esta es la estadstica de opcin para preguntas de opcin mltiple.

Coeficiente Alfa, Cronbachs Alfa o Alfa: Una prueba que es muy til para pruebas con dicotoma (s, no), opcin mltiple o un rango de valores

(Huck, 1996)

Fiabilidad de interevaluadores

Debe existir una necesidad para evaluar el grado de consistencia entre evaluadores. Un ndice de fiabilidad de interevaluadores ser hecho. Los tres mtodos ms utilizados son:

Coeficiente de concordancia Kendalls

Cohens Kappa

Coeficiente e correlacin intraclass

Validacin del examen

La validacin representa el alcance de precisin del instrumento de prueba. Mientras que la fiabilidad procura medir la consistencia de la informacin, la validacin se enfocar en la exactitud y consistencia. Existen tres procedimientos frecuentemente utilizados para validar:

Validez de contenido

Criterio en relacin a la validez

Construccin de validez

Validez de contenido

Los expertos usualmente verificarn que las preguntas del instrumento de prueba pertenezcan al contenido del material bajo cuestin. Una lista de verificacin, resumen, perfil sern utilizados para verificar las preguntas del instrumento.

Criterio relativo a la validez

Un criterio es definido como el estndar contra el cual una prueba o puntaje de prueba es evaluado. Esto puede ser un nuevo examen de ingreso a la universidad comparado al examen existente. Una prueba es proporcionada sobre el nuevo instrumento con un coeficiente de validez calculado.La validez comn es conducida si la nueva prueba puede ser comparada a el cuestionario vieja si se da dentro de un periodo corto de tiempo una de la otra. La validez proftica es utilizada cuando la nueva prueba es tomada en el periodo de tiempo actual, con el criterio de prueba (prueba estndar) tomado aos despus.

Construccin de validez

Una construccin es un concepto, un comportamiento, una actitud o una idea cientfica utilizada para explicar un desempeo. La construccin puede ser la satisfaccin del trabajo, ansiedad, motivacin o satisfaccin del cliente. La construccin de validez busca empatar las preguntas del cuestionario con las situaciones observadas. Los puntajes altos y bajos del cuestionario deben coincidir con las conductas observadas.

La validez convergente es el grado de asociacin (correlacin) que el instrumento del cuestionario tiene que construir bajo pregunta. La satisfaccin del cliente puede ser medido por un instrumento de muestra y empata al grado de satisfaccin del cliente.

La validez discriminante es el uso de un instrumento vlido que medir lo opuesto a lo construido. En este caso, una medicin de la insatisfaccin del cliente puede estar correlacionada de manera negativa a la satisfaccin del cliente.

Comentarios finales de validez

Huck (1996) noto que cualquier estudio o encuesta puede poseer un alto grado de validez o fiabilidad. El diseo del estudio y el uso de tcnicas apropiadas estadsticas juegan una parte en la obtencin de buenas conclusiones.

Valoracin de la encuesta

Las encuestas pueden ser utilizadas en la investigacin para obtener informacin cualitativa o cuantitativa. Los proyectos pueden estar basados en informacin pura experimental bajo condiciones controladas, tales como en un laboratorio. Muchos proyectos pueden requerir un campo de datos recolectados va algn mtodo como los cuestionarios o entrevistas. La calidad profesional puede tener una necesidad para recolectar informacin en:

Retroalimentacin del cliente

Satisfaccin/insatisfaccin del cliente

Desempeo del proveedor

Satisfaccin del empleado

Efectividad de la capacitacin

Escala Likert

Una escala de puntuacin utilizada comnmente para encuestas es la escala Likert. Pueden ser de 5 puntos, 7 puntos o una escala numrica especial. La escala se puede extender de 1 a 7, de 1 a 9, de 1 a 11, etc. dependiendo de la aplicacin. Por ejemplo:

Fuertemente en desacuerdo1

En desacuerdo

2

Indeciso

3

De acuerdo

4

Fuertemente de acuerdo5

Entre ms favorable el encuestado est inclinado hacia la pregunta, mayor ser el puntaje. As pues, varias estadsticas como la media, la desviacin estndar, coeficientes de correlacin, y otros valores estimados pueden ser sacados de la evaluacin.

Las mediciones son parte del proceso de mejora. La comunicacin de qu tan buena o pobre es la calidad ser expresada en trminos numricos. Con las bases estadsticas apropiadas, las mejoras en el proceso, el servicio al cliente, la satisfaccin al cliente, la retencin del cliente, puede ser determinado.

Evaluacin cualitativa

Muchas evaluaciones no necesariamente se prestan a anlisis cuantitativo. La informacin por naturaleza tiende a ser subjetiva o cualitativa en la naturaleza. Ejemplos:

Preguntas de Si/no

Respuestas de opcin mltiple

Rango de valores

Evaluaciones subjetivas basadas en el sentido humano

Preferencia de color

Desempeo del empleado

Personalidad

Etc,

Ejemplos cualitativos

Es comn correlacionar los rechazos internos de planta con las fallas de campo. Cuando son reportadas cuantitativamente, cierta informacin puede ser determinada. Para encontrar donde las expectativas interna y externas difieren, deben ser comparadas categoras de quejas cualitativas.

El uso del anlisis de Pareto es una herramienta poderosa. Assume que la tasa de desperdicio interno es 8% y la tasa de quejas externas es de 3%. Esta informacin puede ser graficada en una grfica de atributos para ver si alguna tendencia o ciclos existen. Una mejora considerable no ocurrir hasta que categoras de un diagnstico de defectos sea determinado.

Anlisis y uso de los resultados de la encuesta

Los resultados de una encuesta crean deficiencias y oportunidades. Muchos resultados de encuesta son discutidos en detalle entre gerentes clave. El rol de los gerentes de calidad en este intercambio variar de forma considerable. El gerente de calidad puede ser un participante activo en el mejoramiento de la calidad y de la prontitud de los resultados de las encuestas por las siguientes actividades:

Proporcionando formatos de encuestas bien diseados

Proporcionando incentivos para alentar una retroalimentacin adecuada

Proporcionando instrucciones simples para la forma del uso de datos

Realizar auditoras de la encuesta o el proceso de recoleccin de datos.

Promover el uso de tecnologa moderna para recolectar informacin

Promover el uso de herramientas modernas para el anlisis de datos

Promover el uso de conceptos de muestreo modernos

Asegurar que los canales de comunicacin con los que han sido encuestados estn abiertos

Los gerentes de calida y sus departamentos son comnmente llamados para analizar los datos y resumir de una manera digerible para la alta gerencia. De manera colectiva gerentes claves o un comit administrativo revisar los resultados y tomar accin. Comnmente las acciones sern decididas en algn orden de prioridad. Varias versiones (para la misma informacin) pueden ser necesarias:

Un despliegue de categora basado en una frecuencia dcil

Un despliegue de categora basado en costo

Un despliegue de categora basado en el grado de insatisfaccin del cliente

Un despliegue de categora basado en regulaciones gubernamentales

Un despliegue de categora basado en el peso de varias cuestiones

Despus de la asignacin de prioridades por la alta gerencia, las necesidades de mejor son delegadas a fuerzas de tarea, equipos de calidad, equipos contemporneos, etc., para la solucin. El departamento de calidad est involucrado en el rastreo de resultados de esta actividad de mejora mediante grficas, tablas, resmenes ejecutivos. Ejecucion curricular

Estadsticas de total de elemento

Media de escala si el elemento se ha suprimidoVarianza de escala si el elemento se ha suprimidoCorrelacin total de elementos corregidaAlfa de Cronbach si el elemento se ha suprimido

V213,004,444,000-,525a

V312,404,267-,153-,412a

V412,604,044-,137-,435a

V513,004,667-,293-,191a

V613,804,844-,311-,353a

V713,204,844-,311-,353a

V812,203,956,035-,615a

V913,304,011,103-,636a

V1012,604,044-,137-,435a

V1113,204,400-,075-,498a

V1213,404,489-,142-,445a

V1313,203,733,327-,780a

V1412,803,289,024-,739a

V1513,304,900-,322-,324a

a. El valor es negativo debido a una covarianza promedio negativa entre elementos. Esto viola los supuestos del modelo de fiabilidad. Podra desea comprobar las codificaciones de elemento.

Rendimiento acadmico

Estadsticas de total de elemento

Media de escala si el elemento se ha suprimidoVarianza de escala si el elemento se ha suprimidoCorrelacin total de elementos corregidaAlfa de Cronbach si el elemento se ha suprimido

V370,1810979,964,997,996

V470,5511093,273,995,996

V570,3611038,855,990,996

V670,1810978,764,993,996

V770,0010923,600,995,996

V870,5511092,873,992,996

V970,1810980,564,992,996

V1070,7311148,818,990,996

V1169,6410810,655,996,996

V1270,0010924,400,992,996

V1372,1811612,764,986,996

V1472,1811613,764,985,996

V1572,3611671,655,984,996

V1671,0911265,091,986,996

V1770,9111208,491,989,996

V1869,2710697,4181,000,996

V1970,7311148,818,993,996

V2072,3611671,455,985,996

V2171,6411438,255,981,996

Pgina 10 de 10

_1294025626.unknown