Resultados preliminares de un análisis de fiabilidad para un portfolio de competencias profesionales

Manuel Herrera-Usagre Antonio Almuedo-PazVíctor Reyes-Alcázar

José Julián-Carrión María Pilar Carrascosa-Salmoral.

Agencia de Calidad Sanitaria de Andalucía.

slideshare.net/gestion_conocimiento_acsa

Definición Fiabilidad consistencia interna

• “Si un herrero mide varias veces con una cinta métrica la longitud de una barra de hierro, siempre obtendrá la misma medición, debido a que tanto la cinta métrica como la barra permanecen invariantes.”

• La precisión o fiabilidad de una prueba se puede entender también como el grado en que diferentes subconjuntos de items miden un rasgo o comportamiento homogéneo; es decir, el grado en que covarían, correlacionan o son consistentes entre sí diferentes partes del cuestionario.

Alfa de Cronbach

• Alfa es un coeficiente de correlación al cuadrado que, a grandes rasgos, mide la homogeneidad de las preguntas promediando todas las correlaciones entre todos los ítems para ver que, efectivamente, se parecen.

• Su interpretación será que, cuanto más se acerque el índice al extremo 1, mejor es la fiabilidad, considerando una fiabilidad respetable a partir de 0,80.

Objetivo• Comprobar el grado de fiabilidad de los

diferentes manuales.

• Descartar sesgos (número de casos o número de evidencias de cada manual) que puedan estar distorsionando el coeficiente

Mapa de competencias N de casosNúmero de evidencias (ítems)

Cronbach α

Médico/a de Urgencias y Emergencias. 55 71 0,90

Médico/a de Familia de Atención Primaria. 177 73 0,93Matrona/o 59 65 0,93

Médico/a Especialista en Cardiología 48 66 0,92

Fisioterapeuta 49 63 0,92

Radiólogo/a 49 59 0,84Otorrinolaringólogo/a 36 68 0,90

Oftalmólogo/a 52 64 0,94

Médico/a Intensivista y de Cuidados Críticos 97 70 0,92

Enfermera/o de At. Hospitalaria: Hospitalización y C. Especiales. 484 72 0,94

Anestesiólogo/a 57 62 0,90

Farmacéutico/a de Hospital 43 65 0,90

Enfermera/o de Emergencias y Urgencias Extra-hospitalarias 53 67 0,91

Enfermera/o de Atención Hospitalaria: Bloque Quirúrgico 215 68 0,93

Enfermera/o de Cuidados Infantiles 145 68 0,93

Enfermera/o de Atención Primaria 231 69 0,94

Pediatra de Atención Primaria 39 67 0,90

Pediatra de Atención Hospitalaria 80 64 0,91

Médico/a Internista 61 70 0,90

Médico/a Especialista en Ginecología y Obstetricia 41 71 0,91

Manual

Enfermera/o de At. Hospitalaria: Hospitalización y C. Especiales.

Anestesiólogo/a Farmacéutico/a

de Hospital

Enfermera/o de Emergencias y

Urgencias Extra-hospitalarias

Enfermera/o de Atención

Hospitalaria: Bloque

Quirúrgico

Fiabilidad del manual 0,943 0,902 0,900 0,911 0,927

Nivel de dificultad de la

evidencia

Nivel I 0,534 0,414 0,493 0,623 0,562

Nivel II 0,975 0,953 0,959 0,930 0,960 Nivel III 0,971 0,990 0,982 0,965 0,977

Tipo de prueba

Autoauditoría 0,684 0,078 0,536 0,709 0,292

Casos contextualizados 0,787 0,860 Certificados 0,903 0,881 0,850 0,856 0,887 Informes PC 0,899 0,819 0,830 0,760 0,891 Informes R 0,826 0,739 0,583 0,861 0,782

Pruebas Presenciales Periodo de

acreditación 2008/2009 0,953 0,916 0,903 0,704 0,914

2010/2011 0,939 0,903 0,883 0,930 0,936

Sexo Hombre 0,937 0,980 0,918 0,916 0,926

Mujer 0,944 0,921 0,877 0,892 0,927 Proyecto

inicial/reacreditado

Proyecto inicial 0,939 0,911 0,902 0,910 0,912

Proyecto reacreditado 0,919 0,693 0,888 0,890 0,818

Nivel de acreditación

No acreditado 0,843 0,944 0,885 0,869 0,886

Avanzado 0,887 0,865 0,842 0,822 0,858

Experto 0,732 0,480 0,221 0,538 0,642

Excelente 0,467 0,625 0,307

El efecto del número de evidencias en los resultados del alfa

0,950

0,925

0,900

0,875

0,850

0,825

706560

Number of items

Quadratic

Logarithmic

Linear

Observed

Alpha de Cronbach de cada uno de los manuales de acreditación

0,960

0,950

0,940

0,930

0,920

0,910

0,900

0,890

0,880

74727068666462

Number of items

Cuadrático

Logarítmico

Lineal

Observada

Cronbach alpha

El efecto del número de casos en los resultados del alfa

0,950

0,925

0,900

0,875

0,850

0,825

5004003002001000

N cases

Cuadrático

Logarítmico

Lineal

Observada

Cronbach alpha

0,960

0,950

0,940

0,930

0,920

0,910

0,900

0,890

0,880

25020015010050

N cases

Cuadrático

Logarítmico

Lineal

Observada

Cronbach alpha

Conclusiones• El nivel de fiabilidad de los manuales es alto.• La paradoja de baja fiabilidad en las evidencias de nivel

I y baja fiabilidad entre profesionales acreditados en experto, tiene su explicación en la variabilidad de evidencias a cumplimentar que ofrece el programa.

• Limitaciones: – el número de casos distorsiona levemente los resultados. – Se hace necesaria la identificación de aquellas evidencias

de cada manual que están presentando comportamientos anómalos (coeficientes de correlación ítem-total bajos)

Muchas gracias.

Twitter ponente: @herrerausagreslideshare.net/gestion_conocimiento_acsa

Como citar (APA 6th edition):• Herrera-Usagre M., Almuedo-Paz A., Reyes-Alcázar V.,

Julián-Carrión J., Carrascosa-Salmoral M.P. (2012, November 29). Resultados preliminares de un análisis de fiabilidad para un portfolio de competencias profesionales. Ponencia presented at the XVIII Congreso de Calidad Asistencial, Cádiz. Retrieved from www.slideshare.net/gestion_conocimiento_acsa