caliad de la informacion
TRANSCRIPT
CONTROL DE CALIDAD DE LA INFORMACIÓN
PROPOSITO Generar un sistema de evaluación del control de calidad de la red BVS /OPS en América Latina y el Caribe.
OBJETIVOS
•Revisar el estado del arte y difundirlo -Diseñar y validar un cuestionario de autodiagnóstico de calidad de la información de la BVS •Analizar y proponer el mayor desarrollo de la calidad de la información en las BVS
NECESIDAD
ESTADO DEL ARTE
NUEVOS AUTORES
GLOBAL Gracian
WILKINSON
HARRIS
SMITH
AMBRE
Health Summit Working Group
LUZ
Fund. health on the net
1997 1997 1997 1997 1997 1999 2000 2000GENERAL Visitas
Comunicados
Productos cientif icos
ACCESO Acceso
Facilidad de encontrarla
Audiencia
Costo
De propiedad intelectual
DISEÑO Problemas o limitaciones
Calidad y oportunidad
Navegación
Estructura y organización
Legibilidad de textoFormato y presentación
Facilidad de mantenimiento
Facilidad para entender el alcance del recursoFacilidad de uso
Carga rápida del sitioAmigabilidad
Aspectos estéticos
Calidad de enlaces
Calidad de sitio e información
Navegación
Retroalimentación
Salon de charla
DivulgaciónDisponibilidad plena
PROPUESTA /
AVANCES
COMPROMISO
+1/3 consultas sobre salud
¿qué % en paginas validas?
CRECIMIENTO DE LA RED
INFORMACIÓN ¿CONFIABLE? Y PODER (Harris, 1997)
PROBLEMAS EN LA RED
VARIABILIDAD DE INFORMACION
(Harris, 1997; Health Summit Working Group,1999; Tillman, 2000).
DE LITERATURA ACADEMICA, VANITY, GRIS Y DE PUBLICIDAD
NECESIDAD DE CONTROL DE CALIDAD
(Ambré 1997,Comisión para las Comunidades europeas eEurope 2002)
CREDIBILIDAD ACCESO SENCILLO VS NO NORMAS NI
CONTROL
ESTRATEGIAS EN LA RED
1.CONTROL DE CALIDAD POR COHERENCIA CON INDICADORES DE CONTENIDOS
ESTANDARIZADOS
Convención de Vancouver (1978), American Psychological Association (1994)
NO ESTANDARIZADOS y NO UNIVERSALES (December, 1997; Grassian, 1997; Kim, 1999; Smith, 1997; Tillman, 1996, etc)
2.CONTROL DE CALIDAD POR EVALUACIÓN DE EFECTIVIDAD :
CALIDAD: características DEBEN satisfacer necesidades de consultantes (Organización Internacional para la Estandarización (ISO/TC, 1994). 3. CONTROL DE CALIDAD POR INDICADORES DEL SITIO Autores clásicos y Comisión para las Comunidades europeas eEurope 2002)
“El control de calidad de la información debe ser parte de las normas éticas y de honor en la construcción de cualquier sitio que contenga información en salud”
( Health on the Net Foundation, 1997).
ORGANISMOS ESPECIALIZADOS
Gardois P Evaluating the quality of medical information on the Internet
Comisión para las Comunidades europeas eEurope 2002 : Quality criteria por Health related websites)JMIR 2002;4(3):e15
HEALTH SUMMIT WORKING GROUPInstituto de Tecnologías de Información en Salud,Virginia, USA:
Criterios para evaluar la información en la red.
FUNDACIÓN HEALTH ON THE NET Génova, Suiza
CERTIFICACION
METODOLOGIA DE BUSQUEDA
MEDIOS :
Motores de busqueda:
Bases de datos en línea
PALABRAS CLAVES:Evaluacion, calidad, control, información en salud
+ 200
Pertinentes: 20
Más por bibliografia
50 finales
Primera fase
Segunda fase
Lectura en profundidad: ATLAS TI 28 categorías de análisis –calidad, tipos de documentos, criterios, información, contexto,
clasificaciónRedes semanticas identificar los criterios que desarrolla cada autor y la forma en que interactúa con el contexto referido en los mismos.
38
ACCESO Y ENCUADRE
ACCESOUBICACIÓN Y
CONTROL
FACILIDAD DE
ACCESO
ENCUADRE
CREDENCIALES
ACTUALIDAD
CONSISTENCIA
EVALUACIÓN
AREA CATEGORIA INDICADOR
DISEÑO
ESTRUCTURA ORGANIZACIÓN
ORGANIZACIÓN
CLARIDAD
COMUNICABILIDAD REDACCCIÓN
NAVEGACIÓN
AMIGABILIDAD
NAVEGABILIDAD
ESTÉTICA Y FORMATO
APARIENCIA
INTENCIONESDECLARATORIA
AREA CATEGORIA INDICADOR
CONTENIDO
IDENTIFICACIÓN ESTABILIDAD
AUTORÍA
PRECISIÓN Y EQUILIBRIO
RECURSOS
OBJETIVIDAD
VALIDEZ
CREDIBILIDADRELEVANCIA
TRASCENDENCIA
EXACTITUD
CALIDAD CIENTIFICA REVISION PARES
DERECHOS/PRIVACIDAD
DERECHOS YDEBERES SEGURIDAD/HONESTIDAD
ÉTICA/ALERTAS
ENLACESACCESO Y DISEÑO
CONTENIDOS
AREA CATEGORIA INDICADOR
Criteria groupsFreq (%)
CONTENT OF SITE30 (18)
DESIGN AND AESTHETICS22 (13)
DISCLOSURE OF AUTHORS, SPONSORS, DEVELOPERS
20 (12)
CURRENCY OF INFORMATION14 (8)
AUTHORITY OF SOURCE11 (7)
EASE OF USE9 (5)
ACCESSIBILITY AND AVAILABILITY9 (5)
LINKS5 (3)
ATTRIBUTION AND DOCUMENTATION5 (3)
INTENDED AUDIENCE3 (2)
CONTACT ADDRESSES OR FEEDBACK MECHANISM
2 (1)
USER SUPPORT2 (1)
MISCELLANEOUS33 (20)
•Published criteria for evaluating health related web sites: review •Paul Kim, research assistant, a Thomas R Eng, study director, a Mary Jo Deering, director, a Andrew Maxfield, research fellow. b • BMJ 1999;318:647-649 ( 6 March )
FREQUENCY OF EXPLICIT CRITERIA FOR EVALUATION OF HEALTH RELATED WEB SITES BY CRITERIA GROUPS (n=165) *
RECOMENDACIÓN
Que se apoye el Proyecto de Control de Calidad de las Fuentes de Información presentado por BVS Adolec México para que pueda ser desarrollado en su totalidad y luego utilizado en el desarrollo de fuentes de información de la BVS regional.
AVANCES:DIFUSIÓNCOLONIA 2002
http://bvs.sld.cu/revistas/aci/vol11_1_03/acisu103.htm
CUBA 2003
http://www.zbmed.de/eahil2002/proceedings/hidalgo-poster.pdf
AVANCES: FLUJO DE ACTIVIDADES DE DISEÑO
PROYECTO
ESTADO DEL ARTE Y DIFUSIÓN
IDENTIFICACIÓN DE
AREAS ,CATEGORIAS E
INDICADORES
GENERACIÓN DE CRITERIOS PARA CUESTIONARIO
INICIAL (310 criterios)
PRUEBA PILOTO CON EXPERTOS
(IMPORTANCIA)
CUESTIONARIO A VALIDAR
( 84 criterios)
VALIDACIÓN POR RESPONSABLES DE
BVS
CUESTIONARIO DEFINITIVO
ETAPA 2000-2001
(II REUNIÓN
COORDINACIÓN BVS
CUBA)
ETAPA 2002
(III REUNIÓN COORDINACIÓN BVS MÉXICO)
ETAPA 2003-2004
IV REUNIÓN COORDINACIÓN BVS
Salvador Bahía, Brasil
USO Y RESULTADOS
EN BVS
CHAOBVS
ADOLEC
1. Revisión de literatura
2. Creación del instrumento inicial con criterios
3. Identificación de expertos /Prueba piloto
4. Modificación del instrumento Identificación de expertos
5. Prueba de validez
6. Modificación del instrumento7. Confiabilidad en iguales sitios
Análisis de varianza/Regresión jerárquica
6. Creación de dos instrumentos
70 310
68 84
16
16/8
AVANCES :COMPARACIÓN CON ESTÁNDAR DE ORO
*Chao, H. Assessing the quality of academic libraries on the Web: The development and testing criteria. Library & Information Science Research, 2002; 24: 169-194.
ACCESO Y ENCUADRE ACCESO
UBICACIÓN Y CONTROL
FACILIDAD DE
ACCESO
ENCUADRE
CREDENCIALES
ACTUALIDAD
CONSISTENCIA
EVALUACIÓN
ÁREA CATEGORÍA INDICADOR CRITERIOS
AVANCES: GENERACIÓN DE CRITERIOS
¿Se hace explícita la existencia de un registro estadístico de visitas al sitio?
¿El sitio es localizable a través de alguno de los motores de búsqueda o índices más populares de Internet?
¿El sitio puede ser visualizado mediante cualquier programa de navegación? *
¿Cuándo se carga el sitio, se presenta libre de fallas en los textos o imágenes?
¿En el sitio se identifican las organizaciones que lo respaldan?
¿El sitio presenta clara y completamente las credenciales de su(s) director(es) o administrador(es)?
¿En el sitio se presentan los datos de contacto electrónico con sus administradores/directores?
¿El acceso a todos los contenidos del sitio es libre de costo para el usuario?
¿Se muestra la fecha en que se realizó la última modificación al sitio en general?
¿Se identifica de alguna manera la presencia de material nuevo en el sitio?
¿Es posible visualizar el sitio con un equipo de cómputo de bajo desempeño (p.e., 486, baja resolución, <4Mb de ram, etc.), módem de baja velocidad? *
¿Es posible acceder al sitio siempre en su URL o, si no está ahí, se dirige al usuario a su nueva dirección?
¿Existe una normatividad par el control de calidad del sitio? *
AVANCES CUESTIONARIO A VALIDAR EN LINEA:
www.congresoadolec.org/calidad
AVANCES: UTILIDADEN 6 BVS QUE HAN RESPONDIDO SE HA PODIDO IDENTIFICAR FOCOS ROJOS MÁS FRECUENTES EN CRITERIOS ESPECIFICOS
BVS 2003…………………..2006
AVANCES: PERFIL DE LOGROS DE CRITERIOS
%
1 45 39 53
2 63 21 75
3 66 18 79
4 30 54 36
5 66 18 79
6 59 25 70
CUMPLE
NO
•Un equipo convencido con entusiasmo a toda prueba puede cumplir un % básico de los compromisos adquiridos (en la II Reunión en Cuba) .
LECCIONES APRENDIDAS
•Siendo un trabajo innovador y necesario en la actualidad es bien acogido en espacios de difusión como congresos y revistas especializadas
•Sin embargo si evaluamos las recomendaciones de la II Reunión en Cuba …….
• Tiene dificultades obtener una alta participación de las BVS: enviamos 40 solicitudes de colaboración para la VALIDACIÓN y se obtuvo una respuesta mínima, por diversos motivos y pese al apoyo de BIREME.
LECCIONES APRENDIDAS
Por tales antecedentes .hacemos las siguientes .....
•Y tiene dificultades obtener de fondos de investigación en OPS :
se envió una solicitud de apoyo financiero a
Investigación OPS en enero del 2002 y no hubo
respuesta pese al apoyo de BIREME
PROPUESTAS DE ESTRATEGIAS
•Los compromisos que se adopten en la III Reunión debe tener mayor especificidad y tiempos tanto de la o las BVS lideres sino de las instancias institucionales
•Abrir un fondo de apoyo a la investigación sobre BVS especialmente proyectos multi BVS por parte de OPS sea con fondos directos o gestión para su obtención
•Las BVS deben suscribir su apoyo mediante convenios en proyectos multiBVS con todo el apoyo estructural de OPS
EL FUTURO DE ESTE PROYECTO
EL MEJOREL PEOR
NO APLICACIÓN DEL CUESTIONARIO EN LINEA
LA BVS ADOLEC MEXICO UTILIZA EL INSTRUMENTO NO VALIDADO PARA SU DESARROLLO
OPS/BIREME/BVS QUEDAN CON UNA TAREA PENDIENTE AL APORTE CIENTIFICO DE CONOCIMIENTO EN ESTE CAMPO
SE APLICA POR LAS BVS EL CUESTIONARIO
SE VALIDA EL CUESTIONARIO
Y ADECUANDOSE SE PONE
A DISPOSICION DE LAS BVS
Y PROMUEVE EL ESTUDIO CONJUNTO
OPS/BIREME/BVS APORTAN AL DESARROLLO DEL CONOCIMIENTO CIENTIFICO EN ESTE CAMPO
POR ESO ....AGRADECEMOS RECIBAN DOS DIPTICOS INFORMATIVO MOTIVACIONAL CADA UNA DE UDS COLEGAS BVS Y...
Proyecto de control de calidad
... esperamos decidan
aplicar el
CUESTIONARIO durante el congreso en
www.congresoadolec.org/calidad
Muchas gracias...
CREDIBILIDAD
La credibilidad es definida como la cualidad o poder de inspirar lo creíble, y lo creíble es lo que puede o merece ser creído.
•FUENTE.- la autoridad como el “crédito y fe que se da a una persona en determinada materia” (a grupos organizados de expertos más autoridad que expertos individuales).
•AUTORIDAD O CREDENCIALES.- Ccurriculum de personas involucradas, y la de sus asociados
•CONFLICTO DE INTERESES.- Cualquier conflicto de intereses deberá ser explicitado.
•SESGOS.- Intereses financieros, o por la posición de alguna persona.
•CONTEXTO objetivo que motiva la presentación de la información .
•ACTUALIDAD Fecha en que se actualizó el contenido de la página.
•RELEVANCIA/UTILIDAD La relevancia :que tan cercano está el contenido del documento con el propósito de la página. La utilidad:l provecho práctico que proporciona la página para que el lector alcance su objetivo al consultarla.
•REVISIÓN EDITORIAL En la comunidad científica el control editorial implica el proceso de revisión por pares. Una revisión de pares podría beneficiar cualquier revisión editorial. Dejar en claro cuál es el proceso de revisión editorial, y que requisitos se tomaran en cuenta para que un documento se presente en ese espacio.
CONTENIDO
•PRECISIÓN Se basa en la evidencia y su verificación: presentar los datos en los que basa sus conclusiones.
•JERARQUÍA DE LA EVIDENCIA En el contexto de la investigación cuantitativa orden de mayor a menor evidencia :
ensayos clínicos aleatorizados, ensayos no aleatorizados, estudios de cohorte, casos y controles, y, estudios descriptivos.
Falta identificar una escala semejante basada en la tipología de los estudios cualitativos, (ej entrevistas en profundidad e historias de vida, entrevistas focalizadas, grupos focales,grupos de discusión, estudios observacionales , estudios exploratorios)
•ESTABLECIMIENTO DE FUENTES ORIGINALES
•ACLARACIONES :limitaciones, propósito, alcance, autoridad y actualidad de la información y fuentes dadas a conocer
•NOTAS DE OMISIÓN Los trabajos deben incluir una revisión completa de la información relevante, procurando presentar un tema balanceado
ORGANIZACIÓN LÓGICA El diseño deberá ser simple y fácil de usar.. La estructura lógica y el lenguaje deberán ser acordes al nivel de los usuarios.Debe existir un balance entre texto, figuras, colores, sonidos y movimientos.
MOTOR DE BÚSQUEDA INTERNA Este es un componente crítico. El alcance y la función de éste deberán ser especificados con claridad.
MECANISMOS DE RETROALIMENTACIÓN Dirección electrónica para recibir los comentarios o preguntas de los usuarios a ser atendidos y respondidos en un tiempo pertinente.
ESPACIO DE CHARLA Existirá la oportunidad de mantener “charlas electrónicas” entre los diferentes usuarios, y probablemente entre los organizadores y patrocinadores de la página.
SEGUIMIENTO Y CONSULTA Mecanismo mediante el cual pueden realizar consultas
• ALERTAS: advertencias
INTERACTIVIDAD
DISEÑO
ACCESIBILIDAD Accesible a los equipos que cuenten con menos recursos.
1.MAGNITUD DEL PROBLEMA Y RELEVANCIA2.ANTECEDENTES Y RACIONALIDAD DEL ESTUDIO?3.DEFINICIÓN PROBLEMA4.CONSECUENCIAS DE NO HACERLO Y BENEFICIOS DE HACERLO5.OBJETIVOS Y ALCANCES
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
. INTRODUCCIÓN
MÉTODOS
SUJETOS
1.CONTEXTO DEL ESTUDIO Y DE LA
PROCEDENCIA DE LOS SUJETOS
2 CRITERIOS DE INCLUSIÓN, NO
INCLUSIÓN Y EXCLUSIÓN
3.ESTRATEGIAS DE MUESTREO
1.CRITERIOS DE SELECCIÓN DE
CONTEXTOS
2.CARACTERÍSTICAS
SOCIO-ECONÓMICAS Y
CULTURALES DE CONTEXTOS
3.CARACTERÍSTICAS DE LOS
SUJETOS INFORMANTES?
DISEÑO
1.TIPOS DE APROXIMACIÓN
TEÓRICA
2.INSTRUMENTOS Y SUS
PRINCIPALES DIMENSIONES
CONCEPTUALES?
3.CAMBIOS Y PREGUNTAS
GENERADOS EN EL PROCESO
1.CLARIDAD DEL DISEÑO
2.AUTORES DICEN QUE HICIERON Y
LO QUE HICIERON?
3.ELEMENTOS SUFICIENTES SOBRE
DISEÑO
4.ESTRATEGIAS DE RECOLECCIÓN DE
DATOS
5.PROCEDIMIENTOS Y TÉCNICAS DE
ANÁLISIS DE LA INFORMACIÓN?
1.PLANTEAMIENTO DE
HIPÓTESIS
2.VARIABLES ESTUDIADAS Y
MEDICIÓN).
3.DEFINICIÓN DE LAS
VARIABLES PRINCIPALES
3. ASPECTOS ÉTICOS
CRITERIOS DE EVALUACION DE DOCUMENTOS CIENTIFICOS
Day RA. “Cómo escribir y publicar trabajos científicos”. OPS: Washington, 1990.
[1] Miles, M.B. & Huberman, A.M. Producing reports. En: Qualitative Data Analysis. Thousand Oaks, Sage, 1994, pp. 298-306.
[1] Roth, J.P. Writing and reporting. En: Undertaking Qualitative Research. Edmonton, The University of Alberta Press, 2000, pp. 159-163.
1.ASPECTOS ÉTICOS EN RECOLECCIÓN DE DATOS, ANÁLISIS Y DIFUSIÓN DE LA INFORMACIÓN
BIBLIOGRAFIA
Felman S Berlin J Fletcher S Fletcher R Manuscript quality before and after peer review and editing at Annals of Internal Medicina Ann Intern Med 1994;121:11-21
4. RESULTADOS
1.FORMATO: DE DETALLES TEXTUALES U
MATRICES O REDES DE RELACIONES
QUE RESUMEN DATOS IMPORTANTES
2.INCLUYE SEGMENTOS DE TEXTOS PARA
LA INTERPRETACIÓN PROPUESTA
3.ESTILO DE AUTORIDAD : DESCRIPCIÓN
DE PRÁCTICAS Y VISION DE
INFORMANTES O SU VOZ Y
ARGUMENTOS
4.ESTRATEGIAS FORTALECEN VALIDEZ DE
HALLAZGOS (triangulación de fuentes y
métodos, perfil de patrones e
idiosincrasias, plausibilidad, contrastes y
comparaciones, contradicciones, casos
extremos, etc.)
5.SUSTENTO ANALÍTICO AMPLIO
RELACION DATOS EMPÍRICOS CON
ARGUMENTOS TEÓRICOS?)
1.INFORMACIÓN COMPLETA DE
SUJETOS PARTICIPARON Y LOS
NO INCLUIDOS
2. VIOLACIONES AL PROTOCOLO?
3. CUÁN APROPIADO ES EL
BALANCE ENTRE DETALLE Y
RESUMEN DE RESULTADOS
4.RESULTADOS QUE MAYORÍA DE
LA AUDIENCIA COMPRENDA
1.ASOCIACIONES Y MANEJO DE VARIABLES DE CONFUSIÓN E INTERACCIÓN;
2.VERIFICACION DE HIPÓTESIS
3.PERTINENCIA DEL MANEJO ESTADÍSTICO, INCLUYENDO SIGNIFICANCIA ESTADÍSTICA (PRUEBAS DE HIPÓTESIS O INTERVALOS DE CONFIANZA;
4.PERTINENCIA DE LOS DATOS REPORTADOS EN CUADROS Y FIGURAS.
5. REPORTE DE LOS DENOMINADORES (PROMEDIOS , PORCENTAJES, TASAS, ETC)
6.MAGNITUDES DE LOS EFECTOS REPORTADOS (EFECTOS INCLUYE :OR, DIFERENCIAS DE RIESGO, COEFIC EGRESION,ETC)
5. DISCUSIÓN Y CONCLUSIONES
1.APORTE A CONOCIMIENTOS EN SU CAMPO
CONFRONTACIÓN CON LA EVIDENCIA DE OTROS AUTORES
2.LIMITACIONES DEL ESTUDIO: GENERALIZACIÓN
PREGUNTAS PARA ESTUDIOS POSTERIORES?
3.CONCLUSIONES ENMARCADA EN LÍMITES DEL ESTUDIO
6. REFERENCIAS
COMPLETAS Y ACUERDO AL TEXTO Y EN ESTILO VANCOUVER
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
.
CRITERIOS EVALUACION DOCUMENTOS CIENTIFICOS
EN APA-STYLE?