informe de seguimiento de caracterización de fuentes de … · 2018-05-23 · informe de...

Informe de seguimiento de caracterización de fuentes de información en salud

Dirección de Epidemiología y Demografía Marzo de 2018

2

1. Resultados del proceso de Caracterización

La Guía Metodológica de Caracterización de Fuentes de Información 2014, definió 12 pasos para logar la caracterización completa de una fuente de datos para el sistema de salud del país.

El paso 3 de la citada Guía, está determinado por el llenado o diligenciamiento de una ficha definida así: Revisión y/o diligenciamiento de la Ficha de Caracterización. Esta ficha se documentó en el anexo tres (3) de citado documento y detalla algunas características que se deben tener en cuenta en su gestión, sin tener plenitud de su contenido. La versión 1 de esta ficha contempla una serie de preguntas y observaciones técnicas que conforman “…indicadores seleccionados para evaluar primero, la calidad “interna” de la fuente, la cual se refiere al conjunto de atributos relacionados con la compleción, la consistencia/coherencia y la validez a nivel de los datos individuales contenidos en un conjunto de datos.”.

Como parte del análisis de la adecuación técnica de la Guía de Caracterización, se hace un análisis global de las fichas diligenciadas y encontradas en el RID.

1.1. RESULTADOS:

1.2. Primer paso:

Como primer paso, se realiza una revisión estructural de la ficha y sus características valorativas y de puntaciones referidas en esta misma, debido a que no hay un instructivo o tabla de variables de la misma o este no se ha referenciado.

Tomando como referencia la ficha del REGISTRO DE LOCALIZACION Y CARACTERIZACION DE PERSONAS CON DISCAPACIDAD (RLCPD), se analizan los componentes de esta ficha que están referido a tres (3) partes: i) La primera, contiene información general de la fuente; ii) la segunda, evalúa la estructura y el contenido de la fuente, y iii) la última, valora la calidad “externa” de la fuente (comillas dentro del texto).

En general, la ficha es encabeza por unos títulos que comprende:

a) Indicador: no se encuentra que referencia este aspecto; debajo de este se hallan aspectos de indagación y

diligenciamiento.

b) Valor: refiere en algunos momentos de la diligencia, a estructuras concreta de un resultado de una observación;

en otros apartados, a apreciaciones subjetivas del funcionario; en otros a la ausencia de una observación por no

aplicar, etc.

c) Puntaje: sin una referencia a este aspecto, es un valor que se asigna teniendo como referencia los ítems en los

que se divide la ficha y los puntajes que estos deben aportar en algún supuesto que “…para el diligenciamiento de

tal manera que se pueden asignar puntajes a cada indicador y ponderar sus resultados”.

La primera parte de Datos Generales De La Fuente, se subdivide en 4 secciones que aporta 20 puntos:

Proveedor: aporta 3 puntos y comprende 8 indicadores; según instrucciones, estos puntos se divide por el total

de indicadores y aportaría la fracción correspondiente; sin estar claro cómo se califica, se define que unos

3

indicadores no aportan puntos, pero en general, se observa que se les asigna un valor relativo a 3; al observar

algunos “indicadores”, se aprecia que estos en algunos casos, son dos aspectos independientes, por tanto en

consideración del analista y ante un indicador con una disyuntiva, se consideró a este indicador como compuesto

y se dividió en su análisis, asignándole 50% del valor ponderado previo (0.38/2); esta consideración aplico para

dos indicadores. Se destaca que la ficha, el ultimo reglón, en general para las subdivisiones de las partes, se

encuentra un total que no es presente en todas las fichas; en este caso, no se siguió en mismo formato para la

caracterización, así como el que algunos indicadores estaban no completos en su denominación.

Aspectos legales: aporta 5 puntos y comprende 5 indicadores; al parecer no sigue la instrucción de la distribución

relativa de este puntaje por el total de indicadores; se observa que se asigna el número 1 a cada indicador y al

igual que en literal anterior, hay una pregunta que se considera disyuntiva; en este caso se suman seis indicadores.

Como elemento observacional, se destaca que no se especifica cuando el diligenciador de la ficha debe asignar

puntaje y cuando no, viéndose que estando algún aspecto referenciado de valor, el puntaje es 0 (cero).

Procedimiento de entrega a SISPRO: aporta 6 puntos y comprende 6 indicadores; aplican lo referenciado en el

numeral anterior.

Procedimientos de recolección: aporta 6 puntos y comprende 3 indicadores; en este ítem, se están asignado

puntaje de máximo 2; se observa por tanto un recorrido entre 0 a 2, sin especificar cunado se asigna un 1 (uno),

y como en el caso de los ítems anteriores, no se especifica cuando es 0 (cero).

La segunda parte De Estructura De Datos De La Fuente se subdivide en 4 secciones que aporta 48 puntos, aunque esta parte de la ficha comprende más de las 4 subdivisiones, con 18 posibles indicadores:

Compleción de la fuente: aporta 35 puntos y comprende 11 indicadores, de los cuales 4 se encuentran

subdivididos generando 8 indicadores adicionales. No se halla el detalle de la asignación de los puntajes en estos

19 items; en algunos de estos ítems y sub ítems, se hallan valoraciones puntuales de 0.5 puntos así como valores

de N/A (no aplica), según instrucción de respuesta dado en el indicador, sin observación del valor que tomará este

N/A. En estos indicadores, se encuentran elementos valorativos (que toman un valor explicito según el indicador)

que se expresan en su existencia, pero no adquieren un puntaje tácito, y refieren una explicación o una ampliación

del resultado del indicador, que como tal, también carece de modo de puntación, específicamente para tres de

estos, pero puede estar presente esta situación en 4.

Análisis de la valides por variable: este contenido comprende 5 numerares y sub numerales; estos variados ítems

y subitems no siguen la estructura de encabezado y se especifica para estos un valor porcentual de unos hallazgos,

según algún análisis que se construye para algunas variables de las fuentes caracterizadas, análisis de distribución

porcentual del que se debe asignar un puntaje, sin una escala del mismo, en la consideración de unos hallazgos

que deben ser referenciados al 100% acumulado. Este apartado esta subdividido para analizar variables de tipo

categóricas y numéricas

Análisis de consistencia/coherencia: comprende dos ítems, sin una definición de estos términos

(consistencia/coherencia) en el marco de la referencia de la caracterización. Se plantea un ejemplo valorativo de

la distribución de los datos agregados, y no se da una puntuación del recorrido del resultado obtenido, al igual, en

la consideración de unos hallazgos que deben ser referenciados al 100% acumulado. Un ítem refiere que entrega

9 puntos, pero valida tres aspectos, los dos antes descritos de esta subdivisión, junto con validez; se deben valorar

tres aspectos: validez, datos faltantes e incoherencias; al parecer es una resumen de las anteriores pero no se

especifica, como tampoco que valor de puntación se asigna según el hallazgos del observador.

4

Chequeos externos de la estructura de datos: comprende dos indicadores y no aporta puntación (0 puntos);

dentro de estos elementos valorativos, uno es secundario del otro.

En esta parte, que agrega 48 puntos los totales generales consignados, los puntajes que refieren los subitems, agrega 46 puntos; en todo caso de los indicadores de esta parte, en caso de existir datos respuesta observaciones, se asignó un valor de uno (1) a cada indicador, y se mantuvo en los otros los valores referenciados, si estos estaban descritos, pero no ingresados a la valoración final.

La tercera parte, de Calidad Externa De La Fuente, se subdivide en 7 secciones que aporta 33 puntos.

Relevancia: aporta 5 puntos y comprende 6 indicadores; en este ítem de indicadores, se valoran basados en

aspectos que al parecer, el diligenciador prioriza; asigna a un indicador una valoración ordinal de 0 a 3, pero no

asigna el número obtenido al puntaje.

Exactitud/Precisión: aporta 6 puntos y comprende tres indicadores, uno de los cuales, su valoración está ligado a

la característica de la fuente; en estos indicadores, se valoran aspectos porcentuales de cobertura, sin una

valoración del valor que debe asumir el concepto de la distribución porcentual, asumiendo estos porcentajes

como errores de la medición o de la captura del dato.

Credibilidad: este ítem aporta 6 punto y comprende 2 indicadores; estos dos indicaodres se direccionan al tipo de

fuente y sus resultados valorativos pueden ser subdivididos en un indicador adicional cada uno de los indicadores,

por tanto pondrían ser cuatro; al igual, no se determina cuando se aplica un puntaje máximo, o si se aplica un

recorrido del puntaje asignado (0 a 6).

Oportunidad/Puntualidad: aporta 4 pinto y comprende 2 indicadores; en este ítem de indicadores, se valoran

basados en aspectos que al parecer, el diligenciador prioriza y analiza en relación de fechas; asigna a un indicador

una valoración ordinal de 0 a 2 y asigna el valor obtenido un puntaje a los resultados obtenidos, con valoraciones

dadas en cifras decimales en rangos de 0.5 punto para 5 cinco categorías de tiempo, partiendo de un 0.

Accesibilidad: aporta 5 puntos y comprende 5 indicadores; estos están valorados en respuesta categóricas,

asignado recorridos de 1 a 4, en un indicador y 1 a 2 en los otros; no se especifica si estos son los valores de

puntajes obtenidos y se expresan conceptos subjetivos del diligenciador, como condiciones que son excluyentes

dentro de la misma indicación, a la vez que se solicitan conceptos que no están clarificados.

Interpretabilidad: aporta 4 puntos y comprende 3 indicadores; estos están valorados en respuesta categóricas,

asignado recorridos de 1 a 3, en dos indicadores y 1 a 2 en el otro; no se especifica si los datos categóricos y valores

asignados a estos, son los puntos que aporta este ítem, especificando 1 punto, según la valoración cada indicador.

Coherencia: aporta 3 puntos y comprende 3 indicadores; no se especifica si los datos y valores asignados a estos,

son los puntos que aporta este ítem, según la valoración cada indicador.

En esta parte, la puntación siguió un criterio de asignar puntos según la presencia o no del dato del indicador, en los volúmenes de puntos que estas subdivisiones describen o solicitan.

Se incluyeron así mismo tres partes adicionales:

Conclusión final SISPRO, que se compondría de dos aspectos, la presencia de las observaciones solicitadas a estos

calificaría uno (1) y 0 si no se especifica.

Conclusión final Dirección de Epidemiologia y Demografía, que se compondría de dos aspectos, la presencia de las

observaciones solicitadas a estos calificaría uno (1) y 0 si no se especifica.

5

Participantes: se refiere a la identificación y tiempo de la realización de la ficha de caracterización; son dos ítems

y se valora 1 si está algún aspecto diligenciado de los nombrados (nombre – rol – firma – fecha).

Estas tres últimas partes, por tanto aportaran a la suma total del análisis, 6 puntos.

1.3. Segundo paso:

Para el propósito de determinar la caracterización de las fuentes de información, se listaron las variables de la citada ficha en un formato electrónico Excel, definiendo un número de aquellas que se podrían calificar en forma específica según un indicador y también deducir un puntaje en función de presentar o no una valoración, debido a que su número total dependían y era variable desde los aspectos definidos en la parte 2 de la ficha; así mismo se ampliaron unos indicadores, asignando un número subordinal al indicador encabezado, en caso de que en este análisis su presencia fuera de interés.

Las variables definidas de análisis (que corresponderían al indicador citado de cada parte), se definió según el numeral que antecede a la nominación del citado indicador y tal como se expresan en el párrafo anterior, se ajusta la numeración en caso de variable emergentes con numeraciones subordinales; dicha numeración siguió la numeración de las “partes” de la ficha, que en este caso la definiremos secciones y para el presente análisis serán seis (6). Aunque en la ficha presentada, cada subdivisión de las partes o secciones presenta un total, este no se observa en todas la fichas analizadas; este total se integra a la tabla de variables y haría parte funcional de la base de caracterización.

En el presente análisis se definieron así 106 variables para la base de datos de la caracterización de las fuentes de información, que representan o emergen de la ficha citada; por sección se presenta el total de variables según la Tabla 1:

Tabla 1: distribución de variable según clasificación del análisis.

Clasificación de variable Total

Variable de identificación general 2

Variable de indicadores 83

Variable de suma de puntación sub total 19

Variable de suma de puntuación total 2

Total general 106

La Tabla 2 detalla la distribución de las variables analizadas por cada una de las secciones en la que se determinó de la ficha de caracterización y se priorizó consolidar desde la ficha para su sistematización.

Tabla 2: distribución de variable según clasificación de la sección.

Sección de la ficha Total variable

Calidad Externa De La Fuente 30

6

Conclusión DEYD 3

Conclusión SISPRO 3

Datos Generales De La Fuente 30

De Estructura De Datos De La Fuente 33

Gerencia Ficha 3

identificación 2

Resultado General 2

Total general 106

El análisis presentado por tanto, se llevó a una columna de suma de los puntajes parciales de cada subtema o subdivisión de las secciones en la que está conformada la ficha, basándose en los numerales asignados en la construcción del instrumento; se realiza una suma total de los puntajes obtenidos y se dividió ese total, por el máximo puntaje que se logra obtener en el puntaje total asignado para este análisis, presentando esa fracción, en valores porcentuales del máximo valor, siguiendo la nota presente al final de la ficha: Para el cálculo del puntaje sume todos los puntajes y divida por 100. Cuando se tengan atributos que no apliquen (NA) se debe prorratear, es decir al denominador se le restan los puntajes asignados a los atributos que no aplican (sin tener claridad de lo subrayado).

Para toda la ficha en general y su valoración para este análisis, los puntajes asignados debajo de la columna o del título puntaje, se asignó 0 (cero), en caso de no existir referencias de diligencia, en este caso, el valor del indicador se presenta vacío; para la primera subdivisión de la primera sección se siguió en la puntación como se explicó en el párrafo anterior: “aportaría la fracción correspondiente”, con la consideración de que a dos indicadores, por su relevancia temática, se construyó un indicador subordinal y se asignó el 50% del valor fraccionado (0.19).

En las variables subtotales, en paréntesis se describe el total que se espera que se obtenga de cada subdivisión de las secciones, si se especificaba como tal, y en un segundo paréntesis el total según la adaptación para el análisis presente; en total cada ficha debería aporta un máximo de 108 puntos y sobre este valor, se realizó la clasificación proporcional expresada en porcentajes de la caracterización por ficha diligenciada.

La Dirección de Epidemiologia y Demografía en su ejercicio técnico, ha adelantado varias caracterizaciones de fuentes de información para la salud del País y ha recopilado una seria de datos, estandarizando estos conceptos de indicadores, sus valoraciones y puntajes resultado; estos instrumentos diligenciados están en el medio de realización, en este caso la ficha de caracterización, en forma independiente; falta la agregación tabular de todos los datos recogidos y sus analices conjuntos.

Estos logros se encuentran en varios documentos de tipo electrónico depositadas en los documentos del Repositorio Institucional de Datos del Ministerio (RID), en donde se encuentran incorporadas sendas fichas referente a cada una de las fuentes allí referidas; de dicho repositorio se extraen 34 conjuntos de documentos y se observan los resultados allí diligenciados.

1.4. Tercer paso:

7

De las fichas logradas, se construye un parámetro básico de la ficha que caracteriza el registro al principio tomado como referencia (RLCPD); se analizan los resultados de los indicadores, sus formas de expresarlos, la amplitud de los mismos, los criterios de puntación que se incorporan para los indicadores que no lo poseen, entre otros, lo que concluye en los aspectos antes citados. Se incorporan adicionalmente algunos aspectos de “contenido intrínseco” de los mismos indicadores que serán fuente para su posterior decisión de adecuación, como respecto a la continuidad y propósitos de ensamble con caracterizaciones posteriores.

En la base de caracterización construida para tal fin, se ingresan los resultados por sección y subdivisión de la misma, se construyen los totales de cada subdivisión y se construye el total de puntaje general y se genera la variable de porcentaje de caracterización.

La Tabla 3 detalla que la gran mayoría de las fechas se diligenciaron en el lapso del año 2014 (20) y en el año anterior se diligencian 8 (ocho); tres fichas no referenciaron fecha y en este apartado no se analizó la característica del nombre de quien diligencia el instrumento.

Tabla 3: rango de fecha (Día mes año) de diligencia de ficha de Caracterización de Fuentes de Información, versión 1.

Fecha diligencia Total

30/08/2013 1

02/09/2013 1

03/09/2013 1

19/09/2013 1

01/10/2013 1

08/11/2013 1

10/12/2013 2

01/01/2014 1

02/01/2014 1

16/01/2014 1

04/02/2014 2

13/02/2014 1

18/02/2014 1

25/02/2014 1

03/03/2014 1

06/03/2014 1

15/03/2014 1

20/03/2014 1

21/03/2014 1

8

Fecha diligencia Total

22/03/2014 1

25/03/2014 1

29/03/2014 1

30/05/2014 1

06/06/2014 1

30/06/2014 1

15/07/2014 1

21/01/2016 1

11/02/2016 1

02/09/2016 1

Sin fecha 3

Total general 34

Respeto a los puntajes obtenidos, se presentan estos por subdivisión de la sección y la denominación asignada en la ficha, según, como se menciona antes, respetando la calificación entregada en este documento en algunas secciones y sus subdivisiones y su forma analítica.

Para la primera subdivisión de la sección uno, los indicadores muestran 70% de la puntación (2.09) ideal para este apartado (3 puntos), y los indicadores valorados, dos muestran una descripción que llega a 16% de lo necesitado (puntación 0.06); la puntación más alta se logra con el nombre de la entidad que genera la fuente (95%) de la puntación parcial de este ítem, Tabla 4.

Tabla 4: puntaje los indicadores primera subdivisión (Proveedor), sección uno; ficha de Caracterización de Fuentes de Información, versión 1.

Indicador Descripción * Puntación Promedio

Total tT1-18 (3) Total 2.09

t1.1 1.1 Nombre y descripción de la fuente[1] 0.19 t1.1.A 1.1 …. y descripción de la fuente 0.07 t1.2 1.2 Fecha de corte (2) 0.19 t1.3 1.3 Fecha de recepción en SISPRO (2) 0.21 t1.4 1.4 Nombre del archivo fuente con extensión (2) 0.22 t1.5 1.5 Nombre de la entidad/organización generadora (2) 0.36 t1.6 1.5 NIT entidad 0.16 t1.6.A 1.5 Tipo de entidad 0.06 t1.7 1.6 Nombre persona de contacto con dependencia 0.32 t1.8 1.6 …. con dependencia 0.32

9

*: Se mantuvo la denominación original de la ficha

Para la segunda subdivisión de la sección uno, los indicadores muestran hasta 94% de la puntación ideal (6) para este apartado (5(6) puntos; en esta sección se aumentó un punto debido a que se consideran a las notas de la normatividad un aspecto de relevancia), y los indicadores valorados, dos muestran una descripción que llega a entre 88 a 91% de lo necesitado (puntación 0.88 – 0.91); la puntación más alta se logra con la existencia o nominación de la normatividad de protección y confidencialidad que genera la fuente, 97% de la puntación parcial de estos ítems (1), Tabla 5.

Tabla 5: puntaje los indicadores segunda subdivisión (Aspectos Legales) sección uno; ficha de Caracterización de Fuentes de Información, versión 1


Total tT9-13 (5(6)) Total 5.62

t1.9 1.9 Soporte normativo de la fuente 0.91

t1.9.A 1.9 … NOTAS: 0.88

t1.10 1.10 Normatividad para la protección de la fuente 0.97

t1.11 1.11 La protección está implementada 0.97

t1.12 1.12 Normatividad para la confidencialidad de la información contenida en la fuente

0.94

t1.13 1.13 La confidencialidad está implementada 0.94


Para la tercera subdivisión de la sección uno, los indicadores muestran 35% de la puntación ideal (6) para este apartado y los indicadores valorados (6 puntos; en esta sección se dividió un punto debido a que se consideran a la dependencia un aspecto de relevancia); un indicador muestra una descripción que llega a 24% de lo necesitado (puntación 0.12, a este ítem se le asigna un puntaje de 0.5); la puntación más alta se logra con el Formato establecido para la entrega de la fuente (txt, spss, etc.) con la periodicidad del reporte, 53% de la puntación parcial de estos ítems (1), Tabla 6.

Tabla 6: puntaje los indicadores tercera subdivisión (Procedimiento de entrega a SISPRO); ficha de Caracterización de Fuentes de Información, versión 1



t1.14 1.14 Formato establecido para la entrega de la fuente (txt, spss, etc.)

0.53

t1.15 1.15 Periodicidad de reporte o entrega 0.53

t1.16 1.16 Medio establecido para la entrega (e-mail, DVD, otro) 0.50

t1.17 1.17 Nombre de la persona que recibe con dependencia 0.29

t1.17.A 1.17 …. dependencia 0.12

10


t1.18 1.18 Teléfono persona que recibe 0.24

t1.19 1.19 Correo persona que recibe 0.26


Para la cuarta subdivisión de la sección uno, los indicadores muestran 78% de la puntación ideal (6) para este apartado y los indicadores valorados, un indicador muestra una descripción que llega a 69% de lo necesitado (puntación 1.38); la puntación más alta se logra con el Documentación sobre el procedimiento de recolección, 86% de la puntación parcial de estos ítems (2)

Tabla 7: puntaje los indicadores cuarta subdivisión (Procedimiento de Recolección); ficha de Caracterización de Fuentes de Información, versión 1



t1.20 1.20 Documentación sobre el procedimiento de recolección

1.71

t1.21 1.21 Documentación sobre cómo se comunican los cambios realizados a la forma en que los datos son recolectados, mantenidos o actualizados.

1.38

t1.22

1.22 Documentación sobre los procedimientos de aseguramiento de la calidad tenidos en cuenta durante la recolección (especifique si los procedimientos consideran todos los procesos)

1.59


La sección uno que comprende 4 subdivisiones técnicas, los aspectos legales de la fuente logra completar algo menos de los 6 indicadores de los indicadores requeridos (5.62), mientras el apartado más incompleto es el procedimiento de entrega a SISPRO que se logra en dos de los valorados; el total de esta sección valora en 68% de los puntos totales requeridos, Tabla 8.

Tabla 8: puntaje los indicadores, sección uno, Datos Generales de la Fuente; ficha de Caracterización de Fuentes de Información, versión 1

Subdivisión Sección Promedio puntaje

%

tT1-18 (3) Proveedor 2.09 70%

tT9-13 (5(6)) Aspectos legales 5.62 94%

tT14-19 (6(7) Procedimiento entrega a SISPRO 2.47 35%

tT20-22 (6) Procedimientos de recolección 4.68 78%

Total 14.86 68%

11

Para la primera subdivisión de la sección dos, los indicadores muestran al menos 24% de la puntación (4.53) ideal para este apartado (35 puntos (19) esta sección no especifica si existe porrateos o pesos especiales por indicador en su puntaje); de los indicadores valorados dos muestran una descripción que llega a 15% de lo necesitado (puntación 0.15); la puntación más alta se logra con el Total variables encontradas en la estructura de datos (29%) de la puntación parcial de este ítem (1), Tabla 9.

Tabla 9: puntaje los indicadores primera subdivisión (Compleción de la fuente); ficha de Caracterización de Fuentes de Información, versión 1


Total tT1-11(35(15)) Total 4.53

t2.1 2.1 Total variables encontradas en la estructura de datos (2) 0.29

t2.1.1 2.1.1 Total variables categóricas o nominales2 0.26

t2.1.2 2.1.2 Total variables numéricas2 0.26

t2.1.3 2.1.3 total variables fechas 0.26

t2.1.4 2.1.4 total variables alfanuméricas 0.26

t2.2 2.2 Total registros encontrados en la estructura de datos (2) 0.26

t2.2.1 2.2.1 Se cuenta con el instrumento de recolección? 0.26

t2.3 2.3 Se cuenta con el diseño de registro o diccionario de variables? 0.26

t2.4

2.4 El diseño de registro o diccionario de variables contiene todas las características requeridas para el manejo de la estructura de datos? (nombre de las variables, tipo, longitud, reglas de validación) Describa anomalías

0.26

t2.5 2.5 Se cuenta con el libro completo de códigos? En caso de no requerirse registre NA-No aplica) 0.26

t2.6

2.6 Los códigos de clasificaciones internacionales/oficiales usadas se encuentran junto con el libro de códigos o hacen parte de la documentación de la fuente? En caso de no requerirse registre NA-No aplica

0.24

12


t2.7

2.7 Coherencia entre el número de preguntas contenidas en el instrumento de recolección y la estructura de datos. Describa anomalías

0.24

t2.7.1

2.7.1 Preguntas del instrumento de recolección que no se encuentran en la estructura de datos (o viceversa) (definir resultado totales)

0.15

t2.8

2.8 Coherencia entre el número de preguntas contenidas en el instrumento de recolección y el diseño de registro o diccionario de variables. Describa anomalías

0.24

t2.8.1

2.8.1 Preguntas del instrumento de recolección que no se encuentran en el diseño de registro o diccionario de variables (o viceversa) (definir resultado totales)

0.15

t2.9

2.9 Coherencia entre las variables contenidas en la estructura de datos y el diseño de registro o diccionario de variables. Describa anomalías

0.21

t2.9.1

2.9.1 Variables de la estructura de datos que no se encuentran en el diseño de registro o diccionario de variables (o viceversa) (definir resultado totales)

0.18

t2.10

2.10 Se cuenta con el código de generación de nuevas variables?[1] En caso de no requerirse registre NA-No aplica

0.24

t2.11

2.11 Anomalías encontradas en la creación de nuevas variables con el código de generación. En caso de que no existan variables generadas registre NA

0.24


Para la segunda subdivisión de la sección dos, los indicadores muestran hasta 12% de la puntación ideal (3) para este apartado (2(3) puntos; en esta sección se aumentó un punto debido a que se considera un numeral estructural), y los indicadores valorados, los dos muestran una descripción que llega a entre 0.09 a 15% de lo necesitado (puntación 0.09 – 0.15); la puntación más alta se logra con el Conteo por tipo y número de identificación únicos, 15% de la puntación parcial de estos ítems (1), Tabla 10.

Tabla 10: puntaje los indicadores segunda subdivisión (Análisis de validez por variable); ficha de Caracterización de Fuentes de Información, versión 1

13


Total tT12(2(3) Total 0.35

t2.12 2.12 Tipo y número de documento de identificación 0.12

t2.12.1 2.12.1 Conteo por tipo y número de identificación únicos (2 puntos) ) (puede tener resultados) (definir resultado totales)

0.15

t2.12.2 2.12.2. Cruce personas – tabla de referencia de personas SGD (análisis exclusivo para SISPRO) (definir resultado totales)

0.09


Para la tercera subdivisión de la sección dos, los indicadores muestran hasta 13% de la puntación ideal (2) para este apartado (2 puntos; en esta sección se calificó un punto debido a que se considera como numerales estructurales), y los indicadores valorados, los dos muestran una descripción que llega a entre 9 a 15% de lo necesitado (puntación 0.09 – 0.15); la puntación más alta se logra con Resto de variables categóricas (por cada una de las variables), 15% de la puntación parcial de estos ítems (1), Tabla 11.

Tabla 11: puntaje los indicadores segunda subdivisión (Análisis de validez por variable); ficha de Caracterización de Fuentes de Información, versión 1


Total tT13-14(?) Total 0.24

t2.13 2.13 Resto de variables categóricas (por cada una de las variables ) (definir resultado totales)

0.15

t2.14 2.14 Resto de variables numéricas (por cada una de las variables ) (definir resultado totales)

0.09


Para la cuarta subdivisión de la sección dos, los indicadores muestran 8% de la puntación ideal (9(2) para este apartado (2 puntos; en esta sección se calificó un punto cada ítem al no existir valoraciones o formas de asignar la distribución del puntaje, dando 1 a ambos indicadores), y los indicadores valorados, los dos muestran una descripción que llega a entre 3 a 5 % de lo necesitado (puntación 0.09 – 0.06); la puntación más alta se logra con Resumen de validez y consistencia/coherencia de la estructura de datos 5% de la puntación parcial de estos ítems (1), Tabla 12.

Tabla 12: puntaje los indicadores cuarta subdivisión (Análisis de consistencia/coherencia); ficha de Caracterización de Fuentes de Información, versión 1


Total tT15-16(9(2) Total 0.15

14

t2.15

2.15 Para cada una de las validaciones descritas en el diccionario de variables y las definidas por del evaluador, reporte los resultados obtenidos. (evaluar si todas las reglas de validación están consideradas (definir resultado totales)

0.06

t2.16 2.16 Resumen de validez y consistencia/coherencia de la estructura de datos (9 puntos) (definir resultado totales) 0.09


Para la quinta subdivisión de la sección dos, los indicadores muestran 15% de la puntación ideal (0(2) para este apartado (2 puntos; en esta sección se calificó un punto cada ítem al no existir valoraciones o formas de asignar la distribución del puntaje, dando 1 a ambos indicadores), y los indicadores valorados, los dos muestran una descripción que llega a 15 % de lo necesitado (puntación 0.15) de la puntación parcial de estos ítems (1), Tabla 13.

Tabla 13: puntaje los indicadores quinta subdivisión (Chequeos externos de la estructura de Datos); ficha de Caracterización de Fuentes de Información, versión 1


Total tT17-18(0(2) Total 0.29

t2.17 2.17 Documentación de procedimientos de chequeo externo conocidos

0.15

t2.18 2.18 Entidad que realizó el procedimiento de chequeo externo

0.15


En el análisis de los puntos que se revisan, esta sección comprendería 48 puntos de la ficha de caracterización, al realizar una conteo por subdivisión, según los elementos descritos en este instrumento se completarían 46. La sección dos que comprende 5 subdivisiones técnicas, la compleción de la fuente logra completar 24% de los indicadores requeridos, mientras el apartado más incompleto es el análisis de consistencia que se logra en 7% de los valorados; el total de esta sección valora en 20% de los puntos totales requeridos, Tabla 14.

Tabla 14: puntaje los indicadores sección dos, Estructura de datos de la Fuente; ficha de Caracterización de Fuentes de Información, versión 1


%

tT1-11(35(19) Compleción de la Fuente 4.53 24%

tT12(2(3) Análisis de validez por variables 0.35 12%

tT13-14(?(2) Análisis de validez por variables 0.24 12%

tT15-16(9(2) Análisis de consistencia/coherencia 0.15 7%

tT17-18(0(2) Chequeos externos de la estructura de datos.- 0.29 15%

15

Total 5.56 20%

Para la primera subdivisión de la sección tres de la ficha, los indicadores muestran 97% de la puntación ideal (5) para este apartado; los indicadores valorados, dos muestran una descripción que llega a 100 % de lo necesitado (puntación 1) y uno muestra un valor menor, 88% de la puntación parcial de estos ítems (1), Tabla 15.

Tabla 15: puntaje los indicadores primera subdivisión (Relevancia); ficha de Caracterización de Fuentes de Información, versión 1


Total tT1-4(5) Total 4.88

t3.1

"3.1 Qué tan importante es la fuente para el MSPS (describa su respuesta):

1. Algo importante

2. Importante

3. Muy importante

0. No sabe "

1.00

t3.2 3.2 Lista de los principales usuarios actuales de la fuente dentro y fuera del MSPS

1.00

t3.3 3.3 Lista de los principales usos actuales de la fuente (indicadores, estadísticas, estimaciones, etc)

0.99

t3.3.1 3.3.1 Cuantas salidas de la DEyD hacen uso de la fuente 0.88

t3.4 3.4 Lista de los usos potenciales de la fuente 1.00


Para la segunda subdivisión de la sección tres de la ficha, los indicadores muestran 33% de la puntación ideal (6) para este apartado; los indicadores valorados, dos muestran una descripción que llega a 29 y 31% de lo necesitado (puntación 2) y uno muestra un valor mayor Lista de los errores muéstrales reportados por la encuesta (aplica únicamente para encuestas), 40% de la puntación parcial de estos ítems (2), esto debido en posibilidad de que la mayoría de las fuentes refieren a registro administrativos, Tabla 16.

Tabla 16: puntaje los indicadores segunda subdivisión (Exactitud); ficha de Caracterización de Fuentes de Información, versión 1



t3.5

3.5 Sobrecobertura: % de unidades que no corresponden a la población objetivo (aplica únicamente para registros administrativos)

0.59

16

t3.6 3.6 Subcobertura: % de unidades faltantes de la población objetivo (aplica únicamente para registros administrativos) 0.62

t3.7 3.7 Lista de los errores muestrales reportados por la encuesta (aplica únicamente para encuestas) 0.79


Para la tercera subdivisión de la sección tres de la ficha, los indicadores muestran 98% de la puntación ideal (6) para este apartado; los indicadores valorados, muestran una descripción que llega a 89% de lo necesitado (puntación 3; este valor puede estar sobrevalorado, debido a que la gran mayoría de los fuentes son de carácter registros administrativos) y uno muestra un valor menor Los procedimientos usados para la recolección de información se rigen por estándares estadísticos apropiados? (aplica únicamente para encuestas), 18% de la puntación parcial de estos ítems (3), esto debido en posibilidad de que la mayoría de las fuentes refieren a registro administrativos, Tabla 17.

Tabla 17: puntaje los indicadores tercera subdivisión (Credibilidad); ficha de Caracterización de Fuentes de Información, versión 1



t3.8

3.8 Los procedimientos usados para la recolección de información se rigen por estándares que garantizan la calidad de la información? (Justifique) (aplica únicamente para registros administrativos)

5.35

t3.9

3.9 Los procedimientos usados para la recolección de información se rigen por estándares estadísticos apropiados? (Justifique) (aplica únicamente para encuestas)

0.53


Para la cuarta subdivisión de la sección tres de la ficha, los indicadores muestran 38% de la puntación ideal (4) para este apartado; los indicadores valorados, muestran una descripción que llega a 38% de lo necesitado (puntación 2) y uno muestra un valor menor el ítem Indicador de puntualidad, 34% de la puntación parcial de estos ítems (2), Tabla 18.

Tabla 18: puntaje los indicadores cuarta subdivisión (Oportunidad/Puntualidad); ficha de Caracterización de Fuentes de Información, versión 1



t3.10

3.10 Indicador de puntualidad (P=p1-p2 (en días))

p1 es la fecha a partir de la cual la fuente se encuentra disponible

p2 es la fecha establecida para la publicación de la fuente

0.74

17


0 días-30 días -> 2 puntos

31 días-90 días -> 1.5 puntos

días-180 días -> 1 punto

181 días 360 días ->0.5 puntos

>360 días -> 0 puntos"

t3.11

3.11 Indicador de oportunidad (O= o1-o2 (en días))

o1 es la fecha en la cual la fuente se pone a disposición

o2 es la fecha última del período de referencia de la fuente

Se proponen los siguientes rangos para establecer un puntaje de oportunidad, sin embargo la flexibilidad de la escala a usar depende del contexto y los requerimientos de información.

1 día-6 meses -> 2 puntos (Muy oportuno)

6 meses-1 año -> 1.5 puntos (Oportuno)

1 año – 2 años -> 1 punto (Algo oportuno)

2 años – 3 años -> 0.5 puntos (Poco oportuno)

>3 años -> 0 puntos (Nada oportuno)"

0.76


Para la quinta subdivisión de la sección tres de la ficha, los indicadores muestran 88% de la puntación ideal (5) para este apartado; los indicadores valorados, muestran una descripción que llega a 91% de lo necesitado (puntación 1, en este apartado, se mantuvo la asignación de un punto por indicador y no la distribución puntal que indico la instrucción) y uno muestra un valor menor el ítem Cuál fue la estrategia implementada para dar a conocer la disponibilidad de la información, 82% de la puntación parcial de estos ítems (1), Tabla 19.

Tabla 19: puntaje los indicadores quinta subdivisión (Accesibilidad); ficha de Caracterización de Fuentes de Información, versión 1



t3.12

3.12 Las bases de datos se encuentran disponibles en la web o a través de otros canales?

1. Si. -> (indique enlace(s), canales y formato(s) de las bases.

2. No

0.91

18

t3.13

3.13 Todos las bases se pueden leer, acceder? (3 puntos)

1. Si

2. No

0.85

t3.14

3.14 Quienes pueden acceder a las bases de datos a través de este (os) enlaces? (4)

1. Cualquier persona

2. Cualquier persona en el MSPS

3. Sólo un grupo de personas del MSPS

4. Otro

0.91

t3.15 3.15 Cuál fue la estrategia implementada para dar a conocer la disponibilidad de la información (canales, usuarios, etc.)? (1 punto)

0.82

t3.16

3.16 La disponibilidad de la fuente fue dada a conocer a los principales usuarios de la fuente? (1 punto)

1. Si

2. No

0.88


Para la sexta subdivisión de la sección tres de la ficha, los indicadores muestran 79% de la puntación ideal (4) para este apartado; los indicadores valorados, muestran una descripción que llega a 88% de lo necesitado (puntación 1, en este apartado, se mantuvo la asignación de dos puntos para indicador tres) y uno muestra un valor menor el ítem Se cuenta con la descripción sobre las limitaciones del uso e interpretación de la información, 74% de la puntación parcial de este ítem (2), Tabla 20.

Tabla 20: puntaje los indicadores sexta subdivisión (Interpretatibilidad); ficha de Caracterización de Fuentes de Información, versión 1



t3.17

3.17 En general qué tan fácil es usar las bases de datos? (1 punto)

3. Muy fácil

2. Algo fácil

1. Nada fácil

0.88

t3.18

3.18 En general qué tan claras son las definiciones asociadas a las bases de datos (variables, conceptos, etc)? (1 punto).

3. Muy claros

0.85

19

2.Algo claros

1. Nada claros

t3.19

3.19 Se cuenta con la descripción sobre las limitaciones del uso e interpretación de la información? (2 puntos)

1. Si

2. No

1.44


Para la séptima subdivisión de la sección tres de la ficha, los indicadores muestran 55% de la puntación ideal (3) para este apartado; los indicadores valorados, muestran una descripción que llega a 56% de lo necesitado (puntación 1,) y uno muestra un valor menor el ítem El formato de las variables (longitud, tipo, definiciones, códigos de respuesta, etiquetas) contenidas en las bases de datos ha sufrido cambios en el tiempo, 53% de la puntación parcial de este ítem (1), Tabla 21

Tabla 21: puntaje los indicadores séptima subdivisión (Coherencia); ficha de Caracterización de Fuentes de Información, versión 1



t3.20

3.20 El formato de las variables (longitud, tipo, definiciones, códigos de respuesta, etiquetas) contenidas en las bases de datos permite enlazar fácilmente estas bases? Describa anomalías

0.56

t3.21

3.21 El formato de las variables (longitud, tipo, definiciones, códigos de respuesta, etiquetas) contenidas en las bases de datos permite enlazar fácilmente estas bases con otras bases externas? Describa anomalías

0.56

t3.22 3.22 El formato de las variables (longitud, tipo, definiciones, códigos de respuesta, etiquetas) contenidas en las bases de datos ha sufrido cambios en el tiempo? Describa anomalías

0.53


La sección tres que comprende 7 subdivisiones técnicas, la relevancia y la credibilidad de la fuente logran completar 98% de los indicadores requeridos, mientras el apartado más incompleto es el Oportunidad/puntualidad que se logra en 38% de los valorados; el total de esta sección valora en 71% de los puntos totales requeridos, Tabla 22.

Tabla 22: puntaje los indicadores sección tres, Calidad externa de la Fuente; ficha de Caracterización de Fuentes de Información, versión 1


%

tT1-4(5) Relevancia 4.88 98%

20

tT5-7(6) Exactitud/precisión 2.00 33%

tT8-9(6) Credibilidad 5.88 98%

tT10-11(4) Oportunidad/puntualidad 1.50 38%

tT12-16(5) Accesibilidad 4.38 88%

tT17-19(4) Interpretatibilidad 3.18 79%

tT20-22(3) Coherencia 1.65 55%

Total 23.47 71%

La sección cuatro, cinco y seis presentan dos indicadores cada una y se asigna 1 punto al cumplimento de cada uno de estos, en sentido de tener en estos elementos técnico lo requerido de estas dos dependencias así como las recomendaciones a la fuente; el último indicador, como se expresó al principio del documento, el que se hubiera establecido alguno de los cuatros aspectos que este solicita; respecto a conclusión final SISPRO, 12% de las fichas definieron esta, 15% establecieron algún concepto de aceptación y 9% refirieron alguna recomendación a la fuente, Tabla 23.

Tabla 23: puntaje los indicadores sección recomendación SISPRO; ficha de Caracterización de Fuentes de Información, versión 1



t4.1 4.1 Se acepta o no los datos fuentes según análisis de estructura de datos

0.15

t4.2 4.2 Recomendaciones 0.09


Con relación de las Conclusiones de la DEYD, 752% de las fichas definieron esta, 88% establecieron algún concepto de aceptación y 62% refirieron alguna recomendación a la fuente, Tabla 24:

Tabla 24: puntaje los indicadores sección recomendación DEYD; ficha de Caracterización de Fuentes de Información, versión 1


Total tT1-2(2)2 Total 1.50

t5.1

5.1 Con base en el análisis de verificación de calidad según procedimiento establecido se concluye que la estructura de datos evaluada en todas sus dimensiones cumple con el XX% de la calidad requerida.

0.88

t5.2 5.2 Recomendaciones 0.62

21


Con relación a los Participantes de llenado de la ficha de caracterización, 24% de las fichas llenaron algún de los cuatro conceptos que se deberían diligenciar (nombre, rol, fecha, firma), como elemento gerencial; 12% de las fichas definieron el evaluar SISPRO, mientras 35% el de la DEyD, Tabla 25.

Tabla 25: puntaje los indicadores sección Participantes; ficha de Caracterización de Fuentes de Información, versión 1


total tT1-2(2)3 Total 0.47

t6.1 6.1 Evaluador SISPRO 0.12

t6.2 6.2 Evaluador DEyD 0.35


En este análisis de las fichas de caracterización de la fuente, de las 34 que están reportadas o que poseen ficha, el valor de los puntajes obtenido llega a 46.09 puntos (22-14 - 80.85), que corresponden 43% de los valores puntales objeto de medición para el total de las fichas referenciadas, o que podría referirse que los indicadores solicitados en la ficha se cumplen con 43% de los mismos (21 – 75%), Tabla 26.

Tabla 26: Puntajes y porcentaje de indicadores cumplidos análisis ficha de caracterización fuentes de información, versión 1.

Promedio total Puntos 34

Instrumentos seis secciones

Porcentaje promedio total obtenido 34 instrumentos seis

secciones

46.09 43%

22

1.5. Conclusiones.

Se ha realizado una valoración cuantitativa, basándose en algunos criterios técnicos plasmados en un instrumento creado para iniciar y ser parte de unos de los pasos de la Guía de Caracterización de Fuentes de Información para la Salud de Colombia y que desarrollo el Ministerio de Salud y Protección Social.

Esta versión de ficha, comprende una vasto número de conceptos que han definido como “indicadores”, los que se valoran desde variados aspectos siguiendo un método especifico para cada uno de estos en la gran mayoría de los casos, creándose un universo de valoraciones subjetivas de tipo cualitativo; así mismo se adquiere un puntaje, en este caso un valor cuantitativo, que se asigna a un criterio aleatorio del diligenciador, desde una concepción de percepción a priori de conocimiento del observador.

Los puntajes asumidos en la ficha siguen igualmente, un patrón único por parte y por área temática de cada de estas; respecto a los indicadores nombrados, como elementos de valor, se encuentran que estos refieren mejor a temas estructurales y gerenciales de una fuente de información, unas veces robustos en su concepción, con mediciones ordinales en otras, e intuitivos en algunos casos.

Tal como se describe en el pie de página al final de la citada ficha numeral 6, se realizó un análisis basándose en el resultado de la puntación que se asignó según se explicó en el primer paso de este documento, sin tener en cuenta los contenidos valorativos, solo la presencia de una indagación o un comentario al indicador medido; en este caso, es posible que los puntos que se construyen de esta evaluación reflejen un estado a la fecha de corte de las fuentes caracterizadas de un momento gerencial.

Se encuentra así mismo, dos aspectos de nominación de la citada ficha; en la Guía de Caracterización se menciona “FICHA TÉCNICA DE CARACTERIZACIÓN DE LA FUENTES DE INFORMACIÓN” y la denominación del instrumento desde la construcción refiere a “FICHA TECNICA EVALUACIÓN DE CALIDAD, ANALISIS DE FUENTES Y PERFILAMIENTO DE DATOS”; esta por tanto deberá unificarse.

Se hallan a la fecha, 34 fichas que dan aspectos de una caracterización de una fuente, las que pueden entregar aspectos completos de su forma (la de la fuente) y ser basado en 75% de estas características de algunas, y apenas de 21% de otras; la estructura de indicadores más difícil de logar es la parte o sección dos de la ficha, debido a la complejidad analítica planteada en sus análisis y definición de los indicadores que se integraron a la misma y que siguió, según lo observado, un proceso técnico muy elaborado y dispendioso y que podría ser técnicamente imposible de finalizar.

23

2. BIBLIOGRAFÍA

1: Ministerio de Salud y Protección Social, Guía Metodológica Nacional Para La Caracterización De Fuentes De Información Para La Salud En Colombia, Bogotá D.C., Colombia 2014

2. Alazraqui M, Mota E, Spinelli H. Sistemas de información en salud: de sistemas cerrados a la ciudadanía social. Un desafío en la reducción de desigualdades en la gestión local. Cad Saúde Pública 2006;22(12):2693-2702.

3: DANE: Lineamientos Para El Proceso Estadístico En El Sistema Estadístico Nacional; Bogotá 2015.

informe de seguimiento de caracterización de fuentes de … · 2018-05-23 · informe de...

Documents