calidad de datos - uruguay › agencia-gobierno-electronico-sociedad-informac… · - mediciones...
TRANSCRIPT
![Page 1: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/1.jpg)
CALIDAD DE DATOS
Diego Rosselli
![Page 2: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/2.jpg)
Objetivos
- Introducción Calidad Datos
- Estrategia aseguramiento calidad
- Lecciones aprendidas
1
2
3
![Page 3: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/3.jpg)
Objetivos
- Introducción Calidad Datos
- Estrategia aseguramiento calidad
- Lecciones aprendidas
1
2
3
![Page 4: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/4.jpg)
Introducción
Calidad:
1
- La percibimos
- La definimos
- La medimos
![Page 5: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/5.jpg)
Datos
Calidad datos: ¿algo nuevo? 1
Reporte Gestión decalidaddatosA B C
1 1 22 1 1
F G H
a c d
D E
1 1
4 2
A B C1 1 22 1 1
F G H
a c d
D E
1 1
4 2
![Page 6: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/6.jpg)
Adecuación al uso
- Calle, número puerta
1
- Calle, esquina, destinatario
- Plano
![Page 7: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/7.jpg)
Calidad - Valor - Expectativas
Puede ser correcto, preciso, actualizado y no colaborar con las necesidades del usuario.
1
Puede no alcanzar o por el contrario superar las expectativas del usuario.
Calidad <> Precisión
![Page 8: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/8.jpg)
Causas de problemas de calidad
- Producción: ingreso manual, sensores, unificar diferentes fuentes
1
![Page 9: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/9.jpg)
Causas de problemas de calidad
- Almacenamiento: ausencia de formato común, diseño inadecuado de base de datos
1
![Page 10: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/10.jpg)
Causas de problemas de calidad
- Utilización: actualización, cambios de requerimientos, errores de interpretación
1
![Page 11: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/11.jpg)
Multi-dimensión de la calidad de datos
- Completitud- Unicidad- Exactitud- Consistencia- Actualidad- Otras: ISO/IEC 25012, ISO 8000
1
![Page 12: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/12.jpg)
Dimensión Unicidad 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
![Page 13: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/13.jpg)
Unicidad: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
Calidad de cada línea
0
00
1
1
![Page 14: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/14.jpg)
Unicidad: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
Calidad de cada línea
3
33
1
1
![Page 15: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/15.jpg)
Dimensión Completitud 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Falta Inferir
EstimarNC
![Page 16: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/16.jpg)
Completitud: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Calidad de cada celda0 1
![Page 17: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/17.jpg)
Dimensión Completitud 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Falta Inferir
EstimarNC
![Page 18: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/18.jpg)
Dimensión Correctitud sintáctica 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe Calle D A# C 304 Juana Calle B B& B 403 María Calle C 3 D 40
Entero > 0
![Page 19: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/19.jpg)
Especificación de una métrica 1
Nombre
Tipo resultado
Granularidad
Método medición
Valores correctos
Nombre
{0,1}
Celda
1
Entero > 0
0VC VNC
M1C.SintácticaNumPuerta
![Page 20: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/20.jpg)
Especificación de una métrica 1
Nombre
Tipo resultado
Granularidad
Método medición
Valores correctos
Nombre
{0,1}
Celda
1 0VC VNC
M1C.SintácticaNomEmp
(A-Z)(a-z)+
![Page 21: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/21.jpg)
Corrección de errores y mejoras
Estandarización
Limpieza
Liniers 1324
1000null
3# 2000Liniers
1324
Enriquecimiento Liniers 1324 CP11000
Depto.CuantitativoCualitativo
...
1
![Page 22: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/22.jpg)
Prevención de errores: Catálogos
Direcciones
Datos personales
Liniers 1122
CI
Liniers1324
CP11000
NombreApellido
Esquina
Barrio
1
![Page 23: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/23.jpg)
Prevención de errores: Estándares
Liniers 1324
País Localidad
Número puerta
Tipo vialidad
Letra puerta
Departamento Municipio
Nombre vialidad
Nombre inmueble
Bloque
Torre
Barrio
Sección
Componentesde una
Dirección uy
1
......
![Page 24: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/24.jpg)
Resumen
- Principales conceptos, y dimensiones
- Especificación métrica
- Corrección de errores
- Prevención de errores
1
![Page 25: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/25.jpg)
Objetivos
- Introducción Calidad Datos
- Estrategia aseguramiento calidad
- Lecciones aprendidas
1
2
3
![Page 26: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/26.jpg)
Mediciones de calidad 2SelecciónDimensión
EspecificaciónMétrica
EjecuciónMediciones
Análisisresultados
Corrección deerrores y causas
SelecciónDato
![Page 27: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/27.jpg)
Aseguramiento de calidad 2
Métricas
Dimensiones
Mediciones
![Page 28: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/28.jpg)
Clasificación datos 2
RelevanciaAtr. Rel.
A.1 Si
A.2 NoPrioridad
FuenteAtr. Prioridad
A.3 1
A.4 3
A.6 2
Atr. Fuente
A.5 S1
A.7 S2
... ... ...
Análisiscalidad
![Page 29: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/29.jpg)
Ciclo de vida del dato 2
ProducciónDigitación
Otros sistemas
Uso EdiciónActualización
Sensor
Destrucción
Juan Pepe 1a 12 11 1b 100
IncorrectaPor error
Inconsistencia
![Page 30: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/30.jpg)
Procesos 2
Propiosde los datos
OrigenActualización
Análisisde calidad
Integración
MediciónCorrección
Negocio
Analizar
Construir
![Page 31: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/31.jpg)
Almacenamiento resultados
- Mediciones BD Resultados
2
![Page 32: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/32.jpg)
Mediciones periódicas 2
Medición Diagnóstico
Corrección
Automatizaciónmediciones
Periodicidad
Reportes
![Page 33: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/33.jpg)
Aseguramiento calidad 2
Ciclo vida deldato
Personas-Roles
Clasificaciónde datos
Procesos
Medicionesde calidad
Sistema degestión CD
.. .. ..PrevenciónAlmacenamiento
resultados
Automatizaciónmediciones
![Page 34: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/34.jpg)
Estrategia de comienzo 2
Medición Diagnóstico
Corrección
Sistema degestión CD
Ciclo de vidaProcesos
Clasificación
...AutomatizarSGCDSGCDSGCD
![Page 35: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/35.jpg)
Objetivos
- Introducción Calidad Datos
- Estrategia aseguramiento calidad
- Lecciones aprendidas
1
2
3
![Page 36: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/36.jpg)
Herramientas
- Mediciones con Pentaho PDI- Simplifica implementación- Permite automatizar ejecución- Libre uso
3
![Page 37: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/37.jpg)
Correcciones
- Esfuerzo importante de análisis y corrección de datos y errores
alterar alterar BDsistemasy procesos
3
![Page 38: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/38.jpg)
Datos generados en mediciones 3
CI Att1 Att2
1 A 10
2 B 20
1 C 30
3 D 40
12 mediciones
4 mediciones
celda
línea
![Page 39: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/39.jpg)
Datos generados en mediciones 3
58
3
80.000.000
7.000.000
2.800.000
CI Att1 Att2
1 A 10
2 B 20
1 C 30
3 D 40 Clasificación
Granularidad
![Page 40: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/40.jpg)
Automatización y Paneles
- Automatización de mediciones, para sucesivas ejecuciones
- Diseñar panel de resultados para mostrar resultados a usuarios
3
![Page 41: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/41.jpg)
Espacio de intercambio
![Page 42: CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar ejecución - Libre](https://reader033.vdocuments.co/reader033/viewer/2022053010/5f0d58687e708231d439e3fb/html5/thumbnails/42.jpg)
MUCHAS GRACIASPOR DUDAS, CONSULTAS O [email protected]