experiencia en calidad de datos - uruguay › agencia-gobierno-electronico-sociedad-informac… ·...
TRANSCRIPT
![Page 1: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/1.jpg)
EXPERIENCIA EN CALIDAD DE DATOS
Diego Rosselli
![Page 2: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/2.jpg)
Objetivos
- Introducción Calidad Datos
- Experiencia en Trazabilidad trámites
- Lecciones aprendidas
1
2
3
![Page 3: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/3.jpg)
Objetivos
- Introducción Calidad Datos
- Experiencia en Trazabilidad trámites
- Lecciones aprendidas
1
2
3
![Page 4: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/4.jpg)
Introducción
Calidad:
1
- La percibimos
- La definimos
- La medimos
![Page 5: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/5.jpg)
Calidad - Valor - Expectativas
Puede ser correcto, preciso, actualizado y no colaborar con las necesidades del usuario.
1
Puede ser correcto, preciso, actualizado y no alcanzar o por el contrario superar las expectativas del usuario.
![Page 6: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/6.jpg)
Adecuación al uso
- 3 mt x 1,50 mt aproximadamente
1
- 2,98 mt x 1,37 mt
- desarmable, pieza más grande rectangular 1,10 mt x 1,00 mt
![Page 7: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/7.jpg)
Causas de problemas de calidad
- Producción: ingreso manual, sensores, unificar diferentes fuentes
1
![Page 8: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/8.jpg)
Causas de problemas de calidad
- Almacenamiento: ausencia de formato común, diseño inadecuado de base de datos
1
![Page 9: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/9.jpg)
Causas de problemas de calidad
- Utilización: actualización, cambios de requerimientos, errores de interpretación
1
![Page 10: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/10.jpg)
Multi-dimensión de la calidad
- Completitud- Unicidad- Exactitud- Consistencia- Actualidad- Otras
1
![Page 11: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/11.jpg)
Dimensión Unicidad 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
![Page 12: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/12.jpg)
Dimensión Completitud 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Falta Inferir
EstimarNC
![Page 13: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/13.jpg)
Unicidad: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
Calidad de cada línea
0
00
1
1
![Page 14: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/14.jpg)
Unicidad: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 3011 José Calle A 1 A 301 José Calle A 1 A 303 María Calle B 2 B 284 Juana Calle C 3 C 29
Calidad de cada línea
3
33
1
1
![Page 15: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/15.jpg)
Completitud: Medición y Registro 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Calidad de cada celda0 1
![Page 16: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/16.jpg)
Dimensión Completitud 1
CI Nombre Calle Nro. F.Nto. Edad
1 José Calle A 1 A 302 Pepe C4 Juana Calle B 2 203 María Calle C D 40
Falta Inferir
EstimarNC
![Page 17: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/17.jpg)
Objetivos
- Introducción Calidad Datos
- Experiencia en Trazabilidad trámites
- Lecciones aprendidas
1
2
3
![Page 18: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/18.jpg)
Estrategia
- BD para resultados
- Mediciones con Pentaho PDI- Simplifica implementación- Permite automatizar ejecución- Libre uso
2
![Page 19: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/19.jpg)
Estrategia
- Selección de Dimensiones relevantes:- Completitud- Unicidad- Exactitud: Correctitud sintática y semántica- Consistencia: integridad entre entidades
2
![Page 20: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/20.jpg)
Estrategia
- Proyecto dividido en iteraciones
- Una dimensión por iteración
2
![Page 21: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/21.jpg)
Estrategia 2SelecciónDimensión
EspecificaciónMediciones
EjecuciónMediciones
Análisisresultados
Corrección deerrores y causas
![Page 22: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/22.jpg)
Objetivos
- Introducción Calidad Datos
- Experiencia en Trazabilidad trámites
- Lecciones aprendidas
1
2
3
![Page 23: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/23.jpg)
Correcciones
- Esfuerzo importante de corrección de datos y errores
3
Origendatos
![Page 24: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/24.jpg)
Datos generados en mediciones 3
CI Att1 Att2
1 A 10
2 B 20
1 C 30
3 D 40
4
1
12
4
![Page 25: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/25.jpg)
Datos generados en mediciones 3
58
3
80.000.000
7.000.000
2.800.000
CI Att1 Att2
1 A 10
2 B 20
1 C 30
3 D 40
![Page 26: EXPERIENCIA EN CALIDAD DE DATOS - Uruguay › agencia-gobierno-electronico-sociedad-informac… · - Mediciones con Pentaho PDI - Simplifica implementación - Permite automatizar](https://reader033.vdocuments.co/reader033/viewer/2022060321/5f0d58687e708231d439e3fd/html5/thumbnails/26.jpg)
Automatización y Paneles
- Automatización de mediciones, para sucesivas ejecuciones
- Diseñar panel de resultados para mostrar resultados a usuarios
3