webinario: importancia de una estrategia de etl en proyectos de bi y analítica
TRANSCRIPT
WebinarImportancia de una estrategia de ETL en
Proyectos de BI y AnalíticaCarlos Moreno – Consultor BI
Yenny Delgado – Consultora BICarlos Marín – Socio Director Noviembre 22 de 2016
www.it-nova.co
Somos una empresa de servicios profesionales de consultoría enfocada en lograr que la tecnología apoye y potencialice los procesos de negocio de nuestros clientes, orientándonos en su satisfacción a través de servicios de calidad para enfrentar y resolver los retos a nivel operativo y estratégico de las organizaciones. Nuestro portafolio de productos y servicios se enfoca en:
Resolvemos sus
preguntas de
negocio
AnalíticaInteligenc
ia de negocios
Integramos la estrategia de su compañía
Quienes somos ?
www.it-nova.co
Servicios Financieros Educación
Servicios
Consumo masivo
Manufactura
Nuestra Experiencia
www.it-nova.co
Sector Público Sector energético Telecom / Media
Sector Salud
Nuestra Experiencia
www.it-nova.co
Nuestra oferta de valor
www.it-nova.co
Estrategia de ETL en Proyectos de BI y
Analítica“Integración de Datos”
www.it-nova.co
¿Qué es un proceso de “ETL”?
ETL son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform and Load). Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos, limpiarlos y llevarlos a otra fuente de datos, en el contexto de BI a una bodega de datos (data mart o data warehouse) para analizarlos o en otro sistema de información para apoyar un proceso de negocio.
www.it-nova.co
Pasos de un proceso de ETL
Extraer de múltiples fuentes como ERP, CRM, sistemas de información que proveen archivos en diferentes formatos (host, csv, XML).
Transformar en la estructura definida en la bodega y considerar validaciones sobre reglas de negocio, técnicas (duplicados, limpieza, integridad, nulos), normalización y homogeneización, cambios de formato, así como procesos de ordenación, filtrados, cruces y agregados.
Cargar en las estructuras de almacenamiento de la bodega. Puede ser realizado en procesos batch y ser de diferentes tipos: por lotes, por registro, totales, deltas incrementales, entre otros.
www.it-nova
Evolución de los procesos de ETL
Es necesario hablar de integración de datos (Data Integration) como evolución de los procesos ETL. Aspectos tan importantes y decisivos para un buen resultado a nivel de sistema como la calidad o el perfil del dato, se han incorporado a la definición de ETL.
www.it-nova.co
La limpieza de datosEs muy recomendable definir la limpieza de datos como una fase específica del proceso de ETL, debido a que esta actividad permite:
•Ahorrar tiempo•Ganar en efectividad•Unificar criterios
“Información consolidada, con datos correctos y con una visión única para todos los usuarios”
Desafíos para los procesos de ETL
• Realizar un examen completo de la validez de los datos (Data profiling / Data quality), identificando las condiciones necesarias para que los datos puedan ser tratados adecuadamente por las reglas de transformación especificadas.
• Lograr que los datos extraídos asíncronamente de orígenes heterogéneos, se integren finalmente en un entorno homogéneo.
• Asegurar la escalabilidad durante su vida útil (volúmen de datos vs tiempo de procesamiento)
“Un sistema ETL mal diseñado, puede provocar importantes problemas operativos en el momento de
analizar la información”
www.it-nova.co
www.it-nova.co
Beneficios de los procesos ETL
• Contar con un repositorio central estandarizado de todos los datos de la organización con sentido de negocio.
• Posibilita a la organización tomar decisiones estratégicas, basadas en el análisis de los datos cargados en bases actualizadas y estandarizadas.
• Integrar sistemas de información, dado que las organizaciones crecen de forma orgánica y cada vez van agregando más fuentes de datos .
• Poder tener una visión global de todos los datos consolidados de la organización.
www.it-nova.co
Evolución de los procesos de ETL: entornos Big Data
Problemática actual•Datos fuente con volúmenes altos•Frecuencia de actualización alta en origen•Datos no estructurados•Datos en diferentes ubicaciones ( Onpremise, Cloud)
Soluciones de las herramientas Big Data•Evita problemas de rendimiento en el ETL, realizando transformaciones en post-procesos (offload)•Mayores capacidades de mapeo de fuentes (tipos de datos complejos o no estructurados)•Arquitectura escalable, se pueden acelerar los procesos ETL de forma sencilla•Su capacidad de almacenamiento permite mantener datos al nivel de granularidad más bajo•Nuevos tipos de datos (datos de redes sociales, blogs, foros, entre otros)
www.it-nova.co
Aspectos importantes: herramientas de ETL
www.it-nova.co
Caso de negocio• ¿Hay alguna relación entre la cartera y el análisis de sentimientos en la gestión de
cartera (call center)?• ¿Cómo se ha comportado la cartera históricamente?
Problemática•Cartera en SAP solo por día•Fuente de datos no relacionadas•Se hacen llamadas de cobro pero no se analizan
• Ejecución diaria consulta de cartera
• Datos no estructurados• Los datos de llamadas se deben
procesar con aplicaciones de analítica cognitiva
•Análisis de información de cartera
Preguntas
Carlos MarínSocio Director
[email protected] 57 3156483049
John FerroSocio Director
[email protected] 57 3167412231
Contacto