1
1
Creando el próximo Data Warehouse:Integración y calidad de datos
Caso prácticoPei-Yung Chan
2
Agenda
� Procesos de integración y calidad de datos
� Uso de PowerCenter como herramienta de integración de datos
� Ejemplo de un Data Warehouse con calidad
� Utilización de procesos y reglas de calidad de datos
� Uso de PowerAnalyzer como herramienta de análisis y reporting
2
33
Procesos de integración y calidad de datos
4
Necesidades de un negocio
� Incorporar la información recogida en sistemas transaccionales u otras fuentes de datos para:− Analizar la evolución de ventas− Comparar las tendencias del mercado− Analizar el efecto de las promociones de marketing y
acciones comerciales− Obtención de la información para realizar rápidas
decisiones estratégicas, tácticas y operacionales− Realizar un análisis de ventas comparativo con otras
empresas del sector
3
5
Ejemplos de Indicadores obtenidos
� Ventas en € y en unidades
� Market share del producto respecto el mercado al que pertenece
� Potencial del producto. Porcentaje que representan las ventas del producto respecto el total de ventas a nivel nacional
� Ratio de crecimiento de las ventas respecto el mismo periodo del año anterior
� Ratio de crecimiento del producto analizado respecto a la ratio de crecimiento del mercado
� Potencial del mercado. Porcentaje que representan las ventas del total del mercado respecto el total de ventas a nivelnacional
6
Problemática habitual
� Traspasar la información a nuestros sistemas operacionales (CRM, ERP) o decisionales (BI)
� Verificar la información y adecuarla a nuestros indicadores de negocio
� Alimentar más de un sistema con la información obtenida
� Necesidad de programación de procesos de extracción poco flexibles y de costosa implantación
4
7
Metodología de extracción de datosInformese
indicadores
8
Proceso de extracción de la información
� Se realiza la carga a los sistemas de la empresa automáticamente
� Control de la transferencia por FTP o desde otras ubicaciones
� Gestión de errores− Aviso a los responsables− Detección del punto exacto donde se detecta el error− Permite la reejecución del proceso en el punto donde se ha
detectado el error
� Programar el proceso para su ejecución en diferentes momentos del día
5
9
Proceso de validación de la información
� Garantizar la coherencia de la información
� Es necesaria una comprobación que la información es correcta y no hayan alteraciones
� Comprobación de indicadores de la calidad de los datos
10
Proceso de transformación
� Cabe destacar la importancia de complementar datos con datos producidos por la compañía
� Incorporación de la información de la red comercial propia de la compañía
� Incorporar agrupaciones de productos, presentaciones, etc. que es mantenido por los tomadores de decisión de la compañía
6
11
Proceso de carga
� Incorporación de información adicional en otras bases de datos, hojas EXCEL, ficheros planos, etc.
� Proceso de carga de Staging Area para ser origen de otras cargas (Data marts, etc.)
� Tratamiento gran volumen de información producidos generalmente por − Muchas combinaciones de datos para asegurar la
velocidad de ejecución de informes
− Generación de agregados para todos los elementos y niveles de las redes comerciales
1212
Uso de PowerCenter como
herramienta de integración de datos
7
13
Desarrollo / ProgramaciDesarrollo / Programacióónn
� Tiempo de desarrollo / corrección de errores
� Flexibilidad / reutilización
� Auditoria / Documentación
� Trazabilidad
� Programadores
� Lenguajes de programación
Solución propuesta
Fuentes de DatosAplicaciones de negocio
Extracción y carga de datos
SalesForce
1414
Ejemplo de un Data Warehouse con calidad
8
15
Ejemplo PEPEPHONE
� Empresa ejemplo de telefonía móvil
� Tiene la necesidad de realizar análisis sobre las llamadas y los servicios contratados por sus clientes
� Es necesario aplicar reglas de calidad en sus datos
16
Modelo de datos PEPEPHONEVersión inicial
9
17
Procesos de calidad
� Selección de diferentes campos importantes de las diferentes tablas de datos
� Incorporación de indicadores de calidad
� Índice de calidad con valor de 0 a 1
� Procesos periódicos que miden la calidad del registro
� Actualización del índice de calidad de los datos
18
Modelo de datos PEPEPHONEVersión con indicadores de calidad de datos
10
19
Procesos de integración de datos
� Extracción de los diferentes orígenes
� Comprobación de datos
� Trasformaciones y cálculos
� Filtrado de los registros con indicadores de calidad inadecuados
� Escritura y carga en el Data Warehouse
20
Proceso de extracción y carga
11
21
Procesos de calidad de datos
2222
Uso de Data Analyzer como
herramienta de análisis y reporting
12
23
Lo que nos comunican nuestros clientesProblemas para los consumidores de información:
BI para todos los usuariosFacilidad de uso; Procesos guiados de desarrollo; cuadros de mando personalizados, mínima formación necesaria.
BI para usuarios avanzados
Funcionalidad Web limitada; Dificultad de manejo; Muchas y diferentes interfaces; Extenso entrenamiento.
Problemas tradicionales Nuestra Solución
Limitación de análisis
Análisis causa-efecto complejo, limitación en el desglose de la información.
Análisis guiados Avanzado análisis causa-efecto; workflowsanalíticos, ayuda para la toma de decisiones.
Integración con Excel
Desconectado de las fuentes de datos
Total integración con Excel
Integración bidireccional con excel, funcionalidad embebida, exportación dinámica.
“Tiempo-Real”
Disponible unicamente en refresco de información
Integración en Tiempo-Real
Alertas interactivas real-time, contextual right-time metrics; actualización de infraestructura analítica
24
Informatica Data Analyzer: Plataforma Unificada: “Todo en uno”
� Unificación en las capacidades de funcionamiento y administración
� Thin-client para administración, desarrollo e interfaces de usuario final
� Reducción de costes de licenciamiento, implementación, formación e integración de producto
Ad hoc QueryAd hoc Query
& Report& Report
ViewingViewing
EmbeddedEmbedded
ExcelExcelRealReal--TimeTime
DashboardsDashboards
AdminAdminAnalyticAnalytic
AppsApps
InterfaceInterface
SoftwareSoftware
DevelopmentDevelopment
KitKit
Mobile &Mobile &
BroadcastingBroadcasting
Analytic Analytic
Workflow,Workflow,
Slice & DiceSlice & Dice
AuthenticationPortal
IntegrationEnterprise
Communications
Po
werA
naly
zer 4
®
© Copyright 2003 Informatica Corporation. All rights reserved.
ReportReport
ViewingViewingExcel Excel
IntegrationIntegrationDashboardsDashboards
Report Report
Layout & Layout &
DesignDesign
AnalyticAnalytic
ToolsTools
Performance Performance
ManagementManagementMobile &Mobile &
BroadcastingBroadcastingAd Hoc Ad Hoc
AnalysisAnalysis
PortalIntegration
Administration
Data
An
aly
zer
APIs & SDK
13
25
Democratizar la información: Responsabilidad y Visibilidad
© Copyright 2003 Informatica Corporation. All rights reserved.
Aplicaciones
Bases de Datos
Data Formats
DW / ODS
ALMACEN DE DATOS
Datos LocalesFicheros, Excel, etc
Integración con portal corporativo
Multidispositivo
UsuariosFinales
Clientes
Partners
26
Data AnalyzerArquitectura
© Copyright 2003 Informatica Corporation. All rights reserved.
� Es la Plataforma más escalable de BI basada en un servidor de aplicaciones J2EE ; no servidor propietario Soporta BEA, IBM, Sun, JBOSS
� Arquitectura ROLAP
� Soporta: arquitectura en clustering y tolerancia a fallos
� Sistemas operativos soportados:NT, Unix, Linux
� Bases de Datos Soportadas:Oracle, DB2, SQLServer, Teradata, Sybase
� Integración estandares de seguridad: LDAP, Active Directory, SiteMinder, etc.
� Portales (BEA, WebSphere, Plumtree, Custom)
14
27
Características generales
� Creación de cuadros de mando
� Informes personalizados
� Filtros según el perfil de usuario
� Asistentes para la creación de informes
� Métricas y alertas en tiempo real
28
Autoaprendizaje, facilidad de usoMínima formación, extrema productividad
Asistente de creación de informes en base a métricas
Informes libres de
errores
Visualización Excel
Integración total en PowerAnalyzer
Analytics Workflows
Toma de decisiones más rápida
Usuariosfinales
15
29
Toda la funcionalidad BIReducción de coste de aprendizaje
• Add alerts • Add indicators• Add columns to table• Add attribute and time
filters• Add charts • Add exception
highlighting• Drill up, down and
across
Users
30
Conclusiones
� Plataforma de Business Intelligence de propósito general
� Fácil de usar
� Fácil de aprender
� Adaptable a los sistemas existentes de la compañía
� Integrado con EXCEL y otras plataformas móviles
16
3131
Demostración de la plataforma
3232
Muchas gracias