![Page 1: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/1.jpg)
Integración de datos: Desde el batch hasta Servicios Federados de Datos.hasta Servicios Federados de Datos. Prácticas, Enfoques y Realidades
Jorge Arias ([email protected])
Senior Principal Consultant
Oracle Consulting Latinamerica
![Page 2: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/2.jpg)
El negocio es un objetivo en movimiento queEl negocio es un objetivo en movimiento que necesita soportarse en datos e información
consistente y en tiempo realconsistente y en tiempo real.
![Page 3: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/3.jpg)
Objetivo
• Abordar los enfoques actuales de integración deAbordar los enfoques actuales de integración de datos desde las marcadas necesidades del negocio definidas en términos de flexibilidad, tiempo real, consistencia e integridad y agilidad y velocidad de responder a estrategias cambiantes.
![Page 4: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/4.jpg)
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐k b ó d l d dLink, ODS, Objetos canónicos, Modelos Federados,
EAI/ESB
• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
![Page 5: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/5.jpg)
Contexto: Estrategias de negocio Cambiantes
Estrategia de Negocio
DefineDefineDefine
Ciclos de reconovación más cortos
Procesos de negocio
Modelo de informaciónModelo de información
Aplicaciones
Tecnología
Iniciativa o Proyecto #1
Iniciativa o Proyecto #2
Iniciativa o Proyecto #N
Cultura y Gestión del Cambio
Gobernabilidad
¿ ESENCIA FLEXIBLE ?SOA + Datos consistentes +
Vistas reales de la información
![Page 6: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/6.jpg)
Contexto: Estrategias de negocio
• Cualquier iniciativa o proyecto de negocio/IT obedece a una
Cambiantes
respuesta a la estrategia de negocio
• La complejidad de un proyecto tiene que ser gestionada desde diferentes dimensiones Considerar una visión TI simplista sólodiferentes dimensiones. Considerar una visión TI simplista sólo terminará en fracasos
• Necesitamos de un estilo de arquitectura lo suficientemente flexible y basada en datos consistentes que permita soportardicha estrategia de negocio cambiante.
• Datos consistentes y de calidad son pieza estructural de• Datos consistentes y de calidad son pieza estructural de cualquier estilo de arquitectura seleccionado para soportar este negocio cambiante.
6
![Page 7: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/7.jpg)
Contexto: Realidad de nuestras organizaciones (Qué viva la duplicidad)
Solicitar crédito en línea
éCó
IndicadoresProcesos
organizaciones (Qué viva la duplicidad)
P l
Clientes¿ Porqué hecho el desembolso o no me han notificado?
Base de datos temporal
¿Cómo va este negocio?
GrupoGerencial ¿Por qué no
li l Portal (SOLO ES TEMPORAL)
12 horas
Validar referencias y Reali ar análisis Validar riesgo Crear Digitar
cumplimos las metas?
CRMECM
6 horas 8 horas
Análisis S i
4 horas
Core
4 horas
Validar referencias y datos
Realizar análisiscrediticio
Validar riesgo Crear Productos
Digitar solicitud
4 horas
CRMECM Análisis de crédito
Scoring CoreBancario
(Procedimientos)
Área comercial
Área de GestiónDocumental
Área decrédito
Área deRiesgo
Área de operaciones
![Page 8: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/8.jpg)
Contexto: Empresas orientadas al cliente
• Las compañías están orientando su estrategia hacia un modelo centrado l á l d l d l d ó d
vía procesos de negocio (1)
en clientes más que en el tradicional modelo de orientación a productos.
• Los clientes solicitan procesos de negocio como medio de atención y t ió d l i i (O i t ió l t á it )prestación de los servicios (Orientación al trámite)
• Los procesos de negocio motivan estrategias de medición a nivel ejecutivo (KPI & Dashboard)(KPI & Dashboard).
• Información segmentada SI, pero inconsistente NO: Tanto Datos operacionales como Datos Analíticos soportados en datos maestrosoperacionales como Datos Analíticos soportados en datos maestros (Clientes, Productos, Proveedores) como medio de entregar fuentes únicas de verdad orientadas al cliente.
![Page 9: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/9.jpg)
Contexto: Empresas orientadas al cliente vía procesos de negocio (2)
CLIENTES GRUPO EJECUTIVO
BAMPORTAL
SOA ataca problemas de funcionalidades de negocio fragmentadas, pero no resuelve
problemas de datos fragmentados. Incluso si no se ataca el problema; SOA podría ser un
Proceso: Gestión solicitud crédito
BPMDashboard,KPI (Key Performance I di t )
no se ataca el problema; SOA podría ser un acelerador de problemas
Indicator)
Crear cliente
RealizarAnálisis crediticio
ValidarRiesgo
CrearCrédito
Desembolsarcrédito
SERVICES
RiesgoCréditoCRM Core Bancario
EIS
EMPLEADOS
![Page 10: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/10.jpg)
Contexto: Requerimientos del día a día: Vistas 360° “ Cerca del 75% de las empresas son incapaces de generar
un vista 360° de sus clientes” Gartner 2007
“OLTP: TC, Credito, Hipotecas etc
Información de productos
“
DWH
Hipotecas, etc.
Perfil & Segmento del cliente
Indicadores de gestión Seguimiento de PQRs
DashboardsOLTP: Seguimientos a problemas (CRM)
d cado es de gest ó Segu e to de Q s
Screen shot tomado de Novell IDM - Novell Derechos Reservados
![Page 11: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/11.jpg)
Contexto: Requerimientos del día a día: Tableros de control
NTR: Near To real timeSumarizacionessemanales
Tiempo Real
Screen shot tomado de Novell IDM - Novell Derechos Reservados
![Page 12: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/12.jpg)
¿Cómo estamos soportando estos requerimientos?
¿ Replicaciones Batch/ETL?¿ Replicaciones Batch/ETL?
¿ C l l t d i “ti l”?¿ Como resolvemos la tendencia “tiempo real”?
¿ Qué tan consistencia y confiable es la información?
![Page 13: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/13.jpg)
Contexto: De donde partimos… (1)
Cliente
MS-AccessSQL ServerSAPCobol Oracle Excel
![Page 14: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/14.jpg)
Contexto: De donde partimos… (2)
MS-AccessSQL ServerSAPCobol Oracle Excel
Cliente Cliente Cliente Cliente Cliente Cliente
![Page 15: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/15.jpg)
Contexto: De donde partimos… (3)
Sistemas de información
Siebel SAP Vision + FACT Systematics RemedyTroubleTicket
Cliente RW RW RW R RW RCliente RW RW RW R RW R
Cuentas R RW RW RW
Tarjetas RW RW RW¿ Como podremos ir desde Múltiples
puntos de entrada de la misma información a una simple vistaFacturas R RW RW R R
Pagos R RW RW RW
información a una simple vista consistente del negocio?
Entidades de negocio
Más de un sistema es dueño de la misma entidad: Problemas de
calidad e inconsistencia de datos.
![Page 16: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/16.jpg)
Contexto: Resumen…• La orientación al cliente más que a productos es mucho más que cambiar una
visión al interior de la fuerza de ventas, es cambiar parte de la estructural conceptual y física de nuestros sistemas de información.p y
• Los requerimientos de negocio a los cuales debemos enfrentarnos hoy en día son cada vez más complejos y ambiciosos.p j y
• Al parecer los modelos actuales de integración no nos alcanzan para soportar dichos requerimientos.q
• Emerge sobre el horizonte SOA: Pero es tan sólo parte de la solución, incluso puede ser parte del problemap p p
• Y al final del día lo único que pareciera ser importante para el grupo ejecutivo son: Indicadores de negocio en tiempo real vía procesos medibles, tableros de g p p ,control cercanos al tiempo real y vistas 360°
![Page 17: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/17.jpg)
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB
• Soportando la siguiente generación: ELT, Datos Federados SOA + MDM SOA+BPM+BAMFederados, SOA + MDM, SOA+BPM+BAM
• Conclusiones & PreguntasConclusiones & Preguntas
![Page 18: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/18.jpg)
De donde partimos: Tipos de datos
Datos OperacionalesRepresenta el estado
operacional de laDatos Operacionales(OLTP)
operacional de la organización
Datos de la organización
Datos Analíticos(OLAP)
Representa el desempeño de la
organización (Soporte a la toma decisiones )organización ( ) a la toma decisiones )
Representa las tid d d i
Datos Maestros(Master Data)
entidades de negocio sobre las cuales
operan las transacciones &
Dimensiones sobre las cuales los análisis son
realizados
![Page 19: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/19.jpg)
De donde partimos: Taxonomía de integración
Datos
BatchETL, ELT, DB Link
EII ODSGRANDES VOLUMENES DE INFORMACIÓN
Linea
Acomplamiento
SocketsRPC /DCOM
EII, ODS
IntegraciónSincróna
Acomplamiento fuerte
Acomplamiento
RMICORBA
Aplicación
pdébil WebServices
EAI
AsincronaMOM / JMS /MQ Series
Copyright Lucasian Labs ‐ Jorge Arias 2006 19
Presentación Screen ScrapperConectores HTTPConectores Telnet
![Page 20: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/20.jpg)
¿Cómo operamos?: Procesos integrados b d t i i t t (SOA A t l)sobre datos inconsistentes (SOA Actual)
Reglas de negocio Modelos de datos
ClientesP d t
CRM
Productos
ERP
ClientesProductos
Facturador
SOA/BPM ClientesProductos
Facturador
ClientesProductos
Proceso integrado y soportado sobre datos
duplicados e
Ordenesinconsistentes.
![Page 21: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/21.jpg)
¿Cómo operamos?: Decisiones potenciadas SOA í d t i i t tpor SOA vía datos inconsistentes
Reglas de negocio Modelos de datosSoporte a toma de
decisiones
CRM
Reportes
Dashboards
ClientesProductos
ETL
ERP
DatamartClientes
Productos
ETL
Facturador
SOA/BPMDWH Ad Hoc
Queries
CubosClientesProductos
Cualquier cambio sonbre los datos a nivel del ETL o del
ETL
ETLFacturador
Analisis OLAP
Productosdatos a nivel del ETL o del DHW es invisible a los
sistemas OLTP Necesidad de operacionalizar el DWH
ETL
OrdenesClientes
Productos
![Page 22: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/22.jpg)
¿Cómo operamos?: Problemasp
• Carencia de dueños de datos (entidades de negocio)
Modelo de dueños de objetos– Modelo de dueños de objetos
• Duplicidad de datos
– Necesidad de publicación de servicios de datosp
• Datos inconsistentes
– Necesidad de sincronización entre fuentes replicadas
• Millonarias pérdidas por entregas de correspondencia a clientes.
N fl ibl “R d ti 2 k t• No se es flexible “Reduce time 2 market
![Page 23: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/23.jpg)
Necesitamos integraciones de datos queNecesitamos integraciones de datos que permitan tener fuentes replicadas en estado
sincronizadas y consistentes.sincronizadas y consistentes.
T d i i i ti SOA it iToda iniciativa SOA necesita primera asegurar la existencia de datos integrados y
i t tconsistentes.
![Page 24: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/24.jpg)
¿Cómo integramos?: ETL (1)g ( )
Datos inconsistentes
Extracción CargaTransformaciónCRM ERPTransformación
Tablas de listas
Las duplica (off-line) /Las lee en línea
Funciona bastante bien. Sin embargo, puede tener problemas de desempeñoTablas de listas
de valores
MOTOR ETL
puede tener problemas de desempeño por movimientos de “data” entre el engine y el target
![Page 25: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/25.jpg)
¿Cómo integramos?: ETL N * (N‐1) g ( )Interfaces
Integración en batch de clientesIntegración en batch de clientes
CRM ERPETL (2)
ETL (5)
ETL (6)ETL (7) ETL (8)ETL (9) ETL (10)
N*(N‐1) Interfaces
Facturador Ordenes
ETL (3)
ETL (4
( )
Situación inmanejable
![Page 26: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/26.jpg)
¿Cómo integramos? Podríamos ir a un EAI g( Pero…) Grandes Volúmenes de Información
ERP ERPCRM
CRM OrdenesBus de Integración
Facturador
FacturadorOrdenes
Punto a Punto(N * (N 1)) Interfaces
EAI (N Interfaces)
(N * (N-1)) Interfaces
![Page 27: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/27.jpg)
¿Cómo integramos?: ETL basado en
Entidades genericas ( Sustantivos) que determinan el que hacer del negocio. (
gobjetos genéricos (Reutilización) (1)
Modelo de objetos genericos)En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.
Defínición Cliente ERP(Objeto Especifico)
D fi i ió Cli t CRM
( j p )
Definición cliente Generica(Objeto genéricos)
Definición Cliente CRM(Objeto Especifico) Definición Cliente Facturador
(Objeto Especifico)
22/09/2008
27
![Page 28: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/28.jpg)
¿Cómo integramos?: ETL basado en
MOTOR ETL
gobjetos genéricos (Reutilización) (2)
ExtracciónTransformación CRM 2 Genérica
CRM Transformación Genérica 2 ERP
Transformación Genérica 2 Order
Carga
Ge é ca Ge é ca O de
CargaGenerica 2 Facturador
OrderERP
Facturador
![Page 29: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/29.jpg)
¿Cómo integramos?: DB Links (1)
Manejador OrdenesO de es
¿ Qué sucede sí al pasar grandes volúmenes de información falla la comunicación? Aplico
nuevamente todos los registros? Como puedo validar en qué registro voy?
![Page 30: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/30.jpg)
¿Cómo integramos?: DB Links (2)
Sistema BS ste a
Sistema C
Sistema A
Sistema C
Sistema D
¿ Si quisiéramos llevar el sistema “A” a un data center?
¿ Acaso los DB Links no s generan un acoplamiento
Sistema E
¿ Acaso los DB Links no s generan un acoplamiento demasiado fuerte?
![Page 31: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/31.jpg)
¿Cómo integramos?: ODS• Fuente de datos compartida, accedida por varios sistemas en
producción(OLTP) y la cual consolida información de diversas fuentes de
datos o sistemas tanto OLAP, como OLTP.
NRT
A li ió 1
5 Minutos
Aplicación 1
CRM
Aplicación 2ODS 2 Horas
Copia compartidade datos
Aplicación 3ERP
de datos.
Aplicación 4DWHIntegración por
base datos 5 Días
![Page 32: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/32.jpg)
¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)
Orientado a la consultaconsulta
Agregador Virtual de
Servicio(Interfaz) :Ciclo de vida del cliente
EII: EnterpriseInformation g g
información Metadata: Schema Virtual
Sub-queries Sub-queries Sub-queries Sub-queries
InformationIntegration
Adapter Adapter Adapter Adapter
Sub queries Sub queries Sub queries
ERP CRM Facturador Ordenes
![Page 33: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/33.jpg)
¿Cómo integramos?: Definir modelos ( )canónicos (1) – Contexto
Entidades genericas ( Sustantivos) que determinan el que hacer del negocio ( Modelo de objetos genéricos)negocio. ( Modelo de objetos genéricos)
Este modelo considera la relaciones semanticas existentes entre los bj tobjetos.
A nivel de negocio debe existir una única definición ( Sistema Dueño)
En la realidad existen diferentes versiones e instanciaciones de la misma entidad de negocio en diferentes sistemas.
Tambien conocidas como OntologíasTambien conocidas como Ontologías
![Page 34: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/34.jpg)
¿Cómo integramos?: Definir modelos ( )canónicos (2) – Relaciones Semanticas
Semantica de las relaciones
Entidades de negocio
22/09/2008 Copyright Lucasian Labs ‐ Jorge Arias 2006 34
![Page 35: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/35.jpg)
¿Cómo integramos?: Definir modelos ( )canónicos (3) ‐ Dialectos Empleado
CuentaBalance
F t TarjetaFactura Tarjeta Credito
Sistema de
Si t d
Cuentas de Ahorro
IFX, FIXSistema de Tarjeta de
CreditoSistema de
Credito Hipotecario
Empleado
CuentaBalance
Factura Tarjeta
Empleado
CuentaBalance
T j tFacturaCredito Factura Tarjeta
Credito
![Page 36: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/36.jpg)
¿Cómo integramos?: Definir modelos ( )canónicos (3) – Dueños de datos
Siebel SAP Vision + FACT Systematics RemedyTroubleTicket
Cli t RW R R R R RCliente RW R R R R R
Cuentas R RW R R
Tarjetas RW R R
Facturas R RW R R R
Pagos R RW R R
Un sólo dueño de la entidad: SAP debe publicar un servicio de datos que permite
36
p q pmanejar el ciclo de pagos
![Page 37: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/37.jpg)
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k bj ó i d l d dLink, ODS, Objetos canónicos, Modelos Federados, EAI/ESB
• Soportando la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
![Page 38: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/38.jpg)
ELT: Extraction Loader & Transformation (1)
• El modelo ETL tradicional presenta varias falencias:
– Costos en tiempos de respuesta inherente a llevar datos desde el p pdestino o el origen al motor de ETL para facilitar las transformación en este último (Listas de valores, tablas maestras).
– En ambientes de bastante integración ETL, el motor puede llegar a ser g , p gun cuello de Botella. (Uso intensivo de CPU)
– Requiere un servidor dedicado para el servidor ETL.
• Emerge ELT como una alternativa para:
– Transformar en el destino ó en el origen.
E di fl j j i d i ió ETL d d l– Estudios reflejan mejora en tiempos de integración ETL de cerca del 40% ‐ 52%.
– El motor ETL simplemente se limita a ser un orquestador de agentes t dremotos de carga.
– No necesita un servidor dedicado para el motor ETL
![Page 39: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/39.jpg)
ELT: Extraction Loader & Transformation (2)
Diseñador / Consola de Intercambio ELT
AdapterAdapter
Extracción Carga OrdenesCRM
Transformación Transformación
![Page 40: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/40.jpg)
¿Cómo integramos?: Modelos Federados (EII)Aplicaciones Clientes (Canales)
Orientado a la consultaconsulta
Agregador Virtual de
Servicio(Interfaz) :Ciclo de vida del cliente
EII: EnterpriseInformation g g
información Metadata: Schema Virtual
Sub-queries Sub-queries Sub-queries Sub-queries
InformationIntegration
Adapter Adapter Adapter Adapter
Sub queries Sub queries Sub queries
ERP CRM Facturador Ordenes
![Page 41: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/41.jpg)
Master Data Management (1) ‐ Definición
• Master Data Management (MDM) es la correcta combinación de aplicaciones y tecnologías que permiten consolidar, limpiar y extender (actualizar/crear) el ecosistema de datos maestros de la organización; y sincronizar estos mismos con todas las aplicaciones, procesos y h i t líti t l ió d l iherramientas analíticas que soportan la operación del negocio
• Beneficios:– Eficiencia Operacional– Información consistente en todo momento de los datos maestros
de la organizacióng– Permite tener DWH Operacionales– Promueve un plataforma confiable para la toma de decisiones.
![Page 42: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/42.jpg)
Master Data Management (2) OLTP
Portal IVR Internet ATM
Canales
SOA
CRM ERP FACT.
EL-T EL-T EL-T
SOASO
SOA
Enterprise Service Bus (ESB)Soporte a toma de
decisiones
EL T
Enterprise Service Bus (ESB)Reportes
Dashboards
EL-T
SOA
MDM (Clientes, Productos, Proveedores, etc)
DWHAd Hoc Queries
CubosETL / EL-T
Analisis OLAP
![Page 43: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/43.jpg)
SOA + BPM + BAM (1)
CLIENTES GRUPO EJECUTIVO
BAMPORTAL
Proceso: Gestión solicitud crédito
BPMDashboard,KPI (Key Performance Indicator)
BAM
( ey e o a ce d cato )
Crear cliente
RealizarAnálisis crediticio
ValidarRiesgo
CrearCrédito
Desembolsarcrédito
SERVICES
crediticio
RiesgoCréditoCRM Core Bancario
EIS
EMPLEADOS
![Page 44: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/44.jpg)
SOA + BPM + BAM (2)
Alertas de
Eventos
Alertas de negocio
Métricas de negocio
Tablero de control (Dashboard)
¿Numero de créditos de consumo otorgados en Bogotá en la última semana?ú t a se a a
Fact: Créditos Otorgados
Dimensión: TiempoÚltimo año
Dimensión: GeografíaCiudad de Guatemala
Dimensión: Tipo CréditoConsumo Modelo Estrella
![Page 45: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/45.jpg)
BAM: BusinessSOA + BPM + BAM (3)
Agencias Asesores Fuerza Ventas
Canales Presenciales
BAM: Business Activity Monitoring
35 Créditos de consumo aprobados en las ultimas dos h B á
Evento: Tipo de crédito, Fecha
horas en Bogotá
estionar Solicitud de
Repositorio de eventos de negocio
Evento: Geografía
Evento: Otorgado
estionar Solicitud de édito de consumo
Realizar Análisis crediticio & Riesgo
Capturar Solicitud Digitalizar/DigitarSolicitud
![Page 46: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/46.jpg)
ODS + EII + SOA
Fi h d l li
Página Web (Visiones centralizadas)Portal
• Vistas consolidadas de datos (Clientes, Empleado,etc.)
Ficha del cliente(Vista compuesta de datos)
C lA li i
Servicio de
SOAP JMS MQ SeriesRMI FileRemoting
ConsultaActualizaciones
ODS
Servicio de Información(Vista 360°)
Bus de Servicios
Sincronización
Tarjeta de Crédito Créditos
Cuentas de ahorro DHWDHW
Sistemas operacionales
![Page 47: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/47.jpg)
Agenda
• Contexto
• Cómo soportamos el negocio actualmente: ETL, DB‐i k d d l bjLink, EAI, ODS, Base de datos temporales, Objetos canónicos
• Soportan la siguiente generación: ELT, Datos Federados SOA + MDMFederados, SOA + MDM
• Conclusiones & PreguntasConclusiones & Preguntas
![Page 48: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/48.jpg)
ConclusionesConclusiones
![Page 49: Integración de datos: Desde el batch hasta Servicios Federados de](https://reader037.vdocuments.co/reader037/viewer/2022102812/58a1a58e1a28abda018b94df/html5/thumbnails/49.jpg)
PreguntasPreguntas