odi presentación
Post on 07-Jul-2018
219 Views
Preview:
TRANSCRIPT
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 1/45
Data Integrator 12cMoving Data to Transform Business
Joan MassegúConsultor y Técnico Preventa del Área de Business Analytics Webinar
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 2/45
Índice
© avanttic Consultoría Tecnológica, S.L.2
1 Introducción
2! Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Conclusiones
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 3/45
Introducción
•!Pertenece a la línea de productos de Business Analytics
•!
Es la herramienta de integración de datos estratégica de O
3 © avanttic Consultoría Tecnológica, S.L.
Oracle Data Integrator (ODI) en el portfolio de Oracle
Data Integration Engineered SystemsPackaged Analytics
& EPM AppsData Analytic
Tools
!"#
%&'
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 4/45
Introducción
4 © avanttic Consultoría Tecnológica, S.L.
Necesidades actuales en la integración de datos
Cualquier Fuentede datos
Máximo rendimiento, Alta disponiblidad
Interna o enla Nube
Integrada, Alta productividad
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 5/45
Introducción
•!Procesos ELT para Data Warehouse / Integraciones ODS /
•!
BD Heterogéneas (cualquier origen/destino de datos), XML•!Real time Data Warehouse•! Con sus propios (KM’s) de soporte para CDC•! Mediante la integración con OGG (GoldenGate)
•!Diseñado para arquitecturas SOA: exponer y consumir dato•!MDM: linaje de los datos / análisis impacto de los cambios•! Alta disponibilidad sobre WLS•!Consolas monitorización infraestructura y ejecuciones•!Conectores para BigData•!Data Quality desde ODI e integración con EDQ
5 © avanttic Consultoría Tecnológica, S.L.
Principales características de ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 7/45
Índice
© avanttic Consultoría Tecnológica, S.L.7
1! Introducción
2 Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Conclusiones
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 8/45
Arquitectura de ODI 12c
•!Repositorios
•!
ODI Studio•! Agentes•!Componentes J2EE•!Management Pack
8 © avanttic Consultoría Tecnológica, S.L.
Componentes
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 9/45
Arquitectura de ODI 12c
•! Almacenados en esquema BD
•!Repositorio Master
•! Topología de la infraestructura IT•! Información de seguridad•! Objetos versionados y archivados
•!
Repositorios de trabajo (n)•! Estructuras de datos (Modelos)•! Proyectos•! Información de ejecución
9 © avanttic Consultoría Tecnológica, S.L.
Repositorios de ODI
()*+,-
12,'
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 10/45
Arquitectura de ODI 12c
•! Tipos Agente
•!
Standalone•!Collocated•! J2EE
•!Responsabilidades
•!Listener•!Scheduler
•!Procesos java ejecutándosepróximos al host de BD
10 © avanttic Consultoría Tecnológica, S.L.
Agentes ODI
Cualquier origen Cualqu
!"# 3&11
4"/5676/ .89:
ODI
Console
J2EE Agent
!"/5676/ .89:
Collocated Agent
;,</*6+/-6/
!"#
Cliente (Cualquier Plataforma)
!"
?
@A6,7+, B,C
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 11/45
Arquitectura de ODI 12c
•! Interface web
•!Monitorizar resultadosde ejecución
•! Lanzar procesos
•! Linaje y flujo de datos
11 © avanttic Consultoría Tecnológica, S.L.
ODI Console
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 12/45
Arquitectura de ODI 12c
•!Gestión y Rendimiento
•!Gestión Configuración
•!Gestión SLM
•!
Análisis histórico y reporting
12 © avanttic Consultoría Tecnológica, S.L.
ODI Management Pack
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 13/45
1! Introducción
2! Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Preguntas y Respuestas
Índice
© avanttic Consultoría Tecnológica, S.L.13
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 14/45
Desarrollo con ODI
14 © avanttic Consultoría Tecnológica, S.L.
Flujo de un proceso ELT
Definirtopología
Elegirestrategiade carga
Coordinartareasauxiliares(preprocesar
ficheros/ftp/!
Ejecución ySchedule
Modelo dedatos
(ing. inversa)
Desarrollarmapping
(transformación)
Orquestarflujo ELT
Validación
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 15/45
Desarrollo con ODI
•! Topología•!Designer
•! Data Model•! Proyectos
•! Mappings•! Packages•! Execution Plans•! Procedures•! KM’s
•!Operador•! Monitorizar estado ejecuciones•! Programación
•!Seguridad
15 © avanttic Consultoría Tecnológica, S.L.
ODI Studio
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 16/45
Desarrollo con ODI
Define•!Fuentes de datos
•! Origen•! Destino•! Staging
•!Modelos datos•! Lógico•! Físico
•!Contextos de ejecución
•! Agentes en nuestra infraestructura•!Repositorios ODI existentes
16 © avanttic Consultoría Tecnológica, S.L.
Topología
D I A g e n t_ D E S
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 17/45
Desarrollo con ODI
Modelo•!Describe conjuntos de Datastores
(Atributos, claves, filtros y condiciones)
•! Ingeniería inversa•!Define reglas integridad
(Estáticas/Flujo)
•!Configuración para CDC
17 © avanttic Consultoría Tecnológica, S.L.
Designer
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 18/45
Desarrollo con ODI
Contenido de un Proyecto
•!Variables, Secuencias•!Procedimientos•! Funciones•!Mappings (Interfaces)
•!KM’s
•!Packages
•! Load Plans
18 © avanttic Consultoría Tecnológica, S.L.
Designer
(DAE<A,* 6
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 20/45
Desarrollo con ODI
Plantillas de código especializadas en la ejecución de un tipo
•!LKM
•! IKM•!CKM•! JKM•!RKM•!SKM
20 © avanttic Consultoría Tecnológica, S.L.
Knowledge Modules (KM)
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 21/45
Desarrollo con ODI
•!Objetos ejecutables•! Mappings
•!Paquetes
•! Load Plans•! Procedures
•!Escenarios (Casos) •!Ejecución
•!Interactiva
•! Programada•!Simulación•!Ver resultado ejecución (Operador)
21 © avanttic Consultoría Tecnológica, S.L.
Ejecución de procesos ELT
D ll ODI
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 22/45
Desarrollo con ODI
Packages•! Define secuencia ejecución
•!
ODI Tools•! Mappings•! Procedimientos
Load Plans•! Definen el flujo de carga
•!
En serie•! En paralelo
•! Ejecuta escenarios•! Diferentes tipos de reinicio•! Ejecución parcial
22 © avanttic Consultoría Tecnológica, S.L.
Orquestar el flujo de datos
D ll ODI
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 23/45
Desarrollo con ODI
•!Objetos debugables•! Mappings
•!Escenarios
•! Procesos•! Paquetes
•!Sobre cualquier agente(sesiones en ejecución)
•!Ejecución paso a paso•!Edición sentencias SQL
•!Ejecutar código modificado
23 © avanttic Consultoría Tecnológica, S.L.
Debugger integrado
D ll ODI
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 24/45
Desarrollo con ODI
•!Dos modos de journalizing•! Simple
•!Consistente
•!Modelo publicación/suscripción•! Journal/Vistas•! Procesos de captura•! Suscriptores
•!
Dos implementaciones•! Análisis Log transacciones•! Triggers
•!ODI automatiza procesos•! Despliegue•! Control
24 © avanttic Consultoría Tecnológica, S.L.
Realtime Data Warehouse con Change Data Capture (CDC)
D ll ODI
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 25/45
Desarrollo con ODI
•!KM’s y Substitution API
•!SDK
•!Groovy scripts•! Puede utilizar comandos del SDK•! Automatizar la edición/ejecución objetos
•! Automatizar cambios masivos
25 © avanttic Consultoría Tecnológica, S.L.
Extendiendo/Personalizando ODI
Í di
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 26/45
1! Introducción
2! Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4 Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L.26
Big Data con ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 27/45
Big Data con ODI 12c
•! Integración de datos en Hadoop(Sistema ficheros local / HDFS / Hbase / BD SQL estándar)
•!Realizar validaciones y transformaciones de datos en Hado
•! Llevar los resultados obtenidos en Hadoop a otro almacén d(Oracle / BD SQL estándar / Hbase)
•!Disponible a partir de ODI 11.1.1.6•!Se licencia por separado
27 © avanttic Consultoría Tecnológica, S.L.
Application Adapter for Hadoop (ODIAAH)
Big Data con ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 28/45
28 © avanttic Consultoría Tecnológica, S.L.
Big Data con ODI 12c
M/5C-, 4K(: H-/<G*6+/ !-6L,7
ABC @29& 0. D2E& F(31(3 +(0.# +& 9.4(9 . DG@H &- 0(<9(# D2E& @29& #>#0&'
IBC D2E& F.-03.9 J77&-+ I-0&13( +(0.# &- D2E& &- '.+. 03%-4(0&K2-#&30 D2E& IBC D2E& L3(-#M.3' I-0&13( +(0.# &- D2E& %-( E&N 03(-#M.3'(+.# 4.- %- #43270
+&#(33.99(+. &- O&39KO>0P.-
D2E&
IBC @29&QD2E& 0. 63(49& !6ADQ
6HFD5
I-0&13( +(0.# +&#+& DG@H . D2E& &- 0(<9(# 63(49& @29& #>#0&'KD2E
IBC @29&QD2E& 0. HRA I-0&13( +(0.# +&#+& DG@H . D2E& &- 8G HRA @29& #>#0&'KD2E
IBC HRA 0. D2E&QD8(#&Q@29& I-0&13( +(0.# +&#+& 8G HRA &- DG@HKD<(#&KD2E& 8G HRA
IBC D2E& 0. D<(#& I-43&'&-0(9
S7+(0&
I-0&13( +(0.# +&#+& D2E& ( D<(#&/ 7%+2&-+. 3&(92N(3 2-#&30K
%7+(0&;
D2E&
ABC D8(#& 0. D2E& F(31(3 +(0.# +& D<(#& ( D2E& D8(#&
FBC D2E& T(92+(3 4%'792'2&-0. 3纺.-&# Q
?BC D2E& I-1&-2&3U( 2-E&3#( +& 0(<9(# D2E& Q
?BC D8(#& I-1&-2&3U( 2-E&3#( +& 0(<9(# D<(#& Q
KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)
Índice
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 29/45
1! Introducción
2! Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4! Big Data con ODI 12c
5 Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L.29
Integración con otras herramientas
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 30/45
Integración con otras herramientas
•!Cualquier agente puede exponer
transformaciones de ODI como WS
•! Los agentes J2EE puedenexponer Data Services
•!Invocar Web Services yprocesar su respuesta
30 © avanttic Consultoría Tecnológica, S.L.
Arquitectura SOA
Integración con otras herramientas
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 31/45
Integración con otras herramientas
•!Funcionalidad EDQ
•! Profiling•! Validar direcciones•! Estandarización/Análisis Sintáctico•! Combinar y enriquecer registros
•! Integración EDQ con ODI•! A través de ODI Tools•! Monitorización estado jobs EDQ en Operador•! Disponible desde 11.1.1.6
31 © avanttic Consultoría Tecnológica, S.L.
Enterprise Data Quality (EDQ)
Integración con otras herramientas
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 32/45
Integración con otras herramientas
•!OGG transformaciones básicas “in-row” /ODI transformaciones complejas (lookups, ")
•!Rendimiento OGG optimizado al procesar microbatches con
•!Mismo mapping soporta bulk-loads y microbatches•!GG es menos invasivo que CDC
32 © avanttic Consultoría Tecnológica, S.L.
Oracle GoldenGate (OGG) para Real Time Data Warehouse
32
EMP DEPT
ODS Schema
Ora
Log-based, Real-time Data Feeds
EMP DEPT
Oracle GoldenGateSource OLTPSystem
trans2 trans1trans3
Batch Feed
Real-time Analytics
OracleData Integrator
& Data Quality
Integración con otras herramientas
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 33/45
Integración con otras herramientas
•!Podemos utilizar Journalizing de OGG sin reestructurar los •!Gestionar instancias Captura/Distribución OGG desde la top
•!Mantener parámetros configuración GG desde ODI
•! Interface gráfica despliegue procesos GG vía ODI
33 © avanttic Consultoría Tecnológica, S.L.
OracleGolden Gate (OGG)
Integración con otras herramientas
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 34/45
Integración con otras herramientas
•! Linaje de los datos
•! Análisis de impacto
34 © avanttic Consultoría Tecnológica, S.L.
Master Data Management (MDM) con OBIEE
Índice
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 35/45
1! Introducción
2! Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8! Conclusiones
Índice
© avanttic Consultoría Tecnológica, S.L.35
Migración de OWB 11g a ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 36/45
•!Porque" •! OWB 11.2 es versión terminal
•!“Premier Support” de OWB 11.2 finalizóen enero de 2015
•! La BD 12.x no incluye OWB en la instalación•! OWB 11.2 NO estará certificado en BD > 12.1
•!
Ahora•! Oracle provee utilidad de migración de OWB 11.2.0. x a ODI 1•! Rediseño filosofía desarrollo de ODI orientándola a flujo
Migración de OWB 11g a ODI 12c
36 © avanttic Consultoría Tecnológica, S.L.
¿Por qué, cuándo y cómo?
Migración de OWB 11g a ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 37/45
Migración de OWB 11g a ODI 12c
•!Gradualmente•! Integrando desarrollos OWB en los flujos ODI
•!Migrando automáticamente los proyectos OWB a ODI (utilida
•! Empezando a desarrollar en ODI los nuevos proyectos (y lo n
37 © avanttic Consultoría Tecnológica, S.L.
¿Por qué, cuándo y cómo?
Migración de OWB 11g a ODI 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 38/45
Migración de OWB 11g a ODI 12c
•!ODI 12c incorpora tecnología “Oracle Warehouse Builder”
•!ODI 12c puede coordinarejecución mappings yworkflows OWB
•! Invocación vía ODI Tools
•!Resultados ejecuciónmappings/workflowsmostrados en “Operador”
38 © avanttic Consultoría Tecnológica, S.L.
Integrar desarrollos OWB actuales en ODI 12c
Índice
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 39/45
1! Introducción
2! Arquitectura de ODI 12c
3! Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7 Actualización de ODI 11g a 12c
8! Preguntas y Respuestas
© avanttic Consultoría Tecnológica, S.L.39
Actualización de ODI 11g a 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 40/45
g
•!Nomenclatura•! Filosofía de desarrollo
•!Dos implementaciones de KM: Template style / Component st
•! Desarrollo de mappings (interfaces en 11g) orientado a flujo•! Desaparecen interfaces temporales (amarillas)•! Aparecen reusable mappings•! Múltiples destinos en un mismo mapping
•! Agentes: +Collocated Agents, Standalone Agent administrad•!Conversión interfaces en mappings
•!Conversión de internal ID a Global Unique Identifiers (GUID
40 © avanttic Consultoría Tecnológica, S.L.
¿Qué ha cambiado?
Actualización de ODI 11g a 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 41/45
g
•!Rendimiento•! Ejecución en paralelo automática
•!Ejecución tareas concurrentemente
•!KM’s para BigData (HDFS, Hbase, Hive) con SQOOP•!Seguridad (encriptación pwds, etc. en exportaciones)•!Soporte XML mejorado y añade JSON vía ODI Complex File•!Debugger paso a paso
•!Incorporación de tecnologías Oracle a la topología
•! Golden Gate•! Warehouse Builder
•! Interface desarrollo orientada a flujo
41 © avanttic Consultoría Tecnológica, S.L.
Nuevas funcionalidades
Actualización de ODI 11g a 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 42/45
g
•!Modos ejecución ODI 12c•! Mappings nativos 12c
•!Compatiblidad 11g
•!Como generar mappings en modo compatibilidad•! Activando opción en la utilidad de actualización•! Mediante una opción antes de importar un mapping
•! Todos los módulos se ejecutan de la misma manera
•!Es posible convertir mappings compatibles 11g a 12c
42 © avanttic Consultoría Tecnológica, S.L.
Modo compatibilidad
Índice
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 43/45
1! Introducción
2! Arquitectura de ODI 12c
3!
Desarrollo con ODI 12c
4! Big Data con ODI 12c
5! Integración con otras herramientas
6!
Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c
8 Conclusiones
© avanttic Consultoría Tecnológica, S.L.43
Oracle Data Integrator 12c
8/19/2019 ODI presentación
http://slidepdf.com/reader/full/odi-presentacion 44/45
•!ODI 12c es una inversión segura•! Consolida la experiencia de OWB y ODI para ofrecer elevada
productividad•! Amplia cobertura funcional, pero extensible y costumizable•! Alta disponibilidad, monitorización
•!Preparada para el presente " y el presente inminente
•!
Conectores Big data•! Real time (CDC, OGG)
•!Momento para migrar de OWB 11g a ODI 12g
44 © avanttic Consultoría Tecnológica, S.L.
Conclusiones
top related