Download - Metodología ETL v2.1 220606
2
Indice
Definición tipos de Metodología Ciclo de Desarrollo - Metodología Ciclo Corto
Fase de DefiniciónFase de EspecificaciónFase de ConstrucciónFase de Despliegue
Ciclo de Desarrollo – Metodología Ciclo LargoFase de DefiniciónFase de EspecificaciónFase de ConstrucciónFase de Despliegue
Circuito de Reutilización Perfiles
4
Definición tipos de Metodología
Esta metodología se aplica en proyectos desarrollados exclusivamente en PowerCenter100% PowerCenter
Existen dos tipos en función de si estos proyectos se desarrollan en Factoría o no.Ciclo CortoMetodología de desarrollo para proyectos desarrollados
internamenteNo son desarrollados por FactoríaSe desarrolla directamente en PowerCenter y se
documenta el proceso a posteriori a través del Metadata Reporter
5
Definición tipos de Metodología
Ciclo LargoMetodología de desarrollo en PowerCenter para
proyectos desarrollados en Factoría:La principal característica de esta metodología frente a
la de ciclo corto es que requiere la cumplimentación de los documentos de especificación antes de comenzar la Construcción.
7
FASECONSTRUCCION
Construcción
FASEDEFINICIÓN
Definición
FASE DESPLIEGUE
Ejecución
DDSProceso
Construido
Petición
SistemaImplantado
Ciclo de Desarrollo - Metodología Ciclo Corto
FASE DE ESPECIFICACION
Análisis
Modelo de Datos
Doc. del Proceso
8
Fase de Definición
FASE DE DEFINICIÓN
DDS
DDS v1
Lanzamiento del
Proyecto
Definición
del nuevo
Sistema
Reunión de
Lanzamiento
Definición
de Requisitos
Revisión /
Aprobación
del DDS
DDS Validado
Petición
9
Fase de Definición
Fase Definición
Descripción Abarca las siguientes Actividades:• Lanzamiento del proyecto• Definición de requisitos• Reunión de lanzamiento• Definición del nuevo sistema• Revisión / Aprobación del DDS
Roles y Responsabilidades
Cliente / Usuario– Peticionario del nuevo sistema y revisión / aprobación del DDS
Grupo de Desarrollo – Definición de requisitos, organiza la reunión de lanzamiento.
Arquitectura Funcional – Revisa y aprueba el DDS
Arquitectura Técnica – Participa en la reunión de lanzamiento y define la tecnología de desarrollo
Arquitectura Modelo de Datos – Participa en la reunión de lanzamiento
Control de Calidad – Participa en la reunión de lanzamiento
Rendimiento (Produban)– Participa en la reunión de lanzamiento
Planificación – Participa en la reunión de lanzamiento
Metodología – Participa en la reunión de lanzamiento
Productos (Produban) – Participa en la reunión de lanzamiento
Seguridad Lógica – Participa en la reunión de lanzamiento
Entradas Salidas
Solicitud de nuevo sistema DDS
Entregables
DDS
10
FASE DE ESPECIFICACION
Fase de Especificación
Definición /
Diseño
Modelo de Datos
Revisión/
Aprobación
Modelo de Datos
Modelo de Datos Revisado
11
Fase de Especificación
Fase Especificación
Descripción Abarca las siguientes Actividades:• Definición / Diseño del modelo de datos• Revisión del modelo de datos• Cumplimentar la plantilla de especificación de requerimientos funcionales
Roles y Responsabilidades
Grupo de Desarrollo – Define el modelo de datos, solicita la creación de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificación de requerimientos funcionales.
Arquitectura de Datos – Revisión del modelo de datos
Seguridad Lógica – Definición de los usuarios que se tienen que utilizar en los accesos a tablas.
Control de Calidad – Reunión previa de “puesta en común” con el grupo de desarrollo.
Entradas Salidas
DDS
Modelo de Datos
Plantilla de solicitud de tablas (opcional)
Conexión a BBDD
Plantilla de especificación de requerimientos funcionales.
Entregables
Plantilla de solicitud de tablas (opcional).
Plantilla de especificación de requerimientos funcionales.
12
Entorno Desarrollo
FASE CONSTRUCCION
Visión Ciclos de Desarrollo -Fase de Construcción
Entorno QA
Entorno Desarrollo
Crear o importar
fuentes y destinos
Diseño Físico
del proceso de
Transformación
Implementar
entorno
de Ejecución
Agrupar procesos
y especificar
condiciones de
ejecución
Revisión
Control de
Calidad
Pruebas
Unitarias
Crear grupo de
Pase e
Informar a
QA
Importar
grupo de
pase
Consultar
informe
(Metadata
Reporter)
Crear grupo de
Pase e
Informar a
Implantación
13
Fase de Construcción (entorno Desarrollo)
Fase Construcción
Descripción En el entorno de Desarrollo se llevan a cabo las siguientes actividades:• Detección de componentes reutilizables• Crear o importar fuentes y destinos• Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el
repositorio).• Construcción de procesos para la extracción, conversión y carga
• Diseño físico del proceso de transformación• Implementación del entorno de ejecución • Agrupar procesos y especificar condiciones de ejecución • Pruebas unitarias de los procesos
• Generar grupo de pase e informar al Administrador entorno QA de la disponibilidad del grupo de pase
Roles y Responsabilidades
Administrador del entorno de Desarrollo – Crear o importar fuentes y destinos, definición de conexiones a BBDD, generar grupo de pase e informar al Administrador del entorno de QA.
Laboratorios - Construcción
Entradas Salidas
Modelo de Datos
Plantilla de especificación de requerimientos funcionales.
Grupo de pase a QA
Plantilla de solicitud de cambio de entorno
Entregables
Grupo de pase a QA
Plantilla de solicitud de cambio de entorno
14
Fase de Construcción (entorno QA)
Fase Construcción
Descripción En el entorno de QA se llevan a cabo las siguientes actividades:• El Administrador del entorno de QA avisa a Gestión del cambio para que importe el grupo de pase
desde Desarrollo.• Una vez realizado el cambio de entorno avisar a QA.• Consulta del informe generado a través de MetaData Reporter• Validación por QA de los procesos • Identificación de componentes reutilizables• Generar grupo de pase e informar al Administrador del entorno de Rendimiento grupo de pase
disponible
Roles y Responsabilidades
Gestión del Cambio
Control de Calidad
Rendimiento (Produban)
Entradas Salidas
Grupo de pase a QA
Plantilla de solicitud de cambio de entorno
Grupo de pase a Implantación
Plantilla de solicitud de cambio de entorno
Entregables
Grupo de pase a Implantación
Plantilla de solicitud de cambio de entorno
15
Fase de Despliegue
FASE DESPLIEGUE
Entorno Implantación
Implantar
Sistema
en entorno
Implantación
Parametrizar
Procesos
Pruebas de
Carga
Revisión
Ficheros
de logs
Entorno Producción
Implantar
Sistema
en entorno
Producción
Crear grupo de
pase e
informar
a Producción
16
Fase de Despliegue (entorno Implantación)
Fase Despliegue
Descripción En el entorno de Implantación se llevan a cabo las siguientes actividades:• El Administrador de Rendimiento avisa a Gestión del cambio para que importe el grupo de pase desde
el entorno de QA.• Importar grupo de pase desde QA (Gestión del Cambio)• Una vez realizado el cambio de entorno avisar a Rendimiento.• Parametrización de los procesos• Realización de las pruebas de carga• Estudio del fichero de logs • Generar grupo de pase e informar a Productos (Produban) grupo de pase disponible
Roles y Responsabilidades
Gestión del Cambio
Rendimiento (Produban)
Productos (Produban)
Entradas Salidas
Grupo de pase a Implantación
Plantilla de solicitud de cambio de entorno
Grupo de pase a Producción
Plantilla de solicitud de cambio de entorno
Entregables
Grupo de pase a Producción
Plantilla de solicitud de cambio de entorno
17
Fase de Despliegue (entorno Producción)
Fase Despliegue
Descripción En el entorno de Producción se lleva a cabo la siguiente actividad:• Productos avisa a Gestión del cambio para que importe el grupo de pase desde el entorno de
Rendimiento.• Importar grupo de pase desde Rendimiento (Gestión del Cambio)
Roles y Responsabilidades
Productos (Produban)
Gestión del Cambio
Entradas Salidas
Grupo de pase a Producción.
Plantilla de solicitud de cambio de entorno.
Entregables
19
FASE DE ESPECIFICACION
Ciclo de desarrollo - Metodología Ciclo Largo
FASE CONSTRUCCION
ConstrucciónAnálisis
FASEDEFINICIÓN
Definición Sistema
FASE DESPLIEGUE
Ejecución
Petición
Modelo de Datos
Documentación deEspecificación DDS
Doc. de Especificación
completado
Sistema Implantado
Sistema Construido
20
Fase de Definición
FASE DE DEFINICIÓN
DDS v1
Lanzamiento del
proyecto
Reunión de
lanzamiento
Definición
de Requisitos
Revisión /
Aprobación
del DDS
DDS Validado
Petición
DDS
Definición
del nuevo
sistema
21
Fase de Definición
Fase Definición
Descripción Abarca las siguientes Actividades:• Lanzamiento del proyecto• Definición de requisitos• Reunión de lanzamiento• Definición del nuevo sistema• Revisión / Aprobación del DDS
Roles y Responsabilidades
Cliente / Usuario– Peticionario del nuevo sistema y revisión / aprobación del DDS
Grupo de Desarrollo – Definición de requisitos, organiza la reunión de lanzamiento.
Arquitectura Funcional – Revisa y aprueba el DDS
Arquitectura Técnica – Participa en la reunión de lanzamiento y define la tecnología de desarrollo
Arquitectura Modelo de Datos – Participa en la reunión de lanzamiento
Control de Calidad – Participa en la reunión de lanzamiento
Rendimiento (Produban) – Participa en la reunión de lanzamiento
Planificación – Participa en la reunión de lanzamiento
Metodología – Participa en la reunión de lanzamiento
Productos (Produban) – Participa en la reunión de lanzamiento
Seguridad Lógica – Participa en la reunión de lanzamiento
Entradas Salidas
Solicitud de nuevo sistema DDS
Entregables
DDS
22
FASE DE ESPECIFICACION
Fase de Especificación
Elaborar
Documentos
de Especificación
Revisión/
Aprobación
Modelo de Datos
Modelo de Datos Revisado
Definición /
Diseño
Modelo de Datos
Revisión /
Aprobación
Docs de
Especificación
Docs de Especificación
Revisado
23
Fase de Especificación
Fase Especificación
Descripción Abarca las siguientes Actividades:• Definición / Diseño del modelo de datos• Revisión del modelo de datos• Elaboración de documentos de especificación (proyecto y mappings)• Revisión de documentos de especificación • Cumplimentar la plantilla de especificación de requerimientos funcionales.
Roles y Responsabilidades
Grupo de desarrollo – Define el modelo de datos, solicita la creación de tablas nuevas si fuera necesario y cumplimenta la plantilla de especificación de requerimientos funcionales.
Laboratorio – Necesita un perfil analista que elabore los documentos de especificación a partir de la plantilla entregada por el grupo de desarrollo.
Arquitectura de Datos – Revisión del modelo de datos
Seguridad Lógica – Definición de los usuarios que se tienen que utilizar en los accesos a tablas
Control de Calidad – Reunión previa de “puesta en común” con el grupo de desarrollo. Posteriormente revisa los documentos de especificación
Entradas Salidas
DDS
Modelo de Datos y plantilla de solicitud de tablas (opcional)
Doc de Especificación del Proyecto ETL
Doc de Especificación del Mapping
Conexión a BBDD
Plantilla de especificación de requerimientos funcionales
Entregables
Plantilla de solicitud de tablas (opcional)
Doc de Especificación del Proyecto ETL
Doc de Especificación del Mapping
Plantilla de especificación de requerimientos funcionales
24
Entorno Desarrollo
FASE CONSTRUCCION
Visión Ciclos de Desarrollo -Fase de Construcción
Entorno QA
Entorno Desarrollo
Crear o importar
fuentes y destinos
Diseño Físico
del proceso de
Transformación
Implementar
entorno
de Ejecución
Agrupar procesos
y especificar
condiciones de
ejecución
Revisión
Control de
Calidad
Pruebas
Unitarias
Crear grupo de
pase e informar
a QA
Importar
grupo de
pase
Consultar
informe / Doc.
de Especificación
Crear grupo de
pase e
informar a
Implantación
Actualizar los
Documentos de
Especificación
25
Fase de Construcción (entorno Desarrollo)
Fase Construcción
Descripción En el entorno de Desarrollo se llevan a cabo las siguientes actividades::• Detección de componentes reutilizables• Crear o importar fuentes y destinos• Crear nuevas conexiones a BBDD si fueran necesarias (tanto en el cliente correspondiente como en el
repositorio)• Construcción de procesos para la extracción, conversión y carga
• Diseño físico del proceso de transformación• Implementación del entorno de ejecución • Agrupar procesos y especificar condiciones de ejecución • Pruebas unitarias de los procesos
• Actualizar documentos de Especificación • Generar grupo de pase e informar a Administrador entorno QA grupo de pase disponible
Roles y Responsabilidades
Administrador del entorno de Desarrollo – Crear o importar fuentes y destinos, definición de conexiones a BBDD, generar grupo de pase e informar a Administrador del entorno de QA.
Factoría - Construcción
Entradas Salidas
Modelo de Datos
Documento de Especificación del Proyecto
Documento de Especificación del Mapping
Plantilla de especificación de requerimientos funcionales
Grupo de pase a QA
Plantilla de solicitud de cambio de entorno
Documento de Especificación del Mapping (completado)
Documento de Especificación del Proyecto (completado)
Entregables
Grupo de pase a QA y Plantilla de solicitud de cambio de entorno
Documento de Especificación del Mapping (completado)
Documento de Especificación del Proyecto (completado)
26
Fase de Construcción (entorno QA)
Fase Construcción
Descripción En el entorno de QA se llevan a cabo las siguientes actividades:• El Administrador del entorno de QA avisa a Gestión del cambio para que importe el grupo de pase
desde Desarrollo.• Una vez realizado el cambio de entorno avisar a QA.• Consulta del informe generado a través de MetaData Reporter• Validación por QA de los procesos• Identificación de componentes reutilizables• Generar grupo de pase e informar a al Administrador del entorno de Rendimiento grupo de pase
disponible
Roles y Responsabilidades
Gestión del cambio
Control de Calidad
Rendimiento (Produban)
Entradas Salidas
Grupo de pase a QA
Plantilla de solicitud de cambio de entorno
Documento de Especificación del Proyecto (completado)
Documento de Especificación del Mapping (completado)
Grupo de pase a Implantación
Plantilla de solicitud de cambio de entorno
Entregables
Grupos de pase a Implantación
Plantilla de solicitud de cambio de entorno
27
Fase de Despliegue
FASE DESPLIEGUE
Entorno Implantación
Implantar
Sistema
en entorno
Implantación
Parametrizar
Procesos
Pruebas de
Carga
Revisión
Ficheros
de logs
Entorno Producción
Implantar
Sistema
en entorno
Producción
Crear grupo de
pase e
informar
a Producción
28
Fase de Despliegue (entorno Implantación)
Fase Despliegue
Descripción En el entorno de Implantación se llevan a cabo las siguientes actividades:• El Administrador de Rendimiento avisa a Gestión del cambio para que importe el grupo de pase desde
el entorno de QA.• Importar grupo de pase desde QA (Gestión del cambio)• Una vez realizado el cambio de entorno avisar a Rendimiento.• Parametrización de los procesos• Realización de las pruebas de carga• Estudio del fichero de log• Generar grupo de pase e Informar a Productos (Produban) grupo de pase disponible
Roles y Responsabilidades
•Gestión del cambio•Rendimiento (Produban)•Productos (Produban)
Entradas Salidas
Grupo de pase a Implantación
Plantilla de solicitud de cambio de entorno
Grupo de pase a Producción
Plantilla de solicitud de cambio de entorno
Entregables
Grupo de pase a Producción
Plantilla de solicitud de cambio de entorno
29
Fase de Despliegue (entorno Producción)
Fase Despliegue
Descripción En el entorno de Producción se lleva a cabo la siguiente actividad:• Productos avisa a Gestión del cambio para que importe el grupo de pase desde el entorno de
Rendimiento.• Implantar el sistema en el entorno de Producción (Gestión del cambio)
Roles y Responsabilidades
Productos (Produban)
Gestión del cambio
Entradas Salidas
Grupo de pase a Producción
Plantilla de solicitud de cambio de entorno
Entregables
31
Circuito Reutilización
Identificar ComponenteReutilizable
Encontrado?
Desarrollar Componente
Buscar en Catálogo
Catálogo
Solicitar Componente
Laboratoriode DataMartsLaboratorio
de DataMarts
Reutilización del Componente
Laboratoriode DataMartsLaboratorio
de DataMarts
Inclusión
en Catálog
o
Si
No
Petición Aceptada
?
Si
Informado
NO es reutilizab
le
No
Laboratorio/ Centro de Competencia
Factoría
Laboratorio/ Centro de Competencia
Factoría
33
Grupos
Laboratorio / Centro de Competencias / Factoría Administrador ( estas tareas son comunes a todos los entornos, existe una figura “Administrador
repositorio PowerCenter” en cada uno de los entornos lógicos de la instalación ) crea los grupos de pase copiar objetos de la carpeta de traspasos a las finales definir carpetas de destino y editar sus propiedades configurar conexiones a bbdd importar definiciones de fuentes y destinos
Analista (*) elabora el documento de especificación del proyecto y de los mappings identifica objetos reutilizables solicita inclusión de objetos en el catálogo
Programador desarrolla y modifica procesos de carga crea mappings, sesiones y workflow realiza pruebas unitarias recomienda parametrización parametriza completa el documento de especificación del mapping soluciona los errores detectados durante las pruebas unitarias y el control de calidad
(*) Este perfil tiene que cubrirlo una persona con amplios conocimientos en modelado de procesos de PowerCenter
34
Seguridad Lógica Dar de alta usuarios/grupos en el repositorio de Desarrollo de
PowerCenter Participa en la reunión de lanzamiento para especificar los usuarios de
conexión a bbdd necesarios para acceder a las distintas tablasControl de Calidad
Administradoradministrar el repositorio de QA ( ver detalle de tareas en la
descripción del laboratorio de ETL )creación de grupo de pase al entorno de Implantación
Revisorrevisar que los procesos cumplen la normativa especificadaidentifica objetos reutilizablessolicita inclusión de objetos en el Repositorio Global dar su aprobación para el paso a implantación
Grupos
35
Grupos
Rendimiento Administrador
administrar el repositorio de implantación ( ver detalle de tareas en la descripción del laboratorio de ETL )
creación de grupo de pase al entorno de Producción Ejecutor de Pruebas
pruebas de rendimiento (incluyendo parametrización) dar su aprobación para el paso a producción
Productos (Produban) administrar el repositorio de producción ( ver detalle de tareas en la descripción del
laboratorio de ETL ) Gestión del Cambio
recibe las peticiones de cambio de entorno de los administradores de los repositorios origen correspondientes
consulta a los administradores de los repositorios de destino correspondientes acerca de la viabilidad de realizar el cambio de entorno
realiza el cambio de entorno según los procedimientos establecidos ( táctico/estratégico ) notifica a los administradores de los repositorios de origen/destino correspondientes el
resultado del cambio de entorno Planificación
planifica las ejecuciones de los procesos avisa de fallos en la ejecución automática de los mismos
36
Roles
Entorno Roles Departamento implicado
Creación usuarios de Desarrollo (script) Seguridad Lógica/Corporativa ??
Administrador Repositorio Desarrollo Laboratorio de Datamart’s
Desarrollo
Identificación y mantenimiento componentes reutilizables locales
Laboratorio de Datamart’s. Identificación también QA.
Identificación y mantenimiento componentes reutilizables globales
Grupo único que recibe la información de todos los grupos de mantenimiento de componentes reutilizables locales
Analista Orgánico PowerCenter Para cada entidad, n analistas orgánicos en los grupos de
desarrollo
Desarrolladores Para cada entidad n grupos.
Creación de grupo de pase a QA Grupo de desarrollo que administra el repositorio de
Desarrollo
Creación de usuarios de QA (script) Control de Calidad
Administrador Repositorio QA Control de Calidad
QA Cambio de entorno desde Desarrollo a QA Gestión del Cambio
Revisores QA Control de Calidad
Creación de grupo de pase a Implantación Control de Calidad
37
Roles
EntornoRoles Departamento implicado
Creación usuarios de Implantación (script)
Rendimiento (Produban)
Administrador Repositorio Implantación Rendimiento (Produban)
Implantación
Cambio de entorno desde QA a Implantación
Gestión del Cambio
Pruebas de rendimiento ( incluye parametrización )
Rendimiento (Produban)
Creación de grupo de pase a Producción Rendimiento (Produban)
Creación usuarios Producción (script) Productos (Produban)
Producción
Administrador Repositorio Producción Productos (Produban)
Cambio de entorno desde Implantación a Producción
Gestión del Cambio