sistema de consolidacion de almacenamiento y backup con sistema secundario en centro de respaldo

Vicegerencia de las TIC 1

SISTEMA DE CONSOLIDACION DE ALMACENAMIENTO Y BACKUP

CON SISTEMA SECUNDARIO EN CENTRO DE RESPALDO

Javier Garcés

INDICE

• INTRODUCCION

• CONCEPTOS

• CONCURSO

• DESCRIPCION DE LA SOLUCION

• ESTADO DEL PROYECTO

• LINEAS FUTURAS DE ACTUACION

INTRODUCCION

• OBJETIVOS DE LA PRESENTACION

– Conocer el proyecto

– Orientado a los responsables de servicio que necesiten almacenamiento

INTRODUCCION

• ORIGEN DEL PROYECTO

– EVOLUCION ALMACENAMIENTO: TENDENCIAS (mayor capacidad, mayor rendimiento, más flexibilidad, más seguridad, consolidar)

• DISCOS INTERNOS

• DISCOS EXTERNOS

• REDES DE ALMACENAMIENTO– NAS

– SAN:FC, iSCSI

INTRODUCCION

– Vicegerencia de las TIC: dentro del marco de las nuevas tendencias surge el proyecto:

• CONSOLIDACION del ALMACENAMIENTO: buscar más capacidad, rendimiento, flexibilidad, seguridad y mayor facilidad de administración

• CONSOLIADACION del BACKUP (Networker / Tivoli)

• SEGURIDAD: CENTRO DE RESPALDO

CONCEPTOS

• ALMACENAMIENTO– DAS– NAS– SAN:Fibre Channel,FABRIC,iSCSI

• BACKUP– BACKUP A DISCO– NDMP– SNAPS

CONCEPTOS

• DAS (Direct Attached Storage)

– Método tradicional de almacenamiento y el más sencillo

– El almacenamiento se conecta directamente al servidor

– Las necesidades actuales (más capacidad, más rendimiento, más flexibilidad, consolidación, facilitar la administración), lo vuelven obsoleto => soluciones de almacenamiento en red

CONCEPTOS

• NAS (Network-attached storage):

– tecnología de almacenamiento dedicada a compartir la capacidad de almacenamiento de un servidor con otros equipos a través de una red (TCP/IP) haciendo uso de un sistema operativo optimizado para dar acceso con los protocolos CIFS (entornos Windows), NFS (entornos Unix),…

CONCEPTOS

• NAS: los protocolos de comunicaciones que usa están basados en acceso a ficheros (NFS, CIFS)

• NAS: generalmente dispositivos de almacenamiento específicos

CONCEPTOS

• NAS (diferencias de NAS sobre DAS)– Posibilidad de compartir las unidades entre

servidores– Menor coste– Utilización de la misma infraestructura de red– Gestión más sencilla– Como desventajas le achacan o achacaban:

• Menor rendimiento• Menor fiabilidad

CONCEPTOS

• SAN (Storage Area Network): red para conectar servidores, cabinas de discos y librerías de respaldo principalmente => RED DE ALMACENAMIENTO

– Tecnologías: Fibre Channel o iSCSI– Modo de acceso a nivel de bloque, los

servidores acceden directamente al almacenamiento como si se tratasen de discos locales siéndoles transparente el acceso a través de la red

CONCEPTOS

• SAN basada en tecnología Fibre Channel

– FC: protocolo de acceso a redes de almacenamiento altamente especializado y estandarizado. Proporciona un alto rendimiento.

– Realmente es un protocolo que usa comandos SCSI al que se le han añadido las capas (FC-0…FC-4) necesarias para poder transportar los comandos SCSI

– Los puertos FC se conectan punto a punto (switch, FC-SW) o en anillo (FC-AL)

– Latencia: SAN diseñada para minimizar el tiempo de respuesta del medio de transmisión

CONCEPTOS

- Implementado sobre fibra o cobre

-Conectividad: múltiples servidores accediendo a las mismas cabinas de discos o librerías de cintas

-Los servidores se conectan al almacenamiento mediante HBA (Host Bus Adapters) de FC y switches FC formando lo que se denomina la FABRIC

CONCEPTOS

-Distancia: hasta 10KM sin enrutadores dependiendo del medio físico (fibra óptica monomodo)

-Velocidad: 1, 2 ó 4Gbps

CONCEPTOS

• SAN basada en tecnología Fibre Channel-Seguridad:

Cada puerto FC tiene un identificador único llamado WWN (World Wide Name) que es una dirección de 64 bits

Se crean zonas (zonning) en la red de almacenamiento (FABRIC) en base a los WWN. Una LUN (Logical Unit Number) o “disco” sólo es visible dentro de la zona a la que pertenece, es decir, sólo será accesible por aquellos servidores cuyas HBAS estén dentro de la misma zona a la que pertenece la LUN

CONCEPTOS

• SAN (iSCSI):– Internet SCSI (iSCSI) es un estandar oficial

ratificado el 11 de Febrero de 2003 por la Internet Engineering Task Force que permite el uso del protocolo SCSI sobre redes TCP/IP. iSCSI es un protocolo de la capa de transporte definido en las especificaciones SCSI-3.

CONCEPTOS

• SAN (iSCSI):– Solución más barata que FC– Encapsulamiento a nivel de SO o de

hardware específico

CONCEPTOS

• DIFERENCIAS SAN/NAS

– SAN orientado a acceso por bloque frente a fichero de NAS (nfs,cifs)

– Latencia baja en SAN frente a una mayor latencia de NAS debida al protocolo (IP)

– La información sólo es accedida por un servidor en SAN, mientras que en NAS puede ser compartida

– Se necesita hardware específico para SAN

CONCEPTOS

• BACKUP– NDMP– BACKUP A DISCO– SNAP

CONCEPTOS

• BACKUP: NDMP (Network Data Management Protocol)

– Es un protocolo abierto creado por las compañías NetApp y Legato (hoy EMC) que permite realizar copias de seguridad en entornos heterogéneos en los que existen dispositivos de almacenamiento empotrados

– Hay modelos de NAS que lo incluyen como standard, evita la instalación de software de terceros para realizar el backup

CONCEPTOS

• BACKUP: Backup a Disco– Utilizar disco barato como si fuese cinta

– Mayor rendimiento para el backup y las recuperaciones

– Staging a cinta: pasar las copias de seguridad de disco a cinta

CONCEPTOS

• BACKUP: SNAP /CHECKPOINT– PUNTOS DE CONSISTENCIA DE LA INFORMACION (ES UNA FOTO

DE LA INFORMACION EN UN INSTANTE DE TIEMPO CONCRETO)

– SE GENERAN AL INSTANTE (COPIA A NIVEL DE APUNTADORES)

– LA RECUPERACION ES RAPIDA

– SE NECESITA ESPACIO PARA IR MANTENIENDO LO QUE SE MODIFICA PARA PODER RECUPERAR LA “FOTO” EN CASO NECESARIO

– PUEDE IMPACTAR EN EL RENDIMIENTO PORQUE HAY QUE ESCRIBIR DOS VECES (DATO ORGINAL Y DATO MODIFICADO)

CONCURSO

• DESCRIPCION DEL PROYECTO

– SOLUCION DE ALMACENAMIENTO CONSOLIDADO CON GESTION CENTRALIZADA

– SOLUCION DE RESPALDO MEDIANTE REPLICACION SINCRONA O ASINCRONA

CONCURSO

• DESCRIPCION DEL PROYECTO

– RENOVACION SISTEMA DE BACKUP (INTEGRACION CON EL CIG)

– MIGRACION ALMACENAMIENTO SERVICIOS

– IMPLANTACION NUEVOS SERVICIOS (SERVICIO DE FICHEROS-AUTENTICACION LDAP)

CONCURSO

• LICITADORES– IBM (Altia, OpenNorte)– EMC (Bull, Omega, Cycma, Yaqs,Telefónica,

IECISA– Hitachi (INDRA)– HP (Novabase,SCC,Scorpion)– NetApp (SATEC)– SUN (Unitronics)

CONCURSO

• RESOLUCION

– Arquitectura y tecnología ofertada– Capacidad, rendimiento y escalabilidad– Redundancia y seguridad de la solución– Plan de implantación– Servicios de valor añadido y mejoras

CONCURSO

• ADJUDICATARIO

OMEGA-EMC

DESCRIPCION DE LA SOLUCION

• ALMACENAMIENTO– CPD PRINCIPAL: ED. AULARIO II– CPD SECUNDARIO: ED. RECTORADO

• BACKUP

• VIRTUALIZACION

• SERVICIOS

• ALMACENAMIENTO SAN: – BASADO EN CLARIION CX3-80 DE EMC

• ALMACENAMIENTO SAN:características CLARIION CX3-80

– DENTRO DEL ESCALON DE LA GAMA ALTA– ALTA DISPONIBILIDAD, FIABILIDAD,

SENCILLEZ DE GESTION– 8 CANALES FC DE FRONT-END (conexiones

a fabric) Y 8 FC DE BACK-END (conexiones a anillos de discos) a 4Gbps

– CPU’s a 3,8Ghz

– CACHE de 8GB ampliable a 16GB

– HASTA 480 DISCOS • 73,146,300,500,750GB

• FC, SATA II

– TODOS LOS ELEMENTOS REDUNDADOS N+1 : (PROCESADORES,VENTILADORES,CACHE DE ESCRITURA EN ESPEJO, ANILLOS DE FIBRA,ALTA DISPONIBILIDAD DE LOS DAE’s)

– SOPORTE REMOTO

CLARIION CX3-80: procesadoras

CLARIION CX3-80:DAE’s (bandejas de discos)

• CLARIION CX3-80: SPS

• CLARIION CX3-80: ADMINISTRACION– SOFTWARE NAVISPHERE

• DISCOS FISICOS• RAID GROUPS (RAID 1, RAID 5)• LUN’s: porción de un RAID GROUP• STORAGE GROUPS: agrupaciones de HOSTS y

LUN’s• MIRRORS: establecer réplicas (LUN origen y LUN

destino)

• ALMACENAMIENTO-NAS: basado en Celerra modelos NS704G/702G

• ALMACENAMIENTO-NAS: NS704G/702G– La NAS está formada por DATAMOVERS– 4 Y 2 DATAMOVERS– CADA DATAMOVER

• DOBLE PROCESADOR INTEL 3,2GHZ PENTIUM IV

• 512MB CACHE NIVEL 2• 4GB DDR RAM• 2 PUERTOS FC PARA CONEXIÓN A CABINA• 2 PUERTOS FC PARA CONEXIÓN A LIBRERÍA• 8 PUERTOS Gb ethernet (6 RJ45 Y 2 de fibra)

• ALMACENAMIENTO-NAS: NS704G/702G• SO: DART• CARACTERISTICAS DART

– NFS V2,3,4, CIFS, FTP, ISCSI– NDMP

• SOPORTE REMOTO• ALTA DISPONIBILIDAD• CONTROL STATION PARA ADMINISTRAR• CONSOLIDACION SERVIDORES (DE 25 A 100

SERVIDORES DE FICHEROS)

• ALMACENAMIENTO-NAS: NS704G/702G

• ALMACENAMIENTO-NAS: NS704G/702G– ADMINISTRACION: EMC Celerra Manager

• DATA MOVERS• ALMACENAMIENTO• FILESYSTEMS• QUOTAS• CHECKPOINTS• SERVIDORES CIFS

• ALMACENAMIENTO-NAS: NS704G/702G– ADMINISTRACION: EMC Celerra Manager

• NFS EXPORTS• Iscsi• REPLICACIONES• INTERFACES DE RED

• ALMACENAMIENTO-NAS: NS704G/702G– ADMINISTRACION DE FILESYSTEMS

• REALMENTE LA NAS NO ES MAS QUE UN GATEWAY. EL ESPACIO EN DISCO LO OBTIENE DEL CLARIION

• EL CLARIION LE PROPORCIONA UNA SERIE DE LUNS

• ALMACENAMIENTO-NAS: NS704G/702G– ADMINISTRACION DE FILESYSTEMS

• CON LAS LUNS FORMA POOLES SEGÚN EL TIPO DE RAID (configuración 4+1 para mayor rendimiento, configuración 8+1 para ahorro)

• MEDIANTE UN GESTOR DE VOLUMENES LOGICOS SE ASINA ESPACIO A PARTIR DE LOS POOLES PARA LOS FILESYSTEMS (UN MISMO FILESYSTEM PUEDE ESTAR REPARTIDO ENTRE MUCHOS DISCOS SIMULTAMEAMENTE)

DESCRIPCION DE LA SOLUCION: CELERRA MANAGER

• ALMACENAMIENTO-REPLICA

– SAN: MIRRORVIEW• REPLICA SINCRONA• REPLICA A NIVEL DE LUN• LAS PROCESADORAS DEL CLARIION SON LAS

QUE SE ENCARGAN DE REPLICAR A NIVEL DE FC

• ALMACENAMIENTO-REPLICA

– NAS: Celerra IP Replicator• REPLICA ASINCRONA: DESFASE 1 MINUTO• REPLICA A NIVEL DE FILESYSTEM• EL DATAMOVER SE ENCARGA DE LA REPLICA

A NIVEL DE IP

• CPD PRINCIPAL

– 1CLARIION CX3-80 + Pc de gestión– 1 NS704G + estación de control– 2 SWITCHES FC BROCADE 4100

• CPD PRINCIPAL– CLARIION CX3-80– 85 DISCOS FC 4Gbps DE 73GB A 15.000rpm (6,2TB brutos)– 20 DISCOS FC 2Gbps DE 146GB A 15.000rpm (2,9TB brutos)– 60 DISCOS FC 2Gbps DE 300GB A 10.000rpm (18TB brutos)– 15 DISCOS SATA II DE 500GB A 7.200rpm (7,5TB brutos)– 8GB de cache– 8 puertos FC de 4Gbps– Software de replicación síncrona entre cabinas (Mirrorview)– Software de gestión Navisphere– Software de terceras copias Snapview SNAP– Software de terceras copias Snapview CLONE– TOTAL: 34,6TB brutos

• CPD PRINCIPAL

– NAS NS704G(CELERRA)– ESTA FORMADA POR DATAMOVERS (lo que

serían servidores)– 4 DATAMOVERS CON 2 CPU A 3GHZ– Para cada datamover:– 8 CONEXIONES Gb ethernet

• 2 conexiones FC 2Gbps hacia cabina de discos

• 4GB EN CACHE

• 2 conexiones FC 2Gbps hacia librería

• CPD PRINCIPAL– 2 SWITCHES BROCADE 4100 DE 2/4Gbps

con 24 puertos ampliable a 32

• CPD SECUNDARIO– 1CLARIION CX3-80 + pc de gestión– 1 NS702G + estación de control– 2 SWITCHES FC BROCADE 4100

• CPD SECUNDARIO– CLARIION CX3-80– 45 DISCOS FC 2Gbps DE 300GB A 10.000rpm (13,5TB brutos)– 45 DISCOS SATA II DE 500GB A 7.200rpm (22,5TB brutos)– 8GB de cache– 8 puertos FC de 2Gbps– Software de replicación síncrona entre cabinas (Mirrorview)– Software de gestión Navisphere– Software de terceras copias Snapview SNAP– Software de terceras copias Snapview CLONE– TOTAL: 36,5TB brutos

• CPD SECUNDARIO

– NAS NS702G(CELERRA)– 2 DATAMOVERS CON 2 CPU A 3GHZ– Para cada datamover:

• 8 CONEXIONES Gb ethernet• 4GB EN CACHE• 2 conexiones FC 2Gbps hacia cabina de discos• 2 conexiones FC 2Gbps hacia librería

• CPD SECUNDARIO– 2 SWITCHES BROCADE 4100 DE 2/4Gbps

con 16 puertos ampliable a 32

• SISTEMA DE BACKUP

– LIBRERÍA ADIC ISCALAR 500 CON 4 DISPOSITIVOS LTO3 Y 128 SLOTS

• LTO3: cada cinta 400/800GB• LTO3: 80/160MB/seg

– SERVIDOR POWERWDGE 6950• 4 PROCESADORES DUAL CORE• 4GB RAM• 2 HBA FC

• SISTEMA DE BACKUP– NETWORKER 7.3.3– Licencias Networker

• Licencia BACKUP A DISCO: 6TB • Licencias NDMP• Licencias Oracle (RMAN)• Licencias Dedicated Storage Node

DEDICATEDSTORAGE NODE

SERVIDORBACKUPS(PE 6950)

LIBRERÍA(ADIC I500)

Datos e Indices

CLIENTELAN

Indices

• VIRTUALIZACION: complemento al proyecto -> servidores en el CPD secundario

– 1 SERVIDOR HP DL580• 4 PROCESADORES DUAL CORE• 8GB RAM

– 1 LICENCIA VMWARE ESX

• SERVICIOS– DISEÑO E IMPLANTACION SOLUCIÓN

ALMACEMANIENTO Y BACKUP– MIGRACION ALMACENAMIENTO– SOLUCION TECNICA PARA SERVICIO DE

FICHEROS– 1 PERSONA POSTPROYECTO– 160 HORAS DE CONSULTORIA

ESTADO DEL PROYECTO

• SERVICIOS MIGRADOS

• SERVICIOS PENDIENTES DE MIGRACION

• SERVICIO DE FICHEROS

• BACKUP

ESTADO DEL PROYECTO

– SAN:

• ENTORNO DE DESARROLLO DEL CIG• ENTORNO DE INTEGRACION DEL CIG• ENTORNO DE PRODUCCION DEL CIG• PORTAL WEB NUEVO: INTERWOVEN

ESTADO DEL PROYECTO

– NAS:• TABLONES• MOODLE Y MOODLETIC• CORREO ALUMNOS: IKASLE• CORREO PDI: MAILIN• PORTAL WEB NUEVO: APACHE• LOTUS NOTES DESARROLLO

ESTADO DEL PROYECTO

• SERVICIOS PENDIENTES MIGRACION– SAN

• ENTORNO PRUEBAS DEL CIG: pendiente porque no existe dicho entorno

– NAS• SERVICIOS CIG: LOTUSNOTES PRODUCCION,

REPOSITORIO FOTOS META4, AGH, SERVICIO MEDICO: pendientes de migración puestos de usuarios al active directory

ESTADO DEL PROYECTO

• PORTAL WEB VIEJO: APACHE e IIS-> pendiente por pruebas nuestras con ISCSI y redefinición del servicio ALWEB

• PORTAL WEB NUEVO: WEBLOGIC

ESTADO DEL PROYECTO

• SERVICIO DE FICHEROS

– ACTIVE DIRECTORY: ADM.EHU.ES

– SINCRONIZACION LDAP-ACTIVE DIRECTORY

– MIGRADOS A NAS SERVICIOS DE FICHEROS VIEJOS: PAS_BIZKAIA

– IMPLEMENTADOS Y PUBLICADOS NUEVOS SERVICIOS: BILDU, GORDE y GORDETALDE

ESTADO DEL PROYECTO

• BACKUP– PENDIENTE INTEGRACION CON CIG

LINEAS FUTURAS DE

ACTUACION

LINEAS FUTURAS DE ACTUACION

• ESTUDIOS DEL RENDIMIENTO

• CONSOLIDACION NUEVOS SERVICIOS

• USO DE CHECKPOINTS

• PRUEBAS DE ISCSI

• AMPLIACION DISCO SERVICIO DE FICHEROS

• VIRTUALIZACION

• ESTUDIO DEL RENDIMIENTO– PROCESADORAS– RAID-GROUPS– FILESYSTEMS

RENDIMIENTO PROCESADORAS

RENDIMIENTOS

• CONSOLIDACION NUEVOS SERVICIOS:– EN FUNCIÓN DEL RENDIMIENTO

• USO DE CHECKPOINTS – EN FUNCION AL RENDIMIENTO– FACILITAR PROCESO DE RECUPERACIONES

• PRUEBAS DE ISCSI– RENDIMIENTO OPTIMO??– ELIMINAR COSTES (HARDWARE)

• AMPLIACION DISCO SERVICIO DE FICHEROS– AMPLIAR CUOTAS SERVICIOS DE FICHEROS

• VIRTUALIZACION

sistema de consolidacion de almacenamiento y backup con sistema secundario en centro de respaldo

Documents

sistema backup online

teis consolidacion

consolidacion apuntes

restore backup

as400s backup

---------------------------------------------------------- ·...

consolidacion ejercicio

backup google+

vicegerencia de las tic1 sistema de consolidacion de...

consolidacion osea

cómo diseñar un sistema de backup para su compañía

estudio de mejora de un sistema de backup … · una vez...

veeam backup

consolidacion primaria

sesion 2 - 3 conociendo el sistema, backup

backup mysql

consolidacion unidimensional

ms04 consolidacion

acidos carboxilicos backup backup

backup pliegos