housing del cpd principal: experiencia de traslado y puesta en marcha jorge.moreno@catastro.meh.es

Housing del CPD principal: Experiencia de traslado y puesta en marcha

jorge.moreno@catastro.meh.es

Antecedentes

• Introducción. Motivación del Housing• Traslado

– FASE 1: Implantación CPD– FASE 2: Implantación infraestructura de LAN/WAN/SP– FASE 3: Traslado– FASE 4: Modelo gestión del servicio

• Principios de diseño

Introducción

Motivación del Housing

Antecedentes

• Sistemas de información del catastro:– Distribuidos en 52 Gerencias– Se consolidan en SSCC (BDN)– Se explotan y difunden al exterior por la OVC

• Cada uno de estos entornos estaba en un

CPD dedicado:– 52 gerencias (BBDD Provinciales)– Castellana, 272 Madrid (BDN)– Alcalá 5 y 7 Madrid (OVC - Internet)

• Entorno complicado de mantener:– Refrigeración y alimentación eléctrica– > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad,

etc)– Necesario replicar datos para asegurar coherencia

Primeros intentos de consolidación

• Consolidación de servidores en Castellana, 272– Para liberar espacio, se consolidan servidores utilizando blades

(servidores en tarjeta)• Alimentación eléctrica dice ¡BASTA!

• Problemas de Aire Acondicionado

• Implantación de acceso Internet y Seguridad Perimetral en Castellana

• Movimiento de Web Catastro desde Alcalá• Centralización de datos• Centralización de acceso Citrix• Centralización de correo electrónico

Alternativas…

• Primera opción: Nuevo CPD en Castellana, 272– Imposible por edificio histórico, etc.

• Segunda opción: Alojamiento en otro CPD de la AGE

• Tercera opción: CPD en Housing.

Primer CPD principal de la AGE externalizado

• Ventajas:– Escalable: espacio reservado para posible

crecimiento– Servicios e infraestructuras 24 x 7. Monitorización de

servicios, control de accesos– Independiente de los servicios de infraestructura del

edificios AGE– Facilidad para añadir servicios a la plataforma HW

• Inconvenientes:– Desplazamientos– Alquiler mensual jaula– Administración remota

Evaluación de alternativas

– Redacción de pliego. Factores Críticos de Éxito:

• Cercanía• Flexibilidad• Disponibilidad• Servicios de valor añadido

– Solicitud de ofertas:• COLT• Interxion• Global Switch• Telvent• Otras (10)

Elección de ubicación

• La elección: COLT Telecom, Avenida de Manoteras, 42– Mejor ubicación física– Mejor acceso por trasporte público– Mejores servicios:

• Cableado cobre y fibra• Manos remotas• Etc.

¿Qué contratamos?

• Alta e implantación del espacio físico (“jaula”)• Traslado de equipos• Servicios de alojamiento en Housing.

– Suministro eléctrico, seguridad, temperatura, humedad…

• Servicios de control y monitorización remota 24x7• Servicios de operación remota.• Perfiles técnicos añadidos

• Plazo 15 meses 1 junio 2008-31 agosto 2009• Alta e implantación

– 35.000 € + 300.000 €

• Alojamiento housing– 61,500 €/mes 738.000€ anual

Un proyecto y una oportunidad de mejora

• Un Proyecto: Gestión de:• Alcance• Integración• Tiempos• RRHH• Riegos• Configuraciones• Suministros• Calidad

• Oportunidad de mejora:– Consolidación de servidores.– Redimensionamiento comunicaciones– Incremento de la seguridad.– Nuevo modelo de explotación.

Plan de traslado

• Se creó una oficina de proyecto para centralizar las operaciones

• Se recogieron datos de los CPD existentes• Se tomaron decisiones:

– Traslado en un solo fin de semana– Traslado de equipos de preproducción con anterioridad (un día)– Un solo camión por CPD

• Se realizó un plan de proyecto, teniendo en cuenta:– Plazos de entrega e instalación de nuevos equipos– Plazos de provisión del servicio de operadores– Cortes de servicio por parte de Catastro hacia agentes externos– Disponibilidad de recursos humanos

Plan de traslado

• Se coordinó la logística y las actuaciones de las diferentes empresas:– Telefónica y sus filiales– T-Systems– Equipo de Redes de HP– Equipo de traslados de HP– Almacenamiento de datos EMC– GMV-SGI (Seguridad Perimetral)– COLT

• Se coordinó la interconexión con distintos organismos– SGTIC- MEH– Agencia Tributaria– Segipsa– Punto Neutro Judicial

• Plan de comunicación interno y externo

FASE 1

IMPLANTACIÓN CPD

IMPLANTACIÓN CPD

• Recopilación de datos de equipos y racks• Diseño de espacio en CPD COLT• Diseño de sistema de cableado y etiquetado• Nuevas normas de uso• Reconfiguración equipos existentes• Implantación y acondicionamiento de la jaula (COLT)• Pedidos de materiales COLT y adicionales

Recopilación de datos

• Recogidos datos de 19 Racks:– 16 Racks de equipos– Symmetrix (2 racks)– Clariion (1)

• Se añaden nuevos racks de infraestructura:– Comunicaciones + Seguridad (4)– SAN (1)

• Faltan Racks de nuevos Superdome (3)• Total Estimado=27 Racks• Recogida de datos en hoja Excel:

– Dimensiones– Distribución de Us– Requisitos eléctricos– Conectividad de red (puertos y VLANs)

Diseño del espacio

Espacio asignado: 60m2

Diseño del espacio

• Tres filas de Racks• 31 Racks alojados• 0 Racks disponibles• Estructura Pasillo Frío/Caliente

– Pasillo frío: • Las máquinas tienen los frentes orientados a él• Cuenta con rejillas/baldosas perforadas

– Pasillo Caliente:• Las máquinas expulsan el aire caliente a él

Diseño de sistema de cableado y etiquetado

• Reutilizable• Busca la mínima intervención para un mantenimiento

óptimo• Código de colores basado en “capuchones” para los

cables• Si un servidor ya está parcheado a un switch, el cambio

de VLAN no implica reparcheado.– Siempre que esa VLAN esté en ese switch

• Sistema de etiquetado. Opciones:– Ubicación físicas (Us)– Nombres de máquinas (origen y destino)

Nuevos Armarios, Switches y Firewalls

• Un armario para cada switch, y el firewall de su zona.– Proporciona redundancia– Permite hacer intervenciones en un

rack/switch/firewall sin afectar a los demás– Parcheo sobredimensionado aporta flexibilidad– Altura (48u) y anchura extra (750 mm) permiten

¡Cerrar la puerta!• Asignación

– Zona externa: Armarios A y B– Zona interna: Armarios C y D– SAN: Armario E

Nuevos Armarios, Switches y Firewalls

A B C D

Nuevas normas de uso

• Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución

• Documento con normas para cableado y racks (pendiente)

Reconfiguración equipos existentes

• A nivel de red– Uso de códigos de colores

• A nivel físico (cambio de rack)– Necesario liberar 4 últimas u de cada rack

• Recableado de corriente– Cables cruzados entre armarios– Distribución ineficiente de PDUs

• Todo en hoja de tareas previas pendientes (se actualiza)• Conexión de tarjetas de control remoto

– Creación de VLAN dedicada

• Recableado de KVM– Unión de máquinas hacia KVMs IP

FASE 2

IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD

IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD

• Diseño e implantación de nueva LAN• Diseño e implantación de nueva infraestructura base de

SP• Migración de circuitos de Telefónica (WAN)• Migración de circuitos de T-Systems (LAN)• Migración de DWDM de Telefónica• Preparado para

“Plug & Play”

Diseño e implantación de nueva LAN

• Nueva LAN de producción– Los antiguos equipos no se trasladan– Tecnología CISCO– Fisicamente separada en dos

• Redes Externas (Internet)• Redes Internas

– Busca redundancia y alto rendimiento– Preconfigurada para plug & play

• Nueva LAN de gestión– Tecnología HP Procurve– Fisicamente separada en dos

• Redes Externas (Internet)• Redes Internas

– Complementa a la red de producción para tareas de gestión, backup, etc.

– Preconfigurada para plug & play

Diseño e implantación de nueva LAN

• Nueva LAN en Castellana– El CPD está en otro edificio. ¿es necesario retrasmitir

todo el tráfico a el? Configuración routing en Castellana

– Configuración interconexión Castellana Manoteras

Nueva infraestructura de Seguridad Perimetral

• Nuevos Firewall Internos, Externos y de Gestión– Permiten traslado plug & play, con una infraestructura

probada• Cambio de CPD implicaba cambio de Ips y reglas de firewall

– Alta disponibilidad

Implantación LAN/WAN/SP

Implantación LAN/WAN/SP

Comunicaciones

• Traslado de línea DWDM (Telefónica) Camino crítico• Traslado / Alta /Baja de líneas WAN (Telefónica)

– Accesos Macrolan– Punto a Punto– Frame Relay– ¡¡¡Cuidado con el enrutamiento!!!

• Acceso IP de la centralita – Nuevo circuito MPLS

• Traslado de líneas de Internet (T-systems)– Traslado de 2 de los 4 circuitos previamente – Traslado de una clase C al Nuevo CPD – Los dos restantes (Orange) se instalaron 15 días después del

traslado– ¿Dónde se ubican los equipos?

Reconfiguración de VLANs

• VLANs de usuarios de Castellana se enrutarán en el propio edificio.– Es necesario partir VLAN

de servidores OVC de los usuarios para no transmitir el nivel 2

• Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3

• Se renumeran VLANs

Red

Zona Externa

101 Internet

102 DMZ

103 DMZ-OVC

104 INTRAFW

Servidores

201 SERVIDORES INTERNOS

202 BACK-END OVC

203 CENTRALIZACIÓN

Interconexiones

301 MEH - IA

302 EXTRANET

Usuarios

401 LAN - SSCC

402 OVC-INTERNA

403 LDC

404 GERENCIAS

Gestión

501 Gestión - Externa

502 Gestión - DMZ

503 Gestión - DMZ - OVC

504 Gestión - IntraFW

505 Gestión - srvint

506 GESTION

507 Gestión Remota

Heartbeat

601 Heartbeat común - Interno

602 Heartbeat común - Externo

FASE 3

TRASLADO

Planificación del traslado

• Participantes:– HP realiza el traslado– COLT apoyo en CPD– EMC y Oracle apoyo para sistemas específicos– Disponibilidad de RRHH

• Elección de fechas. 2 posibilidades:– Finales julio – Principios septiembre

• Estrategia de migración• Plan de traslado

– Consolida y coordina procedimientos para cada Área o suministrador

• Plan de contingencia• Plan de continuidad de servicio

Plan de traslado

• Previo:– Ensayo de apagado– Ensayo de backup TOTAL

Plan de traslado: Prerequisitos

• Electrónica de red CISCO implantada• Electrónica de red CISCO configurada de acuerdo con los

servidores• Electrónica de red de Seguridad implantada• Cableado estructurado implantado• Cableado de alimentación implantado• Problemas en racks solucionados antes

– Etiquetado máquinas e interfaces– Máquinas bien colocadas (4 ultimas u libres)– Eliminadas dependencias cruzadas (red, corriente, etc.)– Conectores CETACT OK

• Línea DWDM trasladada o Conversores FC-IP disponibles y probados

• Procedimiento de backup total

Plan de traslado: Continuidad de servicio

• Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal– DNS– SMTP de cara a Internet y el MEH, con cola de correo– Servidor Web, con página de “Ahora no podemos atenderles”

Plan de traslado: Fases

• Backup total• Desconexión y embalado de equipos y accesorios.• Traslado• Montaje en la nueva ubicación, con reconfiguración en

su caso• Cableado• Puesta en producción

• Se inicia un día antes para preproducción

Plan de traslado: Estado Inicial

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Traslado

Plan de traslado: Traslado

Traslado (18 de julio de 2008)

• Fases:– Embalado equipos en

origen– Traslado equipos – Desembalado en

destino– Integración en el

sistema de cableado estructurado

– Conexión de equipos según base de datos

– Encendido

FASE 4

MODELO DE GESTIÓN DEL SERVICIO

Gestión del servicio

• A definir conjuntamente con COLT• Figura del Service Manager de COLT• Responsabilidad en la DGC• Documento de gestión del servicio:

– Uso de e-points– Acceso al CPD– Listado de personas autorizadas– Documentación de configuración de sistemas– Autoridad

• RRHH adicionales (Cronos)– Perfil Exchange 2007 + Entorno Microsoft– Perfil Storage - Backup

Principios de diseño

Principios de diseño

• Disposición de Armarios:– Pasillo frío, pasillo caliente– Pasillos con un ancho que permita dar servicio en caliente a las

máquinas

• Cableado:– Sobredimensionado, para no tener que abrir el suelo– Redundante, todo armario de equipos va al menos a dos de

conmutación

• Comunicaciones:– Electrónica de alta capacidad– Red diferenciada de gestión (fabricante distinto)

• Seguridad:– Física– Lógica

• Explotación:– Diseñado para uso 100% remoto

Disposición de Armarios

• Antes:– Segunda fila recibe calor de la primera

– Aire acondicionado realiza sobreesfuerzo Mayor consumo Picos de corriente Apagones Indisponibilidad de Servicios

– Servidores sufren mas desgaste: Necesitan complementar al A/C

PASILLO CALIENTE

R21EXP-2

(2x16A)

R20EXP-3

(2x16A)

R13MIC-1

(2x16A)

R22EXP-1

(2x16A)

R16OVCA1(2x16A)

R15OVC

2(2x16)

R14OVC

1(2x16)

PASILLO FRIO

RACKSymm1(2x32T)

RACKSymm2(2x32T)

R06Blades-

1(4 x32M

1 x 16M)

R07Com-1(3x16A)

R23Amp-1(2x16)

Maquina Aire

Aire Frio

Maquina Aire

Aire Frio

Aire F

rio

Maquina A

irePASILLO CALIENTE

¿PASILLO FRIO?

CALOR

CALOR

R01RACKSD-1

(2x32T)

R03GES-SD

(1x16M)

Cariion(2

x32M)

R16OVCA1(2x16A)

Disposición de Armarios

• Ahora:– Pasillo Frío/Caliente– Menor consumo de

A/C– Servidores tienen

menor desgaste.– Mayor disponibilidad– Mayor rendimiento

Cableado: Nuevas normas de uso

• Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución

• Los armarios de distribución tienen conexiones flexibles con los armarios de equipos.– Un cambio se hace en minutos– No hay que abrir el suelo NUNCA

Cableado: Ejemplo - Nueva Conexión

• Antes– Solicitar conexión desde armario a armario de distribución– Tendido de cables por falso suelo– Conexión

• Ahora– Los cables ya están instalados– Se asignan siguiendo base de datos de configuración– Conexión

• La diferencia es que se han asignado grupos de enlaces entre los armarios de e quipos y distribución, aunque a priori no se necesiten.

Cableado: Ejemplo - Nueva Conexión (Antes)

• Solicitar conexión desde:

Armario de equipos Armario de distribución

Cableado: Ejemplo - Nueva Conexión (Antes)

• Tendido de cables por falso suelo

Cableado: Ejemplo - Nueva Conexión (Antes)

• Conexión equipo - enlace

Cableado: Ejemplo - Nueva Conexión (Ahora)

• Los cables ya están preinstalados– Mínimo de 24 cables

preinstalados

– Asignados a dos núcleos de conmutación diferentes (como mínimo)

– Coloreados según destino del enlace

Cableado: Ejemplo - Nueva Conexión (Ahora)

• Se asignan siguiendo base de datos de configuración– Ayuda a conseguir diseño redundante

Cableado: Ejemplo - Nueva Conexión (Ahora)

• Se etiquetan cables en origen y destino, coloreando los extremos según función

Comunicaciones

• Mejora de la infraestructura básica de red:– Rediseñada para soportar mayor tráfico y seguridad– Centralización e integración de la OVC

• Tres zonas de seguridad formadas por 2 conmutadores cada una, independientes, ubicados en armarios diferentes y suficientemente alejados– Externa– Interna– Gestión

Comunicaciones

• Accesos a redes de comunicaciones ( SSCC, Gerencias y MEH y acceso a Internet) redundantes y diversificados

CR

CR

CR

COLT

F.O.

323 m. 4,6 Km.

2 Km. 250 m.

Nueva acometida F.O.

Nueva acometida F.O.1,4 Km.

3 Km.

Pso. de la Castellana, 272

Av Manoteras, 42

ALMENARA

PILAR MANOTERAS

PINAR

JAVAFUENCARRAL

ALBENIZ HORTALEZA

Ruta 1 Total: 14,2 Km.

Ruta 2 Total: 14,3 Km.

Nu

eva

aco

me

tida

F.O

.

75

0 m

.

CR

CR

CR

COLT

F.O.

323 m. 4,6 Km.

2 Km. 250 m.

Nueva acometida F.O.

Nueva acometida F.O.1,4 Km.

3 Km.

Pso. de la Castellana, 272

Av Manoteras, 42

ALMENARA

PILAR MANOTERAS

PINAR

JAVAFUENCARRAL

ALBENIZ HORTALEZA

Ruta 1 Total: 14,2 Km.

Ruta 2 Total: 14,3 Km.

Nu

eva

aco

me

tida

F.O

.

75

0 m

.

Seguridad física

• Cumplimos con el RD 1720/2007 Reglamento de Desarrollo de la LOPD – Control de Acceso físico al CPD

• Vigilancia 24 x 7• Cámaras de circuito cerrado con grabación• Puertas con control y registro de accesos• Jaula dedicada• Edificio de apariencia “inofensiva”

Seguridad Lógica

• Mejora de infraestructura de Seguridad Perimetral: ampliación de su capacidad y robustez

• Producción/Gestión: equipos redundantes de diferente fabricante

• Monitorización de intrusiones con tolerancia a fallos en segmentos accesible desde Internet

Explotación

• Diseñado para uso 100% remoto– IMPORTANCIA de la Gestión remota– Los distintos equipos permiten trabajar en remoto a través de la

red de gestión: apagarlas/encenderlas/ instalarlas en remoto / reconfiguraciones

– La copia de seguridad (próximamente) será automática y remota– En el peor de los casos, disponemos de soporte remoto en

COLT a través personal de“manos remotas”

¡Muchas gracias!