housing del cpd principal: experiencia de traslado y puesta en marcha [email protected]
TRANSCRIPT
Antecedentes
• Introducción. Motivación del Housing• Traslado
– FASE 1: Implantación CPD– FASE 2: Implantación infraestructura de LAN/WAN/SP– FASE 3: Traslado– FASE 4: Modelo gestión del servicio
• Principios de diseño
Introducción
Motivación del Housing
Antecedentes
• Sistemas de información del catastro:– Distribuidos en 52 Gerencias– Se consolidan en SSCC (BDN)– Se explotan y difunden al exterior por la OVC
• Cada uno de estos entornos estaba en un
CPD dedicado:– 52 gerencias (BBDD Provinciales)– Castellana, 272 Madrid (BDN)– Alcalá 5 y 7 Madrid (OVC - Internet)
• Entorno complicado de mantener:– Refrigeración y alimentación eléctrica– > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad,
etc)– Necesario replicar datos para asegurar coherencia
Primeros intentos de consolidación
• Consolidación de servidores en Castellana, 272– Para liberar espacio, se consolidan servidores utilizando blades
(servidores en tarjeta)• Alimentación eléctrica dice ¡BASTA!
• Problemas de Aire Acondicionado
• Implantación de acceso Internet y Seguridad Perimetral en Castellana
• Movimiento de Web Catastro desde Alcalá• Centralización de datos• Centralización de acceso Citrix• Centralización de correo electrónico
Alternativas…
• Primera opción: Nuevo CPD en Castellana, 272– Imposible por edificio histórico, etc.
• Segunda opción: Alojamiento en otro CPD de la AGE
• Tercera opción: CPD en Housing.
Primer CPD principal de la AGE externalizado
• Ventajas:– Escalable: espacio reservado para posible
crecimiento– Servicios e infraestructuras 24 x 7. Monitorización de
servicios, control de accesos– Independiente de los servicios de infraestructura del
edificios AGE– Facilidad para añadir servicios a la plataforma HW
• Inconvenientes:– Desplazamientos– Alquiler mensual jaula– Administración remota
Evaluación de alternativas
– Redacción de pliego. Factores Críticos de Éxito:
• Cercanía• Flexibilidad• Disponibilidad• Servicios de valor añadido
– Solicitud de ofertas:• COLT• Interxion• Global Switch• Telvent• Otras (10)
Elección de ubicación
• La elección: COLT Telecom, Avenida de Manoteras, 42– Mejor ubicación física– Mejor acceso por trasporte público– Mejores servicios:
• Cableado cobre y fibra• Manos remotas• Etc.
¿Qué contratamos?
• Alta e implantación del espacio físico (“jaula”)• Traslado de equipos• Servicios de alojamiento en Housing.
– Suministro eléctrico, seguridad, temperatura, humedad…
• Servicios de control y monitorización remota 24x7• Servicios de operación remota.• Perfiles técnicos añadidos
• Plazo 15 meses 1 junio 2008-31 agosto 2009• Alta e implantación
– 35.000 € + 300.000 €
• Alojamiento housing– 61,500 €/mes 738.000€ anual
Un proyecto y una oportunidad de mejora
• Un Proyecto: Gestión de:• Alcance• Integración• Tiempos• RRHH• Riegos• Configuraciones• Suministros• Calidad
• Oportunidad de mejora:– Consolidación de servidores.– Redimensionamiento comunicaciones– Incremento de la seguridad.– Nuevo modelo de explotación.
Plan de traslado
• Se creó una oficina de proyecto para centralizar las operaciones
• Se recogieron datos de los CPD existentes• Se tomaron decisiones:
– Traslado en un solo fin de semana– Traslado de equipos de preproducción con anterioridad (un día)– Un solo camión por CPD
• Se realizó un plan de proyecto, teniendo en cuenta:– Plazos de entrega e instalación de nuevos equipos– Plazos de provisión del servicio de operadores– Cortes de servicio por parte de Catastro hacia agentes externos– Disponibilidad de recursos humanos
Plan de traslado
• Se coordinó la logística y las actuaciones de las diferentes empresas:– Telefónica y sus filiales– T-Systems– Equipo de Redes de HP– Equipo de traslados de HP– Almacenamiento de datos EMC– GMV-SGI (Seguridad Perimetral)– COLT
• Se coordinó la interconexión con distintos organismos– SGTIC- MEH– Agencia Tributaria– Segipsa– Punto Neutro Judicial
• Plan de comunicación interno y externo
FASE 1
IMPLANTACIÓN CPD
IMPLANTACIÓN CPD
• Recopilación de datos de equipos y racks• Diseño de espacio en CPD COLT• Diseño de sistema de cableado y etiquetado• Nuevas normas de uso• Reconfiguración equipos existentes• Implantación y acondicionamiento de la jaula (COLT)• Pedidos de materiales COLT y adicionales
Recopilación de datos
• Recogidos datos de 19 Racks:– 16 Racks de equipos– Symmetrix (2 racks)– Clariion (1)
• Se añaden nuevos racks de infraestructura:– Comunicaciones + Seguridad (4)– SAN (1)
• Faltan Racks de nuevos Superdome (3)• Total Estimado=27 Racks• Recogida de datos en hoja Excel:
– Dimensiones– Distribución de Us– Requisitos eléctricos– Conectividad de red (puertos y VLANs)
Diseño del espacio
Espacio asignado: 60m2
Diseño del espacio
• Tres filas de Racks• 31 Racks alojados• 0 Racks disponibles• Estructura Pasillo Frío/Caliente
– Pasillo frío: • Las máquinas tienen los frentes orientados a él• Cuenta con rejillas/baldosas perforadas
– Pasillo Caliente:• Las máquinas expulsan el aire caliente a él
Diseño de sistema de cableado y etiquetado
• Reutilizable• Busca la mínima intervención para un mantenimiento
óptimo• Código de colores basado en “capuchones” para los
cables• Si un servidor ya está parcheado a un switch, el cambio
de VLAN no implica reparcheado.– Siempre que esa VLAN esté en ese switch
• Sistema de etiquetado. Opciones:– Ubicación físicas (Us)– Nombres de máquinas (origen y destino)
Nuevos Armarios, Switches y Firewalls
• Un armario para cada switch, y el firewall de su zona.– Proporciona redundancia– Permite hacer intervenciones en un
rack/switch/firewall sin afectar a los demás– Parcheo sobredimensionado aporta flexibilidad– Altura (48u) y anchura extra (750 mm) permiten
¡Cerrar la puerta!• Asignación
– Zona externa: Armarios A y B– Zona interna: Armarios C y D– SAN: Armario E
Nuevos Armarios, Switches y Firewalls
A B C D
Nuevas normas de uso
• Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución
• Documento con normas para cableado y racks (pendiente)
Reconfiguración equipos existentes
• A nivel de red– Uso de códigos de colores
• A nivel físico (cambio de rack)– Necesario liberar 4 últimas u de cada rack
• Recableado de corriente– Cables cruzados entre armarios– Distribución ineficiente de PDUs
• Todo en hoja de tareas previas pendientes (se actualiza)• Conexión de tarjetas de control remoto
– Creación de VLAN dedicada
• Recableado de KVM– Unión de máquinas hacia KVMs IP
FASE 2
IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD
IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD
• Diseño e implantación de nueva LAN• Diseño e implantación de nueva infraestructura base de
SP• Migración de circuitos de Telefónica (WAN)• Migración de circuitos de T-Systems (LAN)• Migración de DWDM de Telefónica• Preparado para
“Plug & Play”
Diseño e implantación de nueva LAN
• Nueva LAN de producción– Los antiguos equipos no se trasladan– Tecnología CISCO– Fisicamente separada en dos
• Redes Externas (Internet)• Redes Internas
– Busca redundancia y alto rendimiento– Preconfigurada para plug & play
• Nueva LAN de gestión– Tecnología HP Procurve– Fisicamente separada en dos
• Redes Externas (Internet)• Redes Internas
– Complementa a la red de producción para tareas de gestión, backup, etc.
– Preconfigurada para plug & play
Diseño e implantación de nueva LAN
• Nueva LAN en Castellana– El CPD está en otro edificio. ¿es necesario retrasmitir
todo el tráfico a el? Configuración routing en Castellana
– Configuración interconexión Castellana Manoteras
Nueva infraestructura de Seguridad Perimetral
• Nuevos Firewall Internos, Externos y de Gestión– Permiten traslado plug & play, con una infraestructura
probada• Cambio de CPD implicaba cambio de Ips y reglas de firewall
– Alta disponibilidad
Implantación LAN/WAN/SP
Implantación LAN/WAN/SP
Comunicaciones
• Traslado de línea DWDM (Telefónica) Camino crítico• Traslado / Alta /Baja de líneas WAN (Telefónica)
– Accesos Macrolan– Punto a Punto– Frame Relay– ¡¡¡Cuidado con el enrutamiento!!!
• Acceso IP de la centralita – Nuevo circuito MPLS
• Traslado de líneas de Internet (T-systems)– Traslado de 2 de los 4 circuitos previamente – Traslado de una clase C al Nuevo CPD – Los dos restantes (Orange) se instalaron 15 días después del
traslado– ¿Dónde se ubican los equipos?
Reconfiguración de VLANs
• VLANs de usuarios de Castellana se enrutarán en el propio edificio.– Es necesario partir VLAN
de servidores OVC de los usuarios para no transmitir el nivel 2
• Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3
• Se renumeran VLANs
Red
Zona Externa
101 Internet
102 DMZ
103 DMZ-OVC
104 INTRAFW
Servidores
201 SERVIDORES INTERNOS
202 BACK-END OVC
203 CENTRALIZACIÓN
Interconexiones
301 MEH - IA
302 EXTRANET
Usuarios
401 LAN - SSCC
402 OVC-INTERNA
403 LDC
404 GERENCIAS
Gestión
501 Gestión - Externa
502 Gestión - DMZ
503 Gestión - DMZ - OVC
504 Gestión - IntraFW
505 Gestión - srvint
506 GESTION
507 Gestión Remota
Heartbeat
601 Heartbeat común - Interno
602 Heartbeat común - Externo
FASE 3
TRASLADO
Planificación del traslado
• Participantes:– HP realiza el traslado– COLT apoyo en CPD– EMC y Oracle apoyo para sistemas específicos– Disponibilidad de RRHH
• Elección de fechas. 2 posibilidades:– Finales julio – Principios septiembre
• Estrategia de migración• Plan de traslado
– Consolida y coordina procedimientos para cada Área o suministrador
• Plan de contingencia• Plan de continuidad de servicio
Plan de traslado
• Previo:– Ensayo de apagado– Ensayo de backup TOTAL
Plan de traslado: Prerequisitos
• Electrónica de red CISCO implantada• Electrónica de red CISCO configurada de acuerdo con los
servidores• Electrónica de red de Seguridad implantada• Cableado estructurado implantado• Cableado de alimentación implantado• Problemas en racks solucionados antes
– Etiquetado máquinas e interfaces– Máquinas bien colocadas (4 ultimas u libres)– Eliminadas dependencias cruzadas (red, corriente, etc.)– Conectores CETACT OK
• Línea DWDM trasladada o Conversores FC-IP disponibles y probados
• Procedimiento de backup total
Plan de traslado: Continuidad de servicio
• Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal– DNS– SMTP de cara a Internet y el MEH, con cola de correo– Servidor Web, con página de “Ahora no podemos atenderles”
Plan de traslado: Fases
• Backup total• Desconexión y embalado de equipos y accesorios.• Traslado• Montaje en la nueva ubicación, con reconfiguración en
su caso• Cableado• Puesta en producción
• Se inicia un día antes para preproducción
Plan de traslado: Estado Inicial
Plan de traslado: Pretraslado
Plan de traslado: Pretraslado
Plan de traslado: Pretraslado
Plan de traslado: Traslado
Plan de traslado: Traslado
Traslado (18 de julio de 2008)
• Fases:– Embalado equipos en
origen– Traslado equipos – Desembalado en
destino– Integración en el
sistema de cableado estructurado
– Conexión de equipos según base de datos
– Encendido
FASE 4
MODELO DE GESTIÓN DEL SERVICIO
Gestión del servicio
• A definir conjuntamente con COLT• Figura del Service Manager de COLT• Responsabilidad en la DGC• Documento de gestión del servicio:
– Uso de e-points– Acceso al CPD– Listado de personas autorizadas– Documentación de configuración de sistemas– Autoridad
• RRHH adicionales (Cronos)– Perfil Exchange 2007 + Entorno Microsoft– Perfil Storage - Backup
Principios de diseño
Principios de diseño
• Disposición de Armarios:– Pasillo frío, pasillo caliente– Pasillos con un ancho que permita dar servicio en caliente a las
máquinas
• Cableado:– Sobredimensionado, para no tener que abrir el suelo– Redundante, todo armario de equipos va al menos a dos de
conmutación
• Comunicaciones:– Electrónica de alta capacidad– Red diferenciada de gestión (fabricante distinto)
• Seguridad:– Física– Lógica
• Explotación:– Diseñado para uso 100% remoto
Disposición de Armarios
• Antes:– Segunda fila recibe calor de la primera
– Aire acondicionado realiza sobreesfuerzo Mayor consumo Picos de corriente Apagones Indisponibilidad de Servicios
– Servidores sufren mas desgaste: Necesitan complementar al A/C
PASILLO CALIENTE
R21EXP-2
(2x16A)
R20EXP-3
(2x16A)
R13MIC-1
(2x16A)
R22EXP-1
(2x16A)
R16OVCA1(2x16A)
R15OVC
2(2x16)
R14OVC
1(2x16)
PASILLO FRIO
RACKSymm1(2x32T)
RACKSymm2(2x32T)
R06Blades-
1(4 x32M
1 x 16M)
R07Com-1(3x16A)
R23Amp-1(2x16)
Maquina Aire
Aire Frio
Maquina Aire
Aire Frio
Aire F
rio
Maquina A
irePASILLO CALIENTE
¿PASILLO FRIO?
CALOR
CALOR
R01RACKSD-1
(2x32T)
R03GES-SD
(1x16M)
Cariion(2
x32M)
R16OVCA1(2x16A)
Disposición de Armarios
• Ahora:– Pasillo Frío/Caliente– Menor consumo de
A/C– Servidores tienen
menor desgaste.– Mayor disponibilidad– Mayor rendimiento
Cableado: Nuevas normas de uso
• Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución
• Los armarios de distribución tienen conexiones flexibles con los armarios de equipos.– Un cambio se hace en minutos– No hay que abrir el suelo NUNCA
Cableado: Ejemplo - Nueva Conexión
• Antes– Solicitar conexión desde armario a armario de distribución– Tendido de cables por falso suelo– Conexión
• Ahora– Los cables ya están instalados– Se asignan siguiendo base de datos de configuración– Conexión
• La diferencia es que se han asignado grupos de enlaces entre los armarios de e quipos y distribución, aunque a priori no se necesiten.
Cableado: Ejemplo - Nueva Conexión (Antes)
• Solicitar conexión desde:
Armario de equipos Armario de distribución
Cableado: Ejemplo - Nueva Conexión (Antes)
• Tendido de cables por falso suelo
Cableado: Ejemplo - Nueva Conexión (Antes)
• Conexión equipo - enlace
Cableado: Ejemplo - Nueva Conexión (Ahora)
• Los cables ya están preinstalados– Mínimo de 24 cables
preinstalados
– Asignados a dos núcleos de conmutación diferentes (como mínimo)
– Coloreados según destino del enlace
Cableado: Ejemplo - Nueva Conexión (Ahora)
• Se asignan siguiendo base de datos de configuración– Ayuda a conseguir diseño redundante
Cableado: Ejemplo - Nueva Conexión (Ahora)
• Se etiquetan cables en origen y destino, coloreando los extremos según función
Comunicaciones
• Mejora de la infraestructura básica de red:– Rediseñada para soportar mayor tráfico y seguridad– Centralización e integración de la OVC
• Tres zonas de seguridad formadas por 2 conmutadores cada una, independientes, ubicados en armarios diferentes y suficientemente alejados– Externa– Interna– Gestión
Comunicaciones
• Accesos a redes de comunicaciones ( SSCC, Gerencias y MEH y acceso a Internet) redundantes y diversificados
CR
CR
CR
COLT
F.O.
323 m. 4,6 Km.
2 Km. 250 m.
Nueva acometida F.O.
Nueva acometida F.O.1,4 Km.
3 Km.
Pso. de la Castellana, 272
Av Manoteras, 42
ALMENARA
PILAR MANOTERAS
PINAR
JAVAFUENCARRAL
ALBENIZ HORTALEZA
Ruta 1 Total: 14,2 Km.
Ruta 2 Total: 14,3 Km.
Nu
eva
aco
me
tida
F.O
.
75
0 m
.
CR
CR
CR
COLT
F.O.
323 m. 4,6 Km.
2 Km. 250 m.
Nueva acometida F.O.
Nueva acometida F.O.1,4 Km.
3 Km.
Pso. de la Castellana, 272
Av Manoteras, 42
ALMENARA
PILAR MANOTERAS
PINAR
JAVAFUENCARRAL
ALBENIZ HORTALEZA
Ruta 1 Total: 14,2 Km.
Ruta 2 Total: 14,3 Km.
Nu
eva
aco
me
tida
F.O
.
75
0 m
.
Seguridad física
• Cumplimos con el RD 1720/2007 Reglamento de Desarrollo de la LOPD – Control de Acceso físico al CPD
• Vigilancia 24 x 7• Cámaras de circuito cerrado con grabación• Puertas con control y registro de accesos• Jaula dedicada• Edificio de apariencia “inofensiva”
Seguridad Lógica
• Mejora de infraestructura de Seguridad Perimetral: ampliación de su capacidad y robustez
• Producción/Gestión: equipos redundantes de diferente fabricante
• Monitorización de intrusiones con tolerancia a fallos en segmentos accesible desde Internet
Explotación
• Diseñado para uso 100% remoto– IMPORTANCIA de la Gestión remota– Los distintos equipos permiten trabajar en remoto a través de la
red de gestión: apagarlas/encenderlas/ instalarlas en remoto / reconfiguraciones
– La copia de seguridad (próximamente) será automática y remota– En el peor de los casos, disponemos de soporte remoto en
COLT a través personal de“manos remotas”
¡Muchas gracias!