Download - Computación Cluster y Grid
ComputaciónpCluster y Grid
Computación Cluster y Grid1
Horario y Prácticas
17:15-18:15 18:15-19:15
L Clases TeóricasLMXJ
Clases Teóricas• Miércoles: 17:15-19:15
CCG
P á ti
JV
PrácticasEnunciados: 2 prácticas (en grupo [2 personas] e individual).Requisito: Al menos una práctica.Requisito: Al menos una práctica.
EjerciciosEjercicios sobre temas de teóricos, prácticos o de actualidad.P i l d 2 4Presenciales, en grupos de 2-4 personas. Se anunciarán en la página web con antelación. (21 May/11 Jun)Requisito: Al menos un ejercicio.
Computación Cluster y Grid2
Requisito: Al menos un ejercicio.
Computación Cluster y Grid2
Evaluación de la Asignatura
Dos itinerarios: Para que cualquiera de Evaluación mediante prácticas:
E al ación contin a
estos elementos se contabilice su nota debe ser >=4 0Evaluación continua
Puntuación altaElección de múltiples
0’50 x Práctica 10’50 x Práctica 2
ser >=4,0
palternativas
0 50 x Práctica 20’20 x Ejercicio presencial 10’20 x Ejercicio presencial 2
Evaluación mediante examen:
N t
j p
<Nota sobre 14 puntos>No en este curso.
Computación Cluster y Grid3 Computación Cluster y Grid3
Índice del Curso
Índice de TemasIntroducción y conceptosIntroducción y conceptosCluster/DistributedComputing:
G tió d P
Tecnologías•CORBA
Gestión de ProcesosSistemas MiddlewareArquitecturas de Servicios
•MPI•Servicios WebArquitecturas de Servicios
(SOA)E/S Paralela
G id C tiEntornos
Grid Computing: Pre-XMLPost-XML
•CeSViMa •GlobusPost XML
Grid y Entornos Colaborativos
Computación Cluster y Grid44 Computación Cluster y Grid
Direcciones de Contacto
Información Actualizada:Pá i d l i t (i l f )Página de la asignatura (incluye foro):
http://laurel.datsi.fi.upm.es/docencia/asignaturas/ccgProfesores Responsables:
María de los Santos Pérez Hernández (coord.)
José María Peña Sánchez–<[email protected]>
–<[email protected]>j pe a@ .up .es
Pilar Herrero Martín–<[email protected]>
Computación Cluster y Grid5 Computación Cluster y Grid5
Computación Cluster y GridComputación Cluster y Grid
Computación Cluster y Grid
Introducción y ConceptosIntroducción y Conceptos
66
Motivaciones
Aplicaciones que requieren:Grandes capacidades de cómputo: Física de partículas, aerodinámica, genómica, ...
Tradicionalmente alcanzadas por medio de supercomputadores.Los avances tecnológicos no satisfacenLos avances tecnológicos no satisfacen.Camino hacia el “Petaflop”.
Necesidades de alta disponibilidad: Sistemas ptransaccionales de producción, banca, facturación, ...
Requieren replicación (y control de la misma).No mucho cómputo, pero SIEMPRE debe estar disponible.Implicaciones hardware y software.
Computación Cluster y Grid7 Computación Cluster y Grid7
Sistemas Distribuidos y Clusters [BB99]
Caracteística MPP SMP/CC-NUMA Cluster Sistemas Distribuidos
Número de Nodos O(100)-O(1000) O(10)-O(100) O(100) o menos O(10)-O(1000)Número de Nodos O(100) O(1000) O(10) O(100) O(100) o menos O(10) O(1000)Complejidad de los Nodos
Grano medio/fino Grano medio/grueso Grano medio Diversos tipos
Comunicación Paso de mensajes/ Memoria compartida Paso de mensajes De ficheros Comunicación internodo
Paso de mensajes/ DSM
Memoria compartida o DSM
Paso de mensajes De ficheros compartidos a IPCs
Planificación de trabajos
Cola de procesos única (en host)
Cola de procesos única
Colas múltiples coordinadas
Colas independientestrabajos única (en host) única coordinadas independientes
Soporte SSI Parcialmente Siempre Deseable NoTipo y copias de SO
N x (μkernels, por capas monolíticos)
Monolítico: SMPs Varios: NUMA
N x (homogéneas o kernels)
N x (SO homogéneos)SO capas, monolíticos) Varios: NUMA μkernels) homogéneos)
Espacio de direcciones
Múltiple o único (para DSM)
Único Múltiple o único Múltiple
Seguridad internodo
Innecesaria Innecesaria Sólo si expuesto Requerida
Propietario Una organización Una organización 1-N organizaciones N organizaciones
Computación Cluster y Grid8 Computación Cluster y Grid
Computación con Clusters
Alternativa los supercomputadores .En lugar de aproximaciones MPP:
Hardware específico.Alto coste.Desarrollo hardware lento.Desarrollo software doloroso.
Se pueden usar equipos de propósito general (PCs):“Commodity hardware” (Commercial-off-the-self: COTS).Coste reducido (y bajando).Desarrollo hardware rápido.Desarrollo software aun más doloroso.
Computación Cluster y Grid9 Computación Cluster y Grid9
¿Qué es un Cluster?
Las características principales son:El concepto de cluster se basa en una instalación hardware específica. (Otros conceptos que veremos son conceptos software, un cluster no):
Nodos de computaciónNodos de computación.Red de conexión dedicada.
La explotación de una instalación cluster hace uso deLa explotación de una instalación cluster hace uso de herramientas específicas, que afecta a:
Programación de aplicacionesInteracción y administración
Computación Cluster y Grid10 Computación Cluster y Grid10
Arquitecturas en el Top 500
S í d lSupremacía de los sistemas cluster sobre otras arquitecturasq
Noviembre de 2007
Computación Cluster y Grid11
Sistemas Cluster Más Representativos III
Magerit (Top 86)BladeCenter JS20 Cluster, PPC 970, 2.2 GHz (IBM)2408 Procesadores 14.00 TFlops (LINPACK)4 TB RAM65 TB Disco (GPFS)Red Myrinet x 6 SwitchesGigaEthernet x 2 Switches
Computación Cluster y Grid12
Sistemas Cluster Más Representativos II
Marenostrum (Top 13)BladeCenter JS21 Cluster, PPC 970, 2.3 GHz (IBM)10240 Procesadores 94.20 TFlops (LINPACK)20 TB RAM280 TB Disco (GPFS)Red Myrinet x 12 SwitchesGigaEthernet x 5 Switches
Computación Cluster y Grid13
Sistemas Cluster Más Representativos III
Laurence Livermore Laboratory (Top 1)BlueGene/L, PPC 440, 700 MHz (IBM)212992 Procesadores 596 TFlops (LINPACK)73 TB RAM900 TB Disco (GPFS)Red toroidal 3DRed colectivaRed de interrupción
Computación Cluster y Grid14
Limitaciones de los Clusters
Sobrecarga por comunicación:Implementaciones de grano fino: difíciles de diseñar, difíciles d fi h á difí il d lde afinar y mucho más difíciles de escalar.Las implementaciones de grano grueso son más fáciles. Pero, en este caso ¿Se necesitan anchos de banda espectaculares?en este caso ¿Se necesitan anchos de banda espectaculares?
Mantenimiento:La ampliación de un cluster es costosa en grandes tamañosLa ampliación de un cluster es costosa en grandes tamaños.Es una solución escalable … pero ¿hasta que punto pueden hacerlo?
Recursos infrautilizados:Los clusters son instalaciones dedicadas.Un organización típica tiene desperdicia millones de ciclos de computo en sus ordenadores personales.
Si i t bl dComputación Cluster y Grid15
Siempre existe un problema mas grande.
Intranet Computing
Si yo tengo un montón de instalaciones de cómputo (incluidos los clusters, pero o restringiéndome sólo a ellos), ¿qué podría hacer?
P l l itProgramar el algoritmo.Dividir el espacio de solucines o los datos de entrada (o ambos).Distribuir el trabajo.Distribuir el trabajo.Ejecutar varios trabajos secuenciales o paralelos por medio de
una herramienta de gestión de recursosIntranet computing:1. Opera dentro de la organización.2. Opera sobre hardware diferente
(arquitectura y prestaciones).3. Trata un problema concreto. (los
clusters u otros sistemas distribuidos son soluciones más generales)
ORGANIZATION
generales).
Computación Cluster y Grid16
Intranet Computing
Aumenta la utilización de los recursos informáticos.Elc oste efectivo por ciclo de CPU usado es mínimo.Mejora en aspectos de escalabilidad.Mejora en disponibilidad.ejo a e d spo b dadSimplifica la administración y el mantenimiento.Ejemplo:Ejemplo:
Sun Grid Engine (Sun Microsystems), Condor (University of Wisconsin)Condor (University of Wisconsin), LSF (Platform Computing)
Computación Cluster y Grid17
Problemas con los Clusters de Gran Tamaño
No es posible gestionar recursos fuera del dominio de administración:
Algunas herramientas (Condor, LSF) permiten la colaboración entre diferentes departamentos asumiendo la misma estructura administrativala misma estructura administrativa.
No se cumple la política de seguridad o los procedimientos de gestión de recursosprocedimientos de gestión de recursos.Los protocolos y los interfaces, en algunos casos, no se basan en estándares abiertosse basan en estándares abiertos..Recursos a manejar: CPU, compartición de datos?
Computación Cluster y Grid18
Más allá de los Clusters
Computación Grid:Agregación de clusters y de máquinas “ociosas”.Sistemas de planificación y ejecución de trabajos y de checkpointing.Má d 1000 dMás de 1000 nodos.e.g: Condor or Maui
M t tiMetacomputing:Similar a la computación Grid pero sobre redes extensas de ámbito m ndial (Internet)de ámbito mundial (Internet).Compartición de carga entre nodos que colaboran.E g: Seti@Home Folding@Home DESKeysE.g: Seti@Home, Folding@Home, DESKeys
Computación Cluster y Grid19
Elemento Clave: Acceso a Recursos
Fácil: Uso intuitimo (similar a Web).Transparente: No resulta necesario conocer la ubicación físicaRápido: Tiempo de respuesta aceptableSeguro: Control de acceso a recursos e informacióngPermanente: Siempre disponible (24x7)Economico:Economico:
Menor coste al compartir infraestructurasEl coste debe ser conocidoEl coste debe ser conocido
Computación Cluster y Grid20
Organizaciones VirtualesU i ió i t l ( i t l i ti VO) táUna organización virtual (virtual organization: VO) está compuesta por recursos, servicios y personas que colaboran más allá de las fronteras institucionales geográficas ymás allá de las fronteras institucionales, geográficas y políticas.Permiten el acceso directo a recurso de computación,Permiten el acceso directo a recurso de computación, software y datos y, por lo general, utilizan el substrato de la tecnología Grid.
ProporcionanU t l G id t d l l tUn portal Grid para agrupar todos los elementos.Servicios de directorioI f t t d id dInfraestructura de seguridad
Computación Cluster y Grid21
Organizaciones Virtuales
Organización
RealOrganización
RealVO
RealVO
VO
Organización Organización
Computación Cluster y Grid22
Real Real
Redes Internacionales de Sistemas GridDichas infraestructuras disponen de conexiones de redDichas infraestructuras disponen de conexiones de red extensa de gran ancho de banda.Se basan en infrestructuras de red nacionales o internacionales de propósito general:
RedIRIS, REDImadrid (España)GÉANT (Europa)GÉANT (Europa)TERAGrid backbone (USA)ALICE y CLARA (Lationamérica)
Colectivos internacionales asociados:The Internet Engineering Task ForceThe Internet Engineering Task Force
http://www.ietf.org/Dante
http://www dante net/http://www.dante.net/
Computación Cluster y Grid23
RedIRISE ñ 1988 R d dé i d i ti ió ñ lEspaña 1988: Red académica y de investigación españolaInfraestructura:
Núcleo de la red a 2 5 Gbps con al menos dos conexiones porNúcleo de la red a 2,5 Gbps con, al menos, dos conexiones por nodo autónomo.
Red actual:18 puntos de presencia, 10 enlaces de 2,5 Gbps, 13 a 622 Mbps y 6 a 155 Mbps.
P t 2003Presupuesto 2003:16,8 M€ de gastos de operación y 2,1 M€ para inversiones.
RedIRIS conecta:RedIRIS conecta:Más de 260 instituciones: Universidades y Centros de I+DConexiones externas a otras redes de investigación a la red comercial.
Computación Cluster y Grid24
RedIRIS
Computación Cluster y Grid25
REDIMadrid
Computación Cluster y Grid26
GÉANTGÉANT R d lti i bit lGÉANT: Red europea multigigabit para la comunicación de datos de investigación y educacióneducación.Conecta más de 3500 centros de investigación y educación en 33 países a lo largo de 29 redes p gregionalesGÉANT proporciona apoyo a los investigadores para:
Transmisión de datos a 10GbpsH d li i d d d (Hacer uso de aplicaciones avanzadas de red (e.g., Grid Computing).Colaboración, en tiempo real, sobre recursos deColaboración, en tiempo real, sobre recursos de investigación.Técnicas de computación avanzada, imposibles
t i t
Computación Cluster y Grid27
anteriormente.
GÉANT y GÉANT2
Computación Cluster y Grid28
Conexiones Intercontinentales
Computación Cluster y Grid29
TERAGrid
Áncho de Banda (40 Gb/sec)
Computación Cluster y Grid30
ALICE y CLARAALICE L ti é iALICE: Latinoamérica Interconectada Con Europa Establecida en 2003 paraEstablecida en 2003 para implantar la red RedCLARA
Infraestructura de red IP para interconexión de Latinoamerica con Europa
CLARACLARA15 miembros nacionales en Latinoamerica
Computación Cluster y Grid31