clusters - escuela superior de informática … anteriores...22 4.diseño: middleware es la...
TRANSCRIPT
![Page 1: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/1.jpg)
1
CLUSTERS
Antonio Antiñolo [email protected]
Arquitectura e Ingeniería de Computadores
Profesor: Serafín Benito Santos
ESI-UCLM
![Page 2: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/2.jpg)
2
Índice
1. Introducción.
2. Clasificación.
3. Ventajas y Desventajas.
4. Diseño.
5. Ejemplos.
![Page 3: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/3.jpg)
3
Índice
1. Introducción.
2. Clasificación.
3. Ventajas y Desventajas.
4. Diseño.
5. Ejemplos.
![Page 4: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/4.jpg)
4
1. Introducción
� Cluster:” Tipo de computación paralela o de procesamiento distribuido, formado por una colección de computadores individuales interconectados entre si, trabajando conjuntamente en un objetivo unificado de cómputo”
![Page 5: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/5.jpg)
5
¿Es necesario el paralelismo?
1013 1022102010181015 1023
1011 1071081091010 106 103
1 Mflop1 Gflop
1 Tflop
320 años32 años
40 meses 1,5 semanas30 minutos
Radar Cross-Section
Aerodinámica (ala)Turbulencia (ala)
Aerodinámica (avión) Combustión
Turbulencia
(avión)
N. operaciones
tiempo
![Page 6: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/6.jpg)
6
1. Introducción.
![Page 7: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/7.jpg)
7
Índice
1. Introducción.
2. Clasificación.
3. Ventajas y Desventajas.
4. Diseño.
5. Ejemplos.
![Page 8: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/8.jpg)
8
2.Clasificación
� Hay muchas formas de clasificar un cluster:
� Según el objetivo de su aplicación:
- Alto Rendimiento y Alta Disponibilidad.
� Según el uso de los nodos:
- Dedicados y no dedicados.
� Según el SO de los nodos.
� Según la configuración de los nodos:
- Homogéneos y Heterogéneos.
![Page 9: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/9.jpg)
9
2.Clasificación
Cluster ComputingCluster Computing
PCsNOW/COW
BeowulfNT- PCCluster
![Page 10: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/10.jpg)
10
2.Clasificación: Beowulf (I)
� Ideados en 1994 por Thomas Sterling y Don Becker.
� Compuesto por 16 Procesadores Intel DX4.
� Conectados por Ethernet.
![Page 11: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/11.jpg)
11
2.Clasificación: Beowulf (II)
� Cluster en el que cada nodo (PC) no tiene teclado, ratón, tarjeta de video o monitor.
� Buena relación Precio/Rendimiento.
� Hardware de bajo precio.
� Soporte Linux.
� Usan los estándares (PCI, Ethernet,SCSI,…)
![Page 12: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/12.jpg)
12
2.Clasificación: Beowulf (y III)
� Arquitectura cliente(nodo)/servidor(frontend).
� Los clientes se conectan al servidor.
� Nodos– Red local.
� Frontend: – Red local & Internet.
– Separa el trabajo y lo distribuye a los nodos.
![Page 13: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/13.jpg)
13
2.Clasificación: NOW/COW (I)
� NOW: Networks of Workstations.
� COW: Cluster of Workstations.
� PCs completos conectados por una red.
� Ejemplo de Computación Distribuida.
![Page 14: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/14.jpg)
14
2.Clasificación: NOW/COW (y II)
� COW, el PC se toma “prestado” cuando el dueño no lo usa.
� NOW, se “cogen” ciclos de los PCs siempre.
� Algoritmos poco tolerantes a problemas de balanceo, es decir todos los ordenadores no tienen la misma carga de trabajo.
![Page 15: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/15.jpg)
15
Índice
1. Introducción.
2. Clasificación.
3. Ventajas y Desventajas.
4. Diseño.
5. Ejemplos.
![Page 16: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/16.jpg)
16
3. Ventajas.
� Alto rendimiento.
� Alta disponibilidad, fracción o porcentaje de tiempo de vida durante el cual no está inhabilitado a causa de fallos
� Gran capacidad de Expansión y de Escalabilidad, se puede ampliar un cluster con poco dinero.
� Tecnología, los clusters pueden llegar a los 70,78 TFLOPS (BlueGene/L)
![Page 17: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/17.jpg)
17
3. Inconvenientes.
� El software disponible es limitado.
� La Red puede hacer perder la fiabilidad. (Perdida de mensajes,…)
� Problemas de seguridad. (Hay muchos puntos que vigilar, en un computador centralizado solo hay UN punto)
![Page 18: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/18.jpg)
18
Índice
1. Introducción.
2. Clasificación.
3. Ventajas e Inconvenientes.
4. Diseño.
5. Ejemplos.
![Page 19: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/19.jpg)
19
4. Diseño
1. Sistemas Operativos.
2. Middle Ware.
3. Coste.
![Page 20: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/20.jpg)
20
4.Diseño: Sistemas Operativos.
� La elección del SO es fundamental a la hora de construir un Cluster.
� Es necesario que su Kernel soporte:– Programación paralela, el compilador determina en tiempo de compilación que partes
– Paralelización Inherente;– Equilibrio de carga, todos los computadores tienen que tener el mismo trabajo.
� Además tiene que ser tolerante a fallos y que provea soluciones a estos.
![Page 21: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/21.jpg)
21
4.Diseño: Sistemas Operativos.
� Los clusters se suelen montar principalmente con estos Sistemas Operativos o Partes de ellos.– OSCAR, añade a un SO linux un software especifico para clusters sobre todo en el paso de mensajes.
– OPENMOSIX, parchea el núcleo.– Rocks, empezo con RH7.2 y actualmente usa RH Enterprise. Tiene software especifico para el mantenimiento y la actualización de nodos.
– Windows 2000 Clustering.
![Page 22: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/22.jpg)
22
4.Diseño: Middleware
� Es la diferencia entre una red estándar y una solución para el procesamiento paralelo.
� Interfaz entre las aplicaciones y el Hardware del cluster y el SO.
� Es una capa de Software que se añade en lo alto del SO para proveerlo del SSI (Single System Image)
� Proporciona un acceso uniforme a todos los nodos sin tener en cuenta el SO.
� La función principal del Middleware para el paso de mensajes es asegurar la integridad de estos.
![Page 23: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/23.jpg)
23
4.Diseño: Middleware
� Sus objetivos son:1. Único Punto de Ingreso.
2. Único árbol de directorios.
3. Único punto de control.
4. Única red Virtual.
5. Único espacio de memoria.
6. Único administrador de tareas.
![Page 24: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/24.jpg)
24
4. Diseño: Middleware
7. Única Interfaz de Usuario.
8. Espacio Único de E/S.
9. Espacio Único de procesamiento.
10. Checkpointing.
11. Migración de Procesos
![Page 25: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/25.jpg)
25
4. Diseño: Middleware
� Las funciones más importantes del Middleware son:– Planificador (Sheduler) -> MAUI
– Gestor de Colas ->OPENPBS
� Ayudan a ver la disponibilidad de nodos y la gestión de tareas.
![Page 26: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/26.jpg)
26
4. Diseño: Coste.
� Es más caro construir un supercomputador que un cluster.
� La memoria es uno de los componentes que aumentan mucho de precio cuando se aumenta la cantidad.
![Page 27: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/27.jpg)
27
Índice
1. Multiprocesamiento.
2. Introducción.
3. Clasificación.
4. Diseño.
5. Ejemplos.
![Page 28: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/28.jpg)
28
5. Ejemplos
1. Google.
2. Seti.
3. QCyCAR.
4. MareNostrum
![Page 29: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/29.jpg)
29
5. Ejemplos: Google (I)
� Es el navegador que más ha crecido en estos últimos 10 años.
� Se basa en un Rank para mostrar los resultados.
� Atiende más de 5000 millones de búsquedas al mes. (2000 por segundo)
![Page 30: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/30.jpg)
30
5. Ejemplos: Google (II)
� Formador por un clúster de 20.000 servidores repartidos en 7 data-centers.
� Servidor:– 1 Procesador INTEL
– 256-1GB RAM
– 2 HD: IBM de 40-75GB
– Linux RedHat.
![Page 31: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/31.jpg)
31
5. Ejemplos: Google (III)
� Cada data-center se conecta a Internet a través de redes OC48 (2488 Mbps).
� 40-80 PC se conectan a 2 Switch por GigabitEthernet. (Para compactar el espacio se usa un rack) y cada rack se conecta a uno o varios switches centrales.
![Page 32: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/32.jpg)
32
5. Ejemplos: Google (y IV)
![Page 33: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/33.jpg)
33
5. Ejemplos: Seti@home
� Desarrollado por la Universidad de Berkeley.
� Analiza señales de radio extraterrestres.
� Eso sencillo mediante un Salvapantallas.
� Tecnología Grid.
![Page 34: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/34.jpg)
34
5. Ejemplos: Seti@home
![Page 35: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/35.jpg)
35
5. Ejemplos: QCyCAR
� Grupo de Investigación de la ESI.
� Realiza cálculos de hipersuperficies de energía potencial molecular en moléculas de interés astrofísico.
![Page 36: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/36.jpg)
36
www.rocksclusters.org
� Clusters QCyCAR– Explotación
� Hermes (12 nodos)
� Tales (12 nodos)
– Desarrollo� Diógenes (3 nodos)
![Page 37: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/37.jpg)
37SófoclesRed Hat 9.0
Nuestro Grid
� Topología actual del grid del Grupo QCyCAR
TalesRocks 3.0.0
HermesRocks 3.0.0
![Page 38: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/38.jpg)
38
Grupo virtual de Química Computacional
Infraestructura grid
![Page 39: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/39.jpg)
39
5. Ejemplos: MareNostrum
• Linux Cluster de JS20 blade centers:
� 40.1 TFlops pico� 9 TBytes RAM� 130 TBytes disco en Servidores� 90 TBytes disco duro.
![Page 40: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/40.jpg)
5. Ejemplos: MareNostrum
�1 rack (42U) tiene:– 6 chassis
�168 procesadores
�336 GBytes RAM
![Page 41: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/41.jpg)
5. Ejemplos: MareNostrum
� 1 Blade center tiene:– 14 JS20 blades:
� 28 procesadores
� 56 GBytes de memoria
– 1 switch Gigabit ethernet
![Page 42: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/42.jpg)
42
5. Ejemplos: MareNostrum
� 1 JS20 blade tiene:– 2 PowerPC 970 FX de memoria compartida a 2.2 GHz
– 4GB ECC 333 DDR
– 40 Gbytes IDE
– 3 redes� Myrinet
� Gigabit Ethernet
� 10/00 Ethernet
![Page 43: CLUSTERS - Escuela Superior de Informática … Anteriores...22 4.Diseño: Middleware Es la diferencia entre una red estándar y una solución para el procesamiento paralelo. Interfaz](https://reader031.vdocuments.co/reader031/viewer/2022011804/5baf31c209d3f2c70e8c0518/html5/thumbnails/43.jpg)
43
BIBLIOGRAFÍA RECOMENDADA
� Morrison, R. Cluster Computing. 2003 GNU� Hennessy & Patterson. ComputerArchitecture. A Quantitative Approach. 2002 Morgan Kaufmann. (Apartados 8.10, 8.11 y 8.12)
� Bookman, C. Clustering con Linux. 2003 Prentice Hall
� www.top500.org