redes: clúster beowulf
Post on 13-Jan-2017
163 Views
Preview:
TRANSCRIPT
Redes de computadores
Clúster Beowulf
Angel Vázquez-Patiñoangel.vazquezp@ucuenca.edu.ec
Departamento de Ciencias de la ComputaciónUniversidad de Cuenca
30 de noviembre de 2016
30/11/16 Angel Vázquez-Patiño 2/24
Objetivos
1.Conocer lo que es un clúster
2.Conocer la arquitectura
3.Conocer herramientas para la implementación
4.Implementar un clúster Beowulf
30/11/16 Angel Vázquez-Patiño 3/24
Contenido
Qué es un clúster
Clasificación
Clúster Beowulf
Beneficios
Pila de SW para HPC
Elementos
Implementación
30/11/16 Angel Vázquez-Patiño 4/24
Qué es un clúster
30/11/16 Angel Vázquez-Patiño 5/24
Qué es un clúster● Conjunto de computadores (commodities) que
se comportan como uno solo para el usuario final
Reto principal● Diversidad de equipos
● La diversidad es característica de un clúster● Servidores, workstations, mainframes o
supercompudoresImagen: https://goo.gl/kZmFOP
30/11/16 Angel Vázquez-Patiño 6/24
Qué es un clúster
Necesidad● Modelización
● Dos o muchas máquinas pequeñas para que, interconectados mediante una red, puedan servir como un solo sistema que sea capaz de manejar gran cantidad de operaciones con un bajo costo
● Se utiliza un orquestador, Cluster Middleware
30/11/16 Angel Vázquez-Patiño 7/24
Qué es un clúster
Clasificación● HPC: High Performance Clusters (rendimiento)
– Ejecuta programas con algoritmos paralelos
● HAC: High Availability Clusters (disponibilidad)– Redundancia conmutación por error (fail-over)
– Fiabilidad con mínimo tiempo de inactividad
● HTC: High Throughput Clusters (eficiencia)– Usado en estudios paramétricos (mismo programa
ejecutado muchas veces con diferentes parámetros)
30/11/16 Angel Vázquez-Patiño 8/24
Qué es un clúster
High Performance Clusters● Tareas que requieren de gran capacidad
computacional, grandes cantidades de memoria, o ambos a la vez
● El llevar a cabo estas tareas puede comprometer los recursos del clúster por largos periodos de tiempo
30/11/16 Angel Vázquez-Patiño 9/24
Clúster Beowulf
Popular● Relación precio-desempeño● Flexibilidad de configuración y actualización● Escalabilidad para proveer un sistema muy robusto
Arquitectura● Computadores comúnmente personales● No diseñados con el fin de utilizarlos para nodos● Conectado a red estándar● Software libre u open source
30/11/16 Angel Vázquez-Patiño 10/24
Clúster Beowulf
Beneficios● Rentable
– Componentes baratos
– Amplia disponibilidad
● Al día con las tecnologías– Componentes del mercado de masas, es fácil emplear las
últimas tecnologías de SW y HW
● Escalabilidad– Cuando aumenta el requerimiento de potencia de
procesamiento, el rendimiento y el tamaño puede ser fácilmente ampliado añadiendo más nodos de computación
30/11/16 Angel Vázquez-Patiño 11/24
Clúster Beowulf
Beneficios● Alta disponibilidad
– Cada nodo de cálculo es una máquina individual
– La falla de uno no afecta a otros o la disponibilidad de todo el clúster
● Compatibilidad y portabilidad– Gracias a la estandarización y a la amplia disponibilidad
de la interfaces de paso de mensajes (MPI y PVM), la mayoría de las aplicaciones paralelas utilizan estos middlewares estándar
– Aplicación MPI puede ser portada de IBM RS/6000 SP2 o Cray T3E a un clúster Beowulf
30/11/16 Angel Vázquez-Patiño 12/24
Clúster Beowulf
Pila de SW para HPC● Tres principales para eliminar la complejidad
de administración, mientras se provee el SW necesario para la ejecución de las aplicaciones (complejas)
1)Herramientas de programación
2)Sistema de administración del clúster
3)Base, SO
30/11/16 Angel Vázquez-Patiño 13/24
Clúster BeowulfCapa de aplicación
Aplicacionessecuenciales
Aplicacionesparalelas
Entorno de programación paralela
Cluster middlewareLibrerías GNU
Librerías MPI, PVMHerramientas del clúster, Software de administración
Provisionamiento, Sistema de archivos
Imagen del sistema
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
Bus de datosRed de alta velocidad, switch
Gigaethernet
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
Depende de laaplicaciónGNU/Linux
Interacción conusuarioManejo decomputadoresfísicosindependientesConexiones de redde alta velocidad
Desarrollo
30/11/16 Angel Vázquez-Patiño 14/24
Clúster Beowulf
Administración● Calendarización (scheduling) de trabajos (jobs)
– MPI, procesos en varios nodos pero un solo programa
– OpenPBS, Condor, Lava y Torque
● Monitoreo– Información de disponibilidad y operación de los
componentes HW y SW
– Cluemon, Nagios, PARMON, Supermon y Ganglia
30/11/16 Angel Vázquez-Patiño 15/24
Clúster Beowulf
Desarrollo de software● Cómo escribir y qué librerías se necesitan
Estándares● PVM (Máquina Virtual Paralela)
– Interfaz de paso de mensajes: C, C++ o Fortran
– Máquinas heterogéneas como un sólo clúster
● MPI– OpenMPI, MPICH y LAM/MPI: C, C++ o Fortran
30/11/16 Angel Vázquez-Patiño 16/24
Clúster Beowulf
Implementación● Suit que integra todo
– Warewulf: escalabilidad, configuración, administración, provisión, instalación y monitoreo
Red● Un nodo maestro como front-end del sistema
– La mayoría de configuración se hace aquí
● Nodos de cómputo como fuerza computacional● Red local (alta velocidad) para la interconexión
30/11/16 Angel Vázquez-Patiño 17/24
Clúster Beowulf
Pruebas● Herramientas de benchmarking
Topología● Nodo maestro con dos tarjetas de red
30/11/16 Angel Vázquez-Patiño 18/24
Clúster Beowulf
30/11/16 Angel Vázquez-Patiño 19/24
Clúster BeowulfCapa de aplicación
Aplicacionessecuenciales
Aplicacionesparalelas
Entorno de programación paralela
Cluster middlewareLibrerías GNU
Librerías MPI, PVMHerramientas del clúster, Software de administración
Provisionamiento, Sistema de archivos
Imagen del sistema
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
Bus de datosRed de alta velocidad, switch
Gigaethernet
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
PCWorkstation
Software decomunicaciónInterfaz de red
(Hardware)
30/11/16 Angel Vázquez-Patiño 20/24
Tarea● Averiguar
herramientas a utilizar en la implementación de un clúster Beowulf
● Desarrollar una aplicación con MPI
● Implementar una herramienta para paralelizar y utilizar en el clúster
Imagen: https://goo.gl/omvXQS
30/11/16 Angel Vázquez-Patiño 21/24
Conceptos y términos importantes
30/11/16 Angel Vázquez-Patiño 22/24
Conceptos y términos importantes● Clúster● Beowulf● Sistemas de administración● Lenguajes de programación● Topología● Velocidad de red● Nodos heterogéneos● Nodo master y nodos de cómputo● Traslado del SO a los nodos de cómputo
30/11/16 Angel Vázquez-Patiño 23/24
Referencia● Gualán, R., Vázquez-Patiño, A., Vega, F., 2013. Una primera
aproximación a la implementación de un clúster para la ejecución de un modelo de predicción climática. Galileo 42-48, https://goo.gl/Pvepha
Artículos relacionados● Análisis de rendimiento y profiling del modelo WRF en un clúster
HPC, https://goo.gl/RZWmni● Multi-GPU implementation of the Horizontal Diffusion method of the
Weather Research and Forecast Model, https://goo.gl/qMyXIh● Grid Platform for Medical Federated Queries Supporting Semantic
and Visual Annotations, https://goo.gl/g2RaFz● GPU Acceleration of the Horizontal Diffusion Method in the Weather
Research and Forecasting (WRF) Model, https://goo.gl/vxN3Ym
30/11/16 Angel Vázquez-Patiño 24/24
Preguntas
top related