GESTIÓN DE RECURSOS COMPUTACIONALES EN EL CLOUD PARA ACTIVIDADES EDUCATIVAS
XX Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI 2014)
Germán MoltóDepartamento de Sistemas Informáticos
y Computación (DSIC)
OBJETIVO DE LA PRESENTACIÓN
• Objetivo:
• Describir el uso de la plataforma ODISEA*, para el despliegue de infraestructuras computacionales virtuales educativas en diferentes asignaturas del Máster Universitario en Computación Paralela y Distribuida (MUCPD) de la Universitat Politècnica de València.
• Índice de la presentación:
1. Introducción a las infraestructuras virtuales
2. La plataforma ODISEA
3. Experiencias de uso
4. Conclusiones
* (del inglés On-demand Deployment of Infrastructures to Support Educational Activities)
INTRODUCCIÓN (I)
• Numerosas asignaturas en el ámbito de la informática requieren realizar prácticas de laboratorio con herramientas software específicas y/o sobre infraestructuras de cómputo complejas.
• Ejemplos de SW:
• Compiladores, IDEs, librerías numéricas, etc.
• Ejemplos de Infraestructuras Complejas:
• Clusters de PCs, infraestructuras Grid, despliegues Cloud, etc.
Escenario de Trabajo
INTRODUCCIÓN (II)
• Aproximaciones a la Gestión de Recursos
1. Uso de Recursos Hardware Dedicados• Adquisición de equipos para uso exclusivo de una actividad, e.g.,
compra de un cluster de PCs para prácticas de alumnos.
• Problema: Uso puntual, recursos desaprovechados, re-configuración periódica, los fallos imposibilitan la actividad educativa.
2. Uso de Recursos Virtualizados / Imágenes de Disco• Instalación de equipos de un laboratorio en base a imágenes pre-
configuradas
• Problema: deben ser periódicamente mantenidas, no gestionan las dependencias de infraestructuras complejas (Cluster, Grid, etc.)
3. Aprovisionamiento y Configuración Automatizada de Infraestructuras Complejas en el Cloud.
Gestión de Recursos Computacionales
CLOUD COMPUTING / COMPUTACIÓN EN LA NUBE
• “Cloud Computing es un modelo para permitir el acceso ubicuo, bajo demanda y a través de la red a un conjunto de recursos de cómputo configurables que pueden ser rápidamente aprovisionados y liberados con una mínima interacción con el proveedor”, NIST (National Institute of Standards and Technology).
• Proveedores de Cloud público con modelo de pago por uso.
• Herramientas para la creación de Clouds on-premise.
INFRAESTRUCTURAS VIRTUALES DE SOPORTE A LA ACTIVIDAD EDUCATIVA
• Definimos una Infraestructura Virtual de Soporte a la Actividad Educativa como un conjunto de máquinas virtuales relacionadas, desplegadas sobre uno o varios proveedores Cloud, y que disponen de la configuración Hardware, Software y de Datos definida por el instructor para soportar una determinada actividad educativa Laboratorio Remoto de Prácticas
• Ejemplo: • Cluster Hadoop de 4 nodos con 2 GB de RAM, Ubuntu 12.04, con Java JDK 1.7+, Octave, sistema de archivos compartido, 15 cuentas de usuario y los boletines de prácticas disponibles en una carpeta.
LA PLATAFORMA ODISEA
Arquitectura y Componentes
Infrastructure Manager
(IM)
Descripciones de Infraestructuras
Virtuales (RADLs)
Catálogo y Repositorio De Imágenes de
Máquinas Virtuales (VMRC)
AdministradorAdministrador InstructorInstructor
Infraestructura Virtual A
Infraestructura Virtual B
Proveedor Cloud
Configurador(Ansible)
Interfaz Web
Repositorio de Software
Repositorio de Material Educativo
Alumnos
Plataforma ODISEA
EXPERIENCIAS DE USO
• ODISEA se ha utilizado en cuatro asignaturas del Máster en Computación Paralela y Distribuida (MUCPD) de la Universitat Politècnica de València, durante 2013/2014:
• Infraestructuras Avanzadas en Grid (IAG)
• Infraestructuras Avanzadas en Cloud (IAC)
• Modelos de Programación en Grid (MPG)
• Modelos de Programación en Cloud (MPC)
• Y en el Curso Online de Cloud Computing con Amazon Web Services.
USO EN LAS ASIGNATURAS IAC Y MPC
• Estas asignaturas abordan el uso de infraestructuras de Cloud Computing, ejemplificando sobre OpenNebula y Amazon Web Services, realizando gestión y análisis de datos en la nube usando técnicas de Big Data y despliegue de infraestructura de cómputo escalables.
Recurso Sistema Operativo Software Hardware
ONE-UI Ubuntu 12.04 LTS Cliente OpenNebula 512 MB RAM
AWS-UI Ubuntu 12.04 LTS AWS CLI 1 GB RAM
AWS-DevOps(2x alumno)
Ubuntu 12.04 LTS Ansible, Python 512 MB RAM
Cluster-Hadoop(varios nodos)
Ubuntu 12.04 LTS Hadoop, Python, HDFS
2 GB RAM
USO EN LAS ASIGNATURAS IAG Y MPG
• Estas asignaturas abordan la programación de aplicaciones y servicios que requieran infraestructuras Grid tanto batch (soportadas por EMI) como orientadas a servicio (OGSA) usando Globus Toolkit.
• Requieren que los alumnos utilicen diferentes recursos:
Recurso Sistema Operativo Software Hardware
Servidor-VOMS Scientific Linux 5.10 (64 bits)
VOMS Server 512 MB RAM
Servidor-GT4 Scientific Linux 5.10 (64 bits)
GT 4.2, JDK 1.6, Ant, NetBeans
1 GB RAM
EMI-UI Scientific Linux 5.10 (64 bits)
EMI-UI, OpenMPI 512 MB RAM
OpenLDAP Scientific Linux 5.10 (64 bits)
OpenLDAP Server 1 GB RAM
USO DE LAS INFRAESTRUCTURAS VIRTUALES
• El instructor define la infraestructura en un lenguaje declarativo de alto nivel (RADL) y gestiona el ciclo de vida de la infraestructura en su asignatura.
Tiempo
Definir
Infraestructuras
Definir Imágenes
de Máquinas
Virtuales
Definir Descripciones
de Infraestructuras
(RADLs)
Instructor
Administrador
Alumnos
Desplegar
Infraestructura A
Desplegar
Infraestructura B
Infraestructura A
Infraestructura B
Destruir BDestruir
A
Usar AUsar B
EJEMPLO DE RADL SIMPLIFICADO
network public (inbound = ’yes’)
system aws-ui (
cpu.arch=’x86_64’ and cpu.count>=1 and memory.size>=1024m and
disk.0.os.name=’linux’ and disk.0.os.flavour=’ubuntu’ and disk.0.os.version>=’12.04’
)
configure aws-ui (
@begin
- vars:
- pw_00: M3Je2TpgZ3n
- ak_00: AKIAMAWOZX42O6A3SC4A
- sk_00: wy8mtS7FG0MlP5Tu4V/
tasks:
- user: name=alucloud00 password={{pw_00}}
- copy: dest=/home/alucloud00/.awssecret content="{{ak_00}} {{sk_00}}"
- get_url: url=<sdr>/{{item}} dest=/tmp
with_items:
- iacmaterial_1.0_all.deb
- command: dpkg -i /tmp/{{item}}
with_items:
- iacmaterial_1.0_all.deb
- apt: pkg=python-setuptools state=latest
Características hardware de la infraestructura virtual.
Instalación de software en la infraestructura virtual.
Aspectos de configuración de la infraestructura virtual
CONFIGURACIÓN DE INFRAESTRUCTURAS COMPLEJAS
• Permite el despliegue y configuración de infraestructuras complejas.
• Ejemplo: Creación de un Cluster Hadoop.
• Análisis de volúmenes masivos de datos.
• Automatización y repetibilidad.
Despliegue de
Infraestructura
Virtual
Configuración de
Servicios
Descarga e
Instalación de
Software
Creación de
Cluster Hadoop
Descarga y
Precarga de
Datasets en HDFS
Creación de
Cuentas de
Usuario
Configuración del
Entorno de Trabajo
Inicio Final
Infraestructura
Virtual Preparada
APROVISIONAMIENTO DE RECURSOS
• Los recursos de cómputo / almacenamiento se aprovisionan de una plataforma Cloud on-premise (OpenNebula, OpenStack, etc.) o de un proveedor de Cloud público (AWS, Microsoft Azure, etc.)
• Los alumnos se conectan vía SSH o Escritorio Remoto.
INTERFAZ GRÁFICA DE ODISEA / IM (I)
Listado de Descripción de Infraestructuras Virtuales
INTERFAZ GRÁFICA DE ODISEA / IM (II)
Edición de Descripción de Infraestructuras Virtuales
• Edición de RADLs
• Compartición de RADLsentre usuarios.
• Profesores que comparten RADLs entre asignaturas.
INTERFAZ GRÁFICA DE ODISEA / IM (III)
Gestión de Credenciales de Acceso a los Clouds
INTERFAZ GRÁFICA DE ODISEA / IM (IV)
• Gestión del ciclo de vida de las infraestructuras virtuales.• Detener (para reducir coste), terminar, reconfigurar.
• Información de registro del despliegue y configuración.
Gestión del Ciclo de Vida de las Infraestructuras Virtuales
CICLO DE VIDA DE LAS INFRAESTRUCTURAS VIRTUALES
• Para ahorrar costes es posible re-aprovechar el despliegue de una infraestructura iniciándola únicamente para las sesiones de laboratorio.• Se detiene (no elimina) al
finalizar la sesión.
Aprovisionar Configurar Acceder
Detener
IniciarTerminar
Profesor
ODISEA
Ciclo de vida de 1 día
Nueva Edición o Curso Académico
• Permite re-aprovechar los recursos hardware liberados para las infraestructuras de otras asignaturas.
• Permite reducir el coste económico en caso de despliegue en un Cloud público.
INFRAESTRUCTURAS VIRTUALES COMO MATERIAL EDUCATIVO
• Infraestructuras Virtuales (Laboratorios Remotos) disponibles para los alumnos:
• 24x7
• a discreción del instructor
• bajo demanda
• Entorno Virtual de Aprendizaje (Colaborativo).
Transparencias
Guías Didácticas
LibrosActividades Educativas
Actividades de Evaluación
Actividades Grupales …
Infraestructuras Virtuales
VENTAJAS DEL USO DE ODISEA: PROFESOR
• Desplegar una réplica de una misma infraestructura en cuestión de minutos.
• Repetibilidad, incluso en diferentes Clouds.
• Útil para:
• Ediciones periódicas.
• En caso de fallos.
• Falta de recursos de la entidad educativa Usar Cloud público (pago por uso).
• Compartición de infraestructuras entre docentes.
• e.g. Compartir la definición de un clúster virtual para diferentes prácticas.
En el MUCPD de la UPV
VENTAJAS DEL USO DE ODISEA: ALUMNOS
• Acceder a una mayor variedad de infraestructuras de cómputo, necesarias para adquirir las competencias definidas en las asignaturas.
• Siempre disponibles durante la actividad educativa.
Servidor VOMS
Servidor GT4
EMI UI
OpenLDAPONE
UIAWS
UI
AWS DevOp
s
ClusterHadoo
p
IAG MPG IAC MPC
VENTAJAS DEL USO DE ODISEA: ENTIDAD EDUCATIVA
• Mejor racionalización de recursos
• Plataforma Cloud on-premise de la entidad educativa.
• Virtualización: Un solo nodo físico permite ejecutar decenas de máquinas virtuales.
• Externalizar cómputo a un proveedor Cloud.
• Pago por uso en situaciones de picos de carga.
• Introducir BYOD (Bring Your Own Device) para conectarse a los laboratorios remotos.
• Escalar ante aumentos repentinos de matrícula de alumnos (cursos online, MOOC).
USOS ADICIONALES
• Curso Online de Cloud Computing con Amazon Web Services (AWS)
• http://www.grycap.upv.es/cursocloudaws
• 165+ alumnos,7 ediciones en menos de un año (cada 1-2 meses).
• ODISEA ha permitido:
• Automatizar el despliegue de los laboratorios remotos.• Cuentas de usuario
• Herramientas de acceso a AWS (AWS CLI)
• Credenciales de acceso
• Mirror del material educativo
• Ampliar la configuración de los laboratorios ante aumentos repentinos de matrícula.
DISPONIBILIDAD DE LA PLATAFORMA
• ODISEA está basado en componentes de código abierto como:
• IM (Infrastructure Manager). • http://www.grycap.upv.es/im
• VMRC (Virtual Machine image Repository & Catalog). • http://www.grycap.upv.es/vmrc
• También se ofrece como aplicación web (SaaS)• http://servproject.i3m.upv.es/im
• Registrar credenciales de acceso a los múltiples Clouds.
CONCLUSIONES
• ODISEA es una plataforma que permite desplegar infraestructuras virtuales de soporte a la docencia (laboratorios remotos), en múltiples plataformas Cloud.
• Los profesores automatizan el despliegue de dichas infraestructuras, adaptadas a sus necesidades (HW, SW y Configuración).
• Los alumnos acceden a un gran abanico de infraestructuras de cómputo para realizar las actividades prácticas.
• La plataforma ha sido liberada a la comunidad académica mediante código abierto y como un servicio.
CONTACTO
Germán Moltó
Dpto. de Sistemas Informáticos y Computación (DSIC)
Universitat Politècnica de València
Camino de Vera s/n
46022, Valencia
SPAIN
http://www.grycap.upv.es/gmolto
@gmolto