infraestructuras de accounting en egee

Infraestructuras de Accounting en EGEE

sumario presentación

• Descripción general del CESGA

• Cálculo INTENSIVO

• Almacenamiento

• Accounting en el Cesga

• Accounting en EGEE

misión

• Promover servicios comunes de apoyo a la investigación, desarrollo en innovación en el ámbito de las tecnologías de la información y de las comunicaciones, en Galicia y en la comunidad investigadora del CSIC.

• Promover acciones tendentes a la innovación y a la mejora en la prestación de servicios de cálculo intensivo y comunicaciones avanzadas, asi como actividades encaminadas a promover soluciones innovadoras en el mundo de la Sociedad del Conocimiento

personalidad jurídica

• Fundación Pública

• Empresa Pública

• Xunta de Galicia 70%

• CSIC 30%

socios y patronatos

• Universidades gallegas

• Centros de investigación de la Xunta de Galicia

• Centros y laboratorios del CSIC

• Departamentos de I+D de empresas

• Centros de investigación europeos

• Otras instituciones (centros tecnológicos, hospitales, fundaciones,...)

usuarios

11 años de historia: el cálculo intensivo

1993

VP 2400

2,5 GFLOPS

1998

VPP 300 AP 3000

14,1 GFLOPS 12 GFLOPS

1999

HPC 4500 STORAGETEK

9,6 GFLOPS

2003

SUPERDOME

768 GFLOPS

2001

SVG

9,9 GFLOPS

2002

HPC 320 BEOWULF

64 GFLOPS 16 GFLOPS

51 TERABYTES

2004

SVG

512 GFLOPS

Cluster DELL

NUEVO SERVIDOR DE CÁLCULO Throughput 2004

80 procesadores [email protected], 1MB cache, 1 GB memoria, 160GB disco

Interconexión Gigabit, Total 512GFlops pico, 80GB memoria, 12TB disco

infraestructura: almacenamiento

evolución de la capacidad de cálculo instalada en el cesga

evolución del consumo de horas de cpu en cesga

utilización de los recursos de cálculo

Qué se usa (Sistemas, nodos, software, etc...)

Cómo se usa

Quién lo usa

Cuál es el comportamiento? Tiempos de espera en cola, niveles de disponibilidad, calidad esperada!, etc...

Cerrar el lazo con los SLA. Ejemplos: si un usuario/institución está saturando las colas, penalizar (menos prioridad). Determinación de la eficiencia de las políticas de distribución de trabajos, etc...

Hacer un coste realista del consumo (no es suficiente el número de horas consumidas, sino el número de horas en qué arquitectura, y no sólo el procesador, sino tener en cuenta también la memoria, sistema de E/S, etc...)

Necesidad de acounting

Información proveniente de:

Base de datos de usuarios (login, departamento, proyecto, etc...)

Ficheros logs de sistemas de colas (actualmente LSF, PBS, SGE)

Consumo de los sistemas (ficheros acct)

Monitorizacion del los sistemas (ficheros sa)

Generamos base de datos (MySQL) de consumos/trabajos

Scripts de consulta en PHP

Consultas web

Arquitectura de acounting en el cesga

Distribución por instituciones

Tiempo medio de espera en cola

Porcentaje de ocupación

Servidor de cálculo HPC320, año 2003

Número de procesadores solicitados (jan-aug - 2004)

Memoria solicitada (jan-aug - 2004)

Tiempo solicitado (jan-aug - 2004)

Espacio en disco solicitado (jan-aug - 2004)

Accounting

ComputingElement

StorageElement

Resource metering:

getting infoabout resource

usage

Resource metering:

getting infoabout resource

usage

Arquitectura de accounting

Accounting

ComputingElement

StorageElement

Reports aboutresource usage per user / VO/

resource


Accounting

ComputingElement

StorageElement

Resourcepricing

Resource owner


Accounting

ComputingElement

StorageElement

Resourcepricing

Resource owner

Costcomputation


Desarrollado para el GOC en el RALJohn Gordon y Dave KantCCLRC e-Science Centre, UK

EGEE JRA1 IT-CZ cluster homepagehttp://egee-jra1-wm.mi.infn.it/egee-jra1-wm

EGEE JRA1 (middleware activity) homepagehttp://egee-jra1.web.cern.ch/egee-jra1

Quién

Dos partes diferenciadas:La infraestructura de recogida y tratamiento de la información de

accounting basada en R-GMA y que concentra todos los datos en un punto central

Un portal web para permitir la visualización de distintos tipos de informes en funcion de las demandas

Basado en R-GMA, cada site debe instalar un nodo local R-GMA MON para almacenar la información de accounting

Soporta PBS (lcgpbs, pbspro, Vanilla pbs, openpbs, torque) y BQS. Trabajando en soportar LSF. CESGA tratará de integrar SGE

Se deben almacenar los logs de batch, gatekeeper y mensajes del sistemaSe asume que el ID del grupo utilizado para ejecutar los trabajos del

usuario es el nombre de la VO (pendiente de confirmar)Asume que el cluster es homogéneo. Páginas web de accounting en el GOC están siendo desarrolladas:

http://goc.grid-support.ac.uk/gridsite/accounting/index.htmlEstará incluído en el próximo SLC3


La información se obtiene de 3 logs:Gatekeeper Records contain DN, GramScriptJobID and the

manager type (lcgpbs, fork, lcglsf). Gatekeeper logs are used to distinguish jobs that are submitted through the grid (grid jobs) from jobs submitted locally (non-grid jobs) on the fabric.

Messages logs contain mappings between GramScriptJobID and LocalJobID of Batch System. Batch Logs do not distinguish between grid jobs and non-grid jobs.

Batch Logs: “E” (PBS) or “JOB_FIINISH” (LSF) and LocalJobID, LocalUser, LocalGroup, StartTime, StopTime, ExecutingHost, CPUTime, MemoryUsage, Exit Status, …


Batch Log

GK Log

messages

filter

filter

filter

filter

CE

Site GIIS LCG SITE

LCG SITE

Data Sources

MON

RGMA

GOC SiteMON

RAW Accounting

Data

Data Aggregation per VO per ROC

Accounting Service On

Demand

Reports


http://goc.grid-support.ac.uk/gridsite/accounting/index.html

BaseCpuSeconds agregados en EGEE

Cada Site, por VO, por Mes

Interface para elegir la visualización de los datos: VO, ventana temporal y Region

Cada Region, por VO, por Mes

Otras Distribucione

s

CPU Normalizada

Nº de trabajos


Dar soporte a la federación

Portar a otros sistemas de colas

Clusters heterogéneos

Otras plataformas

Accounting de sistema

Accounting de almacenamiento

Integración con políticas SLA

Colaborar en el desarrollo

Actividad prevista en el Cesga en accounting

Carlos Fernández, [email protected]

Gracias!!

infraestructuras de accounting en egee

Documents