CONCEPTES AVANÇATS DE SISTEMES OPERATIUS Departament d’Arquitectura de Computadors

(Seminaris de CASO)

Autors

Optimització d’E/S per aplicacions paral·leles

Iván Corvillo

Jordi Rovira i Boent

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

2

Context Gràcies als sistemes paral·lels, el que limita moltes

aplicacions ja no és el temps de CPU: tenim tants CPUs com volem.

El que limita moltes aplicacions paral·lelitzades és ara les operacions d’entrada i sortida.

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

3

Solucions existents Optimització del codi en temps de compilació, reordenant

les operacions d’E/S, i fer servir llibreries especialitzades. (PASSION)

Sistemes de fitxers paral·lels, que fragmenten i distribueixen les dades per poder fer accés paral·lel, reduint la necessitat de sincronitzar un fitxer. (VESTA)

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

4

Què és? ViPIOS (Vienna Parallel Input/Output System) (1998)

intenta aprofitar les ventatges d’aquests dos camins. Optimitza l’entrada i sortida aprofitant la informació tant de

temps de compilació com de temps d’execució, reaccionant dinàmicament.

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

5

Arquitectura Separar el mòdul

d’entrada/sortida de l’aplicació

Llibreria per les aplicacions (interfície d’E/S).

Servidors cooperant (amb MPI) per fer les operacions d’E/S.

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

6

Com funciona? Les operacions arriben al

servidor El fragmentador les divideix i les

envia als altres servidors si fa falta. També pren decisions sobre la distribució de les dades sobre els discs.

El gestor de memòria fa de cache de fragments recents i també pot fer pre-fetching.

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

7

Com funciona?

Les dades es distribueixen dinàmicament per tots els dics, per adaptar-se a l’execució.

Tot això ha de ser transparent a l’aplicació.

Seminaris de CONCEPTES AVANÇATS DE SISTEMES OPERATIUS

Departament. d’Arquitectura de Computadors - UPC

8

Bibliografia

Bibliografia– “ViPIOS: The Vienna Parallel Input/Ouput System”, Erich

Schikuta, Thomas Fuerle, Helmut Wanek– “PASSION: Parallel and ScalableSoftware for Input Output”, Alod

Choudhary, et al.– “The Vesta Parallel File System” Peter F Corbett Drod, et al.