modelatge i simulació del sistema informàtic que dona suport al...
TRANSCRIPT
Cas
telld
efel
s05
062
PFC
1
Modelatge i simulació del sistema informàtic que dona suport al Campus Digital
Norbert Martínez Bazan
Juliol - 2006
Cas
telld
efel
s05
062
PFC
1
Introducció
El Campus Digital de la UOC:
proporciona serveis remots als estudiants, al personal docent i al d’administració.
el portal i les aplicacions de campus i de gestió són diàriament utilitzats per una comunitat de més de 45.000 membres en diferents països.
L’arquitectura que suporta tots aquests serveis ha de garantir:
rapidesa, fiabilitat, estabilitat, seguretat i cada cop més, escalabilitat
un funcionament global el més eficient possible (difícil d’obtenir)
Experimentar esdevé gairebé impossible en un entorn utilitzat sense interrupció:
Les tècniques de simulació poden tenir un paper significatiu en l’estudi de la fiabilitat i disponibilitat, permetent la emulació, anàlisi i experimentació del sistema sense haver d’interactuar amb el sistema real implementat.
La simulació de esdeveniments discrets (SED) s’ha demostrat com una eina apropiada per a la rèplica i anàlisi de xarxes de comunicacions com el Campus Digital.
Cas
telld
efel
s05
062
PFC
1
Objectius del Projecte
Inicial: construir el model en llenguatge Java, des d'un punt de vista estrictament lògic, basat en el processos i amb una visió aproximada dels dispositius, sense aprofundir en les comunicacions ni en els detalls físics de la xarxa.
Problemes:
construcció (programació) laboriosa des de zero
difícil de verificar i validar
Revisat: avaluar l’eina OPNET per fer-la servir com a base del projecte, focalitzant més en la modelització i simulació que no pas en la construcció de programari.
Modelització del Campus Digital en el seu estat actual
Conèixer les tècniques i metodologia de construcció amb OPNET
Simular una part del Campus Digital amb OPNET→ Campus Virtual
Ajustar el comportament del Campus Virtual al real
Deixar el camí preparat per a d’altres PFC futurs
Cas
telld
efel
s05
062
PFC
1Enfocament del Projecte:Metodologia
Estudiar els documents i material disponible sobre el Campus Digital
Aprendre la metodologia bàsica de treball amb OPNET
Construir un model de manera incremental
seleccionant els dispositius més representatius
identificant els estadístics a mesurar
executant les simulacions i avaluant els resultats
comparant diversos escenaris
Descriure detalladament:
què s’ha modelat
com s’ha modelat
quins resultats s’han obtingut
quins problemes hi ha hagut i com s’han resolt
Cas
telld
efel
s05
062
PFC
1
El projecte Castelldefels
El projecte Castelldefels té com a objectiu la millora del rendiment del Campus Digital de la UOC focalitzant principalment en:
la topologia de la xarxa
els dispositius utilitzats
els protocols de comunicacions
els servidors dedicats a diferents aplicacions o serveis
les polítiques de balanceig de servidors
els diferents algorismes de balanceig en funció del servei
els mecanismes de persistència de la sessió
la monitoratge i anàlisi del rendiment
Cas
telld
efel
s05
062
PFC
1Castelldefels:Descripció del funcionament de la xarxa
L’usuari obre un navegador i es connecta a l’adreça URL del Campus de la UOC
La petició passa pel router frontera, travessa el tallafocs, arriba al balancejador de càrrega i s’estableix una sessióamb un dels tres servidors de portal, que retorna la pàgina d’accés
L’usuari s’identifica amb el seu id i clau privada d’accés, i un cop validats a la base de dades s’accedeix al Campus amb un nou encaminament balancejat a un dels 25 servidors front-end de Campus
Tot el tràfic de tornada es comprimeix en un accelerador WEB per utilitzar menys ample de banda i així millorar el rendiment de la xarxa
La persistència de sessió al mateix front-end s’assoleix amb diferents mecanismes: adreça IP origen, cookies...
Cas
telld
efel
s05
062
PFC
1Castelldefels:Balanceig de càrrega
Els balancejadors de càrrega distribueixen els usuaris entre els diferents servidors disponiblesHi ha dos balancejadors en règim d’alta disponibilitat, per garantir que sempre n’hi ha un que funcionaEl balanceig es fa per port (servei) i no per DNS (adreça IP origen)L’usuari fa una petició a una adreça virtual, i el balancejador la redirigeix a un servidor actiu i que funciona correctamentEl balancejador també monitoritza la disponibilitat dels diferents servidors per a cada servei, identificant les fallades i les recuperacionsLa política de balanceig es pot fer amb diversos algorismes:
a l’atzar (random)seqüencial (round-robin): un rere l’altre en cua circularen funció del nombre de connexions a cada servidoren funció del càrrega de cada servidor
Cas
telld
efel
s05
062
PFC
1OPNET:Introducció
Proporciona un entorn virtual de modelització i simulació de xarxesPorta predefinida una llibreria de tecnologies i dispositius genèrics i de fabricants reconeguts: CISCO, 3COM, etc...Permet l’extracció automatitzada de models a partir del tràfic de xarxa (ACE)La modelització es fa en un entorn gràfic de nodes i enllaçosTé assistents i editors per a cada tipus d’element del modelPermet la simulació simultània de diversos escenarisProporciona eines d’anàlisi gràfica a partir de les dades recollides d’estadístics definits per l’usuariDues versions:
Modeler: complerta, llicència acadèmica disponibleIt-Guru: reduïda, no permet crear o modificar models de processos, llicència individual d’avaluació
Crear projecte
Crear / Modificar escenari
Escollir estadístics
Duplicar escenari
Simular execució
Analitzar resultats
Nova hipòtesi (What-If)
Cas
telld
efel
s05
062
PFC
1OPNET:Elements de Construcció
Nodes:elements bàsics de la xarxa: dispositiustenen una estructura modular, amb canals de paquets i connectors estadísticsel funcionament intern ve controlat per un model de processoscaracteritzen la simulació d’esdeveniments discrets (SED)
màquina d’estats finita per descriure el funcionament: estats i transicions amb operacions que es poden escriure en C / C++
Enllaços:permeten connectar dos nodesproporcionen informació d’estat
Atributs:caracteritzen nodes i enllaçosnom i valor: escalar, enumerat, col·leccions, d’usuari, ...permeten definir les distribucions estadístiques inherents a la simulació d’esdeveniments discrets
Cas
telld
efel
s05
062
PFC
1OPNET:Elements de simulació
Aplicacionsserveis que es poden executar en un servidor: FTP, mail, definits per l’usuari, etc.defineixen l’activitat (càrrega) del sistema
Perfilsconjunt d’aplicacions que pot executar un grup d’usuaris
Escenariscada versió diferent d’un modelper poder fer comparacions entre diferents hipòtesis:
p.ex. retards, ample de transferència, ús, temps de resposta
Experimentsconjunt d’estadístics a recollir:
p.ex. globals, de node, d’enllaç
Anàlisisconfiguració i resultats de la simulaciógràfics i plantilles amb dades estadístiques
Cas
telld
efel
s05
062
PFC
1Castelldefels:Simulació del sistema
Versió reduïda del Campus Digital
Servidors: fins a 5 front-ends de Campus (HTTP i FTP) i 2 d'Email
Balancejador: un amb suport per als tres protocols i amb control de fallades i recuperació
Un tallafocs perimetral
Un router frontera connectat a Internet
Fins a 250 estacions clients connectades a Internet
Aplicacions: HTTP, FTP i Email
Perfils: un únic perfil d’estudiant
Simulador de fallades - recuperacions
Política de confidencialitat: els dispositius simulats són similars als utilitzats al Campus en funcionalitat,però sense especificar ni el fabricant ni el model.
Cas
telld
efel
s05
062
PFC
1It-Guru: ExperimentsCàrrega i Comparació Balancejadors
Objectius: estudiar el rendiment amb un únic servidor i diferents càrregues, comparar resultats amb balanceig de múltiples servidors i diferents polítiques
Simulació: 10 hores de simulació, 5 front-ends (3 Campus i 2 Email) balancejats, en 3 escenaris de 25, 50 i 100 sessions d’un servidor i un quart de 100 amb 5 servidors
Resultats:
Cal construir els escenaris a partir del seu model d’exemple, en cas contrari no balanceja correctament
A mesura que augmenta el nombre d’usuaris també ho fa el tràfic i augmenta el temps de resposta
Es verifica que l’ús de balancejadors i múltiples servidors millora el rendiment
Amb Round-Robin, tots els servidors convergeixen cap a mitjanes de càrrega similars
Cas
telld
efel
s05
062
PFC
1OPNET Experiment 1:Basic
Objectius: construir un primer model a partir de zero, sense fer servir cap exemple previ, i comparar entre diferents configuracions de servidors amb i sense balancejadorSimulació: 10 hores de simulació, 50 estacions de treball, fins a 4 front-ends de Campus balancejats en 5 escenaris: un únic servidor, 3 servidors amb diferents algorismes (no balancejat, random i round-robin), i 4 servidors round-robin.Resultats:
El model funciona però amb resultats de balanceig diferents als obtinguts amb It-GuruEl balanceig millora significativament el rendiment, permeten un tràfic més alt amb un temps de resposta menorNo hi ha una diferència significativa de rendiment en funció de la política de balanceig
Cas
telld
efel
s05
062
PFC
1OPNET Experiment 2:Tallafocs
Objectius: verificar el funcionament del tallafocs, comprovar que es pot configurar correctament i activar i desactivar a conveniència
Simulació: 10 hores de simulació, 4 front-ends (3 Campus i 1 Email) balancejats, un tallafocs perimetral entre el balancejador i el router amb FTP filtrat
Resultats:
No hi ha activitat per al servei filtrat (FTP)
Les altres aplicacions funcionen amb normalitat
El tallafocs funciona correctament
Cas
telld
efel
s05
062
PFC
1OPNET Experiment 3:Fallada - Recuperació
Objectius: comprovar que el balancejador monitoritza els servidors, detectar quan en cau un reassignant les seves sessions, i tornar a fer-lo servir quan es recupera
Simulació: 10 hores de simulació, 4 front-ends (3 Campus i 1 Email) balancejats, un simulador de fallades-recuperacions que desactiva el servidor 1 durant 6 hores després de la segona hora d’activitat
Resultats:
El servidor 1 funciona correctament fins a les 2 hores
Llavors cau i és substituït pel servidor 2
Després de 6 hores d’inactivitat, es recupera i el balancejador l’incorpora automàticament a la llista de servidors disponibles
Cas
telld
efel
s05
062
PFC
1OPNET Experiment 4:Campus virtual
Objectius: verificar el funcionament amb tres aplicacions balancejades i diferents mides de nombres de clients, comparar el rendiment de les aplicacions
Simulació: 10 hores de simulació, 7 front-ends (5 Campus i 2 Email) balancejats, tres escenaris amb nombre d’estacions de treball creixents: 50, 100 i 250
Resultats:
HTTP i FTP balancegen exactament igual doncs són servits pels mateixos servidors
PROBLEMA: Amb càrregues més grans el tràfic és més alt, però el temps de resposta menor malgrat que hauria de mantenir-se igual o ser superior
PROBLEMA: A mesura que augmenta la càrrega, el balancejador deixa de fer servir alguns servidors (no funciona correctament)
Cas
telld
efel
s05
062
PFC
1OPNET Experiment 5:Polítiques de Balanceig
Objectius: comparar diverses polítiques de balanceig: random, round-robin, nombre de connexions i càrrega del servidor
Simulació: 20 hores de simulació, 7 front-ends (5 Campus i 2 Email) balancejats, quatre escenaris un per a cada política de balanceig
Resultats:
Round-robin tendeix a proporcionar la mateixa activitat per a cada servidor, però no de forma tan clara com en els experiments amb It-Guru
PROBLEMA: el balanceig basat en la càrrega dels servidors no funciona correctament
PROBLEMA: el balanceig basat en el nombre de connexions tendeix a estabilitzar-se amb una càrrega constant però diferent per a cada servidor
Cas
telld
efel
s05
062
PFC
1OPNET:Principals problemes identificats
És molt difícil reproduir un model d’exemple partint de zero, els resultats mai no són els mateixos (depèn de la configuració d’atributs globals?)La lògica del funcionament de la xarxa es perd, la simulació basada en models de processos dels dispositius i enllaços l’encapsulaEls balancejadors adrecen per servei i no per port. Múltiples aplicacions amb el mateix servei no poden ser balancejades per diferents servidors.Cal fer servir distribucions estadístiques molt precises (les del model d’exemple) per fer funcionar els balancejadors.Les polítiques de balanceig fan canvis de servidors en intervals de temps molt grans (de l’ordre de minuts), que disminueixen a mesura que augmenta el nombre de clients (depèn de les distribucions?).Quan augmenta el tràfic significativament el balancejador deixa de fer servir algunsservidors sense cap raó o de forma indeterminista (ordre de creació?).Els perfils amb múltiples aplicacions no donen els resultats esperatsSuport erràtic de localització i internacionalització: el punt/coma flotant pot arribar a portar problemes de configuració
Cas
telld
efel
s05
062
PFC
1
Conclusions
Avantatges:
Eina molt potent, permet fer simulacions molt realistes de tecnologies i xarxes
Alt nivell de parametrització i configuració, fàcil de fer servir
Motor de simulació amb anàlisi dels resultats en mode gràfic
Inconvenients:
Documentació molt pobre, es treballa molt a cegues
La simulació queda molt opaca, i més fent servir dispositius predefinits
Quan els resultats no són els esperats, es fa difícil esbrinar el perquè
L'escalabilitat s'ha demostrat com un dels punts crítics a analitzar. Diversos experiments han tingut un comportament erràtic a mesura que el nombre d'estacions de treball augmentava. Cal verificar que l'eina es pot fer servir amb milers de connexions concurrents.
Cas
telld
efel
s05
062
PFC
1
Treball futur
Trobar un mecanisme o parametrització millor per definir els milers d’estacions de treball dels usuaris
Verificar el model de processos del balancejador, per verificar el seu funcionament i la seva adequació a la realitat.
Modificar el balancejador per basar-lo en encaminament per ports i no en les aplicacions suportades
Configurar el model amb distribucions estadístiques més aproximades a les reals
Crear i incorporar al model altres dispositius: acceleradors, gestor de l’ample de banda, back-end de base de dades, etc...
Crear aplicacions pròpies del Campus a partir de la composició de serveis predefinits
Crear diferents perfils per simular els diferents tipus d’usuaris del Campus: estudiants, docents, personal d’administració, etc...