storage as a service
TRANSCRIPT
-
7/23/2019 Storage as a Service
1/32
StaaS: almacenamiento como servicio
Murcia, 1-2 de junio de 2012
-
7/23/2019 Storage as a Service
2/32
32
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Licencia
c 2012 FLOSSystems S.L.
This work is licensed under
a Creative Commons Attribution 3.0 License
http://creativecommons.org/licenses/by/3.0/es
http://creativecommons.org/licenses/by/3.0/eshttp://creativecommons.org/licenses/by/3.0/eshttp://creativecommons.org/licenses/by/3.0/es -
7/23/2019 Storage as a Service
3/32
32
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Quines somos: FLOSSystems
Larga experiencia como administradores de sistemas.
Fundadores de FLOSSystems, compaa especializada enservicios avanzados basados en plataformas y sistemas consoftware libre.
Diseo de plataformas: Virtualizacin, Clusters de AltaEscalabilidad, Clusters HA, Almacenamiento masivo,Seguridad...
Tambin impartimos formacin especializada.
Ms info: http://flossystems.com
http://flossystems.com/http://flossystems.com/ -
7/23/2019 Storage as a Service
4/3232
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Agenda
RAIDNiveles estndar de RAID
LVMGestin de volmenes lgicos (LVM)Ejemplo de LVM en Linux
ZFS
-
7/23/2019 Storage as a Service
5/3232
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Motivacin
Por qu estudiar las tecnologas de almacenamiento:
Es una de las tecnologas bsicas que se combina con
clusters, virtualizacin y cloud computing. Rendimiento y escalabilidad, replicacin, migracin no
disruptiva de datos...
Virtualizacin del almacenamiento.
Reduccin de los requerimientos de espacio y ahorro en costesde energa.
-
7/23/2019 Storage as a Service
6/3232
StaaS:almacenamiento como
servicio
6 RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID
-
7/23/2019 Storage as a Service
7/3232
StaaS:almacenamiento como
servicio
7 RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID: Redundant Array of Independent Disks
Es un sistema que utiliza varios discos duros para distribuir oreplicar datos a travs de los discos.
Evita prdida de datos.
Minimiza los tiempos de cada asociados a fallos de hardware(a menudo los reduce a cero).
Tambin puede incrementar el rendimiento.
Se puede implementar en el hardware o va software.
-
7/23/2019 Storage as a Service
8/3232
StaaS:almacenamiento como
servicio
8 RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Redundant Array of Independent Disks
RAID puede hacer dos cosas bsicas:
1. Puede mejorar el rendimiento dividiendo (stripping) los datosa travs de varios discos, que trabajan simultneamente conun flujo nico de datos.
2. Puede duplicar datos (mirror) a travs de varios discos,reduciendo el riesgo asociado al fallo de un disco.
-
7/23/2019 Storage as a Service
9/3232
StaaS:almacenamiento como
servicio
RAID
9 Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Niveles estndar de RAID
RAID 0(stripping): discos divididos sin paridad ni espejo
RAID 1(mirroringo duplicacin): es el primer nivel queofrece redundancia.
RAID 4: divide el volumen con paridad dedicada. Compite (ypierde en consistencia) con RAID 5.
RAID 5: Volumen dividido (stripped) con paridad distribuida.RAID 5 requiere al menos 3 discos.
RAID 10oRAID 1+0: es un volumen de datos espejado(RAID 1) que a su vez es dividido (RAID 0). RAID 10requiere al menos 4 discos.
-
7/23/2019 Storage as a Service
10/3232
StaaS:almacenamiento como
servicio
RAID
10 Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID 0
RAID 0(discos divididos sin paridad nimirroring): usa dos oms discos de igual tamao para reducir los tiempos deacceso y escritura. Se emplea exclusivamente para mejorarrendimiento.
Tolerancia a fallos: 0 discos
-
7/23/2019 Storage as a Service
11/32
32
StaaS:almacenamiento como
RAID
11 Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID 1
Volumen duplicado (espejado) sin paridad ni stripping:ofrece redundancia. Los datos son duplicados en dos o msdiscos de forma simultnea.
Tolerancia a fallos: n-1 discos
-
7/23/2019 Storage as a Service
12/32
32
StaaS:almacenamiento como
RAID
12 Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID 4
Discos divididos con un disco dedicado a informacin deparidad.
Incurre en tiempos de espera cuando escribe la paridad.
Pierde en comparacin con RAID 5, su competidor.
Tolerancia a fallos: 1 discos Requiere al menos 3 discos.
-
7/23/2019 Storage as a Service
13/32
32
StaaS:almacenamiento como
RAID
13 Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
RAID 5
Volumen dividido con paridad distribuida: es el nivel estndarms completo de RAID. Dividiendo datos e informacin deparidad, crea una arquitectura redundante que al mismotiempo mejora los tiempos de lectura/escritura.
Tolerancia a fallos: 1 disco.
RAID 5 requiere al menos 3 discos.
-
7/23/2019 Storage as a Service
14/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
14 LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
LVM
-
7/23/2019 Storage as a Service
15/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
15 LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Antes de los volmenes lgicos
Al principio, cada sistema de ficheros manejaba un nico disco:
Figura: No era muy grande.
-
7/23/2019 Storage as a Service
16/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
16 LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Por qu existen volmenes lgicos
Los usuarios precisaban ms espacio, ancho de banda, fiabilidad yflexibilidad:
Figura: Fcil: inserta un volumen para juntar discos.
-
7/23/2019 Storage as a Service
17/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
17 Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Gestin de volmenes lgicos (LVM)
LVM es un mtodo genrico de asignar el espacio dealmacenamiento.
Ms flexible que los esquemas de particionado convencionales.
Existen distintas implementaciones: Vinum (FreeBSD) LVM (NetBSD) LVM (Linux) ZFS LVM (AIX 1989, HP-UX)
LVM ayuda a los sysadmins a asignar eficientemente elespacio disponible en disco.
LVM es una de las muchas formas de virtualizacin delalmacenamiento.
-
7/23/2019 Storage as a Service
18/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
18 Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Gestin de volmenes lgicos (LVM)
LVM permite que el espacio sea dinmicamente asignadodesde una particin grande a las particiones que vannecesitndose.
Permite concatenar, dividir, juntar o cualquier otracombinacin entre particiones en una particin virtual mayor,que los sysadmins pueden cambiar el tamao o mover.
Idealmente sin interrupcin del sistema.
Desventajas: puede complicar el arranque en un disaster recovery. puede sufrir fragmentacin externaa causa del FS
subyacente, reduciendo el rendimiento de E/S.
-
7/23/2019 Storage as a Service
19/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
19 Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Ejemplo de LVM en Linux
-
7/23/2019 Storage as a Service
20/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
20 Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Ejemplo de LVM en Linux
Creacin de volmenes fsicos# pvcreate /dev/sdb1
# pvcreate /dev/sdb2
Creacin del Virtual Group# vgcreate mynew_vg /dev/sdb1 /dev/sdb2
Aadir nuevos volmenes fsicos a un grupo virtual# vgextend mynew_vg /dev/sdb3
-
7/23/2019 Storage as a Service
21/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
21 Ejemplo de LVM en Linux
ZFS
FLOSSystems S.L.,Madrid, Spain
Ejemplo de LVM en Linux
Creacin de Volmenes Lgicos# lvcreate -L 400 -n vol01 mynew_vg
# lvcreate -L 1000 -n vol02 mynew_vg
Mostrar Grupos y Volmenes Lgicos# vgdisplay
# lvdisplay
Creacin de un sistema de ficheros en volmenes lgicos# mkfs.ext3 /dev/mynew_vg/vol01
# mount /dev/mynew_vg/vol01 /home/foobar
-
7/23/2019 Storage as a Service
22/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
22 ZFS
FLOSSystems S.L.,Madrid, Spain
ZFS
-
7/23/2019 Storage as a Service
23/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
23 ZFS
FLOSSystems S.L.,Madrid, Spain
Un vistazo a ZFS
ZFS es un potente, escalable (128bit) y moderno sub-sistemade almacenamiento.
Fiable, administracin sencilla, integridad de datos y serviciosintegrados.
ZFS combina los roles tradicionales de Volume Manager(RAID) y Sistema de Ficheros.
La idea es que el disco debera ser algo similar a los mdulos
DIMM de RAM, conectar y usar. ZFS se lleva muy bien con SSD, y sabe cmo usarlo.
-
7/23/2019 Storage as a Service
24/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
24 ZFS
FLOSSystems S.L.,Madrid, Spain
ZFS: caractersticas nicas (1)
Poolde almacenamiento: elimina por completo el viejoconcepto de volumen lgico como capa aparte.
ZFS es Copy-on-Write transaccional: si mltiples procesospiden recursos iguales, se les devuelven punteros al mismorecurso.
Siempre consistente (no necesidad de fsck)
Integridad de datos: detecta y corrige silenciosamente
corrupcin de datos. Inmensa escalabilidad
-
7/23/2019 Storage as a Service
25/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
25 ZFS
FLOSSystems S.L.,Madrid, Spain
ZFS: caractersticas nicas (y 2)
Caractersticas avanzadas: snapshots, clones, rollbacks,deduplication, compresin, replicacin, cifrado, comparticinnativa va nfs, cifs o iscsi...
Administracin simple: zfs y zpool.
Estado del arte, marca el camino a los futuros FS (comobtrfs)
Limitaciones: ZFS no es un FS de tipo cluster ni un sistema distribuido o
paralelo. Muy exigente en recursos.
En el proceso de escritura (I/O), un bloque puede ser comprimido,cifrado, realizada la suma de comprobacin y a continuacindeduplicado, en ese orden.
-
7/23/2019 Storage as a Service
26/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
26 ZFS
FLOSSystems S.L.,Madrid, Spain
ZFS: pools de almacenamiento
Los sistemas de ficheros se crean sobre pools dealmacenamiento virtual llamados zpools.
Un zpool se construye a partir de dispositivos virtuales(vdevs) desde dispositivos de bloques: ficheros, particiones dedisco duro o discos enteros.
-
7/23/2019 Storage as a Service
27/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
27 ZFS
FLOSSystems S.L.,Madrid, Spain
Modo transaccional COW en ZFS
V l /FS l d l i
-
7/23/2019 Storage as a Service
28/32
32
StaaS:almacenamiento como
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
28 ZFS
FLOSSystems S.L.,Madrid, Spain
Volumen/FS vs. pool de almacenamiento
Volmenes tradicionales:
Abstraccin: disco virtual
Particin/volumen para cada FS
Crece o se reduce manualmente
Cada FS tiene ancho de banda limitado
El almacenamiento se fragmenta
V l /FS l d l i
-
7/23/2019 Storage as a Service
29/32
32
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
29 ZFS
FLOSSystems S.L.,Madrid, Spain
Volumen/FS vs. pool de almacenamiento
Almacenamiento con ZFS pools: Abstraccin: malloc/free
No hay particiones que manejar
Crece o se reduce automticamente
Todo el ancho de banda est siempre disponible
Todo el almacenamiento en el pool es compartido
RAID Z
-
7/23/2019 Storage as a Service
30/32
32
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
30 ZFS
FLOSSystems S.L.,Madrid, Spain
RAID Z
RAID no estndar: especfico de ZFS. Similar a RAID 5, pero evita el write holede RAID 5 (si se
produce un apagn durante una escritura, paridad o datos puedenquedar inconsistentes/corruptos).
Existe tambin RAID Z2 que dobla (o triplica) la estructura de
partidad alcanzando resultados similares a RAID 6. En Julio de 2009, se incorpor RAID Z de triple paridad a
OpenSolaris.
No precisa ningn hardware especial.
-
7/23/2019 Storage as a Service
31/32
32
StaaS:almacenamiento como
servicio
RAID
Niveles estndar de RAID
LVM
Gestin de volmeneslgicos (LVM)
Ejemplo de LVM en Linux
31 ZFS
FLOSSystems S.L.,Madrid, Spain
ZFS Demo
-
7/23/2019 Storage as a Service
32/32
StaaS: almacenamiento como servicio
Murcia, 1-2 de junio de 2012