storage as a service

Upload: rlarapscribd

Post on 16-Feb-2018

219 views

Category:

Documents


0 download

TRANSCRIPT

  • 7/23/2019 Storage as a Service

    1/32

    StaaS: almacenamiento como servicio

    [email protected]

    Murcia, 1-2 de junio de 2012

  • 7/23/2019 Storage as a Service

    2/32

    32

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Licencia

    c 2012 FLOSSystems S.L.

    This work is licensed under

    a Creative Commons Attribution 3.0 License

    http://creativecommons.org/licenses/by/3.0/es

    http://creativecommons.org/licenses/by/3.0/eshttp://creativecommons.org/licenses/by/3.0/eshttp://creativecommons.org/licenses/by/3.0/es
  • 7/23/2019 Storage as a Service

    3/32

    32

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Quines somos: FLOSSystems

    Larga experiencia como administradores de sistemas.

    Fundadores de FLOSSystems, compaa especializada enservicios avanzados basados en plataformas y sistemas consoftware libre.

    Diseo de plataformas: Virtualizacin, Clusters de AltaEscalabilidad, Clusters HA, Almacenamiento masivo,Seguridad...

    Tambin impartimos formacin especializada.

    Ms info: http://flossystems.com

    http://flossystems.com/http://flossystems.com/
  • 7/23/2019 Storage as a Service

    4/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Agenda

    RAIDNiveles estndar de RAID

    LVMGestin de volmenes lgicos (LVM)Ejemplo de LVM en Linux

    ZFS

  • 7/23/2019 Storage as a Service

    5/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Motivacin

    Por qu estudiar las tecnologas de almacenamiento:

    Es una de las tecnologas bsicas que se combina con

    clusters, virtualizacin y cloud computing. Rendimiento y escalabilidad, replicacin, migracin no

    disruptiva de datos...

    Virtualizacin del almacenamiento.

    Reduccin de los requerimientos de espacio y ahorro en costesde energa.

  • 7/23/2019 Storage as a Service

    6/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    6 RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID

  • 7/23/2019 Storage as a Service

    7/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    7 RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID: Redundant Array of Independent Disks

    Es un sistema que utiliza varios discos duros para distribuir oreplicar datos a travs de los discos.

    Evita prdida de datos.

    Minimiza los tiempos de cada asociados a fallos de hardware(a menudo los reduce a cero).

    Tambin puede incrementar el rendimiento.

    Se puede implementar en el hardware o va software.

  • 7/23/2019 Storage as a Service

    8/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    8 RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Redundant Array of Independent Disks

    RAID puede hacer dos cosas bsicas:

    1. Puede mejorar el rendimiento dividiendo (stripping) los datosa travs de varios discos, que trabajan simultneamente conun flujo nico de datos.

    2. Puede duplicar datos (mirror) a travs de varios discos,reduciendo el riesgo asociado al fallo de un disco.

  • 7/23/2019 Storage as a Service

    9/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    9 Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Niveles estndar de RAID

    RAID 0(stripping): discos divididos sin paridad ni espejo

    RAID 1(mirroringo duplicacin): es el primer nivel queofrece redundancia.

    RAID 4: divide el volumen con paridad dedicada. Compite (ypierde en consistencia) con RAID 5.

    RAID 5: Volumen dividido (stripped) con paridad distribuida.RAID 5 requiere al menos 3 discos.

    RAID 10oRAID 1+0: es un volumen de datos espejado(RAID 1) que a su vez es dividido (RAID 0). RAID 10requiere al menos 4 discos.

  • 7/23/2019 Storage as a Service

    10/3232

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    10 Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID 0

    RAID 0(discos divididos sin paridad nimirroring): usa dos oms discos de igual tamao para reducir los tiempos deacceso y escritura. Se emplea exclusivamente para mejorarrendimiento.

    Tolerancia a fallos: 0 discos

  • 7/23/2019 Storage as a Service

    11/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    11 Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID 1

    Volumen duplicado (espejado) sin paridad ni stripping:ofrece redundancia. Los datos son duplicados en dos o msdiscos de forma simultnea.

    Tolerancia a fallos: n-1 discos

  • 7/23/2019 Storage as a Service

    12/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    12 Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID 4

    Discos divididos con un disco dedicado a informacin deparidad.

    Incurre en tiempos de espera cuando escribe la paridad.

    Pierde en comparacin con RAID 5, su competidor.

    Tolerancia a fallos: 1 discos Requiere al menos 3 discos.

  • 7/23/2019 Storage as a Service

    13/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    13 Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID 5

    Volumen dividido con paridad distribuida: es el nivel estndarms completo de RAID. Dividiendo datos e informacin deparidad, crea una arquitectura redundante que al mismotiempo mejora los tiempos de lectura/escritura.

    Tolerancia a fallos: 1 disco.

    RAID 5 requiere al menos 3 discos.

  • 7/23/2019 Storage as a Service

    14/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    14 LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    LVM

  • 7/23/2019 Storage as a Service

    15/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    15 LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Antes de los volmenes lgicos

    Al principio, cada sistema de ficheros manejaba un nico disco:

    Figura: No era muy grande.

  • 7/23/2019 Storage as a Service

    16/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    16 LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Por qu existen volmenes lgicos

    Los usuarios precisaban ms espacio, ancho de banda, fiabilidad yflexibilidad:

    Figura: Fcil: inserta un volumen para juntar discos.

  • 7/23/2019 Storage as a Service

    17/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    17 Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Gestin de volmenes lgicos (LVM)

    LVM es un mtodo genrico de asignar el espacio dealmacenamiento.

    Ms flexible que los esquemas de particionado convencionales.

    Existen distintas implementaciones: Vinum (FreeBSD) LVM (NetBSD) LVM (Linux) ZFS LVM (AIX 1989, HP-UX)

    LVM ayuda a los sysadmins a asignar eficientemente elespacio disponible en disco.

    LVM es una de las muchas formas de virtualizacin delalmacenamiento.

  • 7/23/2019 Storage as a Service

    18/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    18 Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Gestin de volmenes lgicos (LVM)

    LVM permite que el espacio sea dinmicamente asignadodesde una particin grande a las particiones que vannecesitndose.

    Permite concatenar, dividir, juntar o cualquier otracombinacin entre particiones en una particin virtual mayor,que los sysadmins pueden cambiar el tamao o mover.

    Idealmente sin interrupcin del sistema.

    Desventajas: puede complicar el arranque en un disaster recovery. puede sufrir fragmentacin externaa causa del FS

    subyacente, reduciendo el rendimiento de E/S.

  • 7/23/2019 Storage as a Service

    19/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    19 Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Ejemplo de LVM en Linux

  • 7/23/2019 Storage as a Service

    20/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    20 Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Ejemplo de LVM en Linux

    Creacin de volmenes fsicos# pvcreate /dev/sdb1

    # pvcreate /dev/sdb2

    Creacin del Virtual Group# vgcreate mynew_vg /dev/sdb1 /dev/sdb2

    Aadir nuevos volmenes fsicos a un grupo virtual# vgextend mynew_vg /dev/sdb3

  • 7/23/2019 Storage as a Service

    21/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    21 Ejemplo de LVM en Linux

    ZFS

    FLOSSystems S.L.,Madrid, Spain

    Ejemplo de LVM en Linux

    Creacin de Volmenes Lgicos# lvcreate -L 400 -n vol01 mynew_vg

    # lvcreate -L 1000 -n vol02 mynew_vg

    Mostrar Grupos y Volmenes Lgicos# vgdisplay

    # lvdisplay

    Creacin de un sistema de ficheros en volmenes lgicos# mkfs.ext3 /dev/mynew_vg/vol01

    # mount /dev/mynew_vg/vol01 /home/foobar

  • 7/23/2019 Storage as a Service

    22/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    22 ZFS

    FLOSSystems S.L.,Madrid, Spain

    ZFS

  • 7/23/2019 Storage as a Service

    23/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    23 ZFS

    FLOSSystems S.L.,Madrid, Spain

    Un vistazo a ZFS

    ZFS es un potente, escalable (128bit) y moderno sub-sistemade almacenamiento.

    Fiable, administracin sencilla, integridad de datos y serviciosintegrados.

    ZFS combina los roles tradicionales de Volume Manager(RAID) y Sistema de Ficheros.

    La idea es que el disco debera ser algo similar a los mdulos

    DIMM de RAM, conectar y usar. ZFS se lleva muy bien con SSD, y sabe cmo usarlo.

  • 7/23/2019 Storage as a Service

    24/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    24 ZFS

    FLOSSystems S.L.,Madrid, Spain

    ZFS: caractersticas nicas (1)

    Poolde almacenamiento: elimina por completo el viejoconcepto de volumen lgico como capa aparte.

    ZFS es Copy-on-Write transaccional: si mltiples procesospiden recursos iguales, se les devuelven punteros al mismorecurso.

    Siempre consistente (no necesidad de fsck)

    Integridad de datos: detecta y corrige silenciosamente

    corrupcin de datos. Inmensa escalabilidad

  • 7/23/2019 Storage as a Service

    25/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    25 ZFS

    FLOSSystems S.L.,Madrid, Spain

    ZFS: caractersticas nicas (y 2)

    Caractersticas avanzadas: snapshots, clones, rollbacks,deduplication, compresin, replicacin, cifrado, comparticinnativa va nfs, cifs o iscsi...

    Administracin simple: zfs y zpool.

    Estado del arte, marca el camino a los futuros FS (comobtrfs)

    Limitaciones: ZFS no es un FS de tipo cluster ni un sistema distribuido o

    paralelo. Muy exigente en recursos.

    En el proceso de escritura (I/O), un bloque puede ser comprimido,cifrado, realizada la suma de comprobacin y a continuacindeduplicado, en ese orden.

  • 7/23/2019 Storage as a Service

    26/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    26 ZFS

    FLOSSystems S.L.,Madrid, Spain

    ZFS: pools de almacenamiento

    Los sistemas de ficheros se crean sobre pools dealmacenamiento virtual llamados zpools.

    Un zpool se construye a partir de dispositivos virtuales(vdevs) desde dispositivos de bloques: ficheros, particiones dedisco duro o discos enteros.

  • 7/23/2019 Storage as a Service

    27/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    27 ZFS

    FLOSSystems S.L.,Madrid, Spain

    Modo transaccional COW en ZFS

    V l /FS l d l i

  • 7/23/2019 Storage as a Service

    28/32

    32

    StaaS:almacenamiento como

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    28 ZFS

    FLOSSystems S.L.,Madrid, Spain

    Volumen/FS vs. pool de almacenamiento

    Volmenes tradicionales:

    Abstraccin: disco virtual

    Particin/volumen para cada FS

    Crece o se reduce manualmente

    Cada FS tiene ancho de banda limitado

    El almacenamiento se fragmenta

    V l /FS l d l i

  • 7/23/2019 Storage as a Service

    29/32

    32

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    29 ZFS

    FLOSSystems S.L.,Madrid, Spain

    Volumen/FS vs. pool de almacenamiento

    Almacenamiento con ZFS pools: Abstraccin: malloc/free

    No hay particiones que manejar

    Crece o se reduce automticamente

    Todo el ancho de banda est siempre disponible

    Todo el almacenamiento en el pool es compartido

    RAID Z

  • 7/23/2019 Storage as a Service

    30/32

    32

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    30 ZFS

    FLOSSystems S.L.,Madrid, Spain

    RAID Z

    RAID no estndar: especfico de ZFS. Similar a RAID 5, pero evita el write holede RAID 5 (si se

    produce un apagn durante una escritura, paridad o datos puedenquedar inconsistentes/corruptos).

    Existe tambin RAID Z2 que dobla (o triplica) la estructura de

    partidad alcanzando resultados similares a RAID 6. En Julio de 2009, se incorpor RAID Z de triple paridad a

    OpenSolaris.

    No precisa ningn hardware especial.

  • 7/23/2019 Storage as a Service

    31/32

    32

    StaaS:almacenamiento como

    servicio

    [email protected]

    RAID

    Niveles estndar de RAID

    LVM

    Gestin de volmeneslgicos (LVM)

    Ejemplo de LVM en Linux

    31 ZFS

    FLOSSystems S.L.,Madrid, Spain

    ZFS Demo

  • 7/23/2019 Storage as a Service

    32/32

    StaaS: almacenamiento como servicio

    [email protected]

    Murcia, 1-2 de junio de 2012