Bogotá

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

Almacenamiento y respaldos en la nube de AWS

Damian Traverso - Solutions Architect

18/06/2015 | Bogotá

Opciones de almacenamiento en AWS• Almacenamiento de objetos escalable• Almacenamiento de bajo costo para

archivado• Almacenamiento persistente de bloques • Sistema de archivos compartido• Gateway para integración

Estamos constantemente produciendo más datos

En todos los tipos de industrias

Almacenamiento de Objetos

Amazon S3Simple Storage Service

201220122012201220122012201220122012201220122012201220132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132013201320132014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201420142014201520152015201520152015201520152015

102% de crecimento anual en términos de transferencia de datos desde y hacia S3

(Q4 2014 vs Q4 2013, sin considerar el uso de Amazon)

Uso de S3

99.999999999%de durabilidad

Buen intento…

Opción de redundancia reducida99.99% con una economía de ~20%

Recursos de S3: buckets y objetos

S3 Website: contenido estático

1 PB de storage

800 TB de storage usables

600 TB de storage asignados

400 TB de datos de la aplicación

Precios de S3 — pague solo por lo que utilice!

Storage Tradicional Amazon S3

Reducción continua de costos: S3

• Disponible globalmente en 11 regiones

• Cobrado por GB-mes• 8 reducciones de precios desde

su lanzamiento• 51% de reduccíon (promedio) de

precios en 1/4/2014

• TCO: comparando on-premises con S3– Puede ser un desafío para

algunos clientes– Nosotros podemos ayudar!

• Utiliza S3 para almacenar logs e imágenes

• Genera 1.2 TBs de logs por día

• Ejecuta ~250 jobs de Amazon EMR por día, procesando mas de 30 TBs de datos

Amazon S3 – Nuevas funcionalidades

S3 event notifications

Envía notificaciones hacia Amazon SNS, Amazon SQS, o AWS Lambda cuando ocurre un evento de S3

S3

Eventos

Tópico SNS

Fila SQS

Função Lambda

Notificações

Notificações

Notificações

Foo() {…}

• Preserve, recupere, y restaure todas las versiones de cada objeto almacenado en un bucket

• S3 automáticamente adiciona nuevas versiones y preserva los objetos excluidos utilizando marcadores de exclusión

• Controle fácilmente el número de versiones almacenadas usando las políticas de expiración y ciclo de vida de los objetos

• Puede ser fácilmente habilitado a través de la consola web

Control de versión en S3

Replicación entre regiones de S3 Replicación asíncronica de objetos entre regiones AWS, automatizada, rápida y confiable

Source(Virginia)

Destination(Oregon)

• Únicamente replica nuevos PUTs. Una vez que está configurado, todos los nuevos uploads en un bucket serán replicados

• Bucket entero o también basado en un prefijo

• Replicación 1:1 entre 2 regiones

• Requiere control de versión

Casos de Uso:• Compliance – almacene sus datos a centenas o miles de kilómetros de distancia• Menor latencia - distribuya sus datos para clientes regionales• Seguridad – Cree réplicas remotas administradas por diferentes cuentas de AWS

VPC Endpoints para S3

Casos de Uso de S3

• Capacidad de almacenamiento y performance Web-Scale

• Origen de contenido que será entregado a través de Amazon CloudFront

• Almacenamiento temporario y persistente para aplicaciones de Big Data

• Almacenamiento para backup y archiving

Amazon GlacierServicio de archiving de bajo costo

$0.01por GB-mes

$120por TB/año

99.999999999%durabilidad

3 - 5 horasTiempo de recuperación de los datos

Costo de Almacenamientovs.

Costo de recuperación

Beneficios de Glacier

• Reduzca el costo de archivar sus datos a largo plazo

• Capacidad ilimitada de almacenamiento• Reemplace las cintas• Aumente la durabilidad

Amazon S3 – Integración con GlacierServicio de archivado basado en políticas

Políticas de ciclo de vida en S3 →Key prefix “logs/”

Mover los objetos a Glacier después de 30 días de su creación

Excluir después de 365 días de su creación

<LifecycleConfiguration> <Rule>

<ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition>

<Days>30</Days>

<StorageClass>GLACIER</StorageClass> </Transition> <Expiration>

<Days>365</Days> </Expiration>

</Rule></LifecycleConfiguration

SoundCloud – usa Glacier para realizar transcoding de audio

• Líder en redes sociales dentro del mercado de música y audio

• Los archivos de audio necesitan ser transcodificados y almacenados en distintos formatos

• Almacena petabytes de datos• Los archivos transcodificados son

servidos por S3• Originales movidos para Glacier

para reducir costos

Casos de uso para las políticas de ciclo de vida en S3• Data-Tiering en la nube

• Administrar el control de versión de objetos para proteger lógicamente los datos

• Exclusión de datos en Glacier en base a políticas

Almacenamiento de Bloques

Almacenamiento de una Instancia EC2

Amazon EBSElastic Block Storage

1 GB16 TB

Ú

Nuevos volúmenes EBS : mayor tamaño y performance

General Purpose (SSD)

hasta 16 TB

10,000 IOPS

hasta 160 Mbps

Provisioned IOPS (SSD)

hasta 16 TB

20,000 IOPS

hasta 320 Mbps

Precio Performance

Tipos de volúmes EBS

Magnéticos Uso General IOPS Aprovisionadas

Casos de uso Acceso a datos poco frecuente

Volúmenes de arranqueBases de datos pequeñas-

medianasDesarrollo y Pruebas

E/S intensivaBases de datos relacionales

Bases de datos NoSQL

Medio físico de Almacenamiento

Respaldo en discos magnéticos Respaldo SSD Respaldo SSD

Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS

Latencia (random read)

20–40 ms 1–2 ms 1–2 ms

Disponibilidad Diseñado para 99.999% Diseñado para 99.999% Diseñado para 99.999%

Precio $.05/GB-mes $.05/millón de I/O $.10/GB-mes $.125/GB-mes

$.065/provisioned IOPS

Amazon EBS:snapshots

Casos de uso de EBS

• Almacenamiento de bloques persistente para Amazon EC2

• Workloads transaccionales• Sistema de archivos para una instancia - NTFS, ExtFS,

etc…

Introduciendo Amazon Elastic File System Sistema de archivos en la nube

¿Que es EFS?

• Un sistema de archivos administrado para instancias EC2

• Utiliza los comandos e interfaces estándares utilizados en los sistemas de archivos tradicionales

• Crece elásticamente hasta una escala de Petabytes

• Performance para una gran variedad de workloads

• Altamente disponible y durable

Simple Elástico Escalable

1 2 3

EFS está diseñado para una gran variedad de casos de uso, como…

• Repositorio de Contenido• Ambientes de Desarrollo• Directorios de usuarios• Big data

EFS es simple

• Totalmente gestionado por AWS– Sin necesidad de provisionar hardware ni red– Cree un sistema de archivos escalable en

segundos!

• Integración transparente con herramientas y aplicaciones existentes– NFS v4 – ampliamente adoptado y de código

abierto– Operaciones y comandos para sistemas de

archivos– Funciona con las APIs estándares del OS

• Precio simple = Estimativa de costo simple

1

EFS es elástico

• Los sistemas de archivos crecen y se encogen automáticamente conforme se adicionan o remueven archivos

• No es necesario provisionar tamaño o performance

• Pague únicamente por lo que utilice, sin cobros mínimos ni inversiones up-front

2

• Los Sistemas de archivos pueden crecer hasta una escala de petabytes

• El Throughput y las IOPS escalan automáticamente conforme el sistema de archivos crece

• Baja latencia consistente, independiente del tamaño del sistema de archivos

• Soporta miles de conexiones NFS concurrentes

EFS es escalable3

Arquitectura de EFS

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Sistema de Archivos del

Cliente

¿Por qué esto es importante?...

… para responsables y desarrolladores

de apps?

… para su negocio?

• Facilita la migración de aplicaciones y códigos existentes que utilizan NFS

• Almacenamiento de archivos simple para nuevas aplicaciones nativas en la nube

• Precio previsible y sin la necesidad de invertir en up-fronts iniciales

• Aumento de la agilidad• Gaste menos tiempo administrando un storage y

gane mas tiempo para enforcarse en su negocio

… para administratores

de TI?

• Elimina la necesidad de mantener y administrar un Almacenamiento de gran escala

Amazon Storage Gateway

Storage GatewaySu rampa de aceso a los servicios de Almacenamiento en la nube de AWS:

• Backups en S3• DR en EC2• Archivado en Amazon Glacier• iSCSI o VTL

Resumen: Servicios de Storage en AWS

S3• Storage de Objetos: datos presentados como buckets de objetos

• Datos accedidos por APIs a través de Internet

EFS• Storage de archivos (análogo a un NAS): datos presentados como un sistema de

archivos (file system)

• Acceso de baja latencia y compartido entre múltiples instancias EC2

Glacier• Storage para Archiving: datos presentados como vaults/archives de objetos

• Storage de menor costo, para datos que no son accedidos frecuentemente

Storage Gateway

• Back up y archiving de datos en Amazon S3 y Amazon Glacier

EBS• Storage de Bloques (análogo a una SAN): datos presentados como discos o

volúmenes

• Acceso de menor latencia a partir de las Instancias EC2

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved

¡Muchas Gracias!