Transferencia de archivos digitales con soluciones Aspera

Resolviendo los desafíos de casos típicos de ingesta, distribución, y automatización en la transferencia de archivos digitales

Dr. Ing. Diego Dugatkin

VP Product Management, Aspera Inc.

Quién es Aspera?

• Empresa líder en el movimiento de grandes archivos y datos a través de redes WAN– Con sede central en Emeryville, California (área de San Francisco, costa oeste de EE.UU.)– Oficinas europeas en Francia, y personal local en el Reino Unido, en Asia, y en Centro y Este de EE.UU.– Partners y distribuidores en Latinoamérica, en Argentina, Chile y Brasil.– Rentable desde su creación en 2004, sigue siendo de propiedad privada y liderada por sus fundadores.

• Creadores del protocolo fasp para transporte de grandes volúmenes de datos en alta velocidad

– Desarrollado desde un principio, con tecnología propia patentada, para transporte de datos en masa o “a granel”.

• Solución únicamente de software, que reemplaza a FTP, HTTP, SCP, RSYNC, CIFS, NFS.• Supera a todas las soluciones de hardware y software de ‘aceleración WAN’.• Primer lugar en el ránking de referencia del rendimiento de transferencia de datos sobre WAN.

– Permite trabajar con enormes volúmenes de datos, de todo tipo.• Ampliamente adoptado en todo el mundo en numerosas industrias.• Más de 10,000 licencias instaladas en servers y endpoints.• 1200 clientes en todo el mundo.• Terabytes transferidos a diario!

El “Big Data Movement Challenge”

El movimiento rápido y eficiente, y el almacenamiento de archivos de gran tamaño a través de redes WAN, se han convertido en un requisito escencial.

Otras tecnologías actuales no proporcionan el nivel de rendimiento necesario.

Media & Entertainment Big-Data: Big & Getting Bigger

Una sóla producción de cine digital puede ocupar entre 800K–1M 2K/4K frames

Qué pasó con mi ancho de banda?

100 Mbps200ms RTT0.01% de pérdida de paquetes

Capacidad nominal de la WAN es 100 Mbps

Mayor tasa efectiva promedio de TCP ~ 7 Mbps

Donde están mis otros 93 Mbps?

A razón de 7 Mbps: 10GB tradarían 3 hs200GB tradarían 2.5 días

A razón de 7 Mbps: 10GB tradarían 3 hs200GB tradarían 2.5 días

ParísParísBuenos AiresBuenos Aires

WANWAN

Capacidad nominal de la WAN es 100 Mbps• Mayor tasa efectiva promedio de TCP ~ 7 Mbps• Ancho de banda deseado: ~99 Mbps (mejoría x14 veces!)• ROI: costo de no utilizar los 93 Mbps perdidos…

Mismo escenario WAN, con transporte Aspera fasp

ParísParísBuenos AiresBuenos Aires

WANWAN

100 Mbps200ms RTT0.01% de pérdida de paquetes

FTP vs fasp™ comparación de tiempos de transferencia

Los tiempos de transferencia con Aspera se acortan linealmente a medida que sube el ancho de banda, independientemente de la pérdida de paquetes o latencia de la red.

Costa-a-costa en USA: sumar 1 a 5% -- Intercontinental: sumar 1 a 10% -- Satélite;sumar 1 a 10%

Los tiempos de transferencia de TCP están limitados por el porcentaje de perdida de paquetes y por la latencia o “delay” (la distancia de red), pero no por el ancho de banda!

Customer Performance ResultsFrom To OS Link type Capacity Target FTP/HTTP fasp Increase

Burbank, CA Burbank, CA Linux to Linux LAN 10 Gbps 2 Gbps 400 Mbps 1.2 Gbps 3x

San Diego, CA East Coast US Linux to Linux Private Link 1 Gbps 500 Mbps 5 Mbps 488 Mbps 98x

Ashburn, VA Los Angeles, CA Linux to Linux Public Internet Unknown 250 Mbps 1.8 Mbps 218 Mbps 121x

Washington, DC New Zealand Win to Win Public Internet 100 Mbps 100 Mbps 500 Kbps** (160ms/2%) 92 Mbps 184x

Burbank, CA London, UK Linux to Win Public Internet 100 Mbps 100 Mbps 1.5 Mbps** (150ms/0.5%) 97 Mbps 65x

Los Angeles, CA Tulsa, OK Win to Win Public Internet 100 Mbps 100 Mbps 12 Mbps 95 Mbps 8x

Philippines New Jersey Win to Win Public Internet 100 Mbps 80 Mbps 650 Kbps** (170ms/2%) 78 Mbps 122x

Garden Grove, CA Los Angeles, CA Linux to Linux Fractional OC-3 100 Mbps 100 Mbps 20 Mbps 95 Mbps 4x

New York, NY Cupertino, CA Mac to Mac DS-3 to Internet 45 Mbps 45 Mbps 1.45 Mbps 44 Mbps 30x

New Zealand Los Angeles, CA Linux to Win DS-3 to Internet 45 Mbps 42 Mbps 1.5 Mbps** (150ms/0.5%) 41 Mbps 27x

Glendale, CA Montreal, Canada Win to Win DS-3 to Internet 45 Mbps 45 Mbps 2.2 Mbps** (100ms/0.5%) 42 Mbps 19x

Glendale, CA Hong Kong, China Linux to Linux DS-3 to Internet 45 Mbps 45 Mbps 0.52 Mbps** (300ms/1%) 39 Mbps 75x

Glendale, CA Denham, UK Win to Win DS-3 to Internet 45 Mbps 32 Mbps 1.5 Mbps** (150ms/0.5%) 31 Mbps 21x

Toronto, Canada Torino, Italy Win to Win Private Link 30 Mbps 30 Mbps 1 Mbps 28 Mbps 28x

Burbank, CA Baton Rouge, LA Mac to Mac DS-3 to Internet 30 Mbps 30 Mbps 3.2 Mbps** (70ms/1%) 28 Mbps 9x

* The target rate is the transfer rate given to an Aspera client. fasp attempts to maintain this rate in both fixed and adaptive rate modes and will not exceed this cap. In some tests the target rate was set to less than the actual link capacity.

** FTP measurement not taken or unavailable. FTP throughput estimated using the standard TCP Rate Equation, assuming a typical average round‐trip delay and packet loss rate. Actual FTP throughput varies with network load, which increases loss and round‐trip time.

Problema central – TCP no fué diseñado para mover datos de forma masiva en redes WAN

TCP tiene cuellos de botella conocidos

• La latencia y pérdida de paquetes limitan el ancho de banda neto disponible

• Estas limtaciones fundamentales son parte de TCP y están incorporadas originariamente en su diseño

– Establece una ‘ventana de congestión’, para limitar la cantidad de datos en tránsito.– Utiliza un mecanismo llamado ‘incremento aditivo / decremento multiplicativo’ (additive increase/ multiplicative decrease)– Linealmente incrementa la ventana (“transfer rate”) hasta que que ocurre un timeout, que interpreta como signo de congestión o pérdida.

• Atención con los efectos catastróficos de la pérdida de paquetes

– Internet, transmisiones inalámbricas vía satelite, por via celular o WiFi tienen distintos niveles de pérdida y de variación del rendimiento.

– No hay un “Internet SLA” (Service Level Agreement), es decir: la congestión on-line cambia en tiempo real (según el horario, etc)

TCP es un protocolo de transporte de datos, bidireccional y confiable

• Es la base de muchos protocolos de aplicación: FTP, HTTP, NFS, CIFS, SCP, RSYNC

• Todo debe ser enviado secuencialmente (innecesario cuando se copian archivos grandes)

Problema central – TCP es inadecuado para transportar datos de gran tamaño sobre redes WAN

Máximo ancho de banda posible con TCP

• TCP tiene bajo rendimiento en transferencias sobre WAN (Wide Area Networks)

• TCP tiene bajo rendimiento en redes con pérdida de paquetes

– Internet– Vía Satélite

• TCP es el transporte de base de FTP, HTTP y otras aplicaciones comunes de transferencia de archivos

Máximo ancho de banda posible con TCPAncho de banda con Aspera fasp

Solución – Aspera fasp resuelve el transporte masivo de datos

Solución para la transferencia rápida de archivos• Efectivo en redes complejas, con ‘delay’ & ‘loss’ • Muy bajo “overhead”: < 0.1%, bajo 30% de packet loss!

Optima eficiencia en el uso del ancho de banda• Uso total de ancho de banda “commodity” disponible en

Internet• Altamente eficiente, con control realtime del ancho de

banda, evita la congestión (WAN, LAN, Disk)• Logra eficiencias extraordinarias tanto con grandes

archivos como con grupos de archivos pequeños

El resultado: Aspera fasp permite

• Transferencias hasta miles de veces mas rápidas que FTP• Tiempos precisos y predecibles en la transferencia de

archivos• Reglas de control “end-to-end” sobre las prioridades de

transferencia y la velocidad• Completo monitoreo, notificación y reporte

fasp – la solución ideal para el transporte digital de datos

• Solución de transferencia de archivos basado puramente en Software

• Máxima velocidad de transferencia – utilización total de ancho de banda designado

• Excepcional control del ancho de banda y escalabilidad de administración

• Seguridad y confiabilidad total

• Arquitectura flexible, simple, liviana y abierta

• Completo soporte de todas las plataformas y sistemas operativos convencionales

Línea de Productos de SoftwareFuncionalidad y escenarios de implementación

Entorno de software Aspera fasp

Entorno de software Aspera fasp

Entorno de software Aspera fasp

Entorno de software Aspera fasp

Entorno de software Aspera fasp

Entorno de software Aspera fasp

Big-Data – Accesible universalmente, provista globalmente por Aspera

Soporte Universal de Sistemas Operativos

Soporte Universal de Navegadores / Browsers

Soporte Universal de Sistemas Móviles

Caso 1: Ingesta o subida de archivos

File Ingest

Desafíos generales para la Ingesta o Subida de Archivos

• Velocidad

– Transferencias Digitales actuales pueden resultar lentas a pesar de tener conexiones razonables

– El envío de tapes o discos es lento y caro. En ciertos casos, los tapes son difíciles de conseguir.

• Eficiencia

– El software típico común de transferencia no utiliza toda la capacidad del ancho d banda disponible.

• Confiabilidad

– Si una transferencia falla, típicamente tiene que ser recomenzada, desde el principio!...

• Seguridad

– Muchos mecanismos de transferencia no ofrecen seguridad y encriptado nativo, diseñado dentro de la solución.

• Automatización

– Las soluciones comunes no ofrecen automatización.

Solución para la Ingesta de Archivos: Aspera Connect Server

• Server universal para transferencia de archivos, con interface web

– Subida y bajada de datos usando el Aspera Connect web browser plug-in, que es gratuito y viene con instalación automática

• Fácil (y mejor) reemplazo de servidores FTP– Capacidad de upload y download, para archivos o directorios de

cualquier tipo y tamaño– Permite hacer pausa y volver a comenzar, retomando transferencias

desde la pausa o el punto de falla en casos de problemas de red

• Opciones de integración– Interface Web modificable, cambiando la imágen o marca– Puede integrarse a portales web existentes

• Licencias, uso y despliegue– Licencias por niveles, basadas en la capacidad o ancho de banda– Soporte completo en Unix, Linux, Windows, Mac, Solaris, Isilon

OneFS– Configuraciones también en High-Availability

(redundancia/seguridad)

Aspera Connect Server

• Fácil reemplazo de servidores FTP

• Utiliza el protocolo fasp, logrando transferencias rápidas y seguras, en ambas direcciones, desde y hacia el servidor

• Acceso ilimitado a clientes web, a través del web-browser plug-in gratuito de Aspera

• Fácil de integrar a portales-web existentes, y de incorporar con marca propia (usando la tecnología de Aspera dentro de su sistema)

Caso 2: Distribución de archivos de persona a persona(s)

Person-to-Person File Delivery

Desafíos en la distribución de archivos de persona a persona(s)

• Métodos típicos para la distribución de archivos:

– Correo o courier privado

• Demasiado lento para transferencias de larga distancia

• Excesivamente costoso

– FTP or HTTP

• Inseguros

• No tienen la capacidad de hacer pausa y reanudar la transferencia

• Bajo rendimiento en redes WAN, debido a TCP

– Servicios de distribución online, vía Internet

• Típicamente limitan el tamaño de los archivos

• Bajo rendimiento en redes WAN, debido a TCP

Distribución de archivos persona-a-persona : Aspera faspex™

• Solución para la distribución global de archivos– Intercambio de archivos de persona-a-persona coordinado por projectos– Distribución de paquetes para colaboración frecuente o envíos ocasionales– Permite enviar archivos a destinatarios ad-hoc, fuera de la organización

• Easy-to-use web-based interface– Notificación vía email integrada para los destinatarios

• Ejemplos de uso y aplicación– Workflows de producción, revisión y aprobación de video– Intercambio colaborativo de materiales de producción y de marketing,

especialmente para equipos distribuidos– Intercambio global de archivos de persona-a-persona dentro de

la empresa

• Licencias, uso y despliegue– Licencias por niveles, basadas en la capacidad o ancho de banda y

el número de usuarios activos simultáneos– Soporte completo en Linux y Windows (Server), y también:

• Linux, Mac y Windows (Aspera Connect browser plug-in)• Mac y Windows (Aspera Cargo Downloader desktop widget)

– Disponible en configuración de High-availability (active/passive)

Servidor Aspera faspex

• Metodología de transferencia “persona-a-persona”

• Colaboración periódica o para entregas ocasionales de paquetes de archivos

• Instalación automática del cliente (utiliza el Aspera Conect “plug-in” para cualquier navegador)

• Notificaciones por correo electrónico a los remitentes y destinatarios del paquete

Caso 3: Envío automatizado de archivos

File Delivery with Automation

Automatización del envío de archivos con Aspera: Muchas opciones!

• Aspera Enterprise Server, Point-to-Point and Aspera Client

– Automatización con HotFolders

• Aspera Cargo

– Bajada automática de paquetes Faspex

• Aspera Management Console

– Transferencias pre-programadas, de Servidor a Servidor, según un “schedule”

• Utilizando Aspera vía línea de comando y usando “scripts” que invocan el “Command Line”

– Haciendo un “schedule” de transferencias automáticas directamente desde la línea de comando en Unix o en Windows

– Incorporando las capacidades de transferencia de Aspera en “scripts” de secuencias de comandos (Shell scripts etc.)

Otros usos y productos de Aspera

Otras capacidades y productos de Aspera

• Management / Gestión

– Monitoring, notification, reporting and configuration

• Integration

– SDK, multi-platform support

• Aspera Mobile

– Aspera software libraries in SDK form, for integration with 3rd party mobile applications. iPhone and Android uploader apps.

• Aspera Multicast

– Transferencias punto-a-multipunto sobre IP-multicast

• Aspera Orchestrator

– Workflow automation

• Cloud

– Aspera On Demand para Amazon Web Services

Muchas Gracias!

Para más información y para comenzar con su pruebas piloto con Aspera, por favor contáctese con nuestros representatntes:

En Argentina: (+54-11) 5218-8000Contacto: Ventasinfo@svc.com.ar

Aspera, sede central:+1 510-849-2386 ext. 232Contacto: Ms. Joelle Cilleyjoelle@asperasoft.com

Aspera Sync - OverviewScalable, multidirectional asynchronous file replication

Introducing Aspera Sync

• Overview– Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs

• Scales performance over any WAN, up to 1000x faster than rsync– Scales performance on WAN over any distance

• Increase bandwidth to increase performance– Scale performance for large and diverse data sets

• Initial sync: 10-1000X speed of rsync to synchronize files first time• Continuous: 10X speed of rsync to synchronize new files over WANs

– Smart directory actions• Honors moves, renames, deletes

• Storage agnostic– Runs on industry-standard OS (Linux today)– Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2)

• Secure by Federal Standards– Matches security standards set by government—addressed in all Aspera products– Certifications

Synchronizing Big Data over the Longhaul

Aspera Sync – 201 Level

Multidirectional Synchronization

Trends

• Big Data Explosion– 90% of data today file-based or unstructured– Mix of file sizes—but larger and larger files the norm

• Diversity of IP Networks—Media, Bandwidth Rates, and Conditions– Variable bandwidth rates (slow to super-fast)– Bandwidth rates increasing—costs decreasing– Network media remains diverse (terrestrial, satellite, wireless) – Conditions vary—all networks prone to degradation over distance.

• Data Freighting Challenges—moving Big Data over WANs– Over distance, conditions degrade– Contemporary TCP acceleration solutions not designed for big data replication.

Sync Challenges

• Replicating over Distance (Wide Area Networks)– Traditional replication (using TCP) fails or slows over distance– Poor network performance often the bottleneck to replication– Traditional replication approaches like rsync fail

• Unreliable• Don’t scale• Don’t perform

• Larger data sets comprised of bulk files, “big data”– In the terabytes, not gigabytes– Files are unstructured– Diversity of file sizes

• Large files• Mix of large and small files

• File System Integration (Lack of Efficiency)– Avoiding file system scans – Replicating files through change notification

Conventional Replication - Costly Workarounds

• TCP Acceleration Appliances– Solves a different problem– Good for some applications (mainly structured data such as databases)– Not designed for moving big data across the network (files, in bulk)

• Storage Compression– Resource intensive—and don’t save much

• Native in file system (e.g., NetApp SnapMirror)• File-based compression and deduplication

• Caching (e.g., CDNs)– Move data closer to users– Costly, hard to manage– By nature more “out of sync”

• Replicate less data– Reduces traffic—and productivity

• Don’t replicate– Jeopardizes productivity and the business.

Scalable file synchronization for Big Data

Aspera Sync

Introducing Aspera Sync

• Overview– Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs

• Scales performance over any WAN, up to 1000x faster than rsync– Scales performance on WAN over any distance

• Increase bandwidth to increase performance– Supports large and diverse data sets

• 10-1000X speed of rsync to synchronize files first time• 10X speed of rsync to synchronize new files over WANs

– Avoid unnecessary replication• Honors moves, renames, deletes

• Storage agnostic– Runs on industry-standard OS (Linux today)– Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2)

• Secure by Federal Standards– Matches security standards set by government—addressed in all Aspera products– Certifications (addressed later in the presentation)

Aspera Sync Other Capabilities

• High speed, multi-directional synchronization of remote files and directories

– solving the fundamental problems of rsync for large data

• Full-mesh synchronization

– One-to-one, one-to-many, and full-mesh synchronization

– Multi-mode• One-time sync• Continuous sync

• Designed for today’s extremely large data

– Millions of files, multi-terabyte data sets

• Management console for configuration, management and reporting

• Licensing and deployment

– Command line binary and admin tool for Linux

– Additional platforms to become available in 2011

– Add-on license option to Aspera servers and Aspera Point-to-point

Use cases for Aspera Sync

Scenario 1: One-way Sync (Unidirectional)

• Use Case1: Disaster Protection– Storage agnostic– Variables depending on data set size

• Recovery points• Recovery times

Data MovementData Movement

Primary Site Remote Site

• Use Case 2: Offsite Archiving– Multi-vendor storage – Alternative to tape

Scenario 2: Two-way Sync (Bidirectional)

Data MovementData Movement

• Use Case1: Distributed Workflow– Concurrent writers

• Both sites create and replicate– Fully transparent

• Move, rename, delete

• Use Case 2: Disaster Readiness– Non-disruptive to users– Alternative to offsite backup– Workflow / scenario agnostic

Site 1 Site 2

Scenario 3: Multidirectional (N-way) Replication

Topologies:

•Hub and Spoke– Replicate from single source to multiple

endpoints

•Branching Tree– Replicate from parent to child nodes– Source (origin) replicates to downstream

targets

Use Cases:

•Content Distribution Network (CDN)– Distribute files to downstream caching points

•Remote Office File Replication– Replicate from central to remote offices

Scenario 4: Collaborative Workflows

• Use case 1: Distributed Workflow– Multiple users or workgroups

have read-only access to common source

• Use case 2: Collaborative Workflow– Multiple users or workgroups

have read-write access to a common source pool

Scenario 5: Cloud Ingest and Distribution

• Use case 1: Ingest (Upload/Download)– User Aspera clients to upload into AWS– Uses Aspera On-Demand offering

• Use Case 2: Direct Distribution inside AWS– Distribute data directly to S3 – Parallel http IO for faster throughput– Parallel http IO for increased IO

Performance ResultsAspera Sync vs Rsync

Aspera Sync vs. rsync

• Fastest possible resolution of file system changes

– Compares changes to local state (file snapshot), saving costly WAN chattiness of rsync

– File system notification where available

– Quick to detect changes in scan-mode

– Quick restart after system down

• Move, rename detection locally

– Huge savings not retransferring after “move”

• fasp transport for maximum speed

– overcoming TCP bottlenecks

• Multi-directional (not unidirectional)

Aspera Sync Performance Benchmarks – First Time

Performance Comparison Synchronizing Many Small Files (Average size 100 KB) over WAN of 100 ms / 1%

Performance Comparison Synchronizing Large Files (Average Size 100MB) over WAN of 100 ms / 1%

Aspera Sync Performance Benchmarks – Change Files

Synchronization time after adding 31,056 files to 1 million small files (100 KB each) over WAN of 100ms/1%

Synchronization time after adding new files to set of large files (100 MB each) over WAN of 100ms/1%

Applications: 2K/4K Global Freighting

Applications: 2K/4K Global Freighting (faspframes)

• Native 2K/4K frame transport software• Designed for 10Gbps WANs• Millions of frame files• 60 min of footage (1 TB) transferred globally in under 20 minutes ! • 8 Gbps at 200 ms / 2%

faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers

Aspera faspframes Transfer Times

10 Gbps Global WANs

Distance Speed Transfer Time for 1 TB (~60 min Film)

LA-NY (100 ms / 1%) 8.1 Gbps 18.1 minutes

LA-London (200 ms/2%) 7.9 Gbps 18.6 minutes

LA-Mumbai (300ms/5%) 6.3 Gbps 23.3 minutes

Compare To

HW Appliance for 2K/4K Transfers – Highest Capacity Model

Distance Speed Transfer Time for 1 TB (~60 min of Film)

LA-NY (100 ms / 1%) 3.6 Gbps 42 minutes

LA-London (200 ms/2%) No data ??

LA-Mumbai (300ms/5%) No data ??

faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers

What is it?• An ultra-simple software tool for ultra-fast (fully reliable) transfers of 2K/4K frame files• Max speed in-order transfer of 2K/4K frame files over WAN (any distance, any bandwidth)• Available for users of Aspera Point-to-Point and Server

Advantages?• Software application only integrates easily with any workflow• No clunky brute force hardware appliances to integrate• Full 10 Gbps performance; 2X the best speeds published by appliances• Comprehensive bandwidth management and congestion control• Seamlessly integrates with Aspera transfer and management tools

Platforms?• Linux 32/64-bit• Other platforms coming