Plataforma de almacenamiento masivo y distribuido en la red corporativa del Gobierno Vasco

Aproximación BigData

11 de Noviembre de 2014Oscar Guadilla (o-guadilla@ejie.eus)

1. Presentación

2. Origen

3. Solución General

4. Edición Online

5. Números

6. Reflexiones Open Source

Índice

2

Sociedad Informática del Gobierno Vasco

Consultor de Sistemas

1. Presentación

estandarización de productos

soluciones horizontales técnicas(integración, seguridad, batch...)

dudas arquitectura(fases -1)

3

eAdministración (2004)– plataformas de integración– soluciones de mediación– bajo calado horizontal

reingeniería integración (2009)– mediación vs intermediación – socialización departamental y organismos autónomos

solución full equipe (2014)– servicios

– eventos

– ficheros

– documentos

2. Origen

4

Requisitos funcionales– tanto para backend como para frontend– cualquier tecnología (java, .net…)– usable tanto para intercambios internos como externos (xc001)– total trazabilidad para saber que está pasando con los ficheros– usabilidad (gmail)– edición online (sharepoint)

Requisitos técnicos– escalable & robusto– auditable desde el punto de vista de seguridad– estanqueidad en los datos (lopd)

2. Origen

5

Intercambioapps

zonas apps

Seguridad apartado correos

put, get, move, copy, delete

zonas personas

3. Solución General

EjieBOX (dropbok like)

Ficheros en el móvil y en PC (Z:)

Cargas/Descargas (Manager),Explorador (Desa/Pru) y Consola

Uso interno (XLNets): librería java, rest y comandos serv. BD

Componente flash subida ficheros(gmail upload like)

Uso externo (U/P): rest y webdav

6

7

4. Edición Online

La aplicación coge el documento de donde resida y lo ubica en la zona del usuario (2 zonas hasta ahora estancas)

Se presenta una url especial (spif://...) que instruye al puesto para que la operación se delega en la ofimática (libreoffice o microsoft)

Las escrituras van directamente contra la zona de usuario (webdav)

8

Operaciones

– 35.000 diarias

– 15.000 escrituras

Tiempos (dependen de la red)

– dentro del CPD → 10MB (300ms) y 200MB (4,6seg)

– red corporativa → puestos (10MB - 1,5seg)

– cargas vía jaso → Osakidetza (500KB - 200ms)

Usuarios

– zonas de aplicaciones → 100

– zonas de usuarios → 300

Cero

– fin a las entregas a explotación de CDs y discos duros

Disco

– zonas de aplicaciones →30GB

– zonas de usuarios → 80GB

5. Números

9

De la brillantez

– google → gfs

– yahoo → hdfs

A la madurez en BigData:

– hdfs, hbase, spark, cassandra...

BigData como tractor de grandes proyectos:– facebook, google, twitter, groupon

Software Libre en la administración– Platea Integración Ficheros libre

– Usar vs Aportar. Muchas mejoras de serie en 2.3

6. Reflexiones Open Source

10

Dudas