BIG DATA Bases de datos en el internet de las cosas

Xabi Tranche

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 2 7 / 0 2 / 1 5

La profesión que importará dentro de 4 años todavía no se ha inventado. Growth Hacker – Economia + Ingenieria de software 15 años trabajando INET – WEB 2.0 Socio ThinkOnMarketing – estrategia digital & innovación Socio Muaaka – red social musical Promotor StartUp SOCIAL BIG DATA @JavitxuTranche Xabi Tranche Xabi Tranche

¿Qué es el Big Data?

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 4 2 7 / 0 2 / 1 5

Limitaciones de las bases

de datos relacionales

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 5 2 7 / 0 2 / 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 6

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 7

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 8

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 9

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 0

Que problemas resuelve

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 1

FACEBOOK - Boing

Facebook genera 500 Terabytes de datos al día.

Un Boing 737 genera 240 Terabytes en un vuelo

World Of WarCraft – Stock Change

Cambios en MicroSegundos

Social Media

La información no sigue una estructura a priori

Volumen Velocidad Variedad

2 7 / 0 2 / 1 5

BIG DATA PARA QUÉ

Nuevos tipos de Apps

NightBits, Crime Reduce

Reducir COSTE /Waste

Open Source /Escalabilidad

Fuentes Dispares

A short text that gives a brief biography of the person shown above.

Adivinar

A short text that gives a brief biography of the person shown above.

2 7 / 0 2 / 1 5 P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 2

• Características BBDD BigData

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 1 3 2 7 / 0 2 / 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 4

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 6

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 7

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 8

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 1 9

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 0

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 1

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 2

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 3

• Limitaciones de las bases de datos no relacionales

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 4 2 7 / 0 2 / 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 6

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 2 7

• Tipos de bases de datos

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 8 2 7 / 0 2 / 1 5

Clave - Valor

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 9

HashMap con clave única

Fácil de escalar. Server 1 del 1 al 1000, Server2 del 1001 al 2000

BigTable, Cassandra, Hadoop, MemCacheDB, Voldemort

El valor es de tipo BLOB MUY EFICIENTES

2 7 / 0 2 / 1 5

Basada en Documentos

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 0

ALMACENA UN DOCUMENTO LEGIBLE

Consultas avanzadas

Podemos establecer relaciones

MongoDB, CoachDB

FORMATOS JSON o XML EL SERVIDOR PUEDE MANIPULARLOS

2 7 / 0 2 / 1 5

Basadas en Grafos.

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 1

Para medir y almacenar relaciones

NEO4J

Cypher Query Language

ACID

RESTFUL

Representación explícitas de JOIN tradicionales

Las relaciones en si mismas tienen Info REDES SOCIALES

2 7 / 0 2 / 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 2

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 3

Basada en Columnas

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 4

ALMACENA UN DOCUMENTO por columna

Cassandra

RAPIDA LECTURA MALA ESCRITURA

2 7 / 0 2 / 1 5

• Como migrar de Rel a BD

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 5 2 7 / 0 2 / 1 5

Que problemas resuelve

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 3 6

Pais - ciudades

Objeto JSON PAIS con multiples atributos ciudad

Pentaho MongoDB

Necesitamos un software de Terceros

Pentaho MongoDB

VIVA JS!

1:N a todos los

documentos

Usar una transformacio

n Manejar

objetos JSON

2 7 / 0 2 / 1 5

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 7

Consulta y previsualización

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 8

Mapeamos los resultados a la colección

P R E S E N T A T I O N T I T L E | C O M P A N Y N A M E 2 7 / 0 2 / 1 5 3 9

Donde albergar

*  MoNgoLab

*  MongoHQ

*  AmazonWS (Hadoop)

*  PARSE

Donde albergar

*  OPENSHIFT (Red Hat )

*  HDInsight (Microsoft – Hadoop - HIVE)

*  Graphenedb (NEO4J)