nube redes

Análisis de redes en la nube

usando NoSQL

J o a q u í n S a l v a c h ú aJ s a l v a c h u a @ d i t . u p m . e s

jueves 25 de noviembre de 2010

mailto:[email protected]

mailto:[email protected]

El AZAR y la Necesidad


Indice

Problema: Matemáticas vs. Ordenador.

Computación distribuida.

Bases de datos NoSQL: Grafos.

Soluciones computacionales.

Conclusiones


Grafos y matrices

1 2 3 4 5

1 0 1 0 1 0

2 1 0 0 1 1

3 0 0 0 1 0

4 1 1 1 0 0

5 0 1 0 0 0


> 10^7


Computación sobre el grafo social

Grafo que almacena una red social y sus propiedades.

Necesidad de computación en tiempo real:

Muro de Facebook.

Seguidores de Twitter.

Cualquier otro servicio social.


Web Semántico

Estas tecnologías están habilitando realmente la web semántica.

También son grafos y una de sus limitaciones han sido computacionales.

Nueva oportunidad con Open-Data.


Stream-processingREALTIME


Un ordenador tiene recursos limitados

Diferentes algoritmos :

Necesidad de cálculos rápidos.

Pseudotiempo real blando.

Complejidad algorítmica.


Si no entra en memoria principal

Todo va muy lento.


Librerias de computación

paralela

Sistemas tipo GRID (MPI)

Sin resistencia a fallos.

Si alguno para hay que empezar de nuevo.


A que huelen las nubes


Clasificación ?aas

SaaS (Software as a Service) (gmail, salesforce.com, Google Apps).

PaaS (Platform as a Service) (Amazon simple DB, MS Azure, Google app engine).

IaaS (Infrastructure as a Service) (HaaS) (Virtualizadores )

Cloud es el Matrix de los servicios (virtuales).


Comprar y construir una casa (y mantenerla)


Dificil segun crece


Es como un hotel

Sin preocuparse de

fontaneros


Almacenaje

Paradigma relacional.

Solo existe las tablas, las relaciones y Select es su profeta.


Almacenaje clave valor

Saco de tuplas : < Clave, Valor >

Hash table:


Distributed Hash Table


Google bigtable

Almacen < Hash(URL), Página >

Funciona sobre el GFS


Cloneado por apache

Hadoop : equivalente sobre HDFS

Soportado por YAHOO


NoSQL

No ACID

Teorema de CAP (Brewer): 2 de

Consistencia.

Disponibilidad.

Resistencia a Particion.


NotOnlySQL


Clasificación

Clave-Valor

Columnas.

Documentos

Grafos <----


Diversas soluciones existentes

NEOJ SONES HypergraphDEX


Modelo con grafos y enlaces.

Nodos

Enlaces

Propiedades (campos) en los dos.

Equivalentes a las “tablas”.


OpenSource

NEOJ (propia).

Hypergraph (xmpp sobre berkeleyDB).

Vertex DB : (tokio-cabinet)


Otras

Comerciales

DEX

SONES

Desarrollada en España.


Problemas

Adecuadas solo para ciertos usos.

Distribuidas: Tipo MySQL.

RDF : Remora o Requisito.


Computación sobre cloud y NOSQL

Problemas isomorfos….

PageRank.

BigTable & Map Reduce.


MAP-REDUCE

Diseño de google para calculo del PageRank.

Librería simple, asíncrona, autoajustable

Desgraciadamente el ensamblador de los algoritmos.


Descripción

Tenemos MAP


Descripción

Tenemos REDUCE


Descripción

Fase MAP:

Analizamos los datos y los convertimos en tuplas < clave, valor >.

Barajado : se ordenan y agrupan por la clave

Fase REDUCE:

Todos los valores asociados a una clave se procesan juntos.


WC


Arquitectura distribuida


Problemas

Su bajo nivel: Dificil programar.

Exceso de comunicación.

No para todo tipo de cálculo sobre grafos.


¿Posible solución?

Pregel

Librería sencilla

Pagerank:12 líneas.

Erlang clones.


Diversos elementos

Vertices (nocos) activos.

Enlaces creando y destruyendo.

Aplicación algoritmo local hasta que vertice decide parar.

Cuando todos los vertices han parado se ha acabado.


El principio de un largo camino

Sistemas “tuneados”:

Twitter - Facebook.

Cálculos muy simples.

No hay solución DEFINITIVA.


¿Caminamos juntos?


nube redes

Technology