integración bigdata: punto de entrada al iot - librecon 2016

Integración Bigdata

punto de entrada al IoT

22 de Noviembre de 2016Oscar Guadilla (o-guadilla@ejie.eus)

1. Presentación

2. Origen

3. Bigdata

4. Internet of Things

5. Conclusiones

Índice

2

1. Presentación

estandarización de productos

soluciones horizontales técnicas(integración, seguridad, batch...)

Sociedad Informática del Gobierno Vasco

Consultor de Sistemas

dudas arquitectura(fases -1)

responsable proceso vigilancia tecnológica

3

aplicaciones web distribuidas:– clusters de servidores– interfaz + servicios³– multiusuario

ante incidencias:– muchos ficheros

– descargar ficheros

– rebuscar en ficheros

integración 2011:– ingesta jms

– hbase + elasticsearch

2. Origen

4

3. Bigdata (marca)

oficialmentePlataforma Integración Bigdata

PIB

internals: Momo

5

3. Bigdata (fuentes)

navegación web

6

trazasservidor

métricas de cpu/memoria

vía Librería Java

vía Librería Javascript

3. Bigdata (ingesta)

7

Aplicación WLS11Integración

BigDatalibrería

(w43ta.jar)input trazas

Navegadorcomponente

(w43ta.js)

inputnavegac.

aislamiento(futures jdk1.6)

trazabilidad servidor(request id – filtro web)

trazabilidad usuario(client id - cookie)

rendimiento(kafka)

intrusismo(sólo eventos js load/unload)

developer friendly(development mode)

3. Bigdata (consumo)

8

IntegraciónBigData

consolaweb

seguridad(xlnets)

incidencias(tail, searcher)

funcional(stats)

explotacion(dashboard)

zonas(flexcloud)

autorización(toda la zona)

almacenamiento(hbase)

búsquedas(elasticsearch)

3. Bigdata (horizonte)

9

upside-down: (client oriented)

app

sistema operativo

plataforma

monitorización

comunicaciones – red

almacenamiento

bottom-up: (IT oriented)

3. Bigdata (showtime)

10

4. Internet of Things (origen)

¿Los datos de IoT cómo se explotan? → Bigdata¿Cuán diferente es ingestar datos desde dispositivos?

variedad hardwareconectividad parcial

alimentación limitada

11

4. Internet of Things (ecosistema)

Sumemos un nuevo animal al zoo

12

4. Internet of Things (actividad en el pc)

Piloto/juguete basado usando kaa en un instalable VOLUNTARIO Se genera un id y con él el usuario puede ver sus métricas y la

comparativa respecto a la globalidad

13

4. Internet of Things (actividad en el pc)

14

leer emailscafécomidaautobús

4. Internet of Things (actividad/adicción al móvil)

Piloto/juguete basado usando kaa en un instalable VOLUNTARIO Se genera un id y con él el usuario puede ver sus métricas y la

comparativa respecto a la globalidad

15

dos horas de media mirando la pantalla!!!algunos cuatro horas!!! la nueva caja tonta

4. Internet of Things (actividad/adicción al móvil)

16

100 push atendidos de media. Algunos, másYa no nos llamamos por teléfono

5. Conclusiones

Existe tecnología de software libre tanto en el mundo del bigdata como en el mundo del internet de las cosas.

De hecho, existe tanta tecnologíá que hay que decantarse por una en vez de intentar elegir la mejor ya que hay productos liberados de netflix, yahoo, linkedin, airbnb...

Cuesta pasar de la tecnología a las ideas. Asusta la dependencia tecnológica

a la que estamos llegando… peroes evidente que hay tecnologíasque han llegado para quedarse.

17

Dudas

18