dan rozenfarb ( [email protected]) adrián lisenberg...

Septiembre de 2014

Lingüística y Bigdata

Dan Rozenfarb ([email protected])Adrián Lisenberg ([email protected])

2Keepcon | Hablemos de Big Data 2014, Argentina

¿Qué hacemos?

�Clasificados

�Medios

�Comunidades online

�…

Moderación de UGC


consolador de ultima moda bibraciones estupendas encontraras tu punto g y no lo soltaras ni para buscar a tus ijos al colejio

Comprensión

“”


Shakira sos buenísima me regustan tus caderas

Texto correcto

Conjugación verbal (tiempo, modo, persona, número)

Flexión de Género

Flexión de Número

Sufijos (aument., diminut., peyorativo, superlativo, etc.)

Prefijos (intensidad, oposición, negación, etc.)


T3 kon testo enel forrrooo, hest@ vien?

Texto incorrecto

Símbolos y números

Errores ortográficos y de tipeo

Splitting

Merging

Letras repetidas


640

4

40

19,200

576,000

38,300,000

1,600,000

Estúpido / Estúpida/ Estúpidos/ Estúpidas

Estupidito/ Estupidazo/

Estupidísimo/Estupidote/ …

Superestúpido/ Hiperestúpido/

Reestúpido/ …

Etupido / Estup1d0/ 3stupido/

Stúpido/ Eztupido/ Estupidus/…

Estupidoooooo/

Estuupido/ …

e.s.t.u.p.i.d.o / est upi do/

est….u…p..idoo/ ….

Eresunestu pido/

estu pidototal/

Sonmuyes tu pidos/

Género y Número

Sufijos

Prefijos

Ortografía / Fonética/ Gráfica / Flexiones

Regionales/

Merging

Repeticiones

Splitting

Combinaciones de “estúpido”


Detección de no-palabras

Asasjldkaldf Tecladismo

:) :( Emoticones

8===) Arte ASCII

jajjaja Risas Idioma


Morfología

Googleadoras

Google verbo femen. pluraladj.

Google a a sdor


Arma un combo

Vendo un arma

Desgracia la para suerte qué

Sintaxis


Semántica

La lata descansa casas verdes

La pasé mal

Me gustó mal


Pragmática

Esta mañana me tomé un submarino


Real-time Analytics en un cliente

�4MM por día

�50k reglas

�< 200ms


Arquitectura Previa

�SQL Server

�Escalabilidad Vertical

�1 físico: 64GB, 16 cores, 6TB

�Analysis Services + Sharepoint

�Cubo con 30 min. de delay

�Compilación incremental


Arquitectura NuevaElasticSearch + Cassandra


Arquitectura Nueva

ElasticSearch 1.0:

�5 físicos, 32GB, 4 cores, 1TB SSD�Aggregations para gráficos casi RT�100 index request por segundo�700 MM documentos (TTL de 6 meses)�Inestabilidad x OOM�Gráficos < 5 segundos


Arquitectura Nueva

Cassandra 2.0:

�3 físicos, 8GB, 4 cores, 8TB c/u

�1200 MM documentos sin TTL

�Objetos serializados completos

�Acceso por ID. Búsquedas en ES


13%

87%

Tipos de información

Anotada

Fuente: Computer World, Meryll Lynch, IDC´s Digital Universe Study 2012

No anotada

20%

80%

Estructurada

Desestructurada

Información «útil»


Dificultades

�Info. estructurada + fácil

�Desestructurada difícil


Preguntas

¿Eh?

dan rozenfarb ( [email protected]) adrián lisenberg...

Documents