1. Casos de Usode Big DataWolfram Rozas31 Octubre 2014

2. 2Agenda Introduccin El Lago de Datos Cambio en el Paradigma Analtico El rol del Chief Data Officer Las cinco categoras de Casos de Uso Ejemplos de Casos de Uso Experiencias reales Taller 3. 3Los datos son elnuevo recursonaturalSocial, Mvilidad, Big DataJuntas estn enriqueciendo a la sociedadcon conocimiento, a travs de redesque generan expectativas de valor acambio de su informacin 4. 4Las 3 ies son la causa del Big DatainstrumentadointerconectadointeligenteHasta10.000xmsvolumenAnaltica ComplejaHasta 10.000xms rpidoDatos enreposoMexcla (no)estructuradosData Warehousetraditional e Inteligenciade NegocioData ScaleVolumenDatos enmovimientoao mes sem da hora min seg msHexaPetaTeraGigaMegaKiloocasionalmente frecuentemente tiempo realVelocidad Tiempo esperado de decisin 5. 5SistemasOperacionalesIntegracin y Analtica &(DW, MDM,)Informacinno vistaGobierno 6. 6Para poder ejecutar las nuevasoportunidades, hay en fuentes de datosno tradicionalesDatos transaccionalesy de aplicacinDatos Mquina(M2M)Datos Sociales Volumen Estructurado Throughput Velocidad Semiestructurados Ingestin Variedad Altamentedesestructurados VeracidadContenidoEmpresarial Variedad Altamentedesestructurados Volumen 7. 7Por tanto, cul es la paradoja de BigData? El porcentaje de datos disponibles que una empresa puede analizar decreceen relacin proporcional a la disponibilidad de los mismos.Datos DISPONIBLESpara una organizacinDatos que una organizacinpuede PROCESARVolumen Datos mundiales2009 0,8 Zb (*)2010 1 Zb2011 1,8 Zb2018 estimado 35 Zb(*) Zb (Zettabyte) = 10 3 Exabyte = 10 6 Petabyte = 10 9 Terabyte 8. 8Qu es Big Data?Volumen Velocidad Variedad VeracidadDatos en ReposoDeben procesarseTB-EBDatos en MovimientoDatos en streaming,no almacenados,decision necesaria enmsDatos con mltiplesformatosEstructurados, noestructurados,texto, multimediaDatos ruidososFiabilidad de los datos:desfasados, incom-pletos,conflictivos,irnicos, equivocados,vagos, errneosGrandeApp ClsicasTiempo RealM2MNo estructuradosDocs CorporativosCalidadSocial Media 9. 9Volumen180millonesRegistros de prstamosanalizados cada daVelocidad2billonesClculos de datos de bonosen 1 minutoVariedad40millonesEmails analizadosmensualmenteAnalizar ms prstamospor niveles de riesgo ypatrones de fraudeAnalizar msprofundamente paradescubrir sentimiento yactitudes de los clientesDescubrir riesgo e identificaroportunidades ms rpidoque antes de negocio no confan en la informacinque usan para tomar decisionesConfirmar laVeracidad de lasfuentes Big DataRetos y oportunidades en Banca 10. 10Volumen4petabytesRetos y oportunidades en UtilitiesVelocidad248millonesVariedad80%datos no estructurados de datos demodelizacin declimatologa para laoptimizacin de lasituacin deaerogeneradoresde una smart grid,predicciones de tiempo,documentos, etc.lecturas diarias en unproyecto estndar decontadores inteligentes6.000 millones $ perdidos en USanualmente debido a prdidas notcnicasConfirmar laVeracidad de lasfuentes Big Data 11. 11Volumen>1000 MillonesRetos y oportunidades en RetailVelocidad6000VariedadPerfiles de RedesSocialesPosts de facebook diarios abonados de mvilesy crecimiento de datosAnalizar enormes volmenesde datos para conseguir unantida vista de 260 delclienteLos clientes envanvariedad de datos -blogs, videos, emails,pins, tweets, etc.Conocer dnde estn losclientes para ofertaslanzadas en tiempo realempresarialMillones 2800 Millones de negocio no confan en la informacinque usan para tomar decisionesConfirmar laVeracidad de lasfuentes Big Data 12. Arquitectura de Nueva GeneracinAplicacionesMejoradasNuevos modelosde Negocio12Analtica en Tiempo RealExploracin,landing yarchivoEnterprisewarehouseData martAnalyticappliancesInformacinOperacionalGobierno de la InformacinExperiencia declienteMejoraseconmico-financierasGestin delRiesgoFuentes de DatosS. CognitivosApoyo a Toma deSISTEMAS-SEGURIDAD-ALMACENAMIENTODatos demquinas ysensoresImagen y videoContenidoEmpresarialDatos deaplicaciones ytransformacionesDatos deRedesSocialesDatos deTercerosEnterprisewarehouseData martAppliancesAnalticosDecisionesModelizacinpredictivaReporting, anlisis,analtica contenidosDescubrimiento yexploracin++Gestin deOperacionesy del FraudeAhorros ITArea deEntendimiento 13. 13Exploracin y DescubrimientoAplicaciones ExploracinText AnalyticsMotor BsquedaRuting Federacin QueiresSubscripciones Feeds ResultadosWebMetadata ExtractionFramework AplicacinModelo EntidadAplicaciones Vista 360OExtendidaUser ProfilesCM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERPFile SystemsFrameworkConectorMDM 14. 14Plataforma Hadoop Datos almacenados en un sistema de ficheros distribuido en mltiples ordenadores econmicos (intel) Se puede operar con funciones en los datos Escalable a miles de nodes y petabytes de datospublic static class TokenizerMapperextends Mapper {private final static IntWritableone = new IntWritable(1);private Text word = new Text();public void map(Object key, Text val, ContextStringTokenizer itr =Aplicacin MapReduce1. Fase de Mapeo(divide el trabajo enmuchas partes)2. Fase de Combinacin(transfiere el output paraprocesamiento final)3. Fase de Reduccin(Reduce todo el output a unjuego sencillo de datos)Devuelve un conjunto sencillode resultadosJuego resultadoCombinarpublic static class TokenizerMapperextends Mapper {private final static IntWritableone = new IntWritable(1);private Text word = new Text();public void map(Object key, Text val, ContextStringTokenizer itr =new StringTokenizer(val.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class IntSumReducerextends Reducer val, Context context){int sum = 0;for (IntWritable v : val) {sum += v.get();. . .new StringTokenizer(val.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class IntSumReducerextends Reducer val, Context context){int sum = 0;for (IntWritable v : val) {sum += v.get();. . .Distribuye tareas alclusterNodos de datos 15. 15Anlisis en Marcha (Streaming)ModificarFiltrar/MuestreoClasificarFusionarAnotarPuntuarAgregarAnalizarANTES AHORAReal-timeAnalytics 16. 16Data Warehousing de Alto Rendimiento Velocidad Considerar un appliance optimizado paraanaltica Aceleracin de queries basada en HW Procesamiento masivamente paralelo(MPP) Base de Datos In Memory Escalabilidad Hasta petabytes Arquitectura en paralelo Simplicidad Integrar SW, procesador yalmacenamiento Facilitar interfaces estndar Minimizar gestin y optimizacinProcesamiento Masivamente Paralelo (AMPP)AnalticaAvanzadaAnalticaAvanzadaCCaarrggaaddoorrBBII EETTLLAplicacionesFPGACPUMemoriaFPGACPUMemoriaFPGACPUMemoriaHostHostsAlmacenar Procesar ConectarOrquestrar 17. 17Analtica de Texto Analiza texto y detecta significados conanotadores Comprende el contexto en el que seanaliza el texto Incorpora anotadores preconstruidospara construcciones estndar de textocomo nombres, direcciones, nmerosde telfono, etc. Convierte informacin desestructuradaen texto estructurado Anlisis de sentimiento Conducta del consumidor Actividades ilegales 18. 18Gobernanza del Big data Integrar cualquier tipo de dato Estructurado No estructurado Streaming Gobernanza Asegurar datos sensibles Gestionar el ciclo de vida del dato paracontrolar el crecimiento de datos Perfiles de fuentes de datos Validar y gestionar la calidad de los datos Gestionar la metadata para trazar el linaje delos datos Datos maestros, integrarlos y extenderlos conbig data para hacerlos fiablesData ArchivingDataMaskingTest Data Management Application Discover RetirementPPaarrttnneerr--ddeelliivveerreedd SSoolluuttiioonnss 19. 19Comprende lenguajenatural y estilo decomunicacin humanoEvoluciona y aprendemediante entrenamiento,interaccin y resultadosLos sistemas cognitivos representanuna nueva era de ComputacinGenera y contrastahiptesis basadas enevidencias1 23Watson de IBM Me comprende Me involucra Aprende y mejora en el tiempo Me ayuda a descubrir Genera confianza Tiene una enorme capacidad analtica Opera en tiempo real 20. 20Big Data & Business AnalyticsNo existe lo uno sin lo otroSistemas SeguridadAlmacenamientoInstalacin propia, Cloud, Como un ServicioZona deaterrijzaje,exploracin yarchivadoInfraestructura de Big Data Y AnalyticsAplicacionesNuevas/MejoradasDatosZona deanaltica entiempo realZona de DWCorporativo yappliancesIngestin deinformacin yzona deinformacinoperacionalZona de Gobernanza de InformacinQu podraocurrir?ModelospredictivosQu accintomar?Toma deDecisionesQu estocurriendo?Descubrimientoy exploracinPor quocurri?Reporting,anisis,anlisis decontenidosFbricacognitiva 21. Data Lake 22. 22El problema de los Datos Hay una desproporcin en el tiempo empleado en preparacin de datos en los proyectos de Anlisis El Big Data complicar ms la situacin con la adicin de datos de mltiples formatos y la ingesta entiempo real 23. 23Una demanda creciente.Negocio quiere... Acceso abierto a ms informacin Herramientas de anlisis y visualizacinms potentesA los equipos IT les preocupan los costes les preocupan los requisitos de gobernanza y regulatorios 24. 24Lagos o Pantanos? A medida que recogemos datos Podemos preservar la claridad? Conocemos lo que recogemos? Podemos encontrar lo que necesitamos? Estamos creando pantanos dedatos? Cmo construimos confianza en BigData? Sabemos para qu se usan los datos?Hay que gobernar el dato! 25. 25Qu es un lago de datos? Un lago de datos facilita datos a unaorganizacin para realizar anlisis de todotipo Es posible introducir el anlisis en el lago dedatos para generar conocimiento adicional delos datos cargados Un lago de datos gestiona repositorioscompartidos de informacin para analizarla Cada repositorio del lago de datos seoptimiza para un procesamiento particular Los datos pueden replicarse enmltiples repositorios en el lago dedatos y tener distintossignificados/usosServicios del Lago de DatosRepositorios del Lago deDatosGestin de Informacin y Gobierno del DatoLago de Datos 26. 26Arquitectura lgicaAdvanced DataProvisioningOperationalGovernanceHubData LakeCatalogInterfacesData Lake RepositoriesHarvestedDataInformation WarehouseDeep DataDescriptiveDataInformationViewsSharedOperationalData OperationalStatusNotificationsInformationFederationCallsInter-lakeExchangeDepositedDataCatalogData RefineriesStreamingAnalyticsReal-timeInterfacesPublishingFeedsInformationIngestionCodeHubInformationIntegration &GovernanceInformationBrokerInformationBrokerOperationalGovernanceHubCodeHubCodeHubInformationAccessFindCurateAccessProvisionSSttaaggiinngg AArreeaass MMoonniittoorr WWoorrkkfflloowwReal-timeAnalyicsStreamingAnalyticsContentHubEvents toEvaluateInformationService CallsData OutData InUnderstandInformationSourcesDeployDecisionModelsUnderstandComplianceUnderstandInformationSourcesSearchRequestsCurationInteractionInformationService CallsDataExportDataImportReportQueriesManagementInformationService CallsDataExportAdvertiseInformationSourceDeployReal-timeDecisionModelsDataImportAnalystInteractionReportingData Marts 27. 27ResumenLago de Datos = Gestin eficiente, Gobernanza, proteccin y acceso A medida que la analtica de una organizacin se hace ms compleja, sernecesario: Acceder a datos histricos de muchos sistemas Estos datos incluyen datos sensible y valiosos que son el ncleo de la operacin Hadoop felxible para almacenar muchos tipos de datso, pero no es suficientemente rpidopara alguna analtica en produccin. Los datos necesitan ser reformateados y copiados enuna plataforma especializada paa el anlisis Un lago o embalse suministra: Un extraccin sencilla de datos Catalogar y gobernar el dato Interfaces sencillos para que la lnea de negocio acceda a la infomracin que precisan 28. Cambios en el ParadigmaAnaltico 29. 29Cambios en el Paradigma AnalticoBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHAnalyze small subsetsof informationAnalyzedinformationAllavailableinformationAnalyzeall informationAllavailableinformationanalyzedAprovechar ms de los datos que se estn capturandoBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHData ExplorationInsight CorrelationLpos datos dirijen y algunas veces las correlaciones sonbastantes buenasBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHSmall amount of carefullyorganized informationLargeamountof messy informationCarefully Analyze cleanse information as is,informationbefore cleanse any as neededanalysisReducir el esfuerzo requerido para aprovechar los datosBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHDataAnalysisInsightAnalyze data in motion as its generated,Aprovechar los datos a medida que se capturanHypothesis QuestionAnswer DataStart with Explore all data hypothesis andandtest identify against selected correlationsdataData Repository Analysis InsightAnalyze data after its been processed and landedin a in real-warehouse timeor mart 30. 30Cambios en el Paradigma AnalticoBIG DATA & ANALYTICS APPROACHTRADITIONAL APPROACHWhat will happen and what should you doWhat has happened and whyPredecir y decidir la mejor accinBIG DATA & ANALYTICS APPROACHLearn to sense and predict usingall types of informationSistemas cognitivosBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHthe realm of the specialistembedded in everythingAnlisis intuitivo para cualquieraBIG DATA & TRADITIONAL ANALYTICS APPROACHAPPROACHScheduledReal-timeAnlisis cmo y cundo lo necesitasTRADITIONAL APPROACHPre-programmed analysison structured data 31. Chief Data Officer 32. 32Chief Data OfficerEs un lder de negocio que crea y ejecuta datos yestrategia de anlisis para generar valor en su negocioEs responsible de definir, desarrollar e implantar laestrategia y los mtodos por los que la organizacinadquiere, gestiona, analiza y gobierna sus datos.Tambin se hace cargo de identificar nuevasoportunidades de negocio mediante un uso creativo delos datos corporativosFuente: IBM Institute for Business Value, The New Hero of Big Data and Analytics, The Chief Data Officer, June 2014 33. 33Cinco maneras en las que los CDOconducen crecimiento e innovacin 34. 34Entregar valor de negocio es la primeraprioridad del CDOscarce3 impulsorespara el CEO1. ExperienciaCliente/Ciudadano2. Eficienciaoperacionalmejorada3. Capacidadmejorada parainnovacin 35. Las 5 categoras de casosde uso 36. 36Innmeros casos de uso en cadaindustriaSeguros Vista 360 del sujeto Modelizacincatstrofes Fraude y Abuso Analtica derendimiento productoBanca Optimizacin de ofertas Servicio a clientes yeficiencia Deteccin einvestigacin de fraude Riesgo de crdito y decontrapartidaTelecom. Call Center proactivo Analtica de Red Servicios basados enlocalizacinEnerga yUtilities Analtica de SmartMeter Prediccin/planificacin de carga Mantenimiento basadoen condicin Ofertas a clientes(TOU)Medios yEntretenimiento Transformacin deprocesos de negocio Optimizacin deaudiencias ymarketing Campaas multicanal Optimizacin decomercio digitalRetail Analtica de Cliente yFidelizacin Optimizacin deMercancas Precios ptimosTransporte yTurismo Analtica de Cliente yFidelizacin Analtica deMantenimientoPredictivo Optimizacin deCapacidad y PreciosGranConsumo Disponibilidad Estante Optimizacin de TradeFunds Cumplimiento demercancas Alertas/Excepciones depromocionesGobierno Servicios pblicos Defensa e Inteligencia Servicios fiscales ytributariosSalud Medir y actuar sobrelos resultados de salud Involucrar a losconsumidores en susaludAutomocin Monitorizacinavanzada de condicin Optimizacin DataWarehouse Analtica de Cliente yFidelizacinFarmacia Aumentar la visibilidadde la seguridad yefectividad de losmedicamentosQumica yPetrleo Vigilancia, Anlisis,OptimizacinOperacional Optimizacin DataWarehouse Investigacin UpstreamAviacin yDefensa Plataforma de AccesoInformacin Uniforme Optimizacin DataWarehouse Plataforma deCertificacin Aerolnea Monitorizacinavanzada de condicinElectrnica deConsumo Analtica de clientes/canal Monitorizacinavanzada de condicin 37. 37ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 38. 38ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 39. 39Exploracion: NecesidadesLuchar para gestionar yextraer valor de las 3 Vs enla empresa; necesidad deunificar la informacin enfuentes federadasEncontrar, visualizar, comprender todos los datos paramejorar el proceso de toma de decisionesIncapacidad de relacionar los datosbrutos recogidos de logs desistema, sensores, clickstreams,etc., con datos de clientes y denegocioRiesgo de exponer informacin deidentificacin personal y/o datosprivilegiados debido a carenciasde conciencia de la sensibilidadde la informacin 40. 40Call CenterHighly relevant, secure &personalized resultsAccess all sourcesor individual sourceDynamiccategorizationRefinements basedon metadataSetup alert tonotify changeNarrow down results setIdentify topical expertsTag resultsRate resultsComment resultsStore &share results 41. Distintos propsitos de exploracin41 41 42. 42 IBM Confidential 43. 4343 44. 44ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 45. 45NecesidadesExtender las vistas actuales de clientes (MDM,CRM, etc.) aadiendo fuentes de informacininternas y externasNecesita una mayorcomprensin delsentimiento de la clientelaDeseo de mejorar lafidelizacin (activa) delcliente y la satisfaccinidentificando accionessignificativasnecesariasDesafo en facilitar lainformacin correcta a losdecisores para suministrar a losclientes lo que realmentenecesitan (resolver problemas,cross-sell, etc.) 46. 46Anlisis Actitudinal de Clientes 47. 47GeoMarketing 2.0 / GeofencingPisadas Patrones de movimiento de personas ypatrones de estancia Anlisis por hora y da Inferencia para mtricas de estanciasdentro de edificiosSociodemogrficos y Conducta Perfil sociodemogrfico combinado conmovimiento Edad, gnero, pas, direccin vivienda,direccin trabajo, tipo dispositivo (datos,status), patrn de actividadTrnsito Inferencia de rutas de transporte pblicoincluyendo carreteras, trenes, autobuses 48. 48Lista de ProspectosFanBBiigg DDaattaa DDWWDDaattooss lliinneeaalleessDatos Datos nonolinealeslinealesDatosDatossuscripcinsuscripcinDatos Datos afinidadafinidady y de de gastogastoDatosdemogrficosDatos RedesSocialesDatos RedesSocialesGestin de CampaasmulticanalMMaarrkkeettiinngg// RReesseeaarrcchhCrear lista de prospectos medianteCrear lista de prospectos mediantemodelos predictivos y producirmodelos predictivos y producircampaas de marketingVViissuuaalliizzaacciinnMotor deReglasAAnnlliissiiss PPrreeddiiccttiivvooDatosdemogrficosGestin de CampaasmulticanalExtraer datos yExtraer datos y EEssttrruuccttuurraaddooejecutarintegracin deentidades paracrear perfilesindividualesProcesadoTiempo Real DDeessaarrrroollllaa mmooddeellooss pprreeddiiccttiivvoossProcesadoTiempo Real2VViinnccuullaacciinnPPeerrffiill 336600TTiippoo FFaanncampaas de marketing3PPrrooppeennssiinnCChhuurrnnPPoorrttaallTextMiningLista de ProspectosFanNoestructuradoejecutarintegracin deentidades paracrear perfilesindividuales1IInnfflluueenncciiaaAnlisis de Pblico Objetivo basado enFans 49. 49ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 50. 50NecesidadesLa extensin de Seguridad/Inteligencia mejora lassoluciones de seguridad analizando todo tipo defuentesInteligenciamejorada yVigilanciaPrediccin ymitigacin deciberataques entiempo realAnalizar el trfico de red para: Descubrir nuevas amenazas tempranamente Detectar amenazas complejas conocidas Actuar en tiempo realAnalizar datos sociales y detelecomunicaciones para: Reunir evidencia criminal Prevenir las actividades criminales Prender criminales proactivamentePrediccin yproteccin decrmenesAnalizar datos en movimiento yparados para: Encontrar asociaciones Descubrir patrones y hechos Mantener la actualidad de la informacin 51. 51Modelo ConceptualSistema deSeguimiento deInformacinCriminalInformacin s deSeguridad yGestin deEventos (SIEM)ConectoresDataWarehouseSistema deMonitorizacin deVigilanciaConectoresDatos no estructurados/en streamingDatos Estructurados Tradicionales Anlisis profundo Anlisisoperacional Gestin de datosestructurado dealto volumenAppliance de monitorizacion detelemetra de red (Opcional)Ingesta yprocesamiento entiempo real Video/audio Red Geoespacial PredictivoAlmacenamiento yAnlisis Text mining Data mining Machine learningAnlisis deEntidades/ Relaciones 52. EvolucinAdaptarse acambios ennegociosclientesproductosProblemasIntegridad?Consistenciadel procesode gestin deriesgo de52crditoReportarGestin de RiesgosInformarinvolucradosReportingLimitadoReportinglimitado deexposicionesy colateralesCoberturaLimitar eldao usandocoberturaRespuestaa TiempoFalta deherramientasdemonitorizacinde crditoPrepararReunir datosde posiciones,mercados,oportunidades, etc.DatosHistricosMuchos datos,cambiandomuy rpido,demasiadavariedadExposicinEstimarRatings yexposicionesClculosScoringComplejosLos clculosde scoringnecesitanhacerse msrpidoLmitesCompararexposicinagregadacontra lmitesDemasiadosdatosNo hay simplevista delriesgo decrdito(muchasvistas)CapitalDeterminarreqs. capitalMinimizarCostesOptimizacinde las prdi-dasde crdito,capital,colateralesStressStress testingy Anlisis deEscenariosDemasiadosWhat ifs?Mltiplesescenarios destress ad hocDocumentosMitigacin deriesgoslegalesGestinInformacinGestionardatos noestruc. deoportunidadesy colaterales.Reporting ybsquedaDatos noestructurados:Anlisis de sentidoscomo Anlisis deEntidadesOtras fuentes dedatos comogeoposicionamiento,redes socialesAnlisis enTiempo Real:Clculos en casitiempo realAppliance/funcincalidad streamsEscalabilidad:Capacidad a nivelde petabytes paragrandes portfoliosde crditoGestin de Datos:MDM para lasentidades decontrapartida legalApp. Riesgo:App de riesgo decrdito ycolateralesAnlisis masivo:10-100x msrpido quesistemastradicionales conempleo deAppliance 53. 53ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 54. 54NecesidadesAnalizar una variedad de datos mquina paramejorar los resultados de negocioLa capacidad de analizar datos mquina ycombinarlos con los datos corporativosobteniendo una vista completa puede capacitara las organizaciones a: Ganar una visibilidad en tiempo real de lasoperaciones, experiencia de cliente,transacciones y conducta Planificar proactivamente para mejorar laeficiencia operacional Identificar e investigar anomalas Monitorizar la infraestructura punto a puntopara evitar proactivamente la degradacin delservicio o las cortes 55. 55Logs brutos y datos mquinaIndexar, buscarModelizacin estadsticaAnlisis CausalExploracin yDescubrimientoSlo almacenar lo necesarioAnlisis en tiempo realModelo ConceptualAcelerador deDatos Mquina 56. 56Anlisis de los Datos Mquina (M2M)App. Server LogsSystem LogsSmart MetersSensor DataUtility SystemsFacility SystemsMessage QueuesClickstream DataConfiguration FilesWeb Access LogsDatabase AuditLogs and TablesWeb Proxy LogsHDFS LogsIngestin DatosDatos en reposoDatos en movimientoExtractoresEstructuradoProcesamientoAnlisis textoAlgoritmos adaptativosIndexadoBsquedaAnlisisCausa razAnlisis PatronesDeteccin de AnomalasAnlisis PredictivoQueries DinmicasTiempo realSolucin de NegocioVisualizacinNo estructuradoCorrelacin 57. 57Deteccin de AnomalasDatos histricos Ultimos datos1. Para cada punto de suministro seidentifican otros puntos que tenganconducta de consumo similarContador LecturaA 100B 10C 15D 200E 52. Se identifica cunto se desvael ltimo consumo del grupo3. Se identifican los consumos msanmalos para centrar la investigacin 58. SolucionesAplicacionesMediacin, Correlacin y58Network AnalyticsAnlisis en tiempo real del uso de los clientes y de su experiencia de losservicios de datos y aplicaciones, para mejorar la experiencia de clienteAnlisisRecogida y extraccinde datos1. Servicio a Clientes: priorizar problemas de clientes2. Operaciones de Red: impacto de los eventos de red (cuellos de botella,, llamadas cadas, cortes, etc.) en lacalidad de la experiencia de los abonados3. Ventas & Marketing: aumentar la tasa de aceptacin 59. 59ExploracinEncontrar, visualizar, comprenderlos Big Data para mejorar el procesode decisinLas 5 Categoras de Casos de UsoVista 360 cliente mejoradaExtender las vistas de clientes (MDM,CRM, etc) incorporando fuentes deinformacin internas y externasInteligencia OperacionalAnalizar una variedad de datos mquina paramejorar la eficiencia operacionalSeguridad/InteligenciaAumentadaReducir riesgo, detectar fraude ymonitorizar seguridad en tiemporealAumento del Data WarehouseIntegrar las capacidades de big data y de datawarehousing para mejora de resultados de negocio 60. 60NecesidadesIntegrar las capacidades de big data y de datawarehouse par amejorar la eficiencia operacionalNecesidad de usar variedad de datos Extender la infraestructura Almacenamiento optimizado, mantenimiento y costes delicenciamiento para migrar datos raramente usados (fros)a Hadoop Costes de almacenamiento reducidos por procesamientointeligente de datos en streaming Rendimiento del data warehouse mejorado determinando Anlisis profundo en streaming de datosestructurados, no estructurados Requerimientos de latencia baja (horas semanas) Se requiere acceso a los datos 61. 61Valor y Modelo ConceptualPre-Processing Hub Query-able Archive Exploratory AnalysisInformationIntegrationData ExplorerData WarehouseStreamsReal-timeprocessingBigInsightsLanding zone forall dataData WarehouseBigInsightsCan combine withunstructuredinformationData Warehouse1 2 3Find and view thedataData ExplorerBigInsightsStreamsOffload analytics formicrosecondlatency 62. 62Archivar Datos FrosAplicar polticas de retencin de datosCapturar objetos de negocio completosPreservar integridad de datosPreservar metatadaCargar datos a Hadoop segn sea necesarioAlmacn interrogableutilizando Hive enHadoopArchivar y purgar datosInfoSphereOptimArchivos comprimidos,auditables, y restaurablesBase de DatosDistribucinHadoopFicherosArchiveOffloading 63. Ejemplos de Caso de Uso 64. 64ResultadosInteracciones proactivasAceptacin mejorada de ofertasSatisfaccin clientes mejoradaDatos ExternosClienteCredit bureaus,demogrficos(datos comprados)NuevasCapacidades Deteccin eventos tiempo real Microsegmentacin Sentimiento y Satisfaccin Optimizar ofertas y timing Modelos predictivos ms rpidosy precisosGeoespacialLatitud, longitud (X,Y)Datos InternosSocialActitudes,preferenciasClientesEstructuradosNoEstructuradosContact CenterNotas y chats,Interaccion con clienteTransaccionesMulticanal(Web, call-center,oficinal)EventosTriggers conductaclienteCorrespondenciaEmails y chatsOptimizacin de ofertas y venta cruzada 65. 65ResultadosIdentificar oportunidades de trading rentablesCrear una adecuada estructura de pricing parareducir los picos de demandaCumplir los objetivos de uso de nergarenovablesEvitar sobrecargar la red de transmisin ydistribucinNuevacapacidad Prediccin de patrones de demanda Prediccin de resultado de energarenovable Predecir la necesidad de comprar ola oportunidad de vender energaen el mercado abierto Optimizar la planificacin degeneracinTopografa de Distribucinde EnergaPlanificacin demantenimiento deEquipamientoOptciones de Generacin deEnergaPatrones demanda histricosLmites de capacidad de activosPlanes de produccin industrialTiempoPrediccionesAlertasClientesSensibilidad alprecio por tiempode uso (TOU)Geoespacial y TemporalDatos GISTradingDatos demercadoactuales yprevistos deprecios de fuely energaPrediccin y planificacin de carga enUtilities 66. 66VideoVigilancia,trfico de pies en latiendaResultadosReducir los costes de marketingReducir abandonosIncrementar fidelizacinEjecutar tcticas efectivas de MarketingNuevacapacidad Microsegmentacin declientes y vista 360 extendida Obtener ms conocimientodel anlisis de sentimiento yde satisfaccin Entregar ofertas a clientes atiempoGeoespacialLatitud, longitud(X,Y)Social MediaSentimiento, intencin,preferencias,clienteSocidemogrficos,transacciones ypatrones de compraClickstreamActividades OnlinePOSLogsTransaccionalEventosTiempo, eventoslocalesCall CenterLlamadas: texto y audioEmailAnalizar textopara encontrarpatronesCompetidoresProducto, pricing, etc.Optimizacin de carga en Retail 67. Experiencias 68. Fabricante aeroespacial globalincrementa la eficiencia de la fuerzalaboral y ahorra 36M$ anualmente68 Necesidad Los retrasos en resolucin de problemasde mantenimiento son caros ypotencialmente incurren en penalizacionesfinancieras por tener equipos fuera deservicio Aumentar la eficiencia de sumantenimiento y apoyar a los tcnicos,personal de apoyo e ingenieros Beneficios Dar apoyo a 5,000 agentes de servicio Uso de manuales de papel eliminado quepreviamente se empleaban parainvestigacin Poner en servicio ms de 40 avionesadicionales sin ms personal de apoyo Tiempo de llamadas de servicio reducidoen un 70% (de 50 a 15 min) 69. Compaa de Emailing Americana analizamiles de millones de emails noestructuradosNecesidadSus clientes envan 35 millardos de emails cada ao (asus bases de clientes) Analizar la efectividad de emails es crticapara el xito del cliente Poder analizar las tendencias Reducir el tiempo de enviar emails Saber qu contenidos son ms efectivos encampaaBeneficios 40X mejora de rendimiento Tiempo de anlisis reducido de horas asegundos Mejora directamente la experiencia declientes 15%-25% mejora de respuesta de lascampaas Fcil de usar por la organizacin Mejora los sistemas de anlisis69 69 70. 70Fabricante de tecnologa de datos enstreaming de sistemas de vigilancia Necesidad Desplegar un sistema de vigilancia paradetectar, clasificar, localizar, y rastrearamenazas potenciales en un laboratoronacional altamente sensible Beneficios Tiempo de captura reducido para analizar275MB de datos acsticos de horas a 1/14de segundo Anlisis de datos en tiempo real dediferentes tipos de sensores y 1,024 canalesindividuales para apoyar el permetro deseguridad Respuesta ms rpida e inteligente acualquier amenaza 71. Un mercado de Bolsa amercianomejora notablemente el rendimientode su gestin de informacin71Necesidad Mayor flexibilidad para cumplir lasdemandas del mercado Reducir el tiempo necesario paraacceder a datos crticos de negocioen su red, que sola ser 26 horas El anterior sistema era ineficienteen las bsqueda rastreandomltiple informacin irrelevanteBeneficios Capacidad de ejecutar rpidasbsquedas de 650 Tb ;almacenando alrededor de 1Pb El tiempo de acceso a datoscrticos de negocio se ha reducidode 26 horas a 2 minutos 72. Bureau Salud Asitico reduce72errores de diagnsticoNecesidad El servicio telemdico de diagnsticopor imgenes tiene como objetivoaumentar la salud rural Automaticamente mueve y analizagrandes collecciones de imgnesbuscando anomalas y enfermedades Hace posible que radilogos ypatlogos analicen 1000s imgenes depacientes cada daMejoras esperadas: Reduccin en errores de diagnstico Resultados mejorados aprovechando eltratamiento mdico de casos similares 73. 73El Instituto de la Universidad deOntario detecta los sntomas deneonatos con anterioridad Ejecuta analtica en tiempo real utilizandodatos fisiolgicos de los neonatos Correlaciona datos continuamente demonitores mdicos para detectar cambiosstiles y alertar al personal mdico antes El sistema avisa a los cuidadores deposibles complicacionesBeneficios: Ayuda a detectar condiciones de amenazahasta 24 horas antes Reduccin de mortandad infantil y mejorade los cuidados de los pacientes 74. Una gran organizacin no lucrativa deI+D conduce una proyecto dedemostracin regional para validar lastecnologas de smart grid74 Necesidad Reunir y analizar datos del rendimientode la smart grid de 15 sitios de pruebaque representan el terreno,meteorologa, y demografa de laregin para derivar conocimiento yvalidar las tecnologas smart grid Beneficios 50% de cadas a corto plazo en horaspunta 15% de caidas en picos generales 10% reduccin de las facturas deelectricidad (recomendaciones deconsumo) 70 mil M$ de ahorros proyectados en20 aos Poder analizar 10 Pb en minutos 75. Ayudar a reducir los costes deenerga y la fiabilidad y rendimientode la red75Necesidad Validar la viabilidad de una tcnica de lasmart grid llamada control transactivoBeneficios Une a consumidores con activos medianteun sistema de seal-respuesta optimiza elsistema e integrar mejor los recursosrenovables Permite analizar y ganar conocimiento de10Pb en minutos Aumenta la eficiencia y la fiabilidad de lared mediante la auto-monitorizacin yfeedback Se capacita a la ciudad para evitar unapotencial cada de tensin75 76. 76Fabricante de aerogeneradoresoptimiza inversiones de capitalNecesidad Definir modelos climticos paraoptimizar la localizacin de las turbinas,maximizando la generacin de energa yla vida residual del equipamientoBeneficios Reduce el tiempo requerido paraidentificar la localizacin de la turbinade semanas a horas Reduce los costes de IT y disminuye elconsumod e energa en un 40% Incorpora 2,5Pb de flujos de informacinestructurada y no estructurada. Seespera que el volumen de datos crezcahasta 6Pb 76 77. 77Deteccin de cambiosmedioambientales de recursos hdricosen tiempo realNecesidad Recoger y procesar mltiples flujos de datos fsicos,qumicos, y biolgicvos de sensores instalados en laBaha de Hudson Los datos de sensores se analizan junto con datosmeteorolgicos y se agregan Los datos medioambientales en tiempo real seentregan en formato estndar a los cientficos,ingenieros, polticos y educadoresBeneficios Estimula la colaboracin publicando los datos delmundo reales a sistemas externos, investigadores, ypolticos Ayuda a la gestin de recursos a responder msefectivamente ante cambios en los recursos hdricoslocales7777 78. 78Centro de la Ciudad de Dublin:sistema de control de trfico robustoy eficiente queNecesidad Una solucin eficiente en presupuesto paramejorar el sistema de control de trfico Su objetivo es incrementar la precisin endeteccin de eventos, inferencia de lascondiciones de trfico (velocidad) y prediccinde llegada de autobuses El resto es analizar adecuadamente los datosGPS, que son normalmente masivos y difciles decapturarBeneficios Monitorizar 600 autobuses de 150 lneasdiariamente Analizar 50 actualizaciones de localizaciones deautobs por segundo Recoge, procesa y visualiza los datos delocalizacin de todos los vehculos de transportepblico7788 79. Taller 80. 80problema uSeleccionamossectoresindustriales deinters12364 5Definimos lanecesidad,oportunidad denegocioIdentificamos laidea innovadoraque nos permiteimplantar latecnologaconceptual de laarquitecturaListamos losdatos estructu-radosy noestructuradosEnumeramos losbeneficios onuevascapacidades desu implantacinDibujar lasolucin 81. 81Valoracin de IdeasInnovacin FactibilidadTcnicaFactibilidadEconmicaValoramos del 1 al 10 82. 82 83. Muchas graciaspor su atencin