sybase_iq

7/31/2019 sybase_iq

1/39

Sybase Confidential Propriety.

Sybase Presentation Template

Sybase Confidential

Una Nueva Forma DeResolver Problemas

AntiguosValsoir Tronchin. 27/10/2005

Director De Tecnologa, [email protected]

7/31/2019 sybase_iq

2/39

2

Preguntas Iniciales

Cul es el objetivo del presidente de su empresa? Aumentar y preservar el valor de la empresa para los

accionistas

Cmo se hace eso? Diminuyendo costos

Eficiencia

Aumentando ingresos

Vendiendo ms a nuevos clientes

Vendiendo ms a clientes existentes

Cul es el papel de TI en ese contexto? Apoyar con tecnologa los puntos anteriores

No permitir que la tecnologa sea un impedimento para que laempresa alcance sus objetivos

7/31/2019 sybase_iq

3/39

3

Preguntas Iniciales

Qu espera recibir el cliente de su empresa? Productos y servicios de acuerdo a sus necesidades

Interacciones consistentes independientemente del punto decontacto

Algo que le agregue valor...

Cmo se hace eso? Analizando los datos y el comportamiento de los clientes para

entender mejor sus necesidades

Poniendo datos actualizados en las manos de quininteracta con el cliente en el momento de la verdad

Cul es el papel de TI en ese contexto? No ser una barrera, sino un facilitador

7/31/2019 sybase_iq

4/39

4

Valor Agregado

El valor tiene que ser percibido

El valor tiene que ser reconocido como tal por elcliente

Y, lo ms importante, el cliente tiene que estardispuesto a pagar por l

Si algn punto anterior no es verdadero, entoncesno hay valor agregado para el cliente!

7/31/2019 sybase_iq

5/39

5

Necesidades de Acceso a Datos

Marketing Ventas Call Center Legal Clientes Socios Etc.

Aplicacin

Aplicacin

Aplicacin

Aplicacin

Aplicacin

7/31/2019 sybase_iq

6/39

6

El Proceso Analtico Y La CadenaAlimentaria

7/31/2019 sybase_iq

7/39

7

Marketing yVentas

Finanzas

Servicio al Cliente

RecursosHumanos

Cobro Manufactura

GerenciaEjecutiva

Shipping Contabilidad

Pedidos

El Proceso Analtico Y La CadenaAlimentaria

Uso de herramientas analticas

7/31/2019 sybase_iq

8/39

8

Qu combinacionesde productos estn

comprandomis clientes?

Muchos Datos, Poca Informacin

Ventas semanalesInventario

Clientes

Competencia

Cmo estn lasventas comparadas

con el pasado?

Cmo deboresponder a una

accin de uncompetidor?

Cual es la tendenciadel ndice de

satisfaccin delos clientes?

Mi conjunto

de productos estadecuado almercado?

Productos, clientes, mercado, riesgo, fraude, tendencias,comportamiento

7/31/2019 sybase_iq

9/39

9

Dato Vs. Informacin

Datos son componentes bsicos a partir de loscuales la informacin es creada

Informacin son datos insertados en un contexto

Contexto es la situacin que est siendo analizada

A partir de la informacin se obtiene conocimiento,el que permite tomar decisiones Que cuando adecuadas, ayudan al negocio a alcanzar sus

objetivos

7/31/2019 sybase_iq

10/39

10

Pero El Contexto Cambia...

De usuario para usuario Ejecutivos

Gerentes

Ejecutores

De un escenario competitivo en relacin a otro Estacionalidad

Cambios en el mercado

Nuevos competidores

Y a menores ciclos de negocio, ms variacionesEn la prctica, hoy es imposible prever cmo losdatos sern utilizados!

7/31/2019 sybase_iq

11/39

11

Arquitectura Y Distribucin De Datos

Extraccin Transformacin y Carga

DataWarehouse

Sist

emas

deInformacin

SistemasTransaccionales

DatosOperacionales

Departamental Corporativo

DatosOperacionales

DatosOperacionales

DataMart DataMart DataMart DataMart

Acceso a travs de distintas herramientas

ODS

7/31/2019 sybase_iq

12/39

12

DW Vs. ODS

Data Warehouse es unconjunto de datos orientados a un tema

integrados

no-voltiles variables con el tiempo1

Anlisis estratgico Proyecciones, tendencias

Segmentacin del mercado yclientes

Operational Data Store(ODS) es un conjunto dedatos orientados a un tema

integrados

voltiles

recientes

detallados1

Anlisis tctico Gestin de campaas

Servicio al cliente

Just in time marketing

1WilliamH.Inmon

ODSDW

7/31/2019 sybase_iq

13/39

13

El Operational Data Store Dinmico

Alimentacinde otros sistemas

Data Warehouse/Marts

Datos de clientes

Servicios Web

Adherencia regulatria

Front-endConsultas y

reportes

.

.

.

etc.

DB2,VSAM& IMS

Sistemas TransaccionalesAmbiente heterogneo

Informix

Oracle

MicrosoftSQL Server

Aplicacin

SybaseASE

Aplicacin

Aplicacin

Aplicacin

Aplicacin

Operational Data Store(ODS)

Operational Data StoreDinmico

Servidor

Storage

ExtraccinTransformacin

E Carga (ETL)

SybaseReplication

Server & ASEAscential

Informatica

SybaseRep. Agent

SybaseRep. Agent

SybaseRep. Agent

Sybase

Rep. Agent

7/31/2019 sybase_iq

14/39

14

La Importancia De Los Queries Ad-Hoc

Data Warehousing es unproceso de descubrimeinto...

- Bill Inmon

La primera pregunta quealguien de marketing hace,nunca es la pregunta correcta.

Es un proceso iterativo depreguntas y respuestas para

desarrollarinsights acerca delnegocio...- Pete Estler, Presidente,

EDS dbIntellect

QueriesAd-hoc

49%

ReportesPre-planeados

51%

Fonte: Meta Group

Tipos de Queries

7/31/2019 sybase_iq

15/39

15

Sybase IQ Una Nueva Forma

7/31/2019 sybase_iq

16/39

16

Sybase IQ

Sybase IQ

ScandeTablas

7/31/2019 sybase_iq

17/39

17

Sybase IQ: Enfocado A DSS, BLOb YVLDB

1 2 3 4 ..... 100

Sybase IQRDBMS Clsico

SQL: Create table ABCyellow, blue, red, magenta

Dbpage

2-32kB1 2 3 4 . 100

Db page512kB

SQL: Select sum (red) from ABCRDBMS Clsico

7/31/2019 sybase_iq

18/39

18

Forma Tradicional

Fecha Tienda Estado Clase Ventas

1/3/1996 32 SP A 6

1/3/1996 36 MG A 9

1/3/1996 38 SP B 5

1/3/1996 41 BA A 11

1/3/1996 43 SP A 9

1/3/1996 46 RJ B 31/3/1996 47 DF B 7

1/3/1996 49 SP A 12

Calcular el promedio deventas de las tiendas A

deSo Paulo

La forma tradicional:

Selecciona-se un filtro, si disponible-Normalmente es necesario unscan en la tabla Lem-se as pginas de dados e faz-se a soma das vendas

-Los datos distribuidos aleatoriamente exigen ms lecturas de pginas-Los datos irrelevantes de las pginas tambin son ledos

7/31/2019 sybase_iq

19/39

19

Solucin Tradicional - Paralelismo

800 Bytes por lneaPginas de datos de 16K10 Millones de lneasSon necesarios 500.000 I/Os

Paralelismo no resuelve ese problema! Mucho ms hardware, un poco ms rpido

Pocas consultas pueden ser ejecutadas por vez

Caro e inflexible cuando se trata de queries ad-hoc

Calcular el promedio de ventas de lastiendas A

De So Paulo


1/3/1996 32 SP A 6

1/3/1996 36 MG A 9

1/3/1996 38 SP B 5

1/3/1996 41 BA A 11

1/3/1996 43 SP A 9

1/3/1996 46 RJ B 3

1/3/1996 47 DF B 7

1/3/1996 49 SP A 12

7/31/2019 sybase_iq

20/39

20

Fecha Tienda Estado Clase Ventas1/3/1996 32 SP A 6

1/3/1996 36 MG A 9

1/3/1996 38 SP B 5

1/3/1996 41 BA A 11

1/3/1996 43 SP A 9

1/3/1996 46 RJ B 3

1/3/1996 47 DF B 7

1/3/1996 49 SP A 12

Particin Vertical De Datos

Sybase IQ: Los datos sonalmacenados en COLUMNASen vez de LNEAS

Beneficios:

Solamente son ledos losdatos relevantes al query

Los tipos de datos sonconsistentes y pueden

ser comprimidos Es fcil alterar y

mantener la base dedatos


1/3/1996 32 SP A 6

1/3/1996 36 MG A 9

1/3/1996 38 SP B 5

1/3/1996 41 BA A 111/3/1996 43 SP A 9

1/3/1996 46 RJ B 3

1/3/1996 47 DF B 7

1/3/1996 49 SP A 12

7/31/2019 sybase_iq

21/39

21


1/3/1996 32 SP A 6

1/3/1996 36 MG A 9

1/3/1996 38 SP B 5

1/3/1996 41 BA A 11

1/3/1996 43 SP A 9

1/3/1996 46 RJ B 3

1/3/1996 47 DF B 7

1/3/1996 49 SP A 12

Particin Vertical De Datos

Sybase IQ: Son ledas apenaslas columnas necesarias parala resolucin del query

Beneficios:

Sybase IQ puedereducir en ms de 90%los I/Os solo por eso

Calcular el promedio de ventas delas tiendas ADe So Paulo

7/31/2019 sybase_iq

22/39

22

ndices Bit-Mapped

ndice Bitmap de ESTADO

row-id AL BA DF ES GO MG RJ SP

1 0 0 0 0 0 0 0 1

2 0 0 0 0 0 1 0 03 0 0 0 0 0 0 0 1

4 0 1 0 0 0 0 0 0

5 0 0 0 0 0 0 0 1

6 0 0 0 0 0 0 1 0

7 0 0 1 0 0 0 0 0

8 0 0 0 0 0 0 0 1

...EstadoSP

MGSP

BA

SP

RJ

DFSP

7/31/2019 sybase_iq

23/39

23

ndices Bit-Wise

Ventas

6

9

5

11

9

3

7

12

Ventas en binariobit 8 bit 4 bit 2 bit 1

0 1 1 0

1 0 0 1

0 1 0 1

1 0 1 1

1 0 0 1

0 0 1 1

0 1 1 1

Ventas en binariobit 8 bit 4 bit 2 bit 1

0 1 1 0

1 0 0 1

0 1 0 1

1 0 1 1

1 0 0 1

0 0 1 1

0 1 1 1

1 1 0 0

Agregaciones, Promedios yRanges extremamente rpidos

Los datos son comprimidos en hasta 80%

7/31/2019 sybase_iq

24/39

24

ATA en 2005:$1.5K-$5K/TB

+90% De Ahorro En Storage

AutomatedTape Silo (ATS)

$$

$$$

$

Fibre Channel:$30K-$100K/TB

requirido paraRDBMS

ClsicoDBMS:(DB2, Oracle, MS

SQL, NCR, FileSystem )

IQ: del tamao de un RDMSClsico

=90%Ahorro enstorage

del precio por TB (ATA)X

$1K-$5K/TB

7/31/2019 sybase_iq

25/39

25

Sybase IQ: StorageDe Alta Densidad

5 TBDisk Array=$15K( HW RAID ATA) 4 (100 mm)

19 ( 500 mm)

4 TB de capacidad (formateada) [ IQ manejar 5-10 TB de datos ]: 100 Billion records (100 bytes each)

5 Million documents ( 1 MB each)

1,000-2,000 movies (3 GB each)

100,000 songs (50MB each)

Sybase IQ corre en discos ATA con la misma velocidad de discos FC o SCSI

Precios=$15K $2K-$5K/TBigual o menor que silos de cintas o pticos

Lectura: 400 MB/sec [1.3 TB/h] 1,500 videos de alta definicin o 400 docs/s

Proveedores de StorageATA: Sun (3511, 6130), EMC (AX 100), HP, IBM

7/31/2019 sybase_iq

26/39

26

IQ Multiplex: Real-time, Paralelismo,HA Y DR

Funciones de administracin de Sybase IQ

SMP

IQ

Unix

DB

SMP

IQ

Unix

SMP

IQ

Unix

FC

SMP

IQ

Unix

IQIQ

10

00s

deusurios

EmpresaZ

EmpresaB

EmpresaC

Carga deDatos

EmpresaA

7/31/2019 sybase_iq

27/39

27

SybaseIQ / EMC CLARiiON: Ejemplo

Snap

Clone

CX array Primario CX array Secondario

IQ Produc.Desall/Prueba

mark 11

SnapshotSnapshot

SnapshotSnapshots

mark 12

mark 13

mark 14

Deltarollback

BCV - copia

completa ysincronizacin

reversa

mark30

B/R de IQ deProduccin

mark40

IQProduccin

mark10

BCV

mark20

SnapshotsSnapshots

SnapshotsSnapshots

mark41

mark42

mark43

mark44

mark 24

SnapshotSnapshot

SnapshotSnapshots

mark 23

mark 22

mark 21

mark38

mark37

mark36

mark35

mark34

mark33mark32

mark31

Snapshots

Snapshots

7/31/2019 sybase_iq

28/39

28

mark11

mark12

mark13

mark21

mark22

mark31

mark41

mark42

CX700 - 1

+500 GB/h (+8 GB/min)

+600 GB/h (+10 GB/min)200GB/h

200GB/h

200GB/h

200GB/h

100GB

mark30

10 TB

100GB

200GB/h

200GB/hmark32

200GB/h

200GB/h

mark10

10 TB

mark20

10 TB

+400GB/h

(+6GB/min)

+400GB/h(+6GB/min)

200GB

200GB

200GB

mark40

10 TB

Servidores Sun

Servidores Sun Servidores Sun

ervidores Sun

150GB

100GB

250GB

80GB

EMC CX 700 EMC CX 700

Validacin En Laboratorio

7/31/2019 sybase_iq

29/39

29

DWH De 10TB En Sybase IQ:Tiempos De B/R Y DR Menor Que 60s

Backuplocal completo: (usando sub-5% copia delta)

7/31/2019 sybase_iq

30/39

30

Resumen

Particin vertical de datos Los datos son almacenados fsicamente en columnas, y no

lneas la forma natural de acceso en el ambiente analtico

Estructuras de almacenamiento especiales(ndices) LowFast, HighNonGroup, High Group,Fast Projection, otros

Los ndices son definidos anticipadamente, de acuerdo a lascaractersticas de los datos y no de las consultas

Soporte a VLDB

Paralelismo Durante la carga y las consultas

Escalabilidad virtualmente lineal (98%)

7/31/2019 sybase_iq

31/39

31

Resumen

Flexibilidad sin precedentes Cualquier esquema (el esquema lgico no se traduce

directamente en objetos fsicos)

Estrella, desnormalizado, normalizado, archivos o tablas planascon hasta 45.000 columnas (hasta 10.000 es el recomendado)

Mnimo impacto en la alteracin del esquema del BD

Cargas, backupy consultas pueden ser hechossimultneamente

247 Carga on-liney en tiempo real

Failoverautomtico con IQ Multiplex

Soporte a mirroring

backupincremental y para disco

7/31/2019 sybase_iq

32/39

32

Resumen

Ahorro Alta eficiencia en la utilizacin de disco (normalmente entre

70 e 80% del dato crudo)

Mnima necesidad de intervencin del DBA que puede

dedicarse a cosas ms nobles

Arquitectura escalable con bajo costo de entrada

UNIX (Sun, HP, IBM), Linux, Windows

Confiabilidad Tecnologa de ms de 10 aos Ms de 8 aos en produccin (ms de 20 clientes en Chile,

Consalud hace ms de 7 aos)

7/31/2019 sybase_iq

33/39



Sybase Confidential

Mejor Que Eso, Solo Si EsVerdad!

Estudio De Caso: Farmacias Salcobrand, Chile

7/31/2019 sybase_iq

34/39

34

Problema

Base con 700 GB almacenados y creciendoMuchos requerimientos hay que resolverlos en forma ad-hoc Tiempos de respuesta de reportes demoran desde minutos a varias horas

Existe dificultad en la posibilidad de realizar nuevos anlisis

Estamos obligados a generar tablas con agregaciones de datos para

mejorar algo la performance (igual con tiempos de respuesta alto).

Gran demanda de almacenamiento y recursos computacionales Dificultad para incorporar nuevos datos

Gran demanda de administracin de la plataforma Muchas horas hombre dedicadas a sintonizacin y administracin del disco

7/31/2019 sybase_iq

35/39

35

Resultados

COMPRESIN DE DATOSTamao base de datos IQ (incl. 2 ndices extras por columna) 74,49 GB

Tamao de las mismas tablas en Oracle (data+ndices) 180,89 GB

Factor de Compresin 2,43 veces menor IQ que Oracle 9i

Relacin tamao Sybase IQ vs archivos planos = 77,3%

CARGA DIARIA DE DATOS

TOTAL Proceso Carga Incremental BT_STOCK Sybase IQ 7 minutosTOTAL Proceso Carga Incremental BT_STOCK Oracle 9i 120 minutos

Tiempo de Carga Incremental 15,3 veces menor Sybase IQ que Oracle 9i

7/31/2019 sybase_iq

36/39

36

Resultados (tiempos de respuesta)

Comparativo Oracle 9i v/s Sybase IQ

16920

5340660

4

0,1

1

10

100

1000

10000

100000

Agg_producto_

mes

Agg_producto_

mes

Agg_producto_

mes

Agg_producto_

mes

Agg_rep_producto_

dia

Agg_sto

ck_produ

cto_dia

Agg_vta

_grupo

a_me

s

BT_bodega_

nueva

BT_form

a_de

_pag

o

Bt_form

a_de

_pag

o

Bt_form

a_de

_pag

o

Bt_vtas

_diar

ias

Bt_Vtas

_Diar

ias

Bt_vtas

_diar

ias

Bt_vtas

_diar

ias

Bt_vtas

_diar

ias

CargaD

eStoc

k

Venta

Red

maxx

Dia

Venta

s330

porDia

Informe

Clos

e-Up

(Diar

io)(15D

IAS)

Venta

sLocalPr

oductoMe

s(06

0708)

Venta

sNoP

harm

aMFp

orvendedo

rlocal

Procesos

SE

GUNDOS

Oracle

SybaseIQ

Nota: Escala Logartmica

4h 42min

11 min

1h 29min

7/31/2019 sybase_iq

37/39



Sybase Confidential

Una Nueva Forma DeResolver Problemas

AntiguosValsoir Tronchin. 27/10/2005

Director De Tecnologa, [email protected]

7/31/2019 sybase_iq

38/39

38

Lmites

7/31/2019 sybase_iq

39/39

Lmites

sybase_iq

Documents