una técnica de detección de casos excepcionales ( rough sets ) … · 2009-11-19 · una técnica...

26
Una técnica de detección de casos Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos Aproximados (Rough Sets ) MSc. Alberto Fernández Oliva [email protected] © 2009, VI Jornadas para el desarrollo de grandes aplicaciones de red D. Miguel Alfonso Abreu Ortega [email protected] Dr. Francisco Maciá Pérez [email protected] Dra. Ma. Covadonga Fernández Baizán [email protected]

Upload: others

Post on 29-Mar-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Una t

écnic

a d

e d

ete

cció

n d

e c

asos

Una t

écnic

a d

e d

ete

cció

n d

e c

asos

excepcio

nale

s (outliers

) basada e

n

el m

odelo

de C

onju

nto

s

Apro

xim

ados (Rough Sets )

MSc.Alberto Fernández Oliva

[email protected]

© 2009,

VIJ

orn

adas p

ara

el desarr

ollo

de g

randes a

plic

acio

nes d

e r

ed

D. Miguel Alfonso Abreu Ortega

[email protected]

Dr. Francisco MaciáPérez

[email protected]

Dra. Ma. Covadonga Fernández Baizán

[email protected]

Page 2: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

introducción

No e

xis

te d

efinic

ión d

e outlier

univ

ers

alm

ente

acepta

da p

or

todos

No e

xis

te d

efinic

ión d

e outlier

univ

ers

alm

ente

acepta

da p

or

todos

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

«U

na

observ

ació

nso

bre

sa

lien

te,

oe

xce

pcio

na

l,e

s

un

aq

uese

desvíamarcadamente

delosotros

mie

mb

ros

de

lam

ue

str

ae

nla

qu

eo

cu

rre

»

(Grubbs, 1969)

Page 3: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

introducción

ele

vada m

arg

inalid

ad

medir s

u g

rado d

e d

esvia

ció

n

con e

l re

sto

de los d

ato

s

Com

o c

asos d

istinguid

os

SO

N

obje

tivo fundam

enta

l del anális

is

OU

TLIE

RS

OU

TLIE

RS

BE

NE

FIC

IOS

OS

BE

NE

FIC

IOS

OS

PE

RJU

DIC

IALE

SP

ER

JU

DIC

IALE

SV

S.

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Ento

rpecen la

dete

cció

n d

e

patr

ones

confiable

s

Perm

iten d

escubrir

gra

n

cantidad d

e

conocim

iento

oculto

Desde la p

ers

pectiva d

el Data Mining :

Desde la p

ers

pectiva d

el Data Mining :

Page 4: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

introducción

MU

LT

IPL

ES

CO

NT

EX

TO

S D

E A

PL

ICA

CIO

NM

ULT

IPL

ES

CO

NT

EX

TO

S D

E A

PL

ICA

CIO

N

Dete

cció

n d

e fra

udes e

“in

trusos”

en r

edes d

e c

om

pu

tadora

s

Aplic

acio

nes m

édic

as

Dia

gnósticos d

e “

fallo

s”

en d

ivers

os c

onte

xto

s

Tra

tam

iento

de im

ágenes y

/o v

ideos

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Investigacio

nes q

uím

ico –

farm

acéuticas

e-business/e-commerce.

Investigacio

nes s

ocio

–am

bie

nta

les

Investigacio

nes s

ocio

–cultura

les

Estu

dio

s d

em

ográ

ficos

Pro

cesos d

e KDD

(Knowledge Discovery on Data

) –Data Mining

Page 5: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

estado del arte

Los métodos de detección provienen de dos áreas

fundam

entales: Estadística –Inteligencia Aritificial

Se clasifican, según la técnica en que se basan y

existe un conjunto numeroso

de ellas

En la actualidad, los conjuntos de datos son cada

vez más complejos y abstractos

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Se hace necesario concebir técnicas de análisis

de datos novedosas y eficientes (Minería de Datos)

En especial, los métodos de detección deben estar

acordes al desarrollo actual de las TIC y al nivel de

complejidad de los conjuntos de datos

NO EXITE una aproximación universalmente

aplicable al problema de outlierdetection

Page 6: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

antecedentes

RSFDGrC’05/ Canadá

Rough Sets (RS)

Un nuevo paradigma en outlier detection

Rough Sets (RS)

Un nuevo paradigma en outlier detection

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Bases teóricas y punto de partida del presente

trabajo de investigación

RSFDGrC’05/ Canadá

“Outlier detection using Rough Sets Theory”

(Jiang et al. 2005, 2006)

RSFDGrC: Conferencia Internacional sobre ¨Rough Sets, Fuzzy Sets, Data

Mining and Granular Computing¨

Page 7: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

antecedentes

Jiang et al. 2005

Marco teórico sin materializar una solución

Planteam

iento teórico simple y sólido

Enfoque original y novedoso

La aplicación de RS en la solución de problemas

++

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

La aplicación de RS en la solución de problemas

presupone la efectividad del método

-- Implementación computacional a partir de la

definición dada ⇒ ⇒⇒⇒

problema de complejidad

temporal de orden exponencial

Hereda el determinismo del RSBM

algoritmo 1

algoritmo 2

Page 8: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

Esencia del algoritmo

Determ

inar la relación de inclusión entre

OBJETIVO:

computacionalmente eficiente

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Determ

inar la relación de inclusión entre

fronteras internas y en función de ello, tomar

decisiones y realizar acciones que son la

aplicación directa de algún elemento del nuevo

marco teórico

Determ

inar el conjunto donde estarían los

posibles outliers

Page 9: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

Sean, e

l univ

ers

o fin

ito

φ≠

U,

una r

ela

ció

n d

e e

quiv

ale

ncia

definid

a sobre

U :

UXU

r⊆

y un c

oncepto

:

UX⊆

U

Ma

rco

te

óri

co

d

el m

éto

do

de

de

tecció

n d

e outliers

ba

sa

do

en

RS

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

X

r

∪Aproximación inferior =

∪Frontera =

∪REGIÓN NEGATIVA=∪

Frontera Interna =

ó REGIÓN POSITIVA

Page 10: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

Ma

rco

te

óri

co

d

el m

éto

do

de

de

tecció

n d

e outliers

ba

sa

do

en

RS

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

�B1

�B2�

B2

Page 11: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

PROPUESTA de Jiang et al.

C1

C2

Cp

Ci ⊆ ⊆⊆⊆X: Conjuntos form

ados por elem

entos de las fronteras

internas en donde estarían los posibles outliers

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

NUESTRA PROPUESTA

E

E⊆ ⊆⊆⊆X: Contiene todos los elem

entos de las fronteras internas

que podrían estar en algún Ci particular

internas en donde estarían los posibles outliers

Para determinar estos conjuntos habría que determinar el conjunto

potencia de X–complejidad tem

poral exponencial

Page 12: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

COMPLEJIDAD ESPACIAL

COMPLEJIDAD ESPACIAL

Entradas del Algoritmo:

El universo U -|U| = n

Un conjunto de mrelac. de equivalencia

Un concepto X⊆ ⊆⊆⊆U

Un umbral de excepcionalidad µ µµµ

},...,

,{

21

mrr

r=

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

COMPLEJIDAD ESPACIAL

COMPLEJIDAD ESPACIAL

O(n x m) caso peor

COMPLEJIDAD TEMPORAL

COMPLEJIDAD TEMPORAL

O(n x m

2) caso peor

lineal con respecto a la cardinalidad del universo y

cuadrática respecto al número de relaciones de

equivalencia que intervienen en el análisis

Page 13: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

algoritm

o 1 -RSBM

PRINCIPAL VENTA

JA

PRINCIPAL VENTA

JA

LINEALMENTE COMPUTA

BLE

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

LIMITACION

LIMITACION

DETERMINISMO

Page 14: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Algoritm

o 2 -VPRSM

Método de detección no determ

inista de outliers

basado en

el modelo de conjuntos aproximados de precisión variable

(Variable Precision Rough Sets Model -VPRSM)

Método de detección no determ

inista de outliers

basado en

el modelo de conjuntos aproximados de precisión variable

(Variable Precision Rough Sets Model -VPRSM)

(Ziarko W. , 1993 )

OBJETIVO: ELIMINAR DETERMINISMO

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Flexibilizar las relaciones de inclusión a la hora de

establecer las regiones representativas

se permite manejar unos umbrales de

desclasificación definidos por el usuario

Esencia del algoritmo

Page 15: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Algoritm

o 2 -VPRSM

ó Región

positiva

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

ó Región

positiva

Page 16: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Algoritm

o 2 -VPRSM

COMPLEJIDAD ESPACIAL

COMPLEJIDAD ESPACIAL

Entradas del Algoritmo:

El universo U -|U| = n

Un conjunto de m relac. de equivalencia

Un concepto X⊆ ⊆⊆⊆U

Un umbral de excepcionalidad µ µµµ

y un grado de

desclasificación β βββ

},...,

,{

21

mrr

r=

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

COMPLEJIDAD ESPACIAL

COMPLEJIDAD ESPACIAL

O(n x m) caso peor

COMPLEJIDAD TEMPORAL

COMPLEJIDAD TEMPORAL

O(n x m

2) caso peor

lineal con respecto a la cardinalidad del universo y

cuadrática respecto al número de relaciones de

equivalencia que intervienen en el análisis

Page 17: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Page 18: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

CO

NC

EP

TO

: 1

≤pers

onas_con_edad ≤

10

4 r

ela

cio

nes d

e e

quiv

ale

ncia

que c

lasific

aban a

los

ele

mento

s d

el univ

ers

o e

n c

uanto

a:

-situació

n labora

l

-niv

el educacio

nal

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

-niv

el educacio

nal

-esta

do c

ivil

-ocupació

n

TO

DA

S e

llas c

lasific

an a

l univ

ers

o e

n d

os c

lases d

e

equiv

ale

ncia

:

Valo

res d

e a

trib

uto

s

pro

pio

s d

e n

iños

Valo

res d

e a

trib

uto

s

impro

pio

s d

e n

iños

Page 19: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

SE IN

TRODUJERON 12 OUTLIERSEN EL

CONJU

NTO DE DATOS

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Page 20: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

VALIDACION DE LOS RESULTADOS: Tiempode ejecución

VALIDACION DE LOS RESULTADOS: Tiempode ejecución

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Page 21: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

VALIDACION DE LOS RESULTADOS: Detección RSBM

VALIDACION DE LOS RESULTADOS: Detección RSBM

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Page 22: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Validaciones

VALIDACION DE LOS RESULTADOS: Detección VPRSM

VALIDACION DE LOS RESULTADOS: Detección VPRSM

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Page 23: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

Princip

ale

s APORTES

en r

ela

ció

n a

otr

os m

éto

dos d

e d

ete

cció

n e

xis

tente

s:

Simplicidad

en c

uanto

a s

u planteam

iento teórico

La definición de outliers

pro

puesta

es intuitiva,

simple

computacionalmente factible

Enfoque original y novedoso: N

o e

xis

ten a

nte

cedente

s c

on u

n

pla

nte

am

iento

sim

ilar

Los r

esultados p

erm

itie

ron e

xplo

rar

nueva a

plic

acio

nes d

el M

odelo

-R

S

conclusiones

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

Los r

esultados p

erm

itie

ron e

xplo

rar

nueva a

plic

acio

nes d

el M

odelo

-R

S

El algoritm

oes eficiente

para

hacer

min

erí

a d

e outliers

y t

iene c

om

o

base c

onceptu

al l

a teorí

a d

e R

S q

ue h

a d

em

ostr

ado s

u e

fectivid

ad y

su

capacid

ad p

ara

modela

r un a

mplio

espectr

o d

e s

ituacio

nes r

eale

s (

KD

D)

La complejidad tem

poral d

e los a

lgoritm

o e

s lineal con respecto a la

cardinalidad del universo

y e

s c

uadrá

tica r

especto

al núm

ero

de

rela

cio

nes d

e e

quiv

ale

ncia

usadas

El m

éto

do p

ropuesto

es a

plic

able

tanto

a d

ato

s c

ontinuos c

om

o d

iscre

tos

La d

imensio

nalid

ad y

el ta

maño d

el conju

nto

de d

ato

s n

o lim

ita la

aplic

ació

n d

e los alg

oritm

os p

ropuesto

s

Page 24: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

conclusiones

La aproximación propuesta no requiere ningún conocimiento a

priori de la distribución de los datos.

Ámbito de aplicación del problema:

•El m

étodo es aplicable a datos en form

a tabular

(La tabla

es la

estr

uctu

ra d

e d

ato

s d

el M

odelo

Rela

cio

nal)

•D

ebe e

sta

r, c

om

o m

ínim

o, en 1ª form

a norm

al p

ara

gara

ntizar

que

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

•D

ebe e

sta

r, c

om

o m

ínim

o, en 1ª form

a norm

al p

ara

gara

ntizar

que

no h

aya r

edundancia

s e

n la m

ism

a

•S

us atributos

deben s

er monovaluados

para

no e

ntr

ar

en

contr

adic

ció

n c

on la e

sencia

del m

éto

do

Page 25: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Un

a té

cn

ica

de

de

tecció

n d

e c

aso

s e

xce

pcio

na

les (outliers

) b

asa

da

en

el m

od

elo

de

Co

nju

nto

s A

pro

xim

ad

os (Rough Sets )

introducción

estado del arte

antecedentes

VIJ

orn

adas p

ara

el

desarr

ollo

de g

randes

aplic

acio

nes d

e r

ed

trabajos futuros

Crear un algoritmo que:

Determine las regiones de valores de los

umbrales que intervienen en el análisis y que

constituyen las condiciones para clasificar a

antecedentes

algoritmo 1 -RSBM

algoritmo 2 -VPRSM

validaciones

conclusiones

trabajos futuros

constituyen las condiciones para clasificar a

un elemento de U como OUTLIER

A partir de ellas, ser capaz de proporcionar

la probabilidad que tiene cada elem

ento del

universo de ostentar tal condición

Page 26: Una técnica de detección de casos excepcionales ( Rough Sets ) … · 2009-11-19 · Una técnica de detección de casos excepcionales (outliers) basada en el modelo de Conjuntos

Una t

écnic

a d

e d

ete

cció

n d

e c

asos

Una t

écnic

a d

e d

ete

cció

n d

e c

asos

excepcio

nale

s (outliers

) basada e

n

el m

odelo

de C

onju

nto

s

Apro

xim

ados (Rough Sets )

MSc.Alberto Fernández Oliva

[email protected]

© 2009,

VIJ

orn

adas p

ara

el desarr

ollo

de g

randes a

plic

acio

nes d

e r

ed

D. Miguel Alfonso Abreu Ortega

[email protected]

Dr. Francisco MaciáPérez

[email protected]

Dra. Ma. Covadonga Fernández Baizán

[email protected]