tema 5: evaluación de modelos de clasicación supervisada · algoritmo inductor m 4 m 2 m 3 1er...

Tema 5: Evaluación de Modelos deClasificación Supervisada

Pedro Larranaga, Inaki Inza, Abdelmalik Moujahid

Departamento de Ciencias de la Computacion e Inteligencia Artificial

Universidad del Paıs Vasco

http://www.sc.ehu.es/isg/

Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 1/20

Evaluación de Modelos de Clasificación Supervisada

• Introducción• Estimación de la probabilidad de clasificación

correcta• Brier score• La curva ROC


Introducción

Clasificación Supervisada

X1 . . . Xn C

(x(1), c(1)) x(1)1 . . . x

(1)n c(1)

(x(2), c(2)) x(2)1 . . . x

(2)n c(2)

. . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n c(N)

x(N+1) x

(N+1)1 . . . x

(N+1)n ???


IntroducciónClasificación Supervisada

X1 . . . Xn C CM

(x(1), c(1)) x(1)1 . . . x

(1)n c(1) c

(1)M

(x(2), c(2)) x(2)1 . . . x

(2)n c(2) c

(2)M

. . . . . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n c(N) c

(N)M

Número de aciertos:∑N

i=1 δ(c(i), c(i)M )

δ(c(i), c(i)M ) =

1 si c(i) = c(i)M

0 si c(i) 6= c(i)M


Introducción

C Clase real+ -

+ a bCM Clase predicha

- c d

• Tasa de acierto: a+da+b+c+d

• Tasa de error: c+ba+b+c+d

• Proporción de verdaderos positivos (sensibilidad): aa+c

• Proporción de verdaderos negativos (especifidad): db+d

• Proporción de falsos positivos: ba+c

• Proporción de falsos negativos: cb+d


Estimación de la probabilidad de clasificación correcta

Algoritmo Inductor M p ˆ 1

N

1

N

1 X n X C M C 1 X n X C

M

pM =1

N

N∑

i=1

δ(c(i) = c(i)M )

Método no honesto de estimación



Testeo

Entrenamiento

M p ˆ

1

N 1 1 N

N

1 X n X C M C

1 X n X C

1

1 N

1 X n X C

Entrenamiento Algoritmo Inductor M

pM =1

N − N1

N−N1∑

i=1

δ(c(N1+i) = c(N1+i)M )

Método H de estimación basado en entrenamiento ytesteo



1 ˆ p 1

1 N

1 X n X C Algoritmo Inductor

N

1 X n X C B M C

N

1 X n X C 1 M C

1

1 N

1 X n X C

1 M

Algoritmo Inductor B M

B p ˆ

1

N

1 X n X C 1ª partición

B-ésima partición M

Algoritmo inductor

pM =1

B

B∑

i=1

pi

Método de estimación H repetidas veces



Algoritmo Inductor 1 M

Algoritmo Inductor

Algoritmo Inductor

Algoritmo Inductor 4 M

2 M

3 M

1er fold

2º fold

3er fold 4º fold

1 X n X C

1 X n X C

1 X n X C

1 X n X C

1 X n X C

1 p

2 p

3 p

4 p M

Algoritmo inductor

pM =1

k

k∑

i=1

pi

Método de estimación basado en k rodajas (k–fold crossvalidation). Si k = N leave one out



1 X n X C Algoritmo Inductor

1 X n X C B M C

N

1 X n X C 1 M C

1 X n X C

1 M

Algoritmo Inductor B M

1

N

1 X n X C

M

1

N

1

N

1

N

1

D

1 D

B D

1 D

B D

1 X n X C B M C

1 X n X C B M C

1 N

B N

1

1

1 \ D D

B D D \

a p , 1

0 , ˆ B p

0 , 1 p

a B p , ˆ

Algoritmo inductor

1ª muestra con reemplazamiento

B-esima muestra con reemplazamiento

pa = 1B

∑B

i=1 pi,a p0 = 1B

∑B

i=1 pi,0

pM = p0,632Bo = (0,368pa + 0,632p0)

Método de estimación 0,632 booststrapingTema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 10/20


Sobre los distintos métodos:

• Método H: utilizarlo con N grande

• Método H repetidas veces: no hay control sobre loscasos usados como entrenamiento (testeo)

• Método de estimación basado en k rodajas (k–foldcross validation): estimación insesgada de laprobabilidad de acierto, pero con alta varianza

• Método de estimación 0,632 booststraping: insesgadaen el límite y con baja varianza


Brier score

X1 . . . Xn C p(CM = 0|x) p(CM = 1|x)

(x(1), c(1)) x(1)1 . . . x

(1)n 1 0, 18 0, 82

(x(2), c(2)) x(2)1 . . . x

(2)n 0 0, 51 0, 49

. . . . . . . . . . . .

(x(N), c(N)) x(N)1 . . . x

(N)n 1 0, 55 0,45

B =1

N

N∑

i=1

2∑

c=1

[p(CM = c|x(i)) − δ(c(i), c(i)M )]2

B = 1N

[(0, 18− 0)2 + (0, 82− 1)2 + (0,51− 1)2 + (0,49− 0)2 +

... + (0, 55 − 0)2 + (0,45 − 1)2]


Brier score

• Medida de la calibración para un clasificador queasigne, para cada patrón, probabilidades a posteriori acada valor de la clase

• Suponiendo que la clase real del patrón x es 0, setrata de distinguir:

p(CM = 0|x) = 0,51 y p(CM = 0|x) = 0,97

• Interesa clasificadores con bajo valor de Brier(bastante seguros en sus predicciones)

• Para problemas con 2 clases: 0 ≤ B ≤ 2


La curva ROCEvaluación sensible al coste

• En muchas situaciones los dos tipos de error que puede cometer un clasificadorno tienen las mismas consecuencias• Dejar cerrada una válvula en una central nuclear, cuando es necesario

abrirla, puede provocar una explosión, mientras que abrir una válvula cuandopuede mantenerse cerrada, puede provocar una parada de la central

• Matriz de costes

C Clase realabrir cerrar

ABRIR 0 100 eCM Clase predicha

CERRAR 2000 e 0

• Lo importante no es obtener un clasificador que falle lo menos posible, sino unoque tenga coste menor


La curva ROC


La curva ROC• En muchas situaciones es difícil estimar la matriz de

costes

• Análisis ROC (Receiver Operating Characteristic)

• Usado por vez primera para evaluar radares en lasegunda guerra mundial

• Posteriormente se usó para el análisis de respuestade transistores

• A partir de 1970 se usa para aplicaciones dediagnóstico médico

• A finales de los 90 se comienza a usar en mineríade datos


La curva ROC•


La curva ROC


La curva ROC

• Convex hull (casco convexo) a partir de la poligonaluniendo varios puntos (FPR, TPR)

• Dichos puntos pueden provenir de variosclasificadores o de un mismo clasificador (variando elumbral)


La curva ROCSeleccionando el mejor clasificador

• Si cada punto de la curva ROC representa un clasificador:escoger el que tenga mayor valor de: FPcost

FNcost· Neg

Pos

• Si cada punto de la curva ROC corresponde a un umbral con elque se toma la decisión: seleccionar el clasificador con mayorárea bajo la curva (AUC)


tema 5: evaluación de modelos de clasicación supervisada · algoritmo inductor m 4 m 2 m 3 1er...

Documents