Análisis de Datos

Clasificación BayesianaTeoría de decisión Bayesiana

Dr. Wilfrido Gómez Flores

Teoría de decisión Bayesiana

Teoría de probabilidad: provee un marco teórico para cuantificar ymanipular la incertidumbre.

Teoría de decisión Bayesiana:

Enfoque fundamental para la clasificación de patrones.

Cuantifica el compromiso entre varias decisiones de clasificaciónusando probabilidades y sus costos asociados.

Asume que el problema de decisión está en términos probabilís-ticos, y que todas las probabilidades relevantes son conocidas.

1/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Una planta empacadora de pescados quiere automatizar el procesode separación de pescados en una banda de producción:

Tipos de pescado: róbalo ysalmón.

Predecir cuál es el siguientepescado en salir.

Comportamiento aleatorio.

Dos estados de naturaleza ω1 y ω2.

2/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Predicción basada en probabilidades a priori (o previas) mediantela regla de decisión:

Decidir

ω1 si p(ω1) > p(ω2)

ω2 otro caso(1)

dondep(ω1) =

n1n1 + n2

y p(ω2) =n2

n1 + n2(2)

tal que p(ω1) + p(ω2) = 1 (exhaustividad y exclusividad).

¿Qué inconvenientes presenta esta regla de decisión? ¿Cuál es laprobabilidad de error?

3/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Para mejorar la regla decisión, se debe incluir información adicional:

Una medida de luminosidad x a partir de un sensor.

Se considera x como una variable aleatoria que depende delestado de naturaleza ω.

Se modela en términos de una función de densidad de pro-babilidad clase-condicional p(x|ω).

4/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

8 9 10 11 12 13 14 15 16

0

0.1

0.2

0.3

Si x representa la luminosidad de un pescado, las dos funciones de densidaddescriben las diferencias de luminosidad de las poblaciones de dos tipos depescado: ω1 para el róbalo y ω2 para el salmón.

5/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Si se conocen p(ωj) y p(x|ωj), entonces el teorema de Bayes cal-cula la probabilidad a posteriori de ser el estado de naturaleza ωj

dado un valor x:

p(ωj |x) =p(x|ωj)p(ωj)∑2l=1 p(x|ωl)p(ωl)

, para j = 1, 2 (3)

Regla de decisión Bayesiana con probabilidades posteriores:

Decidir

ω1 si p(ω1|x) > p(ω2|x)

ω2 otro caso(4)

6/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

8 9 10 11 12 13 14 15 16

0

0.2

0.4

0.6

0.8

1

(a)

8 9 10 11 12 13 14 15 16

0

0.2

0.4

0.6

0.8

1

(b)

Probabilidades posteriores para los casos (a) p(ω1) = 1/3 y p(ω2) = 2/3, y(b) p(ω1) = 2/3 y p(ω2) = 1/3.

7/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Probabilidad de error de la regla de clasificación Bayesiana parauna observación x:

p(error|x) =

p(ω1|x) si se decide ω2

p(ω2|x) si se decide ω1

esto es, p(error|x) = mın [p(ω1|x), p(ω2|x)].

Probabilidad de error promedio:

p(error) =

∞∫−∞

p(error|x)p(x)dx (5)

8/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

8 9 10 11 12 13 14 15 16

0

0.2

0.4

0.6

0.8

1

Probabilidad de error promedio para el caso p(ω1) = 2/3 y p(ω2) = 1/3. Elárea sombreada representa p(error|x) para cada punto en x y el promedio deerror es p(error) = 0.35. Las líneas discontinuas separan las regiones dedecisión Rj de acuerdo a la regla de decisión Bayesiana.

9/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

Generalización de los conceptos de la teoría de decisión Bayesianapara permitir un vector de características x ∈ Rd y un conjuntocon c estados de naturaleza (i.e., clases) Ω = ωj |j = 1, . . . , c:

Probabilidades posteriores:

p(ωj |x) =p(x|ωj)p(ωj)∑cl=1 p(x|ωl)p(ωl)

(6)

Regla de decisión Bayesiana:

Decidir ωi si p(ωi|x) > p(ωj |x) para todo i 6= j (7)

10/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

0

16

0.02

14

0.04

6012

80

0.06

10 100

1208

(a) (b)

Suponga que ahora se tienen una medida de luminosidad (x1) y una medida dellargo (x2), y tres estados de naturaleza: róbalo (ω1), salmón (ω2), y atún (ω3):(a) funciones de verosimilitud y (b) probabilidades posteriores; las regiones dedecisión Rj se definieron mediante la regla de decisión Bayesiana en (7).

11/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

La acción αi es interpretada como la decisión de que el verdaderoestado de naturaleza es ωi.

El riesgo condicional expresa la probabilidad de error de decidirla acción αi dado un patrón x:

R(αi|x) =

c∑j=1

λ(αi|ωj)p(ωj |x) (8)

donde λ es la función de pérdida simétrica:

λ(αi|ωj) =

0 i = j

1 i 6= j(9)

12/13 Teoría de decisión Bayesiana Marzo2019

Teoría de decisión Bayesiana

16

14

12

60 10

0

80

0.2

0.4

0.6

100

0.8

1

8120

Riesgo condicional para el problema de clasificación de pescados. El erroraumenta en las zonas cercanas a las fronteras entre regiones de decisión Rj .

13/13 Teoría de decisión Bayesiana Marzo2019