clasificadores generativos vs discriminantes · 2010-05-06 · clasificadores generativos vs...
TRANSCRIPT
![Page 1: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/1.jpg)
Clasificadores generativos vs discriminantes
José Anibal ARIAS
Seminario de investigaciónUniversidad Tecnológica de la
Mixteca15-Abril-2010
![Page 2: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/2.jpg)
2
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 3: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/3.jpg)
3
Introducción
Existen diferentes razones -ademas de una especie de sabiduría popular- para utilizar clasificadores discriminantes en lugar de generativosV. Vapnik « debemos resolver el problema de clasificación directamente en lugar de tratar de resolver problemas intermedios »Clasificadores generativos: GMM, Redes Bayesianas, HMM, ...Clasificadores discriminantes: k-nn, SVM, AdaBoost, Conditional Random Fields, …
![Page 4: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/4.jpg)
4
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 5: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/5.jpg)
5
Datos multivariables
En muchas aplicaciones, los eventos observados generan vectores (entradas, características, atributos) de varias dimensiones:
⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡
=
Nd
NN
d
d
xxx
xxxxxx
X
K
MMMM
K
K
21
222
21
112
11
![Page 6: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/6.jpg)
6
Datos multivariables
En los problemas de aprendizaje supervisado, una parte de los datos está « etiquetada », y a cada x le corresponde una etiqueta Ck, k = 1,…K.
ℵ×ℜ∈ dmk
mk CxCx ),(,),,( 11 K
![Page 7: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/7.jpg)
7
Clasificación
Se evalúa la información contenida en el vector de parámetros para tomar una desición sobre la clase o región del espacio al que pertenece
ModeloAprendizaje
ParametrizaciónSeñal
ClasificaciónClase
No-Clase
![Page 8: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/8.jpg)
8
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 9: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/9.jpg)
9
Modelos generativos
Objetivo del aprendizaje automático: encontrar la relación entre los conjuntos X (datos) y C (etiquetas) El enfoque generativo trata de encontrar un modelo paramétrico de la distribución conjunta p(X,C), utilizarla para definir la distribución condicional p(C|X) y estar en condiciones de hacer predicciones de la etiqueta C para los valores de XSe denomina generativo porque una vez que se ha encontrado la distribución p(X,C), ésta se puede utilizar para generar muestras sintéticas de X según su etiqueta C
![Page 10: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/10.jpg)
10
Probabilidad básica
P(X)P(Y)Y)P(X=X)P(Y
:BayesP(X)X)P(Y=Y)P(X,
⋅
⋅
||
|
Utilizamos el conjunto de aprendizaje para calcular P(X|Y) y P(Y)
![Page 11: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/11.jpg)
11
Ley Gaussiana - propiedades
Teorema del límite central: la distribución de la suma de variables aleatorias converge en una ley Gaussiana cuando la cantidad de variables es muy grandeDada una distribución conjunta gaussiana, la distribución condicional de un conjunto dado otro es también gaussiana
![Page 12: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/12.jpg)
12
Ley Gaussiana - caso monovariable
Distribución gaussiana
En dos dimensiones
![Page 13: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/13.jpg)
13
Ley Gaussiana - caso multivariable
Si la matriz de covarianza es diagonal
![Page 14: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/14.jpg)
14
Estimación de los parámetrosConsideramos que la verosimilitud de una cadena de observaciones es igual al producto de las verosimilitudes individuales
ML: se deriva L con respecto a la media y a la covarianza y se iguala a cero
![Page 15: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/15.jpg)
15
GMM
Mezcla de leyes normales
Si supieramos de antemano que componente genero qué dato, la solución sería asociar cada dato a la ley correspondiente
∑
∑
≥≥K
=kkk
K
=kkkk
=petp
)Σ,μN(x,p=f(x)
1
1
101
![Page 16: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/16.jpg)
16
¿Que Gaussiana generó qué dato?
E
M
![Page 17: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/17.jpg)
17
EM en acción
![Page 18: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/18.jpg)
18
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 19: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/19.jpg)
19
Modelos discriminantes
Estimamos directamente la distribución condicional p(C|X) con una función Llamamos a este enfoque discriminante porque la distribución condicional establece una discriminación directa entre los diferentes valores de YEn la práctica, el poder de generalización de los métodos discriminantes es mas alto que el de los modelos generativos
CX:f →
![Page 20: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/20.jpg)
20
Separadores de vasto margen (SVM)
Este método se basa en la transformación de datos hacia un espacio mas « informativo » y en la existencia de un hiperplano separador en este espacio (denominado « espacio de características »)
oo
x
x
x
X F
φ(x)φ(x)
φ(x)φ(o)
φ(o)
Nnφ ℜ→ℜ:
![Page 21: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/21.jpg)
21
Transformación polinomial
![Page 22: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/22.jpg)
22
SVM lineal - I
A diferencia del perceptron, se maximiza el margen del hiperplano separador
w
b
+
–
+
++
+
+
__
_
_
_ 1−⋅ − =b+xw
1−⋅ − =b+xw
1=b+xw +⋅
⎪⎩
⎪⎨⎧
−−≤⋅
≥⋅
11
+1=1
=ysib+xw
ysi+b+xw
ii
ii
( )
w=γ
xwxww
=γ
xwwx
ww=γ
+
+
2
1−
−
⋅−⋅
⎟⎟⎠
⎞⎜⎜⎝
⎛⋅−⋅
![Page 23: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/23.jpg)
23
SVM lineal - II
Lagrangiano LMinimización de L con respecto a w y b y maximización de W con respecto a α
[ ]
∑∑∑
∑
∑
∑
∑
⋅−
≥∂∂
−∂∂
−⋅−
l
=i
l
j=jijiji
l
=ii
i
l
=iii
l
=iiii
l
=iiii
l
=iiii
xxyyααα=W
α
=yα=bL
xyα=w
=xyαw=wL
b)+xw(yαw=L
1 11
1
1
1
1
2
21
0
0
0
121
![Page 24: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/24.jpg)
24
SVM lineal - III
La función de decisión para la clasificación de vectores desconocidos u está basada en los « vectores de soporte » :
A menudo los datos están afectados por el ruido y no existe una separación lineal entre las clases Solución: se relajan las restricciones del margen
⎟⎟⎠
⎞⎜⎜⎝
⎛⋅∑
∈sviiii b+uxyαsign=f(u)
⎪⎩
⎪⎨⎧
−−≤⋅
−≥⋅
11
+1=1
=ysiζ+b+xw
ysiζ+b+xw
iii
iii
![Page 25: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/25.jpg)
25
SVM non lineales
Φ(z)Φ(x)=z)κ(x,FX:Φ
⋅
→
⎟⎟⎠
⎞⎜⎜⎝
⎛⋅∑
∈sviiii b+u)κ(xyαsign=f(u)
![Page 26: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/26.jpg)
26
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 27: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/27.jpg)
27
Indexado de audio
![Page 28: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/28.jpg)
28
Indexado de audio
Locutor 1 (hombre) Locutor 2 (mujer)
silenciomusica vozvoz
francés inglés
jingle 1 leçon lesson
![Page 29: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/29.jpg)
29
Parametrización
El muestreo de una señal de audio produce una secuencia de valores discretos en tiempo y magnitud
Ej. La digitalización a 16 kHz produce 16000 muestras por segundo con valores comprendidos entre [-32768, +32767]
Parametrización: una función asigna un valor a una serie de observaciones, extrayendo así la información pertinente y reduciendo el tiempo de cálculo
![Page 30: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/30.jpg)
30
Parametrización cepstral
Separación fuente-filtro del modelo de producción acústica
![Page 31: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/31.jpg)
31
Detección de voz/música
Signal Signal
Voz Música
![Page 32: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/32.jpg)
32
Modulación de la energía / Entropía
Modulación de la energía a 4 HzEnventanado (16ms)40 coeficientes espectrales (Mel)Filtrado (RIF pasa-banda 4hz)Suma y normalizaciónModulación (varianza durante 1s)
Modulación de la entropíaEnventanado (16ms)Histograma (amplitud de la señal)EntropíaModulación (varianza durante 1s)
![Page 33: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/33.jpg)
33
Problema práctico
Detección de algunos componentes básicos del audio en una emisión de « variedades »:
VozMúsicaAplausosRisas
Corpus de 6 horas
![Page 34: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/34.jpg)
34
Detección de componentes: principio
SeñalClasificación
ModelosApprendizaje
Análisis cepstralSeñal
Clasificación
VozNoVoz
Análisis espectral
Música
NoMúsicaAplausos
NoAplausosRisa
NoRisa
![Page 35: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/35.jpg)
35
Solución
![Page 36: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/36.jpg)
36
Solución
Detección voz, músicaCon GMM, se necesitaron al menos 200,000 vectores (~2 horas de audio) de cada clase para alcanzar buenos scores)Cuando el número de vectores por clase es mas de 30,000, SVM se vuelve impráctico en tiempo de ejecución
Opción 1. Tomar un vector de cada 150Opción 2. VQ
Detección de risas y aplausosEn 3 horas de corpus, se obtuvieron 4 mins de aplausos y 1 min de risas
![Page 37: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/37.jpg)
37
Resultados
![Page 38: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/38.jpg)
38
Temario
IntroducciónDatos multivariablesModelos generativosModelos discriminantesEjemplo prácticoAnálisis teórico
![Page 39: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/39.jpg)
39
Clasificación con modelos gaussianos
Considere el caso de dos clases. La probabilidad posterior de la clase C1 puede ser escrita:
)()|()()|(ln
)()exp(1
1)|(
)()|()()|()()|()|(
22
11
1
2211
111
CpCxpCpCxpa
aa
xCp
CpCxpCpCxpCpCxpxCp
=
=−+
=
+=
σ
![Page 40: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/40.jpg)
40
Clasificación con modelos gaussianos
Si las distribuciones condicionales son gaussianas, y considerando que las matrices de covarianza son comunes:
Esto da como resultado una función lineal de x como argumento de la función logística
)|(1)|()()(ln
21
21
)(
)()|(
12
2
12
121
110
211
01
xCpxCpCpCpw
w
wxwxCp
TT
T
−=
+Σ+Σ−=
−Σ=
+=
−−
−
μμμμ
μμ
σ
![Page 41: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/41.jpg)
41
Clasificación con modelos gaussianos
![Page 42: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/42.jpg)
42
Clasificación con regresión logística
En la discriminación logística no se modelan distribuciones condicionales con respecto a las clases, sino su cociente. Supongamos dos clases:
)|(1)|()exp(1
1)|(
)|()|(ln
12
01
02
1
xCpxCpwxw
xCp
wxwCxpCxp
T
T
−=−−+
=
+=
![Page 43: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/43.jpg)
43
Clasificación con regresión logística
Con dos clases, la función discriminante es un proceso de Bernoulli:
jjj
tj
t
t
t
j
w
tt
t
tt
t
t
Ct
tt
wEww
xxCpCwE
XwEw
xCpCxCpCXwwE
lXwwE
xCpxCpXwwl
CxsiCCxsiCtCt
∂∂
+Δ←Δ
−=∂∂=
−−+−=
−=
−⋅=
∈=∈=
∑
∑
∏−
η
))|((
)|(minarg
))|(1ln()1()|(ln)|,(
ln)|,(
))|(1()|()|,(
0,1
1
*
110
0
110
21
1
![Page 44: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/44.jpg)
44
Clasificación con regresión logística
![Page 45: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/45.jpg)
45
En teoría…
Asintóticamente, el error de la regresión logística es menor que el de Bayes « naive »
El error del clasificador de Bayes converge asintóticamente con un número logarítmico de ejemplos, mientras que el de regresión logística lo hace de manera lineal
)()( ,, ∞∞ ≤ GenDis hh εε
⎟⎟⎠
⎞⎜⎜⎝
⎛+≤
⎟⎟⎠
⎞⎜⎜⎝
⎛⎟⎟⎠
⎞⎜⎜⎝
⎛+≤
∞
∞
dn
ndOhh
nd
OGhh
DisDis
GenGen
log)()(
log1)()(
,
,
εε
εε
![Page 46: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/46.jpg)
46
En teoría…
![Page 47: Clasificadores generativos vs discriminantes · 2010-05-06 · Clasificadores generativos vs discriminantes. José Anibal ARIAS. Seminario de investigación. Universidad Tecnológica](https://reader035.vdocuments.co/reader035/viewer/2022062317/5e99afd2da5a5f5a6b167284/html5/thumbnails/47.jpg)
47
Preguntas?