gradiente descendiente
DESCRIPTION
TRANSCRIPT
Noviembre 2002 ESCOM IPN 2
Características del SDBP
El mejor avance en RNAPermite entrenar redes multicapaAproximación de un algoritmo de
Gradiente DescendenteSDBP es una generalización de LMSSDBP es equivalente LMS para red
lineal monocapaSDBP Se utiliza entre 80% a 85%
Noviembre 2002 ESCOM IPN 3
La superficie de error de una red monocapa lineal tiene un solo mínimo y una curvatura constante
La superficie de error en una multicapa puede tener varios mínimos locales y la curvatura puede variar ampliamente en diferentes regiones.
Noviembre 2002 ESCOM IPN 4
Error cuadrático vs. w1
1,1 y w21,1
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
Noviembre 2002 ESCOM IPN 5
Error cuadrático vs. w1
1,1 y w21,1
-5
0
5
10
15
-5
0
5
10
15
0
5
10
w11,1w21,1
Noviembre 2002 ESCOM IPN 6
Ejemplo de Convergencia
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
b
a
Noviembre 2002 ESCOM IPN 7
Inconvenientes del (SDBP)
Algoritmo de entrenamiento muy lento
Tiempo de entrenamiento grande (días e incluso semanas)
La razón de aprendizaje es pequeña. 0.05 < < 0.25 (max=1)
Noviembre 2002 ESCOM IPN 8
Razón de aprendizaje muy grande
-5 0 5 10 15-5
0
5
10
15
w11,1
w21,1
Noviembre 2002 ESCOM IPN 9
Recomendaciones para iniciar los parámetros del
SDBP1.- No ajustar los parámetros iniciales a
cero.2.- no ajustar los parámetros iniciales a
valores grandes.3.- Escoger valores iniciales aleatorios
pequeños.4.- Probar con diferentes valores
iniciales hasta alcanzar un mínimo global o un error mínimo.
Noviembre 2002 ESCOM IPN 10
Alternativas para mejorar la convergencia del
algoritmo SDBP
Incrementar la velocidad de aprendizaje en superficies planas y disminuirla conforme la pendiente aumente.
Suavizar la trayectoria de convergencia (a través de un filtro)
Noviembre 2002 ESCOM IPN 11
EjemplosEjemplos Método del Método del Gradiente Gradiente
DescendenteDescendente
Noviembre 2002 ESCOM IPN 12
Ejemplo: 1Aplique el algoritmo de Gradiente
Descendente a la siguiente función.
Los Valores iniciales son:
A) Realice 5 iteraciones.B) Dibuje la superficie de error en 2D.C) Grafique los punto obtenidos.
22
21 25)( xxxF
01.0
5.0
5.00x
Noviembre 2002 ESCOM IPN 13
solución
Noviembre 2002 ESCOM IPN 14
Simulación en
Matlab / NNT
Noviembre 2002 ESCOM IPN 15
traingdEntrena redes multicapa
actualizando W y b con retropropagación usando el gradiente descendente.
Sintaxis[net,tr] = traingd (net,
P,T,A,Q,Ts,VV)
Algoritmo de Retropropagación
de Gradiente Descendente (SDBP)
Noviembre 2002 ESCOM IPN 16
Donde:net = Define la red neuronalnet = netff([0 5 ] [3 1] {tansig purelin}
traingd)P patrones de entradaT valores objetivoAi Condiciones inicialesQ Tamaño del loteTs Tamaño del pasoVV Matriz vacía o vectores de
validación
Noviembre 2002 ESCOM IPN 17
Valores por omisiónValores por omisiónnet.trainParam.epochs= 10net.trainParam.goal= 0 net.trainParam.lr= 0.01 net.trainParam.max_fail= 5 net.trainParam.mc= 0.9net.trainParam.min_grad= 1e-10net.trainParam.show= 25 net.trainParam.time= inf
Noviembre 2002 ESCOM IPN 18
Dudas ???
Noviembre 2002 ESCOM IPN 19
Hasta la próxima !!!