![Page 1: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/1.jpg)
REDES NEURONALES ARTIFICIALES
TEORÍA Y APLICACIONES
Dr. Héctor AllendeDepartamento de Informática
Universidad Técnica Federico Santa María
![Page 2: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/2.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
SOM/KOHONEN NetworkMapas Autoorganizativos
Capítulo 3
![Page 3: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/3.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Estructura de la RedSOM (Self-Organization Map o Kohonen Network)
Teuvo Kohonen Rev. Information Science(1984)– Red de aprendizaje no supervisado.– Posee una única capa, la capa de salida.
• Posee un feedback lateral. En general es de forma indirecta
( tipo “Sombrero Mejicano”).
• Consiste en K neuronas.
• Puede ser unidimensional (K) o multidimensional ( KxK).
– La capa adicional de entrada solo distribuye la entrada en la capa de salida.
• Consiste en N neuronas (dimensión de la entrada).
• No hay procesamiento
![Page 4: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/4.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 4
Estructura de la red de Kohonen
![Page 5: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/5.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Sombrero mejicano
Las Neuronas cercanas reciben un feedback (+)
Las Neuronas a mediana distancia reciben feedback (-).
Las Neuronas lejanas no son afectadas.
![Page 6: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/6.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
Estructura de la Red.
• Obervaciones:– La distancia entre neuronas es discreta. 0 para la
neurona misma, 1 para las neuronas más cercanas etc.– La función de feedback determina la velocidad de
aprendizaje.– Vecindad Neuronal: Area afectada por el feedback
lateral.– Para grandes vecindades, la distancia puede
considerarse función continua.
![Page 7: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/7.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
El Proceso de aprendizaje
• Matriz de pesos:
• Vector de entrada: – Entrada es una función paramétrizada x = x(t)
• Entrada total: a = W x
• La neurona k que tiene un peso asociado
tal que:
se declara ganadora.
NiKjijwW
,..,1,..,1}{
NiixX ,..,1}{
||:),(||||:),(|| min,..,1
xjWxkW T
Kj
T
NkW :),(
![Page 8: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/8.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
Proceso de aprendizaje
• Todas las neuronas incluidas en la vecindad neuronal incluida ella misma participan en el proceso de aprendizaje. Las otras neuronas no son afectadas.
• El proceso de aprendizaje consiste en cambiar el vector de pesos en la dirección del vector de entrada (feedback positivo).
• Existe también un proceso de olvido proceso que retarda el progreso (feedback negativo)
![Page 9: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/9.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Proceso de aprendizaje
• Aprendizaje lineal: cambios ocurren en direccion de la combinación lineal de X y W(j,:) para cada neurona:
donde y son funciones escalares (no lineales). : feedback positivo : feedback negativo
• A continuación se considera que la vecindad neuronal es toda la red.
),(),( WxWxdt
dW
![Page 10: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/10.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 10
Tipos de aprendizaje• La ecuacion diferencial Trivial:
tt
tT
T
T
eWdtetxtW
Wxdt
dW
jWxdt
jdW
0
0
'
0
')'(1̂)(
:Solución
.W W(0):inicialCondición
1̂
:matricial forma
00, :),(:),(
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
![Page 11: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/11.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Tipos de Aprendizaje
• La ecuación simple:
.W W(0):inicialCondición
])()()[()1(
])()()[()1(
)()1(
:discreto en tiempo Aprox.
)()(1
:matricial, forma
00, :),()(:),(
0
IItxtxtWtW
ItxtxtWtt
tWtW
t
W
dt
dW
IxxWWxtadt
dW
Wxa
jWxtadt
jdW
T
T
TT
Tj
![Page 12: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/12.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
Tipos de Aprendizaje• La Solución de la ecuación simple:
– La solución puede ser divergente o convergente a cero, casos ambos casos son inaceptables.
– Para tiempos cortos la solución se aproxima a procesos asintóticamente estables.
• Para t ; relativamente pequeños y 0:
1
0'0 ])()([)(t
t
T IItxtxWtW
1
0'0 )'()'()(
t
t
T txtxIWtW
![Page 13: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/13.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Tipos de Aprendizaje
• La Ecuación diferencial de Riccati:
WWxxdt
dW
jWjWIxdt
jdW
jWxxjWa
jWaxdt
jdW
TT
TT
TTj
jT
)1̂(1̂
:matricialnotación En
:)],(:),([:),(
:),(:),( como
0,0 :),(:),(
![Page 14: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/14.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 14
Tipos de Aprendizaje• Ecuación de Riccati:
– Proposición: Considerando un acercamiento estadístico a la ecuación de Riccati, si una existe solución, la solución de W es de la forma:
– Todo W(j,:) llega a estar paralelo a <x> y tendrá la norma
cteWxEx
xx
xW
T
t
}/{ donde
0̂ si ||||
1̂lim
/||:),(|| jW
![Page 15: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/15.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
Tipos de Aprendizaje• Ecuaciones más generales:Teorema: Sea > 0, a =Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea x = x(t) un vector con propiedades estadísticas estacionarias (e independiente de W). Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones W acotada para t, entonces debe tener la forma:donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser
paralelo a <x>
Waxdt
dW
jWaxdt
jdW
TT
jT
]1̂)([1̂
:matricialnotación en
K1,..,j :),()(:),(
Tt xW 1̂lim
![Page 16: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/16.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
Tipos de AprendizajeTeorema: Sea > 0, a = Wx y (a) una función arbitraria tal
que E{(a)|W} existe. Sea <xxT>=E{xxT|W}. Sea max=máxl
l el valor propio máximo de < xxT > y umax el vector propio asociado. Entonces, si el proceso de aprendizaje es del tipo:
tiene soluciones no triviales W acotada para t, entonces debe tener la forma:
donde Wumax Ô, W(0) = W0 ; ie, W(j,:) llega a ser paralelo a umax
Waaxdt
dW
jWaxadt
jdW
TT
Tj
]1̂)([
:matricialnotación en
:),()(:),(
Tt xW 1̂lim
![Page 17: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/17.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
Dinámica de la Red
• Función de ejecución de la red:Para cada vector de entrada X ,
la neurona k para la cual
se declara ganadora. El ganador es usado para decidir que pesos serán cambiados. Todas las neuronas pertenecientes a la vecindad neuronal participan en el aprendizaje.
||:),(||||:),(|| min,..,1
XjWXkW T
Kj
T
nTjW :),(
![Page 18: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/18.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
Dinámica de la Red
• Función de aprendizaje de la red:– El proceso de aprendizaje es no-supervisado.
– El aprendizaje se desarrolla en tiempo discreto.
– W=W(t)
– En t = 0 los pesos son inicializados con valores aleatorios pequeños W(0) = W0 .
– Los pesos se actualizan de la siguiente forma:
• Para x(t) encontrar la neurona ganadora k.
• Actualizar los pesos según modelo elegido:
)/()1()( dtdWtWtWW
![Page 19: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/19.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Dinámica de la Red
• Inicialización y condición de parada:– Los pesos son inicializados con valores
aleatorios pequeños.– La condición de parada del proceso de
aprendizaje puede ser:• Elegir un número fijo de pasos.
• El proceso de aprendizaje continúa hasta que la cantidad de ajuste: wji= wji(t+1)-wji (t)
![Page 20: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/20.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 20
El Algoritmo• Para toda las neuronas en la capa de salida: inicializar los pesos con
valores aleatorios
• Si se trabaja con vectores normalizados, Normalizar vectores
• Elegir el modelo de aprendizaje ( Ecuación diferencial)
• Elegir un modelo de vecino neuronal ( fu. de feedback lateral).
• Elegir condición de parada.
• Construir a partir de la ED, la fórmula de adaptación de los pesos.
• Considerando tiempo discreto, repetir los pasos anteriores hasta que la condición de parada se cumpla:– Tomar la entrada x(t)
– Para todas las neuronas j en la capa de salida, encontrar la ganadora.
– Conociendo la ganadora, actualizar los pesos.
)1,0(2U
![Page 21: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/21.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Fórmula de adaptación de pesos• La ecuacion diferencial Trivial:
])(exp[h j)h(k,
,.0;,, j)h(k,
j)h(k, lateralfeedback defu la Dada
1̂
2jk
etocNjparao
Wxdt
dW
c
T
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
![Page 22: REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader036.vdocuments.co/reader036/viewer/2022062323/5665b4931a28abb57c925497/html5/thumbnails/22.jpg)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Fórmula de adaptación de pesos
La ecuación Trivial:
.W W(0):inicial Condición
])(1̂[]1̂)()[()()1(
))(exp()(
exp),(
0
0
WtxnormxhttWtW
tft
jkh
TT