aplicaciones de las redes neuronales artificilaes dr. héctor allende
TRANSCRIPT
Aplicaciones de las Redes Neuronales Artificilaes
Dr. Héctor Allende
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 2
Areas de Aplicación
• Areas donde se aplican ANN:– Ingeniería ( Control, Robótica, Visión )– Ciencias de la computación.– Neurofisiología.– Física.– Matemáticas– Ciencia del Conocimiento.– Economía y finanzas– Estadísticas.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 3
Aplicaciones.• Algunas aplicaciones:
– Reconocimiento de patrones.– Predicción.– Regresión.– Compresión.– Procesamiento de Señales – Data Mining.– Series de Tiempo.– Finanzas.– Reconocimiento de voz, caras, caracteres .– Restauración de imagenes.etc.
EjemploModelos de Regresión
Redes FeedForward
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 5
Modelos de Regresión
• Tipo de Redes:– Feedforward , Feedforward Recurrentes
• Característica:– Las redes Feedforward son aproximadores universales.
– Pueden modelar funciones altamente no-lineales, donde modelos lineales tradicionales, no se comportan bien.
– No necesitan conocomiento del fenómeno, sólo un conjunto de datos.
– Aprendizaje es supervizado.
– Corrección del Error
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 6
Formulación del problema
• Se desea modelar la siguiente función
donde con
))5.0exp(1(10)(
20,...,1)(1
iis
iisi
xxf
iexfx
),0(~ 102INei 3/12
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 7
Tipo de ANN utilizada
• La entrada a la red fue normalizada entre
[-1,1].
• Tiene 1 neurona de entrada y 1 de salida.
• La red tiene 1 capa escondida y 3 neuronas escondidas.
• La red es del tipo FeedForward con algoritmo de aprendizaje Back-Propagation.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 8
Proceso de Aprendizaje.Desempeño del BackPropagation
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 9
Datos experimentales y salida de la ANN
EjemploSeries de Tiempo y Predicción
Redes FeedForward
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 11
Formulación del problema
• Tipo de Redes:– FeedForward.
• Modelar los datos de la “Línea Aerea Internacional”modelo (ARIMA), de orden (0,1,1)x(0,1,1)12
( )( ) ( )( )1 1 1 1120
12 B B x B B at t
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 12
ANN de los datos de la Aerolínea
1 1
xt-1
xt-13
xtxt-12
INPUT LAYER HIDDEN LAYER OUTPUT LAYER
-1.1339
-1.5058
1.2433
-3.1022
-0.0883 1.5182
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 13
Datos de la Aerolínea
EjemploClasificación de Patrones
LVQ (Learning vector quantizacion)
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 15
Clasificación de Patrones
• Tipo de Redes:– LVQ (Learning vector quantizacion).
• Característica:– Consiste en clasificar un conjunto de elementos
en un conjunto de clases.– Se debe utilizar redes con aprendizaje
supervisado.– Las ANN son ampliamente usada en problemas
de clasificación.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 16
Formulación del Problema
• Patrones:
– P son los patrones de entrada (p1 , p2)
– C es la clase a la cual pertenece cada patrón.
]1 1 1 2 2 2 2 1 1 1 [
0 1- 1 2- 1- 1 2 1- 1 0
3 2 2 0 0 0 0 2- 2- 3-
C
P
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 17
Gráfico de la ubicación de los Patrones.
Rojo : Clase 1
Celeste : Clase 2
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 18
Parámetros de la ANN
• Neuronas escondidas: 4
• Razón de aprendizaje: 0.1
• Por ciento de cada clase: Clase 1: 60%, Clase 2: 40%
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 19
Resultado de la Red neuronal.
+ Vectores de entrada.
O Pesos de las neuronas
Rojo: patrones clasificados como clase 1
Celeste: patrones clasificados como clase 2.
Clasificación de caracteres
Counterpropagation Network
Redes CPN
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 21
Clasificación de Caracteres
• Tipo de Redes:– CPN.
• Característica:– Consiste en un problema de clasificación de patrones.
– Se debe utilizar redes con aprendizaje supervisado.
– Las ANN son ampliamente usada en estos problemas de clasificación.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 22
Formulación del Problema
• Se tiene un conjunto de letras como una imagen binaria de 5x6 pixeles, “1”cuando el pixel esta encendido y “0” cuando el pixel esta apagado
• La red tiene que asociar correctamente el código ASCII a la imagen.
1) 0 0 0 1 1 0 0 0 1 1 1 1
1 1 1 0 0 0 1 0 1 0 1 0 0 0 1 0 0()( AxTrep
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 23
Ejemplo de Imágenes de Letras
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 24
Representación de las letras
binario Código 1) 0 0 0 0 0 1 (0)(
65A de ASCII Código
1 0 0 0 1
1 0 0 0 1
1 1 1 1 1
1 0 0 0 1
0 1 0 1 0
0 0 1 0 0
)(
Ay
Ax
T
Trep
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 25
Letras de Testeo
EjemploProblemas de Heurística:
Traveling Salesperson Problem(TSP)
Redes de Hopfield
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 27
Problemas de Heurística: “Problema del Vendedor Viajero”
• Tipo de Redes:– Hopfield bidimensional con memoria continua.
• Característica:– Problema del tipo NP (no-polinomial).
– Consiste en un problema de Optimización.
– Se debe utilizar redes con aprendizaje no supervisado.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 28
Formulación del Problema
• Condiciones:• Un vendedor viajero debe visitar un número de
ciudades, visitándolas todas, solo una vez. • Moverse de una ciudad a otra tiene un costo
asociado ( dependiendo de la distancia) . • El vendedor viajero debe volver al punto de partida.• Se debe encontrar la secuencia correcta que
minimiza el costo.• (n!): 2n = número de recorridos distintos
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 29
Análisis del Problema
• Sea C1, C2, .., CK las ciudades involucradas.
• A cada ciudad se le asocia un número que representa el orden en el que fue visitada.– La representación es binaria.– Ej: 1era ciudad = (1 0 0... 0)– Ej: 2da ciudad = (0 1 0 ... 0)– Etc...
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 30
Matriz que define el Problema
K
k2
k1
1
21
C 1 ..... 0 ..... 0 .... 0
..........................
C 0 ..... 1 ..... 0 .... 0
..........................
C 0 ..... 0 ..... 1 .... 0
.........................
C 0 ..... 0 ..... 0 .... 1
K .... j .... j .... 1
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 31
Análisis del Problema
• La idea es construir una memoria de Hopfied Bidimensional, tal que la salida es la matriz Y que tiene la forma anterior, y será la solución.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 32
Restricciones para Y
1. Cada ciudad no puede ser visitada más de 1 vez. Cada fila tiene no más de un 1.
2. 2 ciudades no pueden ser visitadas al mismo tiempo Cada columna no puede contener más que un 1.
3. Todas las ciudades deben ser visitadas Cada fila o columna debe tener al menos un 1.
4. El costo o distancia total debe ser minimizado. Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 33
Pesos asociados a las Neuronas.
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 34
Construcción de los pesos.
1. Cada ciudad debe aparecer 1 vez en el tour:
• Una neurona en una fila debe inhibir todas las otras de la misma fila.
RA ),1(21211122
)1(jjkkjkjk Aw
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 35
Construcción de los pesos.
2. No debe haber con el mismo número de orden en un tour.
• Una neurona en una columna debe inhibir todas las otras de la misma columna.
RB ),1(21211122
)2(kkjjjkjk Bw
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 36
Construcción de los pesos.
3. La mayoría de las neuronas deben tener valor cero entonces se debe usar inhibición global
RC )3(
1122Cw jkjk
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 37
Construcción de los pesos.4. Distancia total debe ser minimizada,
entonces las neuronas reciben entrada inhibitoria proporcinal a la distancia.
e.t.o.c.
1jy j si 1''
e.t.o.c.
jy 1j si 0'
RD ),(
2
212
2
212
1´´1')4(
2121211122
j
KKj
j
Kj
donde
Ddw jjjjkkjkjk
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 38
Función de Energía
• Función de energía de la memoria discreta de Hopfield:
• Formula de actualización:
)(2
1txyWyyE TT
)](1̂[)(1̂)()()1( tytyCtWytyty
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 39
Inicio del Algoritmo. TSP 50 ciudades
Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 40
Solución Encontrada.TSP 50 ciudades