introducciÓn a redes neuronales artificiales teorÍa y aplicaciones dr. héctor allende...
TRANSCRIPT
![Page 1: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/1.jpg)
INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA
Y APLICACIONES
Dr. Héctor AllendeDepartamento de Informática
Universidad Técnica Federico Santa María
![Page 2: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/2.jpg)
Profesor: Héctor Allende
Redes Neuronales Artificiales 2
Basic Neural Dynamics
Capítulo 1
The ANN Books
R.M. Kristev 1998
http://www.inf.utfsm.cl/~hallende/ redes neuronales/novedades
FAQ NN: "ftp://ftp.sas.com/pub/neural/FAQ.html"
![Page 3: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/3.jpg)
Inteligencia Computacional ?Computational Intelligence
• Combinación:
– Ciencias de la Computación– Neuro-Fisiología– Filosofía (Teoría del conocimiento y lógica)
Creación de Máquinas que puedan
Pensar en el sentido del test de Turin
![Page 4: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/4.jpg)
Corteza Cerebral Humana:
• Aproximadamente 10 neuronas
• 1000 a 10.000 Synapsis por neurona
• Comunicación tren de impulsos electro-quimicos ( mensaje modulado)
• Proceso Cognitivo tiempo (milisegundos) Operación Masiva Paralela Secuencial en 100 Etapas
11
![Page 5: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/5.jpg)
Célula Nerviosa
Soma: Info. Hereditaria + Plasma + Generación Señales
Dendritas: Recepción Señales ImpulsosAxón: Transmisión de SeñalesSinapsis: Interfaz Neuronal (Inhibitoria, Excitatoria)
![Page 6: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/6.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 6
•1943 W.McCulloch, W. Pitts: Modelo ANN ( El Perceptrón )
•1959 Bernard Widrow ( SU): Filtro Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline) Basado en ( ANN)
•1969 Minsky y Papert: El Perceptrón (limitaciones).
•1982 J. Hopfield: Memoria Asociativa ”Redes de Hopfield".
•1986 Rumulhart, Hunton y Williams : redescubren el BPL algoritmo de "back-propagation learning" ( Paul Werbor, 1974)
•1989 K. Hornik, M. Stinchcombe, H. White: Multi-FANN y Aproximación Universal
Breve Historia
![Page 7: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/7.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 7
Red neuronal artificial (ANN)
ANN: Es un sistema dinámico compuesto por redes paralelas y distribuidas de procesadores elementales, con la capacidad de aprender y almacenar “conocimiento”.
•Arquitectura
•Interacción
•Función de proceso
ANN: SM sobre-parametrizado
![Page 8: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/8.jpg)
Aplicaciones de las ANN
• Resolver problemas Complejos
• Hacer generalizaciones
• Establecer Relaciones no evidentes
• Análisis de sistemas complejos
• Percepción
• Comprensión y Aprendizaje
• Generación de nuevo conocimiento
![Page 9: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/9.jpg)
Aplicaciones de las ANN
• Telecomunicaciones
• Informática
• Minería
• Energía
• Finanzas
• Transporte
• Salud
![Page 10: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/10.jpg)
Aplicaciones de las ANN
• Clasificación
• Pre-procesamiento de datos
• Reconocimiento de patrones
• Aproximación de funciones
• Predicción de Series de Tiempo
• Optimización Combinatorial
• Control
![Page 11: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/11.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 11
Modelo Neuronal: Mc Culloch & Pitts 1943
bi
w1i
wni
. . .
01
01
01
xi(t)
xi(t) = 1 wij xj(t-1) - bi
n
j=1
![Page 12: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/12.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 12
ANN y Neuronales Biológicas
Neurona y Conecciones Sinápticas Procesador Elemental
Neuronas: El aprendizaje se produce mediante la variación de la efectividad de las sinapsis, de esta manera cambia la influencia que unas neuronas ejercen sobre otras.
ANN: La regla de aprendizaje usada indica como se ajustan los pesos de las conexiones en función del vector entrada
![Page 13: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/13.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 13
Analogías
Células Biológicas Redes Neuronales Artificiales
Neuronas Unidades de proceso
Conexiones Sinápticas Conexiones Ponderadas
Efectividad de las Sinapsis Peso de las conexiones
Efecto exitatorio o inhibitorio Signo del Peso
Estimulo Total Entrada total Ponderada
Activación Tasa de disparo Función de Activación Salida
![Page 14: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/14.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 14
Procesador Elemental.PE: Es una unidad básica de procesamiento
la que posee múltiples entradas y solo una salida.– Cada entrada xi es ponderada por un factor (peso) wi
y se calcula la suma ponderada de las entradas:
– Luego es aplicada una transformación mediante la función de activación :
ii
ii netaaxw
)( salida af
![Page 15: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/15.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 15
Procesador elemental.
Unidad de agregación
Unidad de Activación
f(a)Input Output
xi
wi a=netai f
![Page 16: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/16.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 16
Procesador elemental.
• ANN Feedforward: Se construye colocando las neuronas en capas y conectando las salidas de una capa con las entradas de las neuronas de la próxima capa.
• Capas de una red:– Capa de entrada Zona sensorial ( S)
– Capa de salida Zona de Respuesta ( R)
– Capas ocultas Zona de asociación ( A)
![Page 17: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/17.jpg)
ANN: Aprendizaje y Generalización Métodos Actuales
Tipos de Aprendizaje
Tipos de Arquitectura
Tipos de Función de Transición: deterministas, probabilistas
Tipo de Algoritmo de Aprendizaje: BPL, PPL, LM, etc
Supervisado
No - Supervisado
Híbridos
FeedForward
Single, MultipleRecurrentes
Profesor: Héctor Allende
Redes Neuronales Artificiales 17
![Page 18: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/18.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 18
Feedforward Neural Network
![Page 19: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/19.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 19
Redes Feedforward• FANN La capa 0 no realiza procesamiento alguno, solo distribuye
las entradas a la capa siguiente
x1 x2
![Page 20: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/20.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 20
Modelo de Turing
xi(t) =
i=1,...,n
1 wij xj(t-1) - bi
n
j=1
W (conectividad de la NN)
b = (bi ) vector de umbraleswij
xi(0) {0,1}
![Page 21: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/21.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 21
Arquitectura
En función de la conectividad de las capas, podemos hablar de redes recurrentes (feed-back) y redes no recurrentes o redes en cascada (feed-forward).
Lo más usual es disponer las unidades en forma de capas, pudiéndose hablar de redes de una capa oculta, o de más de dos capas ocultas (redes multicapa
![Page 22: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/22.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 22
Neuronas y Redes simples.
• ANN Recurrente: La salida de una neurona es la entrada de neuronas de capas anteriores (feedback).
• Feedback lateral: La salida de una neurona es la entrada de otra neurona en la misma capa.
![Page 23: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/23.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 23
Neuronas y Redes simples.
• Parámetros de la Red: Los pesos {wi}.• Aprendizaje o entrenamiento: Es el
procedimiento mediante el cual los pesos son ajustados.
• Conjunto de entrenamiento: Conjunto de datos que consiste vectores de entrada asociado con vectores de salida deseada:{(xi,yi)}.
![Page 24: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/24.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 24
Neuronas como funciones
• Las neuronas transforman una entrada no acotada x(t) en el tiempo t en una señal de salida acotada f(x(t)).
• La función de activación o función de señal: f
• Velocidad de la señal:
afdt
da
da
dff '
![Page 25: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/25.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 25
Funciones de Activación
0.0
0.2
0.4
0.00 0.82 1.64 2.45 3.27 4.09-0.82-1.64-2.45
-1 -0.5 0 0.5 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Funciones Tipo Sigmoide
Funciones Base Radial
![Page 26: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/26.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 26
Funciones de activación comunes
• Función de activación logística:
– Es monótamente creciente para c >0
caeaf
1
1)(
0)1(' fcfda
dff
![Page 27: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/27.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 27
Funciones de activación comunes
![Page 28: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/28.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 28
Funciones de activación comunes
• Tangente hiperbólica:
donde c>0.
caca
caca
ee
eecaaf
)tanh()(
0)1(' 2 fcf
![Page 29: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/29.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 29
Funciones de activación comunes
• Threshold (umbral)
c>0
e.t.o.c.
0 si 0
1 si 1
)(
ca
ac
a
af
etoc c
),/1()0,( si 0)('
caaf
![Page 30: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/30.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 30
Funciones de activación comunes
• Distribución exponencial:
c>0.
)1.,0max()( caeaf
ca
ca
ecf
aceaf
2''
0 )('
![Page 31: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/31.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 31
Funciones de activación comunes
• Razón polinomial:
2
1
)('
0
1 .,0max)(
n
n
n
n
ac
cnaf
c
nac
aaf
![Page 32: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/32.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 32
Funciones de activación comunes
• Pulse-coded: Consiste en un tren de pulsos
exponencialmente ponderados
e.t.o.c 0
en t ocurre pulso el si 1)(
)()(
tg
dsesgtft
ts
![Page 33: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/33.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 33
• Tamaño de las muestras
• Cuántas Neuronas
• Cuantas Capas
• Tipo de Arquitectura ( Selección del Modelo ANN)
• Tipo de Aprendizaje
• Algoritmos de Aprendizaje
• ¿Cuándo usar ANN Modelador
NN: Preguntas Abiertas
![Page 34: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/34.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 34
• Optimización Combinatorial• Aprendizaje y Generalización:
– Memorias Asociativas (Básico)
– Redes Multicapas
• Pattern Recognition– Predicción y Pronósticos
– Aproximación de Funciones
• Modelos de Difusión de Información• Arquitecturas Paralelas
Aplicaciones NN
![Page 35: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/35.jpg)
Test de Turing:“Un computador merece ser llamado inteligente si puedehacer pensar a un ser humanoque es otro ser humano”
![Page 36: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/36.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 36
Estructura y Formas de Conexión
Función de Activación
Se suele distinguir entre funciones lineales, en las que la salida es proporcional a la entrada; funciones de umbral, en las cuales la salida es un valor discreto (típicamente binario 0/1) que depende de si la estimulación total supera o no un determinado valor de umbral; y funciones no lineales, no proporcionales a la entrada.
Caracteristicas Aprendizaje inductivoGeneralización
.Abstracción tolerancia al ruido:
Procesamiento paraleloMemoria Distribuida
Redes Asincronicas v/s Sincronicas
Metodos deterministas v/s Estaticos
![Page 37: INTRODUCCIÓN A REDES NEURONALES ARTIFICIALES TEORÍA Y APLICACIONES Dr. Héctor Allende Departamento de Informática Universidad Técnica Federico Santa María](https://reader035.vdocuments.co/reader035/viewer/2022062222/5665b4321a28abb57c8fe846/html5/thumbnails/37.jpg)
Profesor: Héctor Allende Redes Neuronales Artificiales 37
Funcionamiento Basico
La arquitectura más usada en la actualidad de una red neuronal consistiría en: •Una primera capa de entradas, que recibe información del exterior. •Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red.•Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior.
El número de capas intermedias y el número de neuronas de cada capa dependerá del tipo de aplicación al que se vaya a destinar la red neuronal.