redes neuronales, conceptos generales
Post on 06-Jan-2016
226 Views
Preview:
DESCRIPTION
TRANSCRIPT
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 1/33
Redes Neuronales
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 2/33
Problemas del mundo real
1. Disponibilidad de un algoritmo eficiente y no demasiado complejo
2. Disponibilidad de Conocimientos Explícitos
Conjunto de Reglas Pueden ser inciertas e imprecisasDatos presentes Pueden ser inciertos e imprecisos
3. Disponibilidad de Datos Históricos
Conjuntos de Ejemplos Pueden ser inciertos e imprecisosDatos presentes Pueden ser inciertos e imprecisos
4. Disponibilidad de un Criterio de Bondad de Soluciones
Conjunto de soluciones candidatas
Criterio de Bondad de soluciones
5. Disponibilidad de un Criterio de Bondad de Programas
Conjunto de programas candidatosCriterio de Bondad de programas
6. Combinaciones de las anteriores
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 3/33
Sistemas inteligentes
Son Sistemas que presentan, entre otras, tres características esenciales:
♦ Capacidad de razonar, para obtener conclusiones y, de ahí, tomar sus propias decisiones
♦ Capacidad de aprender, para adaptarse al entorno
♦ Capacidad de interactuar con otros Sistemas Inteligentes, mediante lacomunicación y el entendimiento
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 4/33
Clasificación de los Sistemas Inteligentes Artificiales
•• Sistemas Basados en el Conocimiento: Capacidad natural de Razonamiento Requieren disponibilidad de conocimientos Aprendizaje Programado
♦♦ Inteligencia Artificial Tradicional Sistemas Expertos TradicionalesRazonamiento Bivaluado Otras Aplicaciones
Procesamiento Simbólico
♦♦ Sistemas Borrosos Sistemas Expertos Borrosos
Razonamiento Borroso Sistemas de Control
Procesamiento Numérico
•• SISTEMAS NEURONALES Capacidad natural de AprendizajeRequieren disponibilidad de datos históricos Por Entrenamiento y Operación
Procesamiento Numérico
•• Sistemas Evolutivos Capacidad Natural de AprendizajeRequieren disponibilidad de un criterio de bondad por Evolución
de posibles soluciones o de posibles programas
Procesamiento Numérico
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 5/33
Redes Neuronales Artificiales
Simulación abstracta de los sistemas nerviosos biológicos, formados por un conjunto de unidades llamadas "neuronas" o "nodos" conectadas unas
con otras. Estas conexiones tienen una gran semejanza con las dendritas
y los axones en los sistemas nerviosos biológicos.
Clasificación de los modelos de neuronas artificiales
1. Los modelos de tipo biológico.
2.
El modelo dirigido a aplicación.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 6/33
Redes Neuronales de tipo Biológico
•
El cerebro humano contiene más de cien mil millones (1011) de neuronasy sinapsis en el sistema nervioso humano.
• Las neuronas y las conexiones entre ellas (sinapsis) constituyen la clave
para el procesado de la información.
• Las neuronas tienen una conectividad miles de veces superior que las
actuales supercomputadoras.
• Las tres partes en una neurona son: el cuerpo de la neurona, las ramas de
extensión llamadas dendritas para recibir las entradas, y el axón que
lleva la salida de la neurona a las dendritas de otras neuronas.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 7/33
La neurona biológica
•• Soma: cuerpo de la neurona
•• Dendritas: filetes finos constituyendo las entradas a la neurona
•• Axon: filete grueso de salida
•• Sinapsis: conexiones entre el axon de una neurona con dendritas de otras.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 8/33
Modelo general de neurona artificial
Donde: f p : función de propagación
f a : función de activaciónf s : función de salida
Usualmente:
))),((( ii w I fp fa fsO =
identidad función: fs
0
1
w I w fpi
n
i
i +=∑
=
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 9/33
Funciones activación
<≥=
0 x si0 x si
x fa01
)(
<−≥=
0 x si0 x si
x fa1
1)(
)sgn()( x x fa =
xe x fa
−+=
1
1)(
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 10/33
Neurocomputación
El modelo discreto de neurona artificial permite aproximar (aprender)cualquier función booleana que permita la separación lineal de las clases desalida, en particular las funciones OR, AND y NOT.
• Conexiones adecuadas de neuronas permiten aproximar cualquier
función booleana.
• Permite desarrollar una Neurocomputación.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 11/33
Primeros modelos de redes neuronales
McCulloch y Pitts (1940) sugirieron la descripción de una neuronacomo un elemento lógico con umbral, con dos posibles estados, o sea
aplicando un modelo computacional binario de la actividad nerviosa.
Los canales de entrada a los mismos se denominaron axones de
aferentes y los de salida, axones emergentes.
Modelos posteriores: John von Neumann, Marvin Minsky, Frank
Rosenblatt, ...
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 12/33
Teoría de McCulloch y Pitts
Estado del elemento: combinación lineal de todas las señales de entradaxi y se compara esta suma con el valor del umbral.
Excitación de una neurona: representada en este modelo con valores 0
y 1 para la actividad del canal de salida.
Entradas excitatorias e inhibitorias provenientes de la neurona i, están
modeladas por pesos sinápticos: wi = ±1
Estado de activación de la neurona i, está dado por el valor de ai.
La señal y de salida de una neurona está dada por:
y = θ(i
∑ wi . ai - s)
(donde θ es la Función de Heaviside, o sea: θ(x) = 1 para x ≥ 0 , θ(x) = 0 para x < 0s = valor umbral)
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 13/33
McCulloch y Pitts
•
Demuestran que cualquier función lógica puede construirse con
una combinación apropiada de elementos. (Compuertas AND y NOT)
• Falencias importantes:
1. No explicó cómo podían formarse las interconexiones
necesarias entre neuronas, en particular, cómo podía ocurrir elaprendizaje.
2. Estas redes dependían del funcionamiento libre de error de
todas sus componentes y no presentaban la tolerancia a errores delas redes neuronales biológicas.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 14/33
El psicólogo Hebb (1949)
•
La conexión entre dos neuronas es plástica y cambia proporcionalmente a la correlación de actividad entre la célula
presináptica y la postsináptica.
Formulación matemática:∆wi = lrate . y(x) . ai
para el cambio de pesos sinápticos wi (i = 1, 2, ..., n) de una neuronareceptora de una entrada a = (a1, a2, ..., an)
T cuando ai es la entrada de la
i-ésima sinapsis. El valor de y(x) denota el estado de activación de la
neurona y lrate > 0 es un parámetro de medida del tamaño de un paso
simple de aprendizaje que comúnmente se denomina: razón deaprendizaje.
Las cantidades y(x) y wi también pueden considerarse continuas.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 15/33
Marvin Minsky (1967)
• Analiza el comportamiento de las redes neuronales y su capacidad
en comparación con los autómatas finitos.
• Será necesario conocer:
- Descripción de un autómata.- Estado inicial o condición inicial.
- Descripción de las señales que le llegan del entorno.
• El tiempo que ocurren sólo en momentos discretos.
•
Una máquina puede mirarse como una caja negra con canales de
entrada y de salida.
• El número de estados posibles es finito.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 16/33
E
M
estímulo S(t) = si
salida: R(t) = r j
Conceptos importantes:
• historia del sistema• historias equivalentes
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 17/33
Equivalencia de Redes Neuronales con Máquinas de Estados Finitos
en general
Teorema: Cada máquina de estados finitos es equivalente y puede ser
simulada por una red neuronal.
Observaciones McCulloch y Pitts:
1. La descripción de estados previos no puede estar completamentedeterminada por la descripción del estado presente.
2. La actividad cíclica hace imposible determinar exactamente cuándo, en el pasado, el estímulo inicial existió.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 18/33
Frank Rosenblatt (1958)
• Uno de los primeros modelos de red neuronal: perceptrón
Zona sensorial Zona de asociación Zona de respuesta(S) (A) (R)
(Capa de entrada) (Capa de salida)
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 19/33
Problema del XOR.
x1
w1
f
w2
x2
1 si u ≥ θf( u ) =
0 si u < θ
Activación del nodo de salida:u = w1 x1 + w2 x2
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 20/33
Regla de Hebb
•
El aprendizaje ocurre en el sistema nervioso por refuerzo de las conexionesentre dos neuronas que se activan en el mismo tiempo.
∆wij = lrate . a i a j
donde: lrate = tasa de aprendizaje.ai = estado de activación de la neurona i.a j = estado de activación de la neurona j.
∆wij = incremento de peso de la conexión entre las neuronas i y j.
ai = wij j a j∑
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 21/33
Regla Delta
• Variante de la regla de Hebb, pues mantiene la intuición básica de que cadacambio en el peso de la conexión ente dos neuronas depende de qué está
pasando entre las neuronas involucradas.
• La red recibe un patrón de entrada, genera el patrón de salida actual usando los pesos existentes (este paso es omitido por Hebb), compara este con el patrónde salida deseado y cambia cada peso basado en la diferencia de cada unidad
de salida.
• Es un ejemplo de aprendizaje supervisado.
•
Error para el patrón de salida entero: pss (pattern sum of squares)
pss = ( )d au uu
−∑ 2
• Cada peso de la red se modifica según la relación:
∆wij = lrate . (di - ai ) a j
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 22/33
Redes multicapa
• Soluciona las limitaciones del perceptrón.
• Inserta unidades escondidas entre las de entrada y las de salida.
•
La regla delta generalizada la propagación de la medida del error que escalculado en las unidades de salida hacia atrás en la red, por ejemplo por
backpropagation.
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 23/33
Solucionando el problema del XOR
)(y 012121111 w xw xw fa ++=
)(y 022221212 w xw xw fa ++=
)w yw yw fa y3 03232131( ++=
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 24/33
Back-error-propagation
Para una red de tres capas i, j, k:
La función de activación debe ser continua
Fase forward:
Un patrón de entrada es presentado, calculándose todos los valores de activación hasta las salidas
Fase backward:
A partir de los valores de activación calculados y los valores deseados en las salidas, se actualizantodos los pesos de acuerdo a las fórmulas anteriores
n
k
n
jl
n
kj uk w δ=∆n
k k
n
k a
n
k ud u f )()(
'
−=δ
n
j
n
il
n
ji uk w δ=∆
∑= k
n
k
n
kj
n
ja
n
j wu f δδ )(
'
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 25/33
BACK-ERROR-PROPAGATION
Ejemplo de cálculo
)))(('))((')((' 323232122
313131112
2111111 ud u f wud u f wu f uw −+−=∆ η
3121112 δηuw =∆
3122212 δηuw =∆ ))((' 31313131
ud u f −=δ
3222222 δηuw =∆
3221122 δηuw =∆
))((' 32122
31112
2121 δδδ wwu f +=
))((' 32323232 ud u f −=δ
2111111 δηuw =∆
Finalmente:
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 26/33
Arquitecturas neuronales
Feedforward
Recurrenteu1
(estado 1)
u2
(estado 1)
u3
(estado -1)
u4
(estado 1)
Estado de la red:
u = (1,1,-1,1)
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 27/33
Propiedad de las redes neuronales no realimentadas
(∀f)(∃ Arq)(∃ W)(O j = f(I1, ...,Ii, ... In)
•• Modelos Discretos
Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones
booleanas
•• Modelos Continuos
Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones
reales
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 28/33
Características principales de los sistemas neuronales
♦ Alto grado de Procesamiento Paralelo
♦ Aprendizaje Off-Line y On-Line
♦♦ Generalización: De nuevos ejemplos que difieran de los conocidos,
pueden producir la mejor salida acorde con éstos
♦ Robustez: Pueden continuar operando bien con daños parciales
♦ Autoorganización: Pueden automodificarse para el cumplimiento de
ciertos objetivos
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 29/33
Aprendizaje neuronal
• Tiene como objetivo la obtención de una matriz de pesos W adecuada paraalcanzar el comportamiento deseado de la red
• Para el cumplimiento de dicho objetivo utiliza un algoritmo de
aprendizaje que, en el caso del aprendizaje programado, se reduce a uncálculo
• En el aprendizaje off-line, existen dos etapas o fases: Fase de
Entrenamiento y Fase de Verificación
• En el aprendizaje on-line, el aprendizaje continúa durante la Fase de
Operación
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 30/33
Formas de aprendizaje neuronal
• Por Programación Off-Line (1)
W se obtiene por cálculo
Fase de cálculo
• Por Entrenamiento Off-Line
W se obtiene por un algoritmo
Fase de entrenamiento y Fase de Verificacián
♦ Supervisado
- Por Maestro Por Corrección de Errores (2) Para por: error dado
y/o verificación
y/o número de iteraciones
- Por Crítico Por Refuerzo (3)
♦ No Supervisado Para por: verificación (4)
y/o número de iteraciones
- Hebbiano Inspiración biológica
• Por Operación On-Line (5)
El aprendizaje se realiza operando,
con cada nueva información
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 31/33
Propiedad global de los sistemas neuronales
Pattern mapping
Percepción y Categorización
♦♦ Clasificación de Patrones Reconocimiento de Patrones (1)
- Aprendizaje Supervisado
- Memoria Heteroasociativa
Clustering (2)
- Aprendizaje No Supervisado
- Memoria Heteroasociativa
♦♦Completamiento de Patrones (3)
- Aprendizaje Programado
- Memoria Autoasociativa
7/17/2019 Redes Neuronales, Conceptos Generales
http://slidepdf.com/reader/full/redes-neuronales-conceptos-generales 32/33
Clustering
Un cluster está constituido por un conjunto de patrones similares
Si hay n propiedades para describir los patrones, un cluster puede ser definidocomo una región en un espacio n-dimensional , conteniendo una relativamente
alta densidad de puntos , separada de otras regiones, por regiones conteniendouna relativamente baja densidad de puntos
La identificación de cuántos y cuáles clusters existen en un conjunto de datos,exige definir una medida de similaridad
top related