modelos de redes neuronales. modelos neuronales representación conceptual de datos concernientes a...
TRANSCRIPT
Modelos de redes neuronales
Modelos Neuronales
Representación conceptual de datos concernientes a neuronas o sistemas de ellas.
Características.
• Formadas por elementos simples.
• Potentes en organización (paralelismo masivo)
• Potencia heurística para relacionar y subrayar conceptos.
• Predictivas.
Redes neuronales: una disciplina eclética
Redes Neuronales o Redes Neurales?
Diferencias:
No químicas (Las sinapsis son químicas).
Codifican en amplitud (No en frecuencia).
Síncronas (Generalmente).
No Jerárquicas (Si ART-3).
Redes Neuronales o Redes Neurales?
Son modelos bioinspirados.
Funcionalmente.
Aprendizaje.
Generalización.
Clasificación.
Reconocimiento.
Optimización.
Estructuralmente.
Elementos de proceso simples.
Múltiples entradas / 1 salida en cada elemento.
Paralelismo masivo.
Sistemas Mono / Multinivel.
Clasificación
Voronoi Diagram in two-dimension space
Auto-association
Hetero-association
Function Aproximation
Forward and Inverse control Problems
Historia de las redes neurales
• 1943 McCulloch and Pitts, Threshold Logic Gate models• 1949 Hebb, proposed Learning principle• 1957 Rosenblatt's Perceptron• 1960 Widrow & Hoff's Adaline• 1969 Minsky & Papert (MIT), Limitations of perceptrons
Historia de las redes neurales
• 1970-1982 El eclipse de las NN “neural-net winter"• 1974 Werbos (PhD thesis, Harvard), Descubrimiento que paso
desapercibido del algoritmo de backpropagation : Como entrenar redes multinivel
• 1982 Hopfield (Princeton, then Caltech) Hopfield networks• 1982 Kohonen SOM• 1986 Rumelhart and McClelland, redescubrimiento y difusión del
backpropagation.
Modelos de Redes Neurales más utilizadas
Mc Culloch - Pitts.
Perceptron.
BackPropagation (MLP).
Kohonen.
Counter Propagation.
Hopfield.
Bidirectional Associative Memory (BAM).
Adaptative Resonance Theory (ART).
Radial Basis Functions.
Aprendizaje por refuerzo.
Modelos estadísticos.
Modelos Dinámicos (TDNN).
Neocognitron.
Aplicaciones de las redes neurales
• Cuando los datos no son concretos:
- Opiniones humanas.
- Categorías mal definidas.
- Con grandes errores.
• Cuando los datos están ocultos:
- Préstamos (histórico).
• Datos no lineales:
- Series temporales Filtro de Kalman.
• Datos Caóticos:
- Ruido de la línea telefónica.
- Mercado de valores.
- Quinielas.
Aplicaciones 1
Optical character recognition
• U.S. mail zip-code recognizer• Kanjii: 4000 chars in 15 fonts, 99% accurate, 100k chars/sec (Sharp
& Mitsubishi)
Communications
• Adaptive noise cancellation– Headphones– Conference telephones
Aplicaciones 2
Process control
• Electric arc furnace control: 30MVA, 50kamp transformer, $2M savings
• Steel-rolling mill controller• Copier uniformity control (Ricoh)• Anti-lock brakes, etc. (Ford)• Food process control (M&M)• Particle beam focusing (SLAC)• Flourescent bulb. (GE)
Aplicaciones 3
Financial analysis
• Prediction of commodities market (18% vs. 12.3% by traditional methods)
• Mortgage risk evaluator (AVCO, Irvine)• Real-estate evaluation (Foster Onsley Conley)• Portfolio management (LBS Captial)• Currency trading (Citibank)
Crime prevention
• Bomb sniffer (JFK airport)• Credit card fraud detection (Visa, etc.)
Aplicaciones 4
Object classification• Grading grains from video images• Glass classification• High-energy physics: particle identification
Warfare• Missile guidance
Optical telescope focusing
Aplicaciones 5
Biomedical• Clinical diagnoses• Patient mortality predictions• Protein structure analysis• Electrode placement
Speech recognition
Game playing• World backgammon champion
Caracterización de una red neuronal
• Arquitectura– Patrón de conexionado de las neuronas
• Aprendizaje– Método de determinación de los pesos
• Función de activación– Permite calcular la salida en función de las entradas a la neurona
Caracterización de una Red Neuronal
Arquitectura:
Full conected.
No full conected (patrón de conexionado).
x1
x2
xm
2 niveles
Feedforward. 1 nivel, … , n niveles.
x1
x2
Competitvas.
x1
x2
Realimentadas (backward, dinámicas).
Feedforward 3-2-3-2 Network
Hierarchical Organitzation
Successive Refinement
Caracterización de una Red Neuronal
Aprendizaje: método de adaptación de los pesos.
Supervisado.
No supervisado.
Pesos prefijados.
Aprendizaje por refuerzo.
Caracterización de una Red Neuronal
Función de activación: para calcular el valor de salida:
),...,,,,...,,( 11 nini xxxgnet
)(netfy afa net
x1
xj
xn
w1
wn
.
.
wj
Redes de McCulloch
W. S McCulloch
Mc Culloch - Pitts (1943)“A Logical Calculus of the Ideas Immanent in Nervous Activity.”
5 supuestos:
1. La neurona es un proceso Todo-Nada.
2. Número fijo de sinapsis (>1) excitadas en el período de sumación latente.
3. El único retraso es el retardo sináptico.
4. La actividad de cualquier sinapsis inhibidora impide la excitación.
5. La estructura de la red no cambia con el tiempo.
Sinapsis Excitadoras
Sinapsis Inhibidoras
1
2
3
)1()1()( 213 tNtNtN
1
2
3
)1()1()( 213 tNtNtN
1
2
3
)1()1()( 123 tNtNtN
Redes de Mc Culloch - Pitts
12
)1()( 12 tNtN
1
2
3
a
b
4
)2()3()1()1()1()( 22113 tNtNtNtNtNtN a
)2()1()1()1()( 2224 tNtNtNtNtN b
Redes de Mc Culloch - Pitts
Aprendizaje de Hebb
Aprendizaje de Hebb
Algoritmo de aprendizaje de Hebb
Modelo no supervisado wij si las neuronas origen / destino se activaron Frecuencia repetición (hábito y aprendizaje).
donde:
• wij(t 1) = Peso de la sinapsis i, j después de la activación.
• wij(t) = Peso de la sinapsis i, j antes de la activación.
• yi = Salida de la neurona i (entrada en j).
• yj = Salida de la neurona j.
• h = Coeficiente de aprendizaje.
jiijij yytwtw )()1(
i jwij
Layered Network
Acyclic Network