redes neuronales aprendizaje competitivo cooperativo

FEBRERO 2003 M en C. José Luis Calderón O. 1

FEBRERO 2003 M en C. José Luis Calderón O. 2

FEBRERO 2003 M en C. José Luis Calderón O. 3

Antecedentes HistóricosAntecedentes Históricos

1973 Christopher Von der Malsburg introdujo el aprendizaje autorganizativo. Red para la clasificación de entradas; las neuronas vecinas responden a entradas similares. Red inspirada en la corteza visual de los gatos (David Hubel and Turten Wiesel)

Finales 60´s y principios de los 70´s Stephen Grossberg introdujo las redes competitivas con conexiones laterales.

FEBRERO 2003 M en C. José Luis Calderón O. 4

Aprendizaje Aprendizaje CompetitivoCompetitivo

Una forma de aprendizaje Autosupervisado.

Las neuronas “compiten” basadas en la proximidad a un patrón de entrada.

La neurona mas próxima al patrón (La “ganadora”) ajusta su peso para hacerse mas próxima.

FEBRERO 2003 M en C. José Luis Calderón O. 5

Las Redes Las Redes CompetitivasCompetitivas

Esta clase de redes se han usado para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos, incluidos la visión, audición, tacto y olfato.

FEBRERO 2003 M en C. José Luis Calderón O. 6

Arquitecturas Arquitecturas SimplesSimples

Red para el calculo de la distancia de Hamming.

MAXNET: Red competitiva simple

FEBRERO 2003 M en C. José Luis Calderón O. 7

Red CompetitivaRed Competitiva

Capa de entrada

Salida:

1 si es el nodo ganador.

0 de otra forma

Capa de salida con conexiones inhibitorias

FEBRERO 2003 M en C. José Luis Calderón O. 8

La Red competitivaLa Red competitiva

Es similar a la red feedforward de una capa, excepto que posee conexiones negativas entre los nodos de salida.

Debido a la conexiones anteriores, los nodos de salida tienden a competir para representar el patrón de entrada actual.

FEBRERO 2003 M en C. José Luis Calderón O. 9

Aprendizaje CompetitivoAprendizaje CompetitivoComo su nombre indica, las neuronas

de salida de una red neuronal compiten entre ellas para activarse.

A diferencia del aprendizaje asociativo en el que varias neuronas de salida pueden estar activas simultáneamente.

En el aprendizaje competitivo solo una neurona permanecerá activa a la vez.

FEBRERO 2003 M en C. José Luis Calderón O. 10

Redes Competitivas Redes Competitivas y Cooperativasy Cooperativas..

Red de HammingLVQ: Learning Vector

Quantization (Kohonen).SOM (Kohonen).ART (Carpenter y Grossberg)Cognitrón y Neocognitrón

(Fukushima).

FEBRERO 2003 M en C. José Luis Calderón O. 11

““Clustering”Clustering”

Tres formas distintas de agrupar el mismo conjunto de puntos de entrada.

FEBRERO 2003 M en C. José Luis Calderón O. 12

Clustering & CuantificanClustering & Cuantifican de Vectores de Vectores

3 clases en un espacio de 2 dimensiones

Diagrama de Voronoi

FEBRERO 2003 M en C. José Luis Calderón O. 13

Elementos del Elementos del Aprendizaje CompetitivoAprendizaje Competitivo

Un conjunto de neuronas que son todas iguales excepto por una distribución aleatoria de pesos sinápticos, que por lo tanto responden de forma distinta dado un conjunto de patrones de entrada.

Se establece un limite en la ponderación de de cada neurona.

FEBRERO 2003 M en C. José Luis Calderón O. 14

Elementos del Elementos del Aprendizaje CompetitivoAprendizaje Competitivo

Un mecanismo que permita a las neuronas competir para una respuesta correcta dado un subconjunto de entradas, tal que una neurona de salida o únicamente una neurona de un grupo sea activa a la vez. A la neurona que gana la competencia se le llama: “Winner Take all” “neurona, ganadora toma todo”

FEBRERO 2003 M en C. José Luis Calderón O. 15

2 formas de 2 formas de competenciacompetencia

0 10

0 10

La “ganadora”

Patrón de entrada

presentado

Neuronas

Input presentation carries the assumption that the network is supposed to “learn” the input.

FEBRERO 2003 M en C. José Luis Calderón O. 16

2 formas de 2 formas de competenciacompetencia

La ganadora se parece mas a la entrada

Patron de entrada

presentado

Neuronas

Input presentation carries the assumption that the network is supposed to “learn” the input.

La perdedora se queda como esta .

FEBRERO 2003 M en C. José Luis Calderón O. 17

¿Porque no hacer a la ¿Porque no hacer a la ganadora exactamente como ganadora exactamente como

la entrada?la entrada?

Pudiera haber muchos mas patrones de entrada distintos que neuronas.

Por el promedio de su comportamiento, una neurona puede poner un gran numero distinto de entradas, pero similares entre si, en una misma categoría.

FEBRERO 2003 M en C. José Luis Calderón O. 18

Medición de Medición de similaridades o similaridades o

proximidad proximidad (opposite: distance)(opposite: distance)

Supongase que x es un vector de entrada y wi el vector de pesos de la ith neurona.

Una medida de la distancia es la Distancia Euclideana :

i

ijji wxwx 2)(

FEBRERO 2003 M en C. José Luis Calderón O. 19

Ejemplo: Distancia Ejemplo: Distancia EuclideaEuclidea

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

la Distancia Euclidiana =

sqrt (02 + 22 + 02 + 22 ) = 2.83...

21

)( xxx T2

22

21 n

xxxx

FEBRERO 2003 M en C. José Luis Calderón O. 20

Distancia Distancia ““ManhattanManhattan

Otra medida de la distancia, usada cunado los valores son enteros, es la Distancia “Manhattan” o “city-block” :

i

ijji wxwx

FEBRERO 2003 M en C. José Luis Calderón O. 21

Ejemplo: Ejemplo: “Manhattan” o “Manhattan” o “city-block”“city-block”

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Distance Manhattan = 0 + 2 + 0 + 2 = 4

FEBRERO 2003 M en C. José Luis Calderón O. 22

Distancia de Distancia de HammingHamming

Otra medida de la distancia, usada cuando los valores son binarios (2-valores), es la “Distancia de Hamming”:

0 cuando los valores son iguales.

1 de otra forma

i

ijj wx

FEBRERO 2003 M en C. José Luis Calderón O. 23

Ejemplo: Ejemplo: Distancia de Distancia de HammingHamming

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Distance de Hamming =

0 + 1 + 0 + 1 = 2

FEBRERO 2003 M en C. José Luis Calderón O. 24

El producto puntoEl producto punto

(medida de similaridad) (medida de similaridad) El producto punto (inner) x wi

es mas grande cuando x esta mas proximo a wi.

Usualmente esto es mejor si x y wi estan normalizados antes de usar esta medida, esto es

1 iwx

Tixw

FEBRERO 2003 M en C. José Luis Calderón O. 25

El producto punto El producto punto como Cosenocomo Coseno

El producto punto (inner) normalizado es el coseno del angulo entre los vectores x y wi.

x

wi

FEBRERO 2003 M en C. José Luis Calderón O. 26

Ejemplo: Producto PuntoEjemplo: Producto Punto

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Producto punto =

[1 1 -1 1] [1 -1 -1 -1]T = 0

FEBRERO 2003 M en C. José Luis Calderón O. 27

Determinación del Determinación del GanadorGanador

La ganadora es la neurona con el peso ya sea– Con la mas pequeña distancia a la entrada– El producto punto mas grande con la entrada.

Si se utiliza el producto punto, es mejor normalizar los pesos y la entrada primero o usar valores normalizados únicamente.

FEBRERO 2003 M en C. José Luis Calderón O. 28

Dudas ???Dudas ???

FEBRERO 2003 M en C. José Luis Calderón O. 29

Hasta la próxima !!!

FEBRERO 2003 M en C. José Luis Calderón O. 30

Richard Hamming Richard Hamming (1915-1998)(1915-1998)