neurona_aprendizaje en matlab

5/8/2018 Neurona_aprendizaje en Matlab - slidepdf.com

http://slidepdf.com/reader/full/neuronaaprendizaje-en-matlab 1/56

ESCOM I P N 2005 1

UNIDAD VI UNIDAD VI

Redes de propagación Redes de propagaciónhacia delante yhacia delante y

aprendizaje supervisadoaprendizaje supervisado6.3 RED de Retro-propagación

6.3.1 Modelo y Arquitectura de la Red.6.3.2 Algoritmo de Aprendizaje.



ESCOM I P N 2005 2

6.36.3

RED De Retro RED De Retro--propagación propagación

6.3.1 Modelo Y Arquitectura

De La Red



ESCOM I P N 2005 3

M ultilayer Perceptron M ultilayer Perceptron

R ± S1 ± S2 ± S3

Network



ESCOM I P N 2005 4

Arquitectura general de una red de Arquitectura general de una red de

propagación hacia atrás propagación hacia atrás



ESCOM I P N 2005 5



ESCOM I P N 2005 6

ARQUITECTURA DE LA RBP ARQUITECTURA DE LA RBP

� Esta red puede utilizarse para ³Aproximar unafunción´. Puede aproximar cualquier funcióncon un numero finito de discontinuidades.



ESCOM I P N 2005 7

Introducción Introducción

� En 1986, Rumelhart, Hinton y Williamsformalizaron un método para que una red

neuronal aprendieraaprendiera la relación queexiste entre los patrones de entrada a lared y las salidas correspondientes,

utilizando más niveles de neuronas que

los que utilizó Rosenblatt paradesarrollar el Perceptron.



ESCOM I P N 2005 8

Introducción Introducción

� La red Back-Propagation está basada enla generalización de la regla delta.

� Al igual que el Perceptron, ADALINE yMADALINE, la red Back-Propagationse caracteriza por tener una arquitecturaen niveles y conexiones estrictamente

hacia adelante entre las neuronas.

� Utilizan aprendizaje supervisado.



ESCOM I P N 2005 9

¿ En que consiste la RBP?¿ En que consiste la RBP?

Consiste en un aprendizaje de

un conjunto predefinido de paresde entradas-salidas dados como

ejemplo, empleando un ciclo

propagación-adaptación de dosfases.



ESCOM I P N 2005 10

F ASES F ASES

Primero.- se aplica un patrón de entrada

como estímulo para la primera capa de las

neuronas de la red, se va propagando através de todas las capas superiores hasta

generar una salida.

Después se compara el resultado obtenido en lasneuronas de salida con la salida que se desea obtener y

se calcula un valor del error para cada neurona de salida.



ESCOM I P N 2005 11

F ASES F ASES

Segundo.- estos errores setransmiten hacia atrás, partiendo dela capa de salida, hacia todas lasneuronas de la capa intermedia quecontribuyan directamente a la salida,recibiendo el porcentaje de error

aproximado a la participación de laneurona intermedia en la salidaoriginal.



ESCOM I P N 2005 12

La importancia de este algoritmo

consiste en su capacidad de auto

adaptar los pesos de las neuronasde las capas intermedias para

aprender la relación que existe

entre un conjunto de patronesdados como ejemplo y sus salidas

correspondientes.

Importancia Importancia



ESCOM I P N 2005 13

Ya entrenada la red se podráaplicar esa misma relación (terminado

el entrenamiento

), a nuevos vectoresde entrada con ruido o incompletos,dando una salida activa si la nuevaentrada es parecida a las

presentadas durante elaprendizaje.

G eneralizaciónG eneralización



ESCOM I P N 2005 14

Regla Delta G eneralizada Regla Delta G eneralizada

� Es una extensión de la regla deltapropuesta por Widrow (1960).

� Se usa en redes con capas intermediascon conexiones hacia delante y cuyascélulas tienen funciones de activacióncontinuas. Estas funciones continuas son

no decrecientes y derivables (la funciónsigmoidal pertenece a este tipo defunciones).



ESCOM I P N 2005 15

Superficie de error Superficie de error

El algoritmo utiliza una superficie deerror asociada a la red, buscando elestado de mínimo error a través delcamino descendente de la superficie

del error.



ESCOM I P N 2005 16




ESCOM I P N 2005 17

Estructura y aprendizaje Estructura y aprendizaje�Capa de entrada con n neuronas.

�Capa de salida con m neuronas.

�Al menos una capa oculta de neuronas.Cada neurona de una capa recibe entradas

de todas las neuronas de la capa anterior y

envía su salida a todas las neuronas de la

capa posterior. No hay conexiones hacia

atrás ni laterales entre neuronas de la

misma capa.



ESCOM I P N 2005 18

Control de la convergenciaControl de la convergencia� La velocidad de aprendizaje se

controla mediante E. Normalmente,debe ser un número entre 0.05 y 0.25.

Velocidad de convergencia

� El valor de E se aumenta a medidaque disminuye el error.

� Añadir un momento (sumar unafracción del ajuste de peso anterior alajuste actual).



ESCOM I P N 2005 19

Si una red deja de aprender:

� Realizar un cambio en el número deneuronas ocultas.

� Volver a empezar con un conjunto

distinto de pesos.



ESCOM I P N 2005 20

BPN vs . PERCEPTRON BPN vs . PERCEPTRON � La salida de BPN puede tomar valores entre

0 y 1; el perceptrón sólo toma 0 o 1.

� Perceptrón y BPN normalmente empiezan

con un conjunto de pesos aleatorios.� El método de la regla delta generalizada

para ajustar pesos es el mismo que el de la

regla delta utilizada en el perceptrón y ADALINE.

� BPN usa neuronas con función de activacióncontinua.



ESCOM I P N 2005 21

M ATLAB M ATLABRED

BACKPROPAGATION



ESCOM I P N 2005 22

M ODELO DE UNA NEURONA M ODELO DE UNA NEURONA

� SE PUEDEN CREAR Y SIMULAR CON:

initff y simuff.

� LAS FUNCIONES DE ENTRENAMIENTO

SON:

± trainbp (normal),

± trainbpx (rápida),

± trainlm (más rapida, mucha memoria de PC).



ESCOM I P N 2005 23

F UNCION DE F UNCION DE

TRANS F ERENCIATRANS F ERENCIA� La función lonsig:

± La función logsig(n) genera salidas 0 y 1

para entradas a la red neuronal que van

desde un valor negativo a positivo, infinito.

� También se pueden utilizar las funciones:

tansig(n) y purelin(n).



ESCOM I P N 2005 24

� Si la ultima capa de una RBP tiene

neuronas con funciones sigmoides

entonces las salidas de la red estaránlimitadas a un rango pequeño.

� Pero si se utilizan funciones lineales,

entonces la salida de la red podrá tomar

cualquier valor.

F UNCION DE F UNCION DE

TRANS F ERENCIATRANS F ERENCIA



ESCOM I P N 2005 25

DERIVADAS DE LAS F . T . DERIVADAS DE LAS F . T .´ ´ S S

� En una RBP es importante el poder

calcular las derivadas de cualquier

función de transferencia utilizada.

� Las derivas de las funciones lonsig,

tansig y purelin son: deltalog, deltatan

y deltalin.

Tansig(µdelta¶)

ans=deltatan



ESCOM I P N 2005 26

... ...

� La función ³simuff ³.- Simula una redfeedforward.

� ³Simuff´ toma las entradas de la red, P; los pesos, W; el umbral, b, y la función detransferencia para tres capas, y regresa lassalidas de cada capa. Por ejemplo para simular

dos capas:� [a1, a2]=simuff(p, W1, b1, µtansig¶, W2, b2,

purelin¶)



ESCOM I P N 2005 27

... ...

� Para calcular las salidas de una red de una, dos y

tres capas:

� a=simuff(p, W, b, µtansig¶)� [a1, a2]=simuff(p, W1,B1, µlogsig¶, W2, b2,

µpurelin¶)

� [a1, a2, a3]=simuff(p, W1,B1, µtansig¶, W2, b2,µlogsig¶, W3, b3, µpurelin¶)

� a2=simuff(p, W1, b1, µtansig¶, W2, b2, µpurelin¶)



ESCOM I P N 2005 28

INICIALIZACIÓN INICIALIZACIÓN

� Para crear una red de dos capas con ocho

neuronas ocultas tansig y cuatro neuronas de

salida purelin, se tiene:

� [W1,b1,W2,b2]=initff(P,8, µtansig¶, 4 µpurelin¶)

± donde es importante que P contenga los limites

mínimo y máximo de cada entrada para que así los

mejores W y b sean calculados.



ESCOM I P N 2005 29


[W1,b1,W2,b2]=initff(P,5,¶tansig¶);

� Por ejemplo, una red de una capa con cinco neuronas

puede tener dos entradas, una de las cuales siempre

tiene valores en el intervalo [-10,+10], y la otra en

[0,5].

� [W1,b1,W2,b2]=initff(P, [-10 10; 0 5], µtansig¶);



ESCOM I P N 2005 30


� Initff .- Puede automáticamente establecer el

numero de neuronas en la capa de salida al

número de columnas de la matriz objetivo T.

� [W1,b1,W2,b2]=initff(P,8,¶tansig¶,T,¶purelin¶);



ESCOM I P N 2005 31

Regla de Aprendizaje de la BP Regla de Aprendizaje de la BP

� Utilizada para entrenar redes no lineales

multicapa se usa para llevar a cabo:

� La Aproximación de funciones,

� La asociación de patrones, y

� La clasificación de patrones.



ESCOM I P N 2005 32


� Las derivadas del error (llamadas vectores

delta) son calculadas para la capa de salida

de la red, y entonces propagadas hacia atrása través de la red hasta que los vectores

delta están disponibles para cada capa

oculta. Los cuales son calculados con lasfunciones:

� deltalin, deltalog, y deltatan.



ESCOM I P N 2005 33


� deltalin(a,e) regresa el vector delta parauna capa de salida de neuronas lineales con

un vector de salida a y un vector de errorese.

� deltalin(a,d,W) regresa el vector delta parauna capa oculta de neuronas lineales, con unvector de salida a, presedido de una capacon un vector delta d y una matriz de pesosW.



ESCOM I P N 2005 34


� deltalog(a,e) Regresa deltas para una capade salida logsig.

� deltalog(a,d,W) Regresa deltas para unacapa de oculta logsig.

� deltatan(a,e) Regresa deltas para una capa

de salida tansig.� deltatan(a,d,W) Regresa deltas para unacapa de oculta tansig.



ESCOM I P N 2005 35


� El cambio realizado en los pesos y los

umbrales son calculados por learnbp.

� El cambio lo realiza utilizando el vector

delta de la capa, y su vector de la capa

de entrada p, de acuerdo a la regla:

Dl r b

D pl r W T

!(

!(



ESCOM I P N 2005 36

6.36.3 RED De Retro RED De Retro--propagación propagación

6.3.2 Algoritmo de Aprendizaje

y Entrenamiento



ESCOM I P N 2005 37

F uncionamiento del AlgoritmoF uncionamiento del Algoritmode Aprendizajede Aprendizaje

1. Inicialice los pesos de la red con

valores pequeños aleatorios.

2. Presentar un patrón de entrada yespecificar la salida deseada.

3. Calcule los valores de ajuste de las

unidades de salida en base al error observado.



ESCOM I P N 2005 38

F uncionamiento del AlgoritmoF uncionamiento del Algoritmode Aprendizajede Aprendizaje

4. Empezando por el nivel de salida, repitalo siguiente por cada nivel de la red,hasta llegar al primero de los nivelesocultos:

1. Propague los valores de ajuste de regresoal nivel anterior.

2. Actualice los pesos que hay entre los dos

niveles.5. El proceso se repite hasta que el error

resulta aceptablemente pequeño paracada uno de los patrones aprendidos.



ESCOM I P N 2005 39

F uncionamiento del AlgoritmoF uncionamiento del Algoritmo

de Entrenamientode Entrenamiento

�El método es exactamente el mismo

que el de la regla delta utilizada en elPerceptrón y ADALINE.

obtenida sal d eseada sal .. !H



ESCOM I P N 2005 40

Algoritmo de retropropagación Algoritmo de retropropagaciónPrimer Paso

,0pa !

,1,,2,0)( 1111 !! M m par ammmmm

-baf a

,Maa !



ESCOM I P N 2005 41

Algoritmo de retropropagación Algoritmo de retropropagación

Segundo Paso

,121ssss !pp!

-M M

,2 atnFs !�

M

M

M

.1,2,,1,11-!!

�

M m par a smT

mm

m

mWnFs



ESCOM I P N 2005 42

Algoritmo de retropropagación Algoritmo de retropropagaciónTercer Paso

,1 1 T m-m

m

mk k asWW !

mm

mk k s1 !



ESCOM I P N 2005 43

Suponer que se quiere utilizar una

RNA (1-2-1)para aproximar laf unción:.22

41)( ee¹

º

¸©ª

¨! p para p sin p g

T



ESCOM I P N 2005 44

Entrenamiento Entrenamiento

? A ? A.48.00,13.0

48.00,17.009.00,

47.0

27.00 2121 !¼

½

»¬«

!!¼

½

»¬«

! bbW W

1.0!Si p = 1 y entonces:

,0 1pa !!



ESCOM I P N 2005 45


La salida de la primera capa es:

? A

¼½

»

¬

«!

¼¼¼¼

½

»

¬¬¬¬«

!

¹

¹

º

¸

©

©

ª

¨

¼½

»

¬

«

!¹¹ º

¸

©©ª

¨

¼½

»

¬

«

¼½

»

¬

«

!!

368.0

321.0

1

1

1

1

54.0

75.0log

13.0

48.0

141.0

27.0

log)(

54.0

75.0

10111

e

e sig

sig baWf a



ESCOM I P N 2005 46


Mientras que la salida para la

segunda capa es :

? A ? A ? A446.048.0368.0

321.017.009.0)( 21222 !¹¹ º

¸©©ª

¨ ¼½»¬«!! purel inbaWf a

Y se calcula el error de la red que

será de:

261.1446.014

14

1 2 !À¿¾

°¯®

¹ º

¸©ª

¨!

À¿¾

°¯®

¹ º

¸©ª

¨!!

T T sina p sinat e



ESCOM I P N 2005 47

Entrenamiento EntrenamientoEtapa 2 retropopagación de la sensibilidad.

Se necesita derivar las funciones de

transferencia de las capas de la Red:

11

2

1.

11

1

1

11

11

1)( aa

eee

e

ed n

d n f

nnn

n

n!¹

º

¸©ª

¨

¹ º

¸©ª

¨

!

!¹

º

¸©ª

¨

!

12.

!! nd n

d n f



ESCOM I P N 2005 48

Entrenamiento EntrenamientoEl punto de inicio se encuentra enla segunda etapa :

? A 522.2261.112261.122 2

2.

2

2

2!!¼

½

»

¬

«

!!

�

n f atnFs

La sensibilidad de la primera capa se calcula

al retropropagar la sensibilidad desde la

segunda capa:



ESCOM I P N 2005 49


La etapa final del algoritmo

conlleva la actualización de los

pesos :

? A

? A

.0997.0

0495.0429.0

227.0233.000218.0

522.217.0

09.0

368.0368.010

0321.0321.01

522.2

17.0

09.0

10

01

1

2

1

2

1

1

1

12211

1

¼½»¬«!¼

½»¬«¼

½»¬«!

!¼½

»¬«

¼½

»¬«

!

!¼

½

»¬«

¼

¼

½

»

¬

¬«

!!

�

aa

aa s

T WnFs



ESCOM I P N 2005 50

Entrenamiento EntrenamientoLa etapa final del algoritmo conlleva la

actualización de los pesos y umbrales,

para la capa de salida:

? A ? A? A? A.0772.0171.0

368.0321.0522.21.017.009.001 12

2

2

!

!!!T

asWW

? A ? A ? A732.0522.21.048.001 2

2

2 !!! sbb



ESCOM I P N 2005 51


Y para las capas ocultas:

? A .420.0

265.0

10997.0

0495.0

1.041.0

27.001

01

1

1

¼½

»

¬

«

!¼½

»

¬

«

¼½

»

¬

«

!!

T

asWW

¼½

»

¬

«

!¼½

»

¬

«

¼½

»

¬

«

!

! 140.0

475.0

0997.0

0495.0

1.013.0

48.0

01

1

1

1

sbb



ESCOM I P N 2005 52


Estos resultados completan la

primera iteración del algoritmo de

la retropropagación. Secontinuará iterando hasta que la

diferencia entre la respuesta de la

red y la función objetivo alcancealgún nivel aceptable.



ESCOM I P N 2005 53

Consideraciones sobre el algoritmo deConsideraciones sobre el algoritmo de

aprendizajeaprendizaje� Este algoritmo encuentra un valor

mínimo de error (local o global)

mediante pasos descendentes(gradiente descendente).

� Cada punto de la superficiecorresponde a un conjunto de valoresde los pesos de la red.



ESCOM I P N 2005 54

Consideraciones sobre el algoritmo deConsideraciones sobre el algoritmo de

aprendizajeaprendizaje� Con el gradiente descendente, siempre

que se realiza un cambio en todos los

pesos de la red, se asegura eldescenso por la superficie del error

hasta encontrar el valle más cercano, lo

que puede hacer que el proceso deaprendizaje se detenga en un mínimo

local de error.



ESCOM I P N 2005 55




ESCOM I P N 2005 56

UNIDAD VI UNIDAD VI

Redes de propagación Redes de propagaciónhacia delante yhacia delante y

aprendizaje supervisadoaprendizaje supervisado

6.4 Solución de problemas con

MATLAB

neurona_aprendizaje en matlab

Documents