Maestría en Ciencias de la Computación

INTELIGENCIA ARTIFICIAL

Perceptrón MulticapaDra. Rosa Maria Valdovinos RosasDra. Rosa Maria Valdovinos Rosas

Presenta: J. Jair Vázquez Palma

Perceptrón SimpleLimitaciones

Resuelve solo problemas linealmente separablesEs decir clasificar entre 2 clases (0,1)

Perceptrón Multicapa•El primer algoritmo de entrenamiento paralas redes multicapa fue desarrollado por PaulWerbos en 1974. Al principio no fue Aceptadapor la comunidad de los desarrolladores delRedes Neuronales.

•Fue asta los 80’s el Backpropagationredescubierto por David Rumelhart (1986),Geoffrey Hinton - Rolal Williams, David Parkery Yann Le Cun.

Perceptrón MulticapaLa Perceptrón Multicapa surge de para resolverproblemas que no son linealmente separables

Perceptrón MulticapaPasos Aprendizaje (Propagación hacia delante, haciaatrás):a) Definir la Topología (numero de capas, función de

activación o transferencia).b) Inicializar lo pesos aleatoriamente.c) Ingresar los patrones.d) Realizar la propagación.e) Comparar salidas.f) Calcular el error.f) Calcular el error.g) Propagar hacia trash) Actualizar pesos.

Perceptrón Multicapa

Ingreso de los patrones

Perceptrón Multicapa

Calculando Función Net

Perceptrón Multicapa

Función de Transferencia.

Se utiliza para acotar la salida de la neurona ygeneralmente viene dada por la interpretaciónque queramos darle a dichas salidas.

Las más utilizadas son:Las más utilizadas son:Función sigmoidea: para obtener valores en elintervalo [0,1] casi nunca toca a 0logsig salida positiva: f(n)=1/[1+e^(-n)]

Función tangente hiperbólicaPara obtener valores en el intervalo [-1,1]pasando por el 0.f(n)=[e^n - e^-n] / [e^n + e^-n]

Perceptrón Multicapa

Aplicando Función de Transferencia.

Salida positiva: f(n)=1/[1+e^(-n)]

Todo este proceso se realizacon cada una de las neuronas.con cada una de las neuronas.

•Función Net•Función de Activación

Los resultados de la primeracapa serán la entrada de lasiguiente capa.

Perceptrón MulticapaEl cambio de la topología de la red (número decapas) dependerá de la satisfacción delporcentaje de error, si el error no es satisfactoriose aumentara una capa capas a la Red Neuronal.

Podemos observaruna tendencia.una tendencia.

Se elige elnumero que seamas cerca a 1.

Perceptrón MulticapaSe comparan la salida Real con las SalidaEsperada, si los resultados no son los adecuadosse entrena la Red Neuronal.

Los resultadosson diferentes,entonces seentonces senecesita aplicar elentrenamiento.

Perceptrón MulticapaPara conocer los valores esperados ahoratenemos:

Perceptrón Multicapa

Aprendizaje:

Tipo de aprendizaje Supervisado.

La propagación se da desde la primera a la ultima capa hasta generar una salida

Se calcula el error medio cuadrático: compara la Se calcula el error medio cuadrático: compara la salida real(a) con la salida deseada(t)

Las salidas de error se propagan hacia atrás, partiendo de la capa de salida hacia las neuronas que contribuyen directamente a la salida. BackPropagation.

Perceptrón Multicapa

En backpropagation, el método general de entrenamiento se resume en los siguientes pasos:

Pasos hacia delante:1. Selecciona un vector de entrada desde el conjunto deentrenamiento.2. Aplica esta entrada a la red y calcula la salida.2. Aplica esta entrada a la red y calcula la salida.

Pasos hacia atrás:

3. Calcular el error entre la salida calculada y la salida deseada de la entrada usada.4. Ajustar los pesos para que el error cometido entre la salidacalculada y la salida deseada sea disminuido.5. Se continua propagando el error hacia atrás y ajustando los pesos hasta que se alcance la capa de entradas.6. Este proceso se repetirá con los diferentes datos de entrenamiento.

Perceptrón Multicapa

Ajustando pesos: Regla Delta

La actualización de lospesos de la ultima capa serealiza mediante:realiza mediante:

Nota: se ocupa cuandoexiste una sola salida.

Perceptrón Multicapa

Ajustando pesos: Regla Delta

La actualización de los pesosentre las capas ocultas seríacalculando el δ(delta)calculando el δ(delta)propagando hacia atrás desde lacapa de salida.Zpj = resultado de la neurona

Nota: se ocupa cuandoexisten mas de una salida.

Perceptrón Multicapa

Ejercicio

Asuma una función sigmoide para la Asuma una función sigmoide para la función Z

Asuma η =1y todos los pesos inicialmente a 1.0.

Patron 1: 0, 0 salida deseada o esperada 1

Patron 2: 0, 1 salida deseada o esperada 0

El primer patrón de entrada 0, 0 salida 1

Perceptrón Multicapa

Calculando el error:

Los nuevos pesos después de la primer par de entrenamiento se primer par de entrenamiento se realiza mediante: