redes neuonales

7/23/2019 Redes Neuonales

1/27


2/27

RESUMEN

En la presente monografa se presenta una introduccin biolgica, enfocada principalmente en

la descripcin de los elementos del sistema neurolgico que las redes neuronales artificiales

emulan, para luego describir cada uno de sus componentes y los diversos algoritmos de

aprendizaje que implementan.

Se describen algunas de las reas de aplicacin, especficamente en los sistemas de soporte a

las decisiones, aprovechando las capacidades de clasificacin e identificacin de patrones.


3/27

INTRODUCCIN

Existe actualmente una tendencia a establecer un nuevo campo de las ciencias de la

computacin que integre los diferentes mtodos de resolucin de problemas que no pueden ser

descritos fcilmente mediante el enfoque algortmico tradicional. Todos estos mtodos se

originan, de una u otra forma, en la emulacin ms o menos inteligente del comportamiento de

los sistemas biolgicos.

Estos mtodos estn orientados a resolver problemas donde es necesario manejar informacin

masiva, imprecisa, incierta o distorsionada propia del mundo real (toma de decisiones,

reconocimiento de formas, habla, etc.).

Algunos de stos son la Lgica Borrosa o difusa (Fuzzy Logic), las Redes Neuronales

Artificiales, los Algoritmos genticos, la Teora del Caos y la Teora del Aprendizaje. Siendo

todos stos enfoques diferentes, existe una tendencia a buscar combinaciones entre ellos, de

manera que a cada aspecto de los problemas reales que deban ser resueltos se le aplica la

tcnica que resulta ms apropiada.

El trabajo de la presente monografa est enfocado especficamente en la metodologa de las

Redes Neuronales A rt i f ic ia les. Se presenta una panormica de esta tcnica, su evolucin

histrica y una descripcin de las caractersticas ms significativas.


4/27

SURGIMIENTO Y EVOLUCIN

Las redes neuronales son una rama de la Inteligencia Artificial. Las redes neuronales

artificiales son ampliamente utilizadas en la actualidad por ejemplo para el escaneo de

imgenes, reconocimiento de patrones, problemas de optimizacin, clasificacin de datos

financieros, apoyo al diagnstico mdico, etc.

Un computador convencional es una mquina que ejecuta una serie de instrucciones de forma

secuencial, siendo capaz de realizar complicadas operaciones lgicas y aritmticas de una

forma muy rpida, mucho ms que el cerebro humano.

Pese a ello, existen tareas sencillas como el reconocimiento de patrones, que ni los grandes

supercomputadores son capaces de resolver de un modo eficiente, mientras que el cerebro lo

viene haciendo desde hace millones de aos con suma facilidad y eficiencia.

Por esta razn, algunos cientficos han vuelto la vista hacia el cerebro tratando de estudiarlo

desde el punto de vista de la computacin. La estructura del cerebro es radicalmente diferente

a la del computador convencional. No est compuesto por un nico microprocesador altamente

complejo y eficiente, sino por miles de millones de ellos, las neuronas, que realizan de modo

impreciso y relativamente lento un tipo de clculo muy simple.

Tabla: Cerebro frente a computador convencional Von Neumann


5/27

Con las redes neuronales se intenta expresar la solucin de problemas complejos, no como

una secuencia de pasos, sino como la evolucin de unos sistemas de computacin inspirados

en el funcionamiento del cerebro humano, y dotados por tanto de cierta inteligencia, los

cuales no son sino la combinacin de una gran cantidad de elementos simples de proceso(neuronas) interconectados que, operando de forma masivamente paralela, consiguen resolver

problemas relacionados con el reconocimiento de formas o patrones, prediccin, codificacin,

clasificacin, control y optimizacin.

Las redes neuronales operan sobre la base de reconocimiento de patrones, y pueden adquirir,

almacenar y utilizar conocimiento experimental, obtenido a partir de ejemplos.

Esta forma de adquirir el conocimiento es una de sus caractersticas ms destacables: no seprograma de forma directa, como en los sistemas expertos, sino que se adquiere a partir de

ejemplos, por ajuste de parmetros de las neuronas mediante un algoritmo de aprendizaje.

En cuanto al modo interno de trabajo las redes neuronales son modelos matemticos

multivariantes que utilizan procedimientos iterativos, en general para minimizar funciones de

error.


6/27

REDES NEURONALES E INTELIGENCIA ARTIFICIAL

a) PROCESAMIENTO NUMRICO:

Reciben la seal de entrada desde el exterior y operan sobre ella. Son sistemas constituidos

por nodos de hardware interconectados formando una red. Tambin se conocen como

sistemas conectivistas o conexionistas.

SISTEMAS DISTRIBUIDOS

SISTEMAS ASOCIATIVO

REDES SUBSIMBLICAS

REDES NEURONALES


7/27

b) PROCESAMIENTO SIMBLICO:

Estas redes estn constituidas por conceptos (nodos) y por reglas sintcticas (lazos de

interconexin). Ambas forman las llamadas bases de conocimiento. La simulacin de estas

redes es casi exclusivamente software.

Tabla: Formas bsicas de Computacin


8/27

PANORAMA HISTRICO

Las primeras explicaciones tericas sobre el cerebro y el pensamiento fueron dadas por

algunos antiguos filsofos griegos, como Platn (427-347 a.C) y Aristteles (384-422 a.C). Las

mismas ideas sobre el proceso mental las mantuvo Descartes (1596-1650) y los filsofos

empiristas del siglo X.

La clase de las llamadas mquinas cibernticas, a la cual la computacin neuronal pertenece,

tiene ms historia de la que generalmente se cree: Heron el Alejandrino construy un autmata

hidrulico sobre el ao 100 a.C

En 1957, Frank Rosenblatt comenz el desarrollo del Perceptrn. Esta es la ms antigua red

neuronal, y se usa hoy en da de varias formas para aplicaciones como de reconocimiento de

patrones. Este modelo era capaz de generalizar, es decir, despus de haber aprendido una

serie de patrones era capaz de reconocer otros similares, aunque no se hubieran presentado

anteriormente.

En 1959, Bernard Widrow y Marcial Of., de Stanford, desarrollaron el modelo ADALINE

(Adaptative LINear Elements). Esta fue la primera red neuronal aplicada a un problema real

(filtros adaptativos para eliminar ecos en las lneas telefnicas), y se ha usado comercialmente

durante dcadas desde entonces.

En 1967, Stephen Grossberg (Universidad de Boston) desarroll la red Avalancha, que

consista en elementos discretos con actividad que vara con el tiempo, que satisface

ecuaciones diferenciales continuas para resolver actividades tales como reconocimiento

continuo del habla y aprendizaje del movimiento de los brazos de un robot.

James Anderson desarroll en 1977 un modelo lineal, llamado Asociador Lineal, que consista

en unos elementos integradores lineales (neuronal) que sumaban sus entradas. Este modelo

se basa en el principio de que las conexiones entre neuronas son reforzadas cada vez que

estn activadas. Anderson dise una potente extensin del Asociador Lineal, llamada

Brain-State-in-a-box.


9/27

BREVE INTRODUCCIN BIOLGICA

a: Soma

b: Axn

c: Dendritas

Figura: Estructura de una neurona tpica

El sistema nervioso est compuesto por una red de clulas (neuronas), ampliamente

interconectadas entre s. En las neuronas, la informacin fluye desde las dendritas hacia el

axn, atravesando el soma. Se estima que el sistema nervioso contiene alrededor de cien mil

millones de neuronas.

Desde un punto de vista funcional, las neuronas constituyen procesadores de informacin

sencillos. Posee un canal de entrada de informacin (las dendritas), un rgano de cmputo (el

soma), y un canal de salida (el axn). En las interneuronas el axn enva la informacin a otras

neuronas, mientras que en las neuronas motoras lo hace directamente al msculo. Existe otro

tipo de neuronas, las receptoras o sensoras, que reciben la informacin directamente delexterior. Se calcula que una neurona de la corteza cerebral recibe informacin, por trmino

medio, de unas 10,000 neuronas (convergencia) y enva impulsos a varios cientos de ellas

(divergencia).


10/27

ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL

Los sistemas neuronales artificiales imitan la estructura del hardware del sistema

nervioso, con la intencin de construir sistemas de procesamiento de informacin paralelos,

distribuidos y adaptativos, que puedan presentar un cierto comportamiento

inteligente.

Estructura jerrquica de un sistema basado en Redes Neuronales Artificiales

Cada neurona realiza una funcin matemtica. Las neuronas se agrupan en capas,

constituyendo una red neuronal. Una determinada red neuronal est confeccionada y

entrenada para llevar a cabo una labor especfica. Finalmente, una o varias redes, ms las

interfaces con el entorno, conforman el sistema global.

En las redes neuronales biolgicas, las neuronas corresponden a los elementos de proceso.Las interconexiones se realizan por medio de las ramas de salida (axones) que producen un

nmero variable de conexiones (sinapsis) con otras neuronas o con Elaboracin y diseo en

formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central otras partes

como msculos y glndulas. Las redes neuronales son sistemas de elementos simples de

proceso muy interconectados.


11/27

La compleja operacin es el resultado de abundantes lazos de realimentacin junto con no

linealidades de los elementos de proceso y cambios adaptativos de sus parmetros, que

pueden llegar a definir fenmenos dinmicos muy complicados.

Los modelos neuronales se diferencian en la funcin que incorpora la neurona, su organizacin

y forma de las conexiones. Sarle (1994) compara los modelos neuronales con los modelos

estadsticos ms convencionales, encontrando que la mayora de los modelos neuronales

tienen un equivalente tradicional.

Formalmente, un sistema neuronal o conexionistaest compuesto de los siguientes elementos:

Un conjunto de procesadores elementales o neuronas artificiales. Un patrn de conectividad o arquitectura.

Una dinmica de activaciones.

Una regla o dinmica de aprendizaje.

El entorno donde opera.

CARACTERSTICAS

Debido a su constitucin y fundamentos, las redes neuronales artificiales presentan un gran

nmero de caractersticas similares a las del cerebro. Por ejemplo, son capaces de aprender de

la experiencia, de generalizar de casos anteriores a nuevos casos, de abstraer caractersticas

esenciales a partir de entradas que presentan informacin irrelevante, etc.

Procesamiento paralelo:

Esta caracterstica resulta esencial, como se puede deducir de un sencillo ejemplo.

Un computador convencional tipo PC, que trabaja secuencialmente las Elaboracin y

diseo en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca

Central UNMSM instrucciones, empleara varios minutos en realizar sobre una imagen


12/27

compuesta por 256 x 256 pxeles, una sencilla tarea de tratamiento en bajo nivel

(acentual contrastes, extraer contornos, etc.), mucho ms simple que la que lleva a

cabo el sistema visual biolgico para reconocer una imagen. Un sistema basado en 16

DSP (por ejemplo, del modelo TMS32020, clsico DSP de Texas Instruments)

operando en paralelo empleara un tiempo del orden de 20 milisegundos en la mismatarea, puesto que cada uno puede operar en paralelo sobre diferentes reas de la

imagen.

Por otra parte, el cerebro tarda aproximadamente lo mismo para preprocesar una

imagen compuesta por millones de pxeles (los que representan los conos y bastones

de la retina), extraer sus rasgos caractersticos, analizarla e interpretarla.

La clave reside en los miles de millones de neuronas que intervienen en el

proceso de visin, operando en paralelo sobre la totalidad de la imagen.

Memoria Distribuida:

Mientras en un computador la informacin ocupa posiciones de memoria bien definidas,

en los sistemas neuronales se encuentra distribuida por las sinapsis de la red, de modo

que si una sinapsis se daa solamente perdemos una pequea parte de la informacin.

Aprendizaje adaptativo:

La capacidad de aprender a realizar tareas basada en un entrenamiento o en una

experiencia inicial elimina la necesidad de elaborar modelos a priori o de especificar

funciones de distribucin de probabilidad.

Las redes neuronales son sistemas dinmicos auto adaptativos. Son adaptables

debido a la capacidad de auto ajustarse que tienen las neuronas. Son dinmicos, pues

son capaces de estarse adaptando constantemente a las nuevas condiciones.

Auto organizacin:

Las redes neuronales utilizan su capacidad de aprendizaje adaptativo para organizar la


13/27

informacin que reciben durante el aprendizaje y/o la operacin.

Mientras el aprendizaje es la modificacin de cada elemento procesal, la auto

organizacin consiste en la modificacin de la red neuronal completa para llevar a cabo

un objetivo especfico.

Esta auto organizacin da lugar a la generalizacin: facultad de responder

apropiadamente cuando se les presentan datos o situaciones a los que no haban sido

expuestas anteriormente. El sistema puede generalizar la entrada para obtener una

respuesta. Esta caracterstica es de especial importancia cuando se tiene que

solucionar problemas para los cuales la informacin de entrada es poco clara; permite

adems que el sistema d una solucin incluso cuando la informacin de entrada est

especificada en forma incompleta.


14/27

ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL

Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro.

Como modelos, son una simplificacin de lo que emulan, incorporando los elementos

relevantes del sistema. Una eleccin adecuada de sus caractersticas, ms una estructura

conveniente, es el procedimiento convencional utilizado para construir redes capaces de

realizar una determinada tarea.

Un modelo de red neuronal consta de dispositivos elementales de proceso: las neuronas. A

partir de ellas se pueden generar representaciones especficas, de modo que un estado

conjunto de ellas puede representar una letra, un nmero o cualquier objeto.

Generalmente se pueden encontrar tres tipos de neuronas:

1. Aquellas que reciben estmulos externos, relacionadas con el aparato sensorial, que toman

la informacin de entrada.

2. Esta informacin se trasmite a ciertos elementos internos que se ocupan de su

procesamiento. Es en las sinapsis y neuronasde este segundo nivel donde se genera cualquier

tipo de representacin interna de la informacin. Puesto que no tienen relacin directa con la

informacin de entrada ni con la de salida, estos elementos se denominan unidades ocultas.

3. Una vez que ha finalizado el procesamiento, la informacin llega a las unidades de salida,

cuya misin es dar la respuesta del sistema.

La neurona artificial pretende emular las caractersticas de las neuronas biolgicas.

Cada neurona i-sima est caracterizada en cualquier instante por un valor numrico

denominado valor o estad o de activacin ai(t). Asociado a cada unidad, funcin de sal ida

f i, que transforma el estado actual de activacin en una seal de sali da, yi.


15/27

La dinmica que rige la actualizacin de los estado de las neuronas (evolucin de la red

neuronal) puede ser de dos tipos: asincrnico y sincrnico. En el primer caso, las neuronas

evalan su estado continuamente, segn les va llegando informacin, y lo hacen de forma

independiente. En el caso sincrnico, aunque la informacin llega de forma continua, los

cambios se realizan simultneamente. Los sistemas neuronales biolgicos muy probablementeactan de una forma mixta.

La Neurona Artificial

Si tenemos N unidades (neuronas), podemos ordenarlas arbitrariamente y designar la j-sima

unidad como Uj. Su trabajo consiste nicamente en recibir las entradas de las neuronas

vecinas y calcular un valor de salida, que es enviado a todas las neuronas restantes.

Es til identificar tres tipos de unidades: entradas, salidas y ocultas.


16/27

Las unidades de entrada reciben seales desde el entorno. Estas entradas (que son

entradas a la red) pueden provenir de sensores o de otros sectores del sistema.

Las unidades de salida envan la seal fuera del sistema. Estas pueden controlar

directamente potencias u otros sistemas.

Las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro del

sistema, es decir, no tienen contacto con el exterior.

Estado de Activacin

Adems del conjunto de neuronas, la representacin necesita considerar los estados del

sistema en un tiempo t. Esto se especifica por un vector de N nmeros reales A(t), que

representa el estado de activacin del conjunto de neuronas.

Cada elemento del vector representa la activacin de la unidad en el tiempo t. Si la activacin

de la unidad Uien el tiempo tse designa por ai(t), tenemos:

A(t) = (a1(t), a2(t), ...., ai(t), , aN(t))

El procesamiento que realiza la red se ve como una evolucin de un patrn de activacin en el

conjunto de neuronas que lo componen, a travs del tiempo.

Todas las neuronas que conforman la red se hallan en cierto estado. Podemos decir que hay

dos posibles estados: reposo y excitado, llamados genricamente estados de activacin; a

cada uno de los cuales se le asigna un valor. Estos valores pueden ser a su vez continuos o

discretos.

Funcin de Salida o de Transferencia

Entre las neuronas que componen la red existe un conjunto de conexiones que las unen. Cada

neurona trasmite seales a aquellas que estn conectadas con su salida.

Asociada a cada unidad Ui hay una funcin de salida fi(ai(t)), que transforma el estado actual

de activacin ai(t)en una seal de salida yi(t); es decir: yi(t) = fi(ai(t))


17/27

La funcin escaln o umbral nicamente se utiliza cuando las salidas de la red son binarias. La

salida de una neurona se activa slo cuando el estado de activacin es mayor o igual que cierto

valor umbral (la funcin puede ser desplazada sobre los ejes).

La funcin lineal o identidad equivale a no aplicar funcin de salida, y se usa muy poco.

Las funciones mixta y sigmoidal son las ms apropiadas cuando queremos como salida unainformacin analgica.

En ambos casos se ha tomado que el umbral es cero; en caso de no serlo, el escaln

quedara desplazado


18/27


19/27

Conexiones entre Neuronas

Las conexiones entre las neuronas de una red tienen asociado un peso, que es el quehaceque la red adquiera conocimiento.

Funcin o Regla de Activacin

As como es necesario una regla que combine las entradas a una neurona con los pesos de

sus conexiones, tambin se requiere una regla que combine las entradas con el estado actual

de la neurona, para producir un nuevo estado de activacin. Esta funcin, F, produce un nuevoestado a partir del estado (ai)que exista y la combinacin de las entradas con los pesos de las

conexiones ( neti).

Dado el estado de activacin ai(t) de la neurona Ui, y la entrada total que llega a ella, Neti, el

estado de activacin siguiente, ai(t+1)se obtiene aplicando la funcin de activacin F:


20/27

ai(t+1) = F(ai(t), Neti)

En la mayor parte de los casos, F es la funcin identidad, por lo que el estado de

activacin de una neurona en t+1coincide con el Netde la misma en el tiempo t. En este caso,la salida de la neurona i (yi) ser:

Normalmente la funcin de activacin no est centrada en el origen del eje que

representa el valor de la entrada neta, sino que existe cierto desplazamiento debido a las

caractersticas internas de la propia neurona, y que no es igual en todas ellas. Este valor se

denota como i, y representa el umbral de activacin de la neurona i.

En el caso de neuronas de respuesta todo-nada, este parmetro representa el umbral de

disparo de la neurona, es decir, el nivel mnimo que debe alcanzar el potencial post sinptico

para que la neurona se dispare o active.


21/27

Regla de Aprendizaje

El aprendizaje se entiende como la modificacin del comportamiento inducido por la

interaccin con el entorno, y como resultado de experiencias conducente alestablecimiento de

nuevos modelos de respuesta a estmulos externos .

Biolgicamente, se suele aceptar que la informacin memorizada en el cerebro est ms

relacionada con los valores sinpticos de las conexiones entre las neuronas, que con ellas

mismas; es decir, el conocimiento se encuentra en las sinapsis.

En el caso de las redes neuronales artificiales, el conocimiento se encuentra representado en

lospesosde las conexiones entre neuronas. Todo proceso de aprendizaje implica cambios en

estas conexiones, es decir, se aprendemodificando los valores de los pesos de la red.

Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren

modificaciones, por lo tanto se puede afirmar que la red ha aprendido cuando los valores de

los pesos permanecen estables ( dwij/dt = 0).

Formas de Conexin entre Neuronas

La conectividad entre los nodos de una red neuronal est relacionada con la forma en que las

salidas de las neuronas estn canalizadas para convertirse en entradas de otras neuronas. La

seal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser

una entrada de s mismo en una conexin auto recurrente.

Cuando ninguna salida de las neuronas de una capa es entrada de neuronas del mismo nivel

o de niveles precedentes, se dice que la red tiene prop agacin h acia delante. En caso

contrario se dice que la red es de prop agacin h acia at rs. Las redes de propagacin haciaatrs que tienen lazos cerrados se dice que son sistemas recurrentes.


22/27

Estructura de una red multinivel con todas las conexiones hacia adelante


23/27

TOPOLOGA DE LAS REDES NEURONALES

Se denomina topologa o arquitectura de la red a la organizacin y disposicin de las neuronasen la red formando capas ms o menos alejadas de la entrada y salida de la red. As, los

parmetros fundamentales de la red son: el nmero de capas (monocapa o multicapa), el

nmero de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas

(unidireccionales o recurrentes).

Redes Neuronales Monocapa

Se utilizan tpicamente en tareas relacionadas con la autoasociacin; por ejemplo pararegenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas.

Redes Neuronales Multicapa

Cuando todas las neuronas de una capa reciben seales de entrada de otra capa anterior,ms cercana a la entrada a la red, y envan seales de salida a una capa posterior, estamos

ante una red de conexiones hacia delante o feedforward. En las conexiones hacia atrs o

feedbacklas salidas de las neuronas de capas posteriores se conectan a las entradas de capas

anteriores.


24/27

Estas caractersticas permiten distinguir dos tipos de redes entre las multicapa: las redes con

conexin hacia delante o redes feedforward, y redes que disponen de conexiones tanto hacia

delante como hacia atrs, o redes feedforward/feedback.

Las redes feedforward son especialmente tiles en aplicaciones de reconocimiento oclasificacin de patrones.

Por otro lado, la mayora de las redes multicapa son bicapa. Este tipo de estructura es

particularmente adecuada para realizar una asociacin de una informacin o patrn de entrada

con otra informacin o patrn de salida en la segunda capa. Una red multicapa muy particular

es la NEOCOGNITRON, en la que las neuronas se disponen en planos superpuestos (capas

bidimendionales), permitiendo eliminar las variaciones geomtricas (tamaos, giros,

desplazamientos) o distorsiones que presenten las informaciones o patrones de entrada a lared.


25/27

ALGORITMOS NEURONALES

Los modelos neuronales utilizan varios algoritmos de estimacin, aprendizaje o entrenamiento

para encontrar los valores de los parmetros del modelo, que en la jerga de las redesneuronales se denominan pesos sinpticos.

El entrenamiento se realiza mediante patrones-ejemplo, siendo dos los tipos de aprendizaje:

supervisado y no supervisado.

El aprendizaje supervisado

Si la red utiliza un tipo de aprendizaje supervisado debemos proporcionarle parejas de patronesentrada-salida y la red neuronal aprende a asociarlos. En terminologa estadstica equivale a

los modelos en los que hay vectores de variables independientes y dependientes: tcnicas de

regresin, anlisis discriminante, modelos de series temporales, etc.

En este tipo de aprendizaje se suelen considerar tres formas: Aprendizaje por correccin de

error, Aprendizaje por refuerzo y aprendizaje estocstico.

a.1) Aprendizaje por correccin de error.

Consiste en ajustar los pesos de las conexiones de la red en funcin de la diferencia entre los

valores deseados y los obtenidos en la salida; es decir, en funcin del error cometido.

Una regla o algoritmo simple de aprendizaje por error podra ser como la siguiente:

wji = yi (dj yj)


26/27

Donde:

wji : Variacin en el peso de la conexin entre las neuronas iyj

yi: Valor de salida de la neurona i.

dj: Valor de salida deseado para la neuronaj.

yj: Valor de salida obtenido de la neuronaj.

: Factor de aprendizaje (0 <


27/27

por lo que la red genera en estos casos. Existen varias posibilidades en cuanto a la

interpretacin de las salidas, que dependen de su estructura y del algoritmo de aprendizaje

empleado.

redes neuonales

Documents