conexionismo

5/23/2018 Conexionismo

1/89

- 1 -

NDICE

1. Introduccin2. Caractersticas generales del enfoque conexionista3. Implementacin de las redes neuronales4. Campos de aplicacin de las redes neuronales5. Diferencias entre el conexionismo y los modelos cognitivos tradicionales

5.1. Inspiracin neuro-fisiolgica5.2. El procesamiento es paralelo, no serial5.3. Procesamiento y representacin de la informacin distribuido, no localista5.4. Computacin sin reglas5.5. Degradacin elegante. Tolerancia a fallos

6. Breve historia del conexionismo6.1. Hasta la primera mitad de nuestro siglo6.2. Aos cincuenta y sesenta

6.2.1. La memoria asociativa6.2.2. El reconocimiento de patrones6.2.3. Limitaciones de perceptrones y adalines elementales

6.3. Aos setenta y ochenta7. Elementos de las arquitecturas conexionistas

7.1. Conceptos y elementos de la estructura conexionista 7.1.1. Las unidades7.1.2. Las conexiones entre las unidades (las sinapsis)7.1.3. Peso sinptico7.1.4. El patrn de conexin

7.2. Conceptos y mecanismos bsicos para el procesamiento en las redesconexionistas

7.2.1. Notacin utilizada para representar los elementos y mecanismos delas redes conexionistas

7.2.2. La entrada (input) total. la regla de propagacin7.2.3. El estado de activacin7.2.4. La regla o funcin de activacin

7.2.4.1.Concepto y frmula general


2/89

- 2 -

7.2.4.2.Tipos de funciones de activacin7.2.5. La salida de las unidades. la funcin de transferencia

7.2.5.1.Concepto y frmula general de la funcin de transferencia7.2.5.2.Tipos de funcin de salida o de transferencia

7.2.6. Reglas de aprendizaje7.2.6.1.Concepto y modelos de aprendizaje7.2.6.2.Regla de Hebb (o regla del producto)7.2.6.3.Regla de Widrow-Hoff o regla delta o regla del menor

error cuadrtico

7.2.6.4.Regla delta generalizada (o regla de propagacin haciaatrs)

8. Algunos modelos de Redes neuronales8.1. Redes de McCulloch-Pitts o redes de neuronas formales8.2. Perceptrones8.3. El Pandemonium: un modelo para el reconocimiento de patrones

8.3.1. La tarea de reconocimiento de patrones: dos explicaciones, elmodelo de plantillas y el modelo de anlisis de caractersticas

8.3.2. El pandemonium: rasgos principales8.3.3. El pandemonium: base experimental8.3.4. El pandemonium: dificultades8.3.5. El pandemonium y el conexionismo

9. NETtalk: aprender a leer en ingls10.Redes neuronales para explicar el cerebroBibliografa bsica en castellano


3/89

- 3 -

1. INTRODUCCIN

La psicologa cognitivacomo paradigma psicolgico tiene una historia reciente:aunque algunas propuestas de finales de los aos cuarenta y de la dcada de los

cincuenta se pueden considerar como primeros esbozos de esta forma de hacer

psicologa, es a partir de los aos sesenta cuando realmente se empieza a extender por el

mundo entero, compitiendo en los centros de estudio y de investigacin con el

conductismo, al que finalmente parece haber desbancado como paradigma dominante.

El conductismosupuso uno de los mayores esfuerzos de los psiclogos por hacer

de su disciplina una ciencia. Los principios metodolgicos que exigieron a la psicologa(experimentacin, rechazo de la introspeccin, empleo de categoras explicativas

definidas operacionalmente,...) supuso un adelanto y una conquista que la mayora de

los psiclogos consideran irrenunciable. Sin embargo, estos triunfos se vieron

claramente empaados en cuestiones fundamentales: el conductismo es una psicologa

sin sujeto(psicologa del organismo vaco); su pretensin terica fundamental consiste

en explicar toda la conducta a partir del aprendizaje: son los refuerzos y los estmulos

presentes en la vida de los organismos los que determinan su modo de relacionarse con

el medio y de resolver sus problemas adaptativos. Esta paradjica renuncia al sujetopara explicar lo que el sujeto hace se puede plantear en los trminos tradicionales de

cuerpo y mente: el conductismo da poca importancia al cuerpo y a las predisposiciones

genticas de la conducta; pero tambin rechaza la mente, prescinde de forma explcita y,

en muchos casos combativa, de la mente como elemento explicativo. La psicologa

conductista estudia la conducta para explicar la conducta.

Esta idea del ambientalismo y del organismo vaco entra en crisis en los aos

sesenta. Por un lado los etlogos y las investigaciones en neurociencias y por otro losdesarrollos de la propia la psicologa, van a cuestionar estos principios explicativos

bsicos.

Por parte de la psicologa cognitiva, la crtica se referir bsicamente al olvido

de la mente. Sabemos por qu result atractiva la psicologa cognitiva: de nuevo se

introducen en la psicologa temas como el de la atencin, la percepcin, la memoria, el


4/89

- 4 -

pensamiento, el lenguaje, temas que parecen irrenunciables para toda psicologa que

quiera ser completa y que el conductismo a duras penas pudo incluir en sus

investigaciones. Y como compendio de todas estas capacidades y actividades, la mente.

De nuevo la mente entra en la psicologa, y, adems, explicada con mtodos que

heredan del conductismo la pretensin de objetividad: la psicologa cognitiva rechazatambin la introspeccin como acceso privilegiado a lo psquico favoreciendo los

informes objetivos obtenidos en laboratorio. Simplificando, el mentalismo tradicional

quiere estudiar la mente mirando a la mente, la psicologa cognitiva quiere estudiar la

mente mirando la conducta. Considera irrenunciable la referencia a la mente como

causade la conducta, pero tambin considera irrenunciable la observacin objetiva de la

conducta para el descubrimiento de las estructuras y procesos mentales supuestamente

elicitadores de la conducta.

Pero la diferencia con otros mentalismos no est slo del lado del mtodo (el

conductismo metodolgicodel cognitivismo frente a la introspeccin del mentalismo

tradicional), sino, ms importante an, de los conceptos y categoras fundamentales con

los que intenta comprender la mente: la diferencia esencial est en la idea de mente.

La categora explicativa bsica que utiliza el paradigma cognitivo es la de

informacin: la mente es una entidad capaz de recibir, almacenar y procesar de

diversos modos la informacin, y de generar una conducta en virtud de dichas

actividades. Esta tesis primordial tiene importantsimas consecuencias en la idea de

mente y de psicologa propuesta por este paradigma. Por ejemplo, parece claro que las

actividades mentales que no son cogniciones, las actividades mentales que no consisten

en informar o describir el mundo, slo con enormes dificultades pueden entrar en el

programa de investigacin cognitivo: aqu hay que incluir fundamentalmente el mundo

de las emociones y el de la motivacin: estar triste no es tener un estado informativo

determinado, desear no es tener una representacin del mundo, aunque, evidentemente,

la informacin manejada por el sujeto tiene clara influencia tanto en la emocin y elsentimiento como en el deseo y la voluntad. En trminos clsicos, la psicologa

cognitiva estudia la dimensin intelectual de la psque, pero no la emotiva y la volitiva.

En la forma de entender la informacin y el modo de procesar la informacin

fueron importantes tanto ciertas ideas filosficas como los avances tecnolgicos en

informtica. Por parte de la filosofa, la influencia ms clara tiene que ver con tesis


5/89

- 5 -

racionalistas. En primer lugar por la importancia que se le da a las representaciones: el

trato con la cosas est determinado por el conocimiento que el sujeto tiene del mundo,

conocimiento que ha de estar presente de algn modo en l para que su conducta resulte

eficaz. A esta forma vicaria de estar el mundo se le suele llamar representacin, y la

investigacin de su estatuto y peculiaridades es precisamente uno de los temasprincipales en el paradigma cognitivo. Estas entidades tienen contenido semntico,

significan algo (por ejemplo, conceptos, figuras, formas, ngulos, notas o

propiedades,...) y gracias a dicho significado se refierenal mundo De este modo, las

representaciones son las unidades informativas que maneja el sujeto y cuyo

procesamiento determina la conducta. Pero las representaciones se combinan unas con

otras siguiendo reglas y el rendimiento de cada una de las facultades mentales

(percepcin, memoria, lenguaje, atencin,...) se define a partir de las distintas reglas de

transformacin y combinacin de representaciones. De este modo, reglas y

representaciones son dos de los elementos conceptuales bsicos del cognitivismoy dan

lugar al programa de investigacin caracterstico de este paradigma.

La tecnologa existente estableci el modo concreto de concebir las formas de

instanciar la representacin y de procesar la informacin. Aunque en los primeros aos

de la informtica hubo algunos intentos de construir sistemas artificiales de

procesamiento que reprodujesen algunos aspectos muy abstractos del cerebro (el

Perceptrn, por ejemplo), el modelo que sin embargo tuvo xito fue el del ordenadorVon Neumann (los ordenadores actuales son ejemplos de este modelo). Sus

caractersticas principales son las siguientes:

1. la informacin est localizadaen partes fsicas concretas: si guardo en el discoduro de mi ordenador lo que ahora estoy escribiendo, la informacin se

almacenar fsicamente en un lugar preciso, al que el ordenador sabr acceder

mediante un sistema preciso de direcciones;

2.

la informacin se procesa en serie,si hago que corra un programa en miordenador, las instrucciones de que ste consta se realizarn siguiendo un orden,

y una en cada unidad de tiempo, nunca dos en el mismo momento (decimos que

no hay dos procesadores, sino uno);


6/89

- 6 -

3. adems, la informacin con la que trabaja el ordenador es significativa almenos en el nivel del programador: una palabra, una letra, una lnea, un ngulo,

una figura,...

4. el ordenador consta de partes fsicamente diferenciadas para tareas realmentediferentes: grandes estructuras como la memoria, los perifricos, la unidadlgico-matemtica, la unidad de procesamiento central...

5. la informacin est controlada desde una parte del ordenador privilegiada: launidad central de procesamiento, unidad que se encarga de establecer las

jerarquas en la actuacin y el control del sistema;

6. las reglas de procesamiento describen transformaciones que atienden arestricciones lgicas, semnticas y sintcticas.

La psicologa cognitiva clsica tom estas ideas y las traslad a la psicologa: seentendi que la mente era como un programa informtico y el cerebro como el

hardware del ordenador. Se intent describir el flujo de la informacin con la idea de

que la mente procesa la informacin, que consta de macroestructuras que la transforman

a su manera, se busc el autntico modo de darse las representaciones,... hasta que en la

segunda mitad de los aos ochenta se produce una modificacin sustancial en el

paradigma cognitivo con el desarrollo del conexionismo. En 1986 D. E. Rumelhart y J.

L. McClelland editan Parallel Distributed Processing, obra considerada como la

Biblia del conexionismo y que supuso el cambio de rumbo en la psicologa cognitiva.Es comn sealar la radicalidad de dicho cambio, hasta el punto de que algunos autores

sealan que con el conexionismo se da realmente un cambio de paradigma. Aunque

slo tras la lectura de la totalidad de este informe sobre el conexionismo se puede

apreciar de un modo ms cabal el contraste entre estas dos formas de hacer psicologa

cognitiva, se pueden adelantar algunas importantes semejanzas y diferencias entre

ambos enfoques:

Parece claro que un primer punto comn es la referencia a la computacin:ambas teoras entienden la mente como un sistema que procesa informacin y

responde al medio a partir de dicho procesamiento. Pero ni siquiera en este

punto, que sin duda es el que da continuidad a las dos corrientes, se da el

acuerdo:


7/89

- 7 -

o La psicologa cognitiva clsica entiende el procesamiento como la aplicacinde un conjunto de reglas a entidades situadas en el nivel de la psicologa

popular (creencias y deseos, bsicamente); el conexionismo entiende el

procesamiento como el clculo de las seales de salida que realizan las

unidades de una red a partir de los cmputosque realizan en funcin de lospesos de las conexiones y de determinadas funciones matemticas que

determina la activacin de dichas unidades y las salidas correspondientes a

cada una de ellas. Para el conexionismo la computacin nose realiza sobre

entidades reconocibles desde el nivel de lapsicologa popular.

o Las dos teoras proponen el uso de la simulacin por ordenador para lacomprobacin de las hiptesis relativas a los procesos mentales, pero la

psicologa cognitiva clsica propone la simulacin en el ordenador

convencional y el conexionismo la simulacin mediante arquitecturas

semejantes a la del cerebro.

o La psicologa cognitiva clsica propone la lgicay las reglas que imponenrestricciones semnticas y sintcticas para realizar los cmputos (como

ocurre en los programas de ordenador de la Inteligencia Artificial

tradicional); el conexionismo, sin embargo utiliza herramientas

matemticas, particularmente estadsticas, para la realizacin de los

cmputos que se supone realiza nuestra mente.

El objetivode la psicologa cognitiva clsica es el descubrimiento de las reglasque rigen los procesos mentales y de los elementos o estructuras bsicas del

procesamiento humano; el del conexionismo es el descubrimiento de redes

adecuadas para la simulacin de tareas caractersticamente mentales y de reglas

de aprendizaje eficientes.

Otro contraste que se suele destacar es el que se refiere al aprendizaje: losmodelos clsicos rechazan el asociacionismo y tienen a defender posicionesinnatistas, el conexionismo parece una vuelta al asociacionismo (en ltimo

trmino las redes neuronales no son otra cosa que asociaciones entre unidades)

y, puesto que las redes comienzan el aprendizaje con pesos establecidos

aleatoriamente, tiende a defender la idea de la mente como una tabula rasa o

papel en blanco, siendo la experiencia, el ambiente en el que se desenvuelve la


8/89

- 8 -

red, y no factores innatos, la que provoca la aparicin de los pesos adecuados

para el procesamiento y el almacenamiento de la informacin. Algunos autores

consideran que estas diferencias separan al conexionismo de la psicologa

cognitiva y lo aproximan al conductismo pues, aunque no exactamente en el

mismo sentido, ste tambin defiende el asociacionismo y el ambientalismo

2. CARACTERSTICAS GENERALES DEL ENFOQUE CONEXIONISTA

En psicologa, esta nueva forma de estudiar y explicar la mente y la conducta

recibe el nombre de conexionismo (aunque otros prefieren el trmino

neoconexionismo, para distinguirlo del antiguo conexionismo propuesto porAlexander Bain en la segunda mitad del siglo XIX, autor que tambin subray la

importancia de las conexiones entre neuronas as como la investigacin y

experimentacin fisiolgica). Dado que para este paradigma el procesamiento y el

almacenamiento de la informacin recae en amplios conjuntos de elementos simples

(las unidades de las redes conexionistas), el modelo de procesamiento conexionista se

llama tambin Procesamiento Distribuido en Paralelo(o PDP).

EnInteligencia Artificial, los mtodos de computacin basados en redes neurales

se incluyen en un campo de computacin que prescinde del enfoque algortmico

tradicional y tomo como modelo los sistemas biolgicos; esta nueva forma de

computacin incluye, entre otras, la lgica borrosa, las redes neuronales y el

razonamiento aproximado, y recibe los nombres de computacin cognitiva,

computacin del mundo real o computacin Soft, para distinguirlo del enfoque

algortmico tradicional o Computacin Hard.

En psicologa llamamos conexionismo al paradigma que utiliza redes neuronales

para comprender y explicar la vida psquica y la conducta. Las redes neuronales son

conjuntos de unidades interconectadas masivamente capaces de procesar y almacenar

informacin mediante la modificacin de sus estados. Aunque la siguiente afirmacin

exigira importantes precisiones, en general se puede decir que el psiclogo

conexionista considera que ha explicado un fenmeno psicolgico (el reconocimiento

de formas, la produccin de lenguaje, la memoria,...) cuando el modelo neuronal que


9/89

- 9 -

construye se comporta del mismo modo que los seres humanos cuando realizan la

misma tarea. No hay que olvidar que el conexionismo participa de una idea comn con

la psicologa cognitiva clsica: para la psicologa cognitiva (tanto la clsica como el

conexionismo) la mente es un sistema capaz de procesar informacin, un sistema

capaz de recibir seales de entrada, almacenar informacin y provocar informacin desalida a partir la informacin de entrada, la informacin almacenada y los mecanismos

de cmputo. Dada esta suposicin de que los fenmenos mentales y la conducta son

consecuencia de elementos internos al sujeto, el conexionismo considera adecuada la

explicacin cuando la red que construye es capaz de realizar, a partir del vector de

entrada, los distintos cmputos que provocan el vector de salida deseado.

Los elementos caractersticos presentes en la mayora de los modelos

conexionistas son los siguientes:1. La red es un conjunto de unidades de procesamiento (neuronas) muy

simples.

2. Dichas unidades interactan entre s mediante las conexiones que losasocian.

3. Losestmulosque afectan a las unidades de entrada se expresan en trminoscuantitativos.

4.

Toda unidad de la red viene definida por un nivel de activacinexpresadode forma cuantitativa.

5. Toda conexin viene caracterizada por un valor de fuerza del trazo o peso dela conexin, tambin expresado de forma cuantitativa.

6. El procesamiento y almacenamientode la informacin se realiza de formaparalela y distribuida.

7. Existen reglas o funciones que computan la informacin en distintosniveles del procesamiento (para la modificacin del nivel de activacin a

partir de las entradas, para la produccin de la salida a partir del nivel de

activacin,...).

8. Existen reglas o funciones de aprendizaje que le permiten a la redmodificar los pesos de las conexiones para acomodar de modo cada vez ms

perfecto la informacin de entrada a la salida requerida.


10/89

- 10 -

9. La funcin de cada unidad es simplemente realizar clculos con lasentradas que reciben y producir la informacin que envan a las unidades con

las que estn conectadas.

10.Las seales de salida que emite la red se expresan en trminoscuantitativos.

11.Dado que toda la actividad de la red no es otra cosa que clculos otransformaciones de nmeros, se puede afirmar que en realidad la red neural

es un dispositivo para computar una funcin, un sistema capaz de

transformar la informacin de entrada en informacin de salida. La funcin

presente en la red y que realiza el cmputo es bsicamente el patrn o

conjunto de pesos sinpticosde las unidades.

3. IMPLEMENTACIN DE LAS REDES NEURONALES.

Las redes neuronales suelen implantarse en los ordenadores tradicionales,

ordenadores seriales con arquitectura Von Neumann. Pero, naturalmente, las mquinas

ms adecuadas para este tipo de sistemas de computacin son aquellas que reproducen

en su arquitectura la propia arquitectura de la red. Las mquinas ms conocidas son los

neurocomputadores y los neurochips.

Neurocomputadores: constan de un conjunto de procesadores conectados entres y que operan concurrentemente. Por ejemplo, el MARK IV est formado por

un conjunto de procesadores Motorola 68020 asociados cada uno de ellos a un

coprocesador matemtico, es capaz de simular hasta 256.000 neuronas y

5.500.000 sinapsis, y puede alcanzar una velocidad de 5.000.000 deinterconexiones por segundo. El ANZA Plus puede simular redes de hasta

1.000.000 de neuronas y 15.000.000 de conexiones, a velocidades de 1.500.000

conexiones por segundo.


11/89

- 11 -

Neurochips: en este caso las redes neuronales se implementan en o uno o varioscircuitos integrados especficos. Soportan menos neuronas que los

neurocomputadores, pero la velocidad es muy superior que en los

neurocomputadores pues las interconexiones entre neuronas se encuentran

dentro del propio chip. No son productos comerciales y los encontramos

fundamentalmente en las universidades y los centros de investigacin. Un

ejemplo de estas mquinas es el chip N64 de Intel, que incluye 64 neuronas,

10.000 sinapsis y cuya velocidad de procesamiento es de 2.500 conexiones por

segundo.

Neurocomputadores de propsito especial: las mquinas anteriores son depropsito general, pero existen tambin algunas mquinas que han sido

diseadas para implementar un modelo especfico de red neuronal.

4. CAMPOS DE APLICACIN DE LAS REDES NEURONALES

La mayora de los modelos existentes tienen que ver con el reconocimiento de

patrones: buscar un patrn a partir de una serie de ejemplos, clasificar patrones,

identificar un estmulo, reconstruir un patrn a partir de datos distorsionados o

incompletos,... Muchas redes neuronales trabajan a partir de datos sensoriales y otras a

partir de datos introducidos por el usuario.

Los campos de aplicacin son fundamentalmente la psicologa(en los campos de

percepcin, memoria, pensamiento, aprendizaje y lenguaje) y la Inteligencia Artificial,

aunque tambin encontramos ejemplos en biologa(modelos de retina y del neocortex,

por ejemplo).

Las aplicaciones obtenidas en Inteligencia Artificial se utilizan en muchos

dominios: por ejemplo, en medicina (diagnstico y tratamiento a partir de datos


12/89

- 12 -

obtenidos mediante electrocardiograma, encefalograma, anlisis sanguneo, ...), el

ejrcito (clasificacin de las seales de radar; creacin de armas inteligentes,

reconocimiento y seguimiento en el tiro al blanco,...), la empresa y la industria

(reconocimiento de caracteres escritos, optimizacin de plazas y horarios en lneas de

vuelo, construccin de robots y sistemas de control,).

5. DIFERENCIAS ENTRE EL CONEXIONISMO Y LOS MODELOS

COGNITIVOS TRADICIONALES

Como consecuencia de las caractersticas citadas en la seccin 2, el conexionismo

presenta importantes diferencias respecto de los modelos que encontramos en la

psicologa cognitiva clsica. Veamos alguna de ellas.

5.1. Inspiracin neurofisiolgica.

La psicologa cognitiva clsica no daba importancia a la base orgnica de la vida

mental. Cabe recordar que incluso sus propios postulados bsicos le llevaron a

considerar que la lgica existente en los procesos mentales se puede comprender y

explicar con independencia de su realizacin en un sistema fsico (esto es lo que afirma

la tesis del funcionalismo, la teora filosfica de la mente compartida por los psiclogos

cognitivos). El conexionismo, sin embargo, toma al cerebro como modelo de

procesamiento y su inspiracin neurofisiolgica aproxima la psicologa a la biologa. Si

en la psicologa cognitiva clsica la metfora dominante era la metfora del ordenador,ahora, en el conexionismo, la metfora es el cerebro: la primera psicologa clsica

consideraba que podamos entender el comportamiento de la mente comprendiendo el

comportamiento del ordenador tipo Von Neumann, sin embargo el conexionismo

afirma que podemos entender el comportamiento de la mente si comprendemos el

comportamiento del cerebro humano. Con el conexionismo la Inteligencia Artificial, la


13/89

- 13 -

Psicologa y la Biologa se convierten en disciplinas ms prximas que lo que permita

el enfoque de la psicologa cognitiva clsica. Claro est que esta aproximacin es

interesante desde el punto de vista de la unidad de las ciencias y la posicin materialista

dominante, pero tambin puede ser una dificultad para los que quieren defender la

posibilidad de la psicologa como ciencia independiente; de hecho las posicionesfilosficas de los conexionistas en el tema del estatuto de la mente tienden a ser

reduccionistas o a defender el materialismo eliminativo (en lo esencial, tesis segn la

cual los estados mentales no tienen autntica realidad, son epifenmenos y, por lo mismo,

no pueden ser causas de las conductas).

Aunque tambin existen redes neuronales que intentan ser modelos de los

procesos reales de partes del cerebro, las que interesan a la psicologa no intentan imitar

el comportamiento del sistema nervioso sino de la mente. El conexionismo quiere seruna teora psicolgica no una teora fisiolgica. Sin embargo, s se puede hablar de

inspiracin biolgica en los modelos mentales propuestos. Las redes neuronales

intentan reproducir las caractersticas principales del comportamiento del cerebro,

particularmente de su estructura fisiolgica bsica, la neurona, y de su agrupacin en

estructuras complejas o redes de neuronas. A continuacin vamos a fijarnos en los

aspectos ms elementales de las redes neuronales biolgicas, aspectos que las redes

conexionistas intentan emular.

Las unidades bsicas del sistema nervioso son las neuronas. Estas unidades se

conectan unas con otras formando redes extraordinariamente complejas. La principal

funcin de las neuronas es recoger seales de diversas fuentes, transformarlas y

producir seales de salida que transmiten a otras neuronas u otras partes del organismo.

De este modo, en el cerebro el procesamiento de la informacin es paralelo y

distribuido, paralelo en tanto que las seales recibidas las procesan simultneamente

millones de conexiones diferentes, y distribuido porque la responsabilidad del

almacenamiento de la informacin no recae sobre una unidad (una neurona) sino sobreamplios conjuntos de unidades.

Los rganos sensoriales reciben seales del exterior y mediante elementos

transductores convierten las distintas energas que reciben en seales nerviosas. La

informacin fluye desde los nervios sensoriales y, recorriendo estaciones intermedias

como la mdula espinal, el tronco cerebral, cerebelo, etc., llega hasta la corteza cerebral.


14/89

- 14 -

A su vez, del cerebro parte la informacin por los nervios motores hasta los msculos u

otros rganos y constituye la respuesta del organismo al medio.

En las neuronas cabe destacar las siguientes partes fundamentales:

El cuerpo celular o soma, cuya funcin principal es procesar las seales querecibe la unidad y enviar la informacin de salida hacia otras unidades;

El axn: es la fibra ms gruesa y larga de todas las que se originan en el cuerpocelular; mediante los axones las neuronas se conectan unas con otras; su funcin

es transmitir la informacin generada en el cuerpo celular a las otras clulas;

Las dendritas: son pequeas extensiones del soma y su funcin es recibir lainformacin.

De este modo, las dendritas son los canales receptores de la informacin, el soma

es la unidad de procesamiento y el axn el canal transmisor de la informacin.

La informacin se traslada a travs del axn y las dendritas en la forma de seales

elctricas. Sin embargo, el paso de la informacin de una unidad a otra no tiene la forma

de cambios elctricos sino qumicos. La conexin entre el axn de una neurona y las

dendritas de otra recibe el nombre de sinapsis. Las neuronas no estn en contacto fsico

completo pues existe un pequeo espacio en la sinapsis (el espacio intersinptico).

Cuando el impulso elctrico llega al final del axn, se produce la liberacin de unas

sustancias qumicas denominadas neurotransmisores. Los neurotransmisores se

difunden en el espacio intersinptico y se unen a los extremos de las dendritas en ciertos

lugares denominados receptores. En estos receptores se producen cambios qumicos que

provocan modificaciones elctricas en la neurona y el flujo elctrico o impulso

nervioso.

Por su importancia en las redes neuronales conexionistas, es importante recordar

tambin dos hechos ms que se dan en las redes neuronales biolgicas:

Los efectos de los neurotransmisores sobre las dendritas pueden ser excitadores oinhibidores de forma que para calcular la influencia final del conjunto de

entradas sobre una neurona es preciso sumar y restar sus estmulos excitadores e

inhibidores, respectivamente.


15/89

- 15 -

Para que la neurona responda enviando una seal elctrica a lo largo del axn (elimpulso nervioso) es necesario que los estmulos que recibe de otras unidades

alcancen un cierto nivel elctrico (el umbral del impulso elctricoo intensidad

mnima del estimulo que es suficiente para provocar el impulso nervioso); de este

modo, la respuesta de la clula ante los estmulos tiene la forma de todo o nada.

Cuando se habla de la inspiracin biolgica de los modelos conexionistas se

quiere sealar que estos modelos intentan reproducir gran parte de los aspectos

existentes en las redes neurolgicas biolgicas y descritas ms arriba. Sin embargo hay

otros aspectos del sistema nervioso que no se intentan reproducir. Citemos algunos:

Por ejemplo, el relativo al nmero de unidades de procesamiento: en todo elsistema nervioso central hay del orden de 1011 neuronas y de 1015

interconexiones, mientras que las redes conexionistas generalmente constan como

mucho de varias centenas de unidades y de varios miles de conexiones.

En las redes conexionistas los pesos entre las conexiones se estableceninicialmente de forma aleatoria y se van corrigiendo mediante el aprendizaje; esto

supone, traducido a los trminos tradicionales, primar el ambientalismo y el

aprendizaje frente a los componentes innatos. En el cerebro la importancia del

aprendizaje para el desarrollo de las sinapsis no se puede obviar, pero tampoco se

puede negar la importancia de factores innatos, factores que determinan losrecursos fisiolgicos necesarios para el procesamiento e incluso las rutas en el

establecimiento de las conexiones.

En el caso de las redes biolgicas, el aprendizaje da lugar a modificaciones enlas fuerzas de conexin, pero tambin a modificaciones de las estructuras mismas

de interconexin (por ejemplo, de las unidades conectadas y de los tipos de

conexiones); en las redes conexionistas el aprendizaje acta sobre los pesos de las

conexiones pero no sobre las estructuras mismas.

5.2. El procesamiento es paralelo, no serial.

A pesar de que los desarrollos tcnicos permitieron incrementar la velocidad de

los ordenadores, los resultados de stos en tareas aparentemente sencillas como el


16/89

- 16 -

reconocimiento de formas necesitaban un tiempo de ejecucin muy alto y sus resultados

no eran muy buenos. El contraste con la eficacia del cerebro se hizo cada vez ms

manifiesto pues aunque la velocidad de procesamiento de cada neurona es muy inferior

a la del ordenador (la velocidad de procesamiento en los ordenadores se mide en

nanosegundos y la de las neuronas en milisegundos o incluso centsimas de segundo) elcerebro humano es capaz de realizar ciertas tareas en un tiempo inferior que el

ordenador. Los programas construidos por la Inteligencia Artificial tradicional resultan

muy buenos para tareas que exigen la repeticin del mismo proceso sobre los datos de

entrada (millones de cmputos recursivos), lo que les permite a las mquinas

aventajarnos en tareas como la de clculos matemticos; sin embargo el cerebro parece

ms eficaz que los ordenadores tradicionales en tareas tpicas de los seres vivos:

reconocer un enemigo en una ambiente que no presenta su figura con precisin, recordar

instantneamente formas de huida o aproximacin, comprender una frase, reconocer unrostro, seguir en tiempo real el movimiento de un objeto en el espacio, ...; hay tareas

para las cuales un nio de tres aos resulta ms eficiente que los ordenadores ms

potentes y los programas ms sofisticados.

La explicacin de la eficacia del cerebro para este tipo de tareas se encuentra en el

hecho de que para el procesamiento de la informacin el cerebro utiliza

simultneamente millones de neuronas y el ordenador convencional utiliza uno (o unos

pocos) procesadores.En un procesamiento serial en cada momento slo se realiza unaoperacin, en un procesamiento en paralelo en cada momento se realizan tantas

operaciones como unidades participan en el procesamiento completo. sta es

precisamente una de las caractersticas principales del cerebro: en el cerebro cada

unidad, o pequeas poblaciones de unidades, participan en el procesamiento conjunto de

la informacin, y aunque cada una de ellas, tomadas por separado, tarden en realizar sus

procesamientos correspondientes, en conjunto la actividad es ms eficaz. Las redes

neuronales nos permiten reproducir ms adecuadamente algunos tipos de tareas porque

reproducen el procesamiento en paralelocaracterstico del cerebro, lo que otorga a lasredes una considerable ventaja envelocidad sobre un ordenador convencional pues la

multitud de sinapsis de cada nivel ejecutan simultneamente muchos pequeos

cmputos, en lugar de hacerlo en laboriosa sucesin como en los ordenadores

tradicionales.


17/89

- 17 -

5.3. Procesamiento distribuido.

El carcter distribuido de la informacin tpico de las redes conexionistas se

extiende a dos aspectos muy importantes relativos a la informacin: el procesamiento

mismo yel almacenamiento de las representaciones.

El modelo conexionista no es localista en primer lugar porque, a diferencia de lo

que ocurre en los ordenadores tradicionales, en las redes neuronales no existe la

unidad central de control, unidad que controle y coordine el conjunto de unidades

del sistema; en este modelo el procesamiento es responsabilidad de cada una de las

unidades o neuronas, cada una de ellas se encarga de cmputos parciales cuya

activacin conjunta produce la seal de salida final. Desde un punto de vista fisiolgico

estos modelos suponen que en el cerebro no existe una parte encargada de un tipo

especfico de procesamiento, sino que la actividad cerebral tiene carcter global.

La informacin se puede almacenar de dos formas: los sistemas localistas retienen

la informacin en unidades discretas: en cada unidad (por ejemplo, en cada porcin

fsica del disco duro del ordenador) se almacena una unidad informativa; en los

sistemas distribuidos cada unidad informativa se retiene en poblaciones de

individuos y cada una de ellas colabora de forma parcial en el almacenamiento de

la informacin. La ventaja de esta forma de almacenamiento es que la destruccin de

unidades en los sistemas localistas tiene un efecto ms devastador que la destruccin de

unidades en los sistemas distribuidos. En los modelos distribuidos de memoria cada

unidad informativa se representa a partir de amplias poblaciones de unidades, pero, a la

vez, cada unidad de memoria colabora en el almacenamiento de varias unidades

informativas. No se puede dar interpretacin cognitiva a cada una de las unidades o

neuronas; la interpretacin cognitiva (el decir, por ejemplo, que recuerda y relaciona

conceptos) es algo vlido slo para la red en su conjunto, y en todo caso para los

patrones de los pesos de las unidades.

Podemos apreciar qu se quiere indicar con la idea del carcter distribuido del

almacenamiento y procesamiento de la informacin con dos ejemplos muy sencillos:


18/89

- 18 -

los relojes digitales suelen expresar la informacin horaria mediante segmentos;en este ejemplo, con los siete segmentos siguientes podemos representar diez

nmeros, dependiendo de los que estn activados y de los que estn desactivados

(es obvio en realidad que se puede representar ms informacin, por ejemplo,

adems de nmeros, letras); se puede observar que el dao en una de las unidadesafectara a la capacidad del sistema para representar la hora, pero no de un modo

completo, a la vez que est claro tambin que cuanto ms distribuida sea la

forma de almacenar la informacin (cuantos ms segmentos emplesemos)

menos se resentira el sistema:

las matrices nos pueden servir de ejemplo para mostrar cmo un conjunto deelementos puede procesar distintos conjuntos de datos (distintos vectores de

entrada) para producir cada uno de ellos la salida correspondiente (distintos

vectores de salida). Por ejemplo, la matriz:

10

01

Nos permite emparejar los vectores de entrada (1,1) y (1,-1) con los vectores de

salida (-1,1) y (-1,-1):

La entrada +1 +1 produce: 1x -1 + 1x 0 1x 0 + 1x 1 = -1 1

La entrada +1 -1 produce: 1x -1 + -1x 0 1x 0 + -1x 1 = -1 -1

Por cierto que sta es precisamente una de las curiosas eficacias de las redes

conexionistas: un mismo patrn de pesos (que se puede representar mediante matrices)


19/89

- 19 -

permite emparejar distintos vectores de entrada a sus vectores de salida

correspondientes.

5.4. Computacin sin reglas.

En las redes conexionistas la computacin no se rige por reglas. En los modelos

cognitivos tradicionales el procesamiento consiste en la manipulacin de smbolos

mediante el empleo de reglas. Los smbolos tienen una interpretacin semntica (son

conceptos, propiedades, clases, frases, lneas, ngulos, recuerdos,...) y las reglas

describen el modo de transformar dichos smbolos en conjuntos significativos ms

amplios. Para el conexionismo, sin embargo, la computacin no es otra cosa que el

clculo de las salidas a partir de informacin de entrada, y los tres elementos, (entradas,salidas y clculos) expresados en trminos cuantitativos. El comportamiento general de

la red puede parecer comportamiento guiado por reglas, pero en realidad en sus

componentes no hay otra cosa que elementos de cmputo puramente cuantitativos. El

sistema se sita en un estado o en otro a partir de la modificacin de los pesos y la

activacin o inhibicin de cada unidad. Dado que las redes conexionistas son

bsicamente modelos de aprendizaje, la no utilizacin de reglas se traslada tambin al

campo del aprendizaje. En la psicologa cognitiva clsica aprender una destreza

psicolgica (la competencia lingstica, la capacidad para narrar un cuento, la capacidad

matemtica, ...) se describa como la adquisicin o desarrollo de reglas capaces de

organizar las salidas correspondientes (frases significativas, narracin de cuentos,

clculos matemticos, ...) a partir de los datos almacenados en la memoria; en el

conexionismo el aprendizaje no es otra cosa que la modificacin de los pesos de las

conexionespara la transformacin de los vectores de entrada en los vectores de salida

pertinentes. Mediante funciones de aprendizajeadecuadas, las redes pueden modificar

los pesos de modo que tras sucesivas presentaciones de los vectores de entrada

representativos de una clase de datos (fonemas, caracteres escritos, figuras

bidimensionales, ondas elctricas,...) la red va afinando sus respuestas hasta que se

logran aciertos estadsticamente aceptables en el emparejamiento de los vectores de

entrada con los vectores de salida pertinentes.

Podemos apreciar la diferencia de enfoques si nos fijamos en una de las tareas

para la que las redes neuronales parecen ms pertinentes, el reconocimiento de patrones;


20/89

- 20 -

el reconocimiento de patrones no es otra cosa que la capacidad para identificar ejemplos

de un mismo modelo, para clasificar distintos estmulos como siendo del mismo tipo o

categora. Los sistemas de reconocimiento tradicionales, los que aparecen en la

psicologa cognitiva clsica y en la Inteligencia Artificial tradicional, exigan elaborar

reglas explcitas que recogiesen los aspectos esenciales que el sistema deba captar. Conlas redes neuronales podemos conseguir que el sistema reconozca patrones sin

presentarle dichas reglas explcitas de reconocimiento, basta con presentarle los

ejemplos adecuados y entrenar a la red. Esta peculiaridad lleva tambin a caracterizar a

las redes neuronales como sistemas dinmicos autoadaptativos:

autoadaptativosporque ellas mismas, sin que exista una unidad central rectora,son capaces de ajustar sus unidades de procesamiento o neuronas de modo

conveniente para producir el vector de salida requerido;

dinmicosporque pueden cambiar constantemente para adaptarse a las nuevascondiciones que imponen los nuevos conjuntos de datos o vectores de entrada

que se le presentan.

El aprendizaje no es otra cosa que la modificacin de los pesos o fuerzas de

conexin existentes entre las distintas unidades, no la adquisicin de reglas o algoritmos

explcitos. Se supone que la red ha aprendido cuando alcanza un patrn de pesos que

provoca, para las entradas del mismo tipo, las salidas deseadas. Los problemas msimportantes de la persona que disea la red se refieren a la obtencin de la arquitectura

apropiada (las capas y unidades necesarias, las conexiones entre ellas, las funciones de

activacin y transferencia que ha de utilizar) y de un buen algoritmo de aprendizaje que

le permita a la red discriminar los diferentes tipos de estmulos.

Una consecuencia de la ausencia de reglas explcitas y que merecera la pena

estudiar con detalle es que con este sistema de procesamiento conseguiremos que el

sistema o red reconozca las semejanzas entre entidades, pero no seremos capaces de

describir en qu consisten dichas semejanzas.


21/89

- 21 -

5.5. Degradacin elegante. Tolerancia a fallos.

En estas redes, cuando algunas unidades dejan de funcionar adecuadamente su

efecto no es catastrfico, afecta slo a la eficacia y precisin de la red en una medidamayor o menor dependiendo de la cantidad de unidades deterioradas. Esto no ocurre con

los modelos tradicionales en donde la prdida de alguna de las unidades de memoria

provocaba efectos importantes (realmente catastrficos) en el sistema. Otra dimensin

de la degradacin elegante es que la recuperacin de la memoria en redes distribuidas es

capaz de darse an en los casos en que la informacin que se introduce para la bsqueda

sea confusa, incompleta e incluso errnea (lo que se suele llamar tolerancia a fallos

respecto de los datos). Esta es una caracterstica de las redes y tambin del

funcionamiento real de nuestra memoria: por ejemplo, cuando intentamos recordar elnombre de una persona utilizando descripciones de sus caractersticas, somos capaces

de dar con el nombre aunque no recordemos todas sus propiedades y tambin aunque

algunas de estas descripciones no correspondan en realidad a dicho sujeto. La razn por

la que las redes son tolerantes a fallos es la existencia de un cierto grado de redundancia

en el procesamiento y almacenamiento de la informacin, es decir su carcter

distribuido y paralelo. En los ordenadores tradicionales y en los modelos cognitivos

basados en la arquitectura de dichos ordenadores cada unidad de informacin tiene una

localizacin y direccin precisa, por lo que los fallos de los distintos elementos que

intervienen en el procesamiento tienen consecuencias ms graves que en los modelos

conexionistas.

6. BREVE HISTORIA DEL CONEXIONISMO

6.1 Hasta la primera mitad del siglo XX

Las primeras aportaciones destacables provienen de la neurofisiologa: Luria,

Lashley y Hebb se enfrentaron a las doctrinas dominantes a finales del siglo XIX,

doctrinas que defendan el carcter localista del almacenamiento y de las funciones del


22/89

- 22 -

cerebro; frente a estas doctrinas defendieron una concepcin distribuida de los sistemas

de procesamiento y memoria del cerebro. Sus investigaciones demostraron que la

especializacin poda darse en relacin a grandes regiones del cerebro, pero en absoluto

en las neuronas singulares. Lashley llev tan lejos la hiptesis distribuida que postul el

carcter equipotente del cerebro (cualquier regin del cerebro puede realizar cualquiertarea determinada).

De los tres autores citados es sin duda Donald Hebb el ms importante en

relacin con desarrollo del conexionismo, particularmente a partir de su libro publicado

en 1949La organizacin de la conducta. Hebb defendi la conexin entre psicologa y

fisiologa, propuso la tesis del carcter distribuido de la informacin en unidades

informativas y formul uno de los primeros procedimientos de aprendizaje

(procedimiento que algunos autores creen que ya haba sugerido Santiago Ramn y

Cajal): si un conjunto de neuronas conectadas entre s se activan repetidamente, sussinapsis aumentan su conductividad, o de otro modo: conjuntos de neuronas

sincrnicamente activadas tienden a organizarse en conjuntos conectados.

Estas ideas de Hebb han resultado particularmente fecundas. Por ejemplo, ya en

1954 Albert M.Uttleydemostr en The Classification of Signals in the Nervous System

que redes entrenadas con el modelo de aprendizaje hebbiano eran capaces de reconocer

patrones simples binarios (111000, 110111,...) en clases (por ejemplo las que

comienzan por 110).

El siguiente hito reseable se refiere a la aportacin del neurofisilogo Warren

McCullochy el matemtico WalterPitts:en 1943 publicaronA logical calculus of the

ideas immanent in nervous activity. El artculo de McCulloch y Pitts fue importante,

entre otras razones, porque en l se trata al cerebro como a un organismo

computacional. Propusieron la construccin de mquinas de computar con una

estructura abstracta similar a la que creyeron encontrar en las redes neuronales

biolgicas, aunque, a diferencia de las redes conexionistas actuales, dirigidas por un

enfoque lgico y no uno probabilstico. Dieron ms importancia al aprendizaje que a

disposiciones innatas en la formacin de las conexiones entre las unidades, y

demostraron que redes neuronales sencillas conectadas entre s mediante sinapsis

excitadoras e inhibidoras y asignando un valor umbral para la activacin de la unidad de

salida, eran capaces de representar adecuadamente las leyes lgicas fundamentales. A

estas neuronas sencillas las llamaron neuronas formales; actualmente a las redes

constituidas por dichas unidades se las suele llamar redes de McCulloch-Pitts. Aunque


23/89

- 23 -

intentaron modelar aspectos elementales de las neuronas biolgicas, las neuronas

formales eran simplemente conmutadores lgicos, semejantes a los circuitos lgicos que

se pueden crear mediante interruptores y por los que puede fluir la corriente elctrica.

En 1947 McCulloch y Pitts escribieron How We Know Universals: The Perception

of Auditory and Visual Formas, obra en la que trataron el problema del reconocimientode patrones o problema del reconocimiento de variaciones de un mismo patrn. En esta

obra presentaron dos redes neuronales. La primera tena como objetivo reconocer

propiedades comunes en distintos individuos (propiedades invariantes del mismo

patrn); la segunda era capaz de generar el patrn a partir de ejemplos de dicho patrn.

Hicieron una interpretacin biolgica de estas redes suponiendo que las redes

neuronales de los crtices auditivo y visual eran redes del primer tipo y que el colculo

superior (involucrado en el control del movimiento de los ojo) era una red del segundo

tipo.

6.2 Aos cincuenta y sesenta.

En la dcada de los cincuenta las redes neuronales se utilizaron para dar cuenta

de dos capacidades importantes de la mente humana: la memoria asociativa y el

reconocimiento de patrones.

6.2.1. La memoria asociativa.

Empecemos con la memoria asociativa: la asociacin entre recuerdos es un

hecho conocido desde hace mucho tiempo; cuando dos recuerdos tiene algn aspecto

comn quedan ligados entre s de tal modo que uno puede evocar a otro.

El primer trabajo en este campo corresponde a Wilfrid K. Taylorcon su obra de

1956Electrical Simulation of Some Nervous System Functional Activities. Taylor

propone una red en tres capas: una con unidades sensoriales, otra con unidades

asociativas y la ltima con unidades motoras. Los pesos de las sinapsis son modificables

y las unidades ya no son neuronas biestables (todo-o-nada), al modo de las neuronas

formales de McCulloch-Pitts, sino dispositivos analgicos. El procedimiento de


24/89

- 24 -

entrenamiento es la regla de Hebb: se aumentan los pesos activados si se activan las

unidades motoras deseadas. Inicialmente se le presentan pares de patrones; de ese par de

patrones uno provoca una respuesta precisa en las neuronas motoras y el otro no;

mediante el aprendizaje, la red consigue que estos ltimos patrones, los que

originariamente no provocaban la respuesta en las neuronas motoras, ahora s lo hagan.En este sentido se puede decir que la red consigue asociar patrones sensoriales

diferentes, y muestra un comportamiento parecido al condicionamiento pavloviano.

Adems en su red, la memoria asociada se almacena en el patrn de pesos y por lo tanto

de forma distribuida.

En trabajos posteriores Taylor construy una red ms elaborada, con sinapsis que

volvan de las unidades motoras a las unidades sensoriales y con sinapsis entre unidades

de la misma capa. Esta red era ms eficaz en la asociacin de estmulos apareados y semostr tambin capaz de discriminar patrones (recogiendo por tanto las capacidades de

los perceptrones y adalines). En 1964 (Cortico-Thalamic Organization and Memory)

aventur incluso una interpretacin biolgica de su red, sugiriendo que las reas de

asociacin de la corteza cerebral y el tlamo contenan esas redes.

Las redes anteriores asocian indirectamente el elemento a y el elemento b al estar

asociados ambos con c (como ocurre con el condicionamiento clsico); estudios de los

aos sesenta y setenta mostraron que estas redes pueden servir tambin para representar

la memoria asociativa accesible o direccionable por el contenido; llamamos memoria

accesible por el contenido a aquella que nos permite recordar tems a partir de

descripciones parciales de sus contenidos o caractersticas, incluso cuando alguna de

estas descripciones es errnea. Y precisamente por esta capacidad actualmente a las

redes asociativas se las llama tambin memorias asociativas direccionables o

accesibles por contenido(ACAMs).

6.2.2. El reconocimiento de patrones.

En cuanto al reconocimiento de patrones, cabe destacar lo siguiente: en esencia

el problema consiste en explicar cmo se puede reconocer que individuos distintos

pertenecen, no obstante, al mismo tipo. Un caso tpico de reconocimiento de patrones es

nuestra capacidad de interpretar como A signos que sin embargo son distintos (A,


25/89

- 25 -

A, A, A, A, A), pero evidentemente esta capacidad aparece tambin en otros

contextos: somos capaces de reconocer el rostro de una persona en distintas condiciones

de luminosidad e incluso aunque cambie su peinado, su maquillaje o se deje barba; un

animal debe reconocer los individuos de otra especie como siendo la presa con la que se

ha de alimentar, o su posible pareja para la reproduccin,...Ya se ha citado la aportacin de McCulloch y Pitts en este campo, por lo que ahora

podemos referirnos a otros autores, comenzando por John von Neumann: en su escrito

de 1956, Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable

Components, mejor las redes McCulloch-Pitts creando redes confiables: en las redes

originales de McCulluch-Pitts cada unidad actuaba representando una unidad

informativa y lo haca con la lgica todo-o-nada. Esta redes no son muy confiables pues

el dao en una unidad puede tener efectos catastrficos en la computacin. Para resolver

esta dificultad Von Neumann introdujo la redundancia en la red: una unidadinformativa no se representa mediante una neurona sino mediante la activacin

sincrnica de un cmulo de neuronas (por ejemplo se puede representar 1 cuando ms

de la mitad est activada y 0 en caso contrario). Von Neumann prob que estas redes

redundantes pueden realizar clculos aritmticos de modo muy confiable.

En 1963 Shamuel Winogrady Jack D. CowanescribieronReliable Computation in

the Presence of Noise. En esta obra recogieron y mejoraron las ideas de Von Neumann,

defendiendo una propuesta an ms distribuida del conocimiento: en las redes de

Winograd-Cowan un bit o unidad de informacin se representaba mediante varias

neuronas, como en las redes de Von Neumann, pero, y esta era la novedad, cada

neurona representaba parcialmente varios bits.

La figura de Frank Rosenblatt es imprescindible par entender el desarrollo del

conexionismo. En sus obras de 1958 The Perceptron, a Probabilistic Model for

Information Storage and Organization in the Brain y de 1962 Principles of

Neurodynamics, defiende la importancia de las redes neuronales para la computacin y

de los mtodos probabilsticos ms que de los lgicos en el uso de las redes, mejora la

regla de aprendizaje de Hebb y presenta una red a la que llam Perceptrn. En su

versin ms sencilla, el Perceptrn consta de dos capas: la de entrada o capa con

unidades sensoriales y, conectada con la anterior, la de salida o capa con unidades

motoras. Las unidades eran unidades McCulloch-Pitts(podan tomar simplemente los

valores activado-desactivado). Inicialmente los pesos de las conexiones eran aleatorios,


26/89

- 26 -

y el aprendizaje consista en la modificacin de los pesos de tal forma que dada una

entrada se consiguiese la salida deseada. Rosenblatt encontr un sencillo procedimiento

de entrenamiento con el cual la red poda dar con los pesos requeridos para tal tarea. El

Perceptrn era capaz de reconocer patrones sencillos y de generalizar similitudes entre

patrones. Pero a pesar de las esperanzas que muchos investigadores en este tipo de red,pronto se vio que tena serias limitaciones, que se ejemplificaron en la imposibilidad de

la red para resolver una tarea lgica aparentemente sencilla: la del problema de la

disyuncin exclusiva. En trminos ms tcnicos, se vio que era incapaz de clasificar

clases o patrones no separables linealmente.

En este breve recorrido de la historia del conexionismo es preciso referirse a la

trayectoria de Marvin Minsky, compaero de Rosenblatt en el instituto. En sus

primeros escritos mantuvo algunas tesis que, claramente, son un antecedente delconexionismo:

carcter relativamente indiferenciado del cerebro pues aunque se dae una parteotras pueden realizar su funcin, particularmente si el dao es en una poca

temprana;

importancia del aprendizaje en la organizacin de las redes neuronales; importancia del estudio del cerebro y del comportamiento de las neuronas para

la construccin de una mquina que reproduzca aspectos sustanciales de la

mente humana.

Fue l precisamente uno de los primeros en afirmar que el cerebro no es otra cosa

que una mquina de carne. Estas tesis pertenecen a sus primeras investigaciones

(con las que consigui el grado de doctor). Sin embargo, pronto abandon este

planteamiento conexionista defendiendo la idea de que es posible comprender la mente

humana prescindiendo del estudio del cerebro y atendiendo exclusivamente a sus

mecanismos o comportamiento. Como se sabe, esta tesis es uno de los principios

fundamentales de la psicologa cognitiva tradicional, por lo que, en resumen, se podra

decir que las primeras propuestas de Minsky favorecieron las tesis conexionistas y las

segundas (por las que es clebre) las tesis de la psicologa cognitiva clsica.

Otra importante y curiosa aportacin fue la de O. Selfridgecon su obra de 1959

Pandemonium: A paradigm for learning, en donde llam Pandemonium a su modelo

de procesamiento distribuido y paralelo de la informacin. Su propuesta es importante


27/89

- 27 -

porque su modelo para el reconocimiento de patrones descansa en el procesamiento

interactivo realizado por un conjunto de unidades de procesamiento; y es tambin

curiosa porque en vez de hablar de neuronas para referirse a las unidades de

procesamiento les dio el nombre de demonios (incluso en los libros que explican el

modelo se los dibuja como pequeos diablillos). Es habitual presentar este modelocomo un intento de comprender el reconocimiento de las letras del alfabeto. Ms

adelante se presenta el Pandemonium con cierto detalle.

Bernard Widrowy Marcial Hoff(Adaptive Switching Circuits,1960) inventaron

una variante del Perceptrn y un nuevo procedimiento de aprendizaje, la regla delta del

aprendizaje. Llamaron adaline a su red (por adaptive linear neuron, neurona lineal

adaptativa). En realidad, la nica diferencia con el Perceptrn es el procedimiento de

aprendizaje o entrenamiento que utilizaron. Era tambin una red de dos capas (capa deentrada y capa de salida) interconectas, y compuestas por unidades biestables. Su

finalidad era tambin el reconocimiento de patrones. El adaline fue la primera red

neuronal aplicada a un problema real (como filtro para eliminar los ecos en las lneas

telefnicas) y se ha usado comercialmente durante varias dcadas.

6.2.3. Limitaciones de perceptrones y adalines elementales.

Marvin Minsky y Seymour Papert, publicaron en 1969 Perceptrons: An

introduction to Computational Geometry: en este libro estudiaron los perceptrones y

demostraron que los perceptrones y adalines elementales (los que constan slo de dos

capas) eran incapaces de distinguir entre patrones tan sencillos como T y C, ni de llevar

a cabo tareas lgicas simples, como la de decidir la tabla de verdad de la disyuncin

exclusiva; probaron matemticamente que dichas redes, aunque pudiesen modificar sus

pesos mediante reglas de aprendizaje, no podan resolver ms que problemas

linealmente separables. Adems, ampliaron sus crticas conjeturando que esta dificultad

no se podra superar aadiendo unidades ocultas en redes multicapa. Esto ltimo se

demostr falso a partir de 1986, cuando se descubri la regla delta generalizada y la

validez de su uso en redes con capas ocultas. Este tipo de redes y la regla citada

permiti resolver el problema ms famoso planteado a los perceptrones y adalines, el

problema de la disyuncin exclusiva antes citado. Se suele indicar que como

consecuencia de las crticas de estos autores las autoridades americanas dirigieron sus


28/89

- 28 -

fondos a la inteligencia artificial y la psicologa cognitiva clsica, con el consiguiente

freno de la investigacin en los modelos de computacin conexionista.

6.3. Aos sesenta y ochenta.

J. A. Andersonescribi en 1973 el artculo A theory for the recognition of items

from short memorized listsy en 1977Neuronal models with cognitive implications. En

estos escritos present anlisis matemticos de algunas propiedades de las redes

neuronales y defendi la relevancia de las representaciones distribuidas en distintos

campos de la psicologa, por ejemplo en el del aprendizaje de conceptos; sus

investigaciones fueron tambin importantes en el campo de la memoria asociativa por

contenido y de nuevos modelos de redes.

Stephen Grossberg es uno de los ms destacados investigadores en el campo

conexionista; sus propuestas aparecen ya en los aos sesenta y continan en nuestros

das. Ha escrito muchos libros y desarrollado diversos modelos de redes (tal vez la ms

conocida es la red que propuso en 1967, Avalancha, para el reconocimiento del habla y

el aprendizaje del movimiento de los brazos de un robot); adems de realizar las

primeras investigaciones sobre el aprendizaje competitivo, subray la importancia de

los modelos conexionistas en los campos de la percepcin y de la memoria. Destaca su

libro de 1982 Studies of mind and brain.

Hofstadter(Gdel, Escher, Bach: An eternal golden braid, 1979 yMetamagical

themas, 1985) defiende la existencia de dos niveles de procesamiento, el que estudia la

psicologa cognitiva clsica (nivel estructural) y un nivel de procesamiento ms bajo, y

en el que se sitan los trabajos del conexionismo (nivel microestructural), de ah que

en ocasiones se hable del conexionismo como un enfoque que analiza la

microestructura de la cognicin para comprender los fenmenos cognitivos.

Es en los aos ochenta cuando el conexionismo empieza a tener un xito

considerable, y en esta trayectoria es fundamental la obra de G. E. Hinton, y J. A.

Andersoneditada en 1981 Parallel models of associative memory, y la obra de J. A.


29/89

- 29 -

Anderson de 1983 Cognitive and psychological computation with neural models. En

esta ltima Anderson estudia el hardware del sistema nervioso real y propone modelos

neuronales sencillos basados en los biolgicos y destinados a explicar los procesos

cognitivos.

J.A. Feldmany D.H. Ballard(1982: Connectionist models and their properties.Cognitive Science, 6) desarrollaron muchos de los principios computacionales del

enfoque Procesamiento Distribuido Paralelo (PDP), utilizaron por primera vez el

nombre de conexionismo para este enfoque, y criticaron el enfoque tradicional de la

Inteligencia Artificial destacando su poca plausibilidad biolgica. Pero sin duda el

impulso definitivo a la investigacin conexionista tiene como protagonistas a David. E.

Rumelhart, James. L. McClellandy varios investigadores ms que forman lo que se ha

llamado grupo PDP, y culmina con la aparicin de lo que se ha considerado como la

Biblia conexionista, Parallel Distributed Processing: Explorations in the

microestructure of cognition (dos volmenes) editada por Rumelhart y McClelland en

1986. En esta obra se tratan importantes cuestiones pero sin duda destaca la

demostracin de cmo las redes con ms de dos capas pueden solucionar las objeciones

matemticas propuestas por Minsky y Papert y que tanto limitaron el desarrollo en la

investigacin de redes neuronales.

A partir de Parallel Distributed Processing se suceden multitud de

investigaciones, artculos y congresos, tanto en los campos de la Inteligencia Artificial

como en los de la psicologa, convirtindose el conexionismo en un movimiento

revolucionario en el panorama de la ciencia cognitiva. En este contexto se crean la

Sociedad Europea de Redes Neuronales (ENNS) y la Sociedad Internacional de

Redes Neuronales(INNS), sociedades que organizan congresos y reuniones anuales y

editan revistas para la divulgacin de las investigaciones en este campo de

investigacin, revistas entre las que destacan Neural Networks (revista oficial de la

Sociedad Internacional de Redes Neuronales);Network, Computation in Neural System;

Transactions on Neural Networks; Nerual Networks Council; Neural Computation y

International Journal of Neural Systems.

De octubre de 1987 a febrero de 1988, el Instituto Tecnolgico de

Massachussets(MIT), patrocinado por la Oficina de Tecnologa Tctica de la Agencia

de Proyectos de Investigacin Avanzada del Departamento de Defensa de Estados


30/89

- 30 -

Unidos (DARPA/TTO) llev a cabo la revisin de la investigacin y tecnologa basada

en redes neuronales, revisin que se plasm en el libro Neural Network Study(Darpa

88).

En Espaa tambin se ha creado una sociedad para la investigacin en redesneurales que ya ha organizado varios congresos, se organizan seminarios (precisamente

el que se realiz en la UNED en el curso 87-88 dio lugar a la edicin deIntroduccin al

Procesamiento Distribuido en Paralelo, Alianza Editorial, en donde se renen los

captulos ms importantes de Parallel Distributed Processing). El programa europeo de

investigacin ESPRITha financiado diversos proyectos en este campo, proyectos en

los que, en Espaa, han participado las universidades Politcnica y Autnoma de

Madrid, la Politcnica del Pas Vasco, el Centro de Estudios Avanzados de Blanes, el

Instituto de Ciberntica del CSIC y el Instituto de Ingeniera del Conocimiento (IIC),entre otros.

7. ELEMENTOS DE LAS ARQUITECTURAS CONEXIONISTAS

En las redes conexionistas es preciso distinguir dos tipos de elementos: los

relativos a su estructuray los relativos a sus mecanismos de procesamiento:

Conceptos y elementos de la

arquitectura conexionista

Conceptos y mecanismos bsicos para el

procesamiento en las redes conexionistas

Las unidadesLa entrada (input) total

La regla de propagacin

Las conexiones entre las unidades

(las sinapsis)

El estado de activacin

La regla o funcin de activacin

El peso sinpticoLa salida (output) de las unidades

La funcin de transferencia

El patrn de conexin Reglas de aprendizaje


31/89

- 31 -

7.1. Conceptos y elementos de la estructura conexionista.

7.1.1 Las unidades

Los elementos bsicos de procesamiento de la informacin en el cerebro son las

neuronas; dado que los modelos conexionistas son modelos de inspiracin biolgica, a

las unidades bsicas encargadas del procesamiento en las redes conexionistas se las

llama habitualmente neuronas, aunque tambin podemos encontrar en la literatura los

trminos clulas, unidades, neuronas artificiales, nodos, elementos de

procesamiento (PEs) o, simplemente, elementos. La funcin de estas unidades tiene

que ver esencialmente con el la recepcin y tratamiento de la informacin: recibir

informacin a partir de las conexiones que mantienen con otras neuronas, elaborar otransformar la informacin recibida y emitir informacin de salida hacia otras neuronas.

Existen tres tipos de unidades:

1. Unidades de entrada: les corresponde este nombre por recibir informacin de

fuentes externas a la propia red. Si la red dispone de sensores (por ejemplo, un

scanner), la informacin externa es informacin sensorial; si la red est conectada

con otras redes, las unidades de entrada reciben datos de las salidas de las otras

redes; en otros casos, simplemente, las unidades de entrada reciben los datos que el

usuario de la red introduce manualmente en el ordenador.

2. Unidades de salida:ofrecen las seales o informacin al exterior de la red; dan la

respuesta del sistema. Si la red dispone de conexiones con sistemas motores (robots,

por ejemplo) su respuesta ser la intervencin en el mundo fsico; si la red est

conectada con otras redes, su respuesta sern datos de entrada para stas ltimas

redes; y si, simplemente, son redes que utilizamos en nuestro ordenador, las unidades

de salida ofrece datos al usuario para su posterior tratamiento.3. Unidades ocultas: aunque no todas las redes poseen este tipo de unidades, las redes

mnimamente sofisticadas s las incluyen. Estas unidades no tienen una relacin

directa ni con la informacin de entrada ni con la de salida, por lo que no son

visibles al ambiente exterior a la red, de ah su nombre. Su funcin es procesar la

informacin en niveles ms complejos, favorecer cmputos ms eficaces.


32/89

- 32 -

La informacin que puede recibir una red, la que puede ser almacenada y la que

puede emitir, est determinada en gran medida por lo que se llama el abanico de

entrada(fan-in) y el abanico de salida(fan-out). El abanico de entrada es el nmero

de elementos que excitan o inhiben una unidad dada. El abanico de salida de una unidades el nmero de unidades que son afectadas directamente por dicha unidad.

Se llama capa o nivelo estratoal conjunto de neuronas que reciben informacin

de la misma fuente (informacin externa, otra capa de neuronas) y ofrecen informacin

al mismo destino (al usuario, a sistemas motores, a otra capa de neuronas).

7.1.2. Las conexiones entre unidades (las sinapsis).

Las sinapsisson las conexiones entre las neuronas. En la mayor parte de redes las

sinapsis son unidireccionales: la neurona j transmite informacin a la neurona iy la

neurona i la recibe, y nunca ocurre lo contrario. Sin embargo, en redes como las de

Hopfield las sinapsis son bidireccionales (la neurona j transmite informacin a la

neurona iy esta, a su vez, transmite informacin a la neuronaj)

Tipos de sinapsis:

a) sinapsis inhibidora:en este tipo de conexin el impulso transmitido por una neurona

inhibe la activacin de la neurona con la que est conectada: si la neurona j le

transmite a la neurona iun impulso que inhibe a sta, el nivel de activacin de la

neurona idecrecer, y decrecer en funcin del peso establecido para dicha conexin


33/89

- 33 -

y de la cantidad de informacin que se transmite por dicha sinapsis. Se suele

representar la sinapsis inhibidora mediante puntos negros;

b) sinapsis excitadora:en este tipo de conexin el impulso transmitido por una neurona

excita la activacin de la neurona con la que est conectada: si la neurona j est

conectada mediante una sinapsis excitadora con la neurona i, el nivel de activacinde la unidad iaumentar si le llega informacin por dicha conexin desde la neurona

j, y lo har en funcin del peso de la conexin y de la magnitud de la seal o

informacin que por dicha conexin se le enva. Se suele representar este tipo de

conexin mediante puntos huecos.

7.1.3. Peso sinptico.

O peso de la conexin. Es uno de los conceptos ms importantes en las redes, y

ello por varias razones: en primer lugar porque los cmputos de la red tienen que ver

esencialmente con ellos; en segundo lugar, y concretando la afirmacin anterior, porque

los clculos que el sistema realiza a partir de la informacin de entrada para dar lugar a

la informacin de salida se basan en dichos pesos; y, en tercer lugar, porque en cierto

modo (como veremos) son el anlogo a las representaciones de los objetos en los

modelos cognitivos tradicionales. Una sinapsis es fuerte, o tiene un gran peso de

conexin, si la informacin por ella recibida contribuye en gran medida en el nuevo

estado que se produzca en la neurona receptora, y es dbilen caso contrario. Los pesossinpticos son valores numricos, se expresan en trminos numricos sencillos

(generalmente nmeros enteros o fraccionarios, negativos o positivos) con los que se

ponderan las seales que reciben por dicha sinapsis. En la literatura sobre redes

encontramos ligeras variantes en la notacin utilizada para representar el peso sinptico

de una conexin entre la neurona j y la neurona i, donde la neurona i recibe la


34/89

- 34 -

informacin que la neurona j emite: por ejemplo, Wij (del ingls weight, peso), pero

tambin wij y wij (a veces no se utilizan subndices y se pone simplemente wij

entendindose que tanto icomojson elementos distintos que operan como subndices).

Obsrvese tambin que, normalmente, el primer subndice denota al nodo receptor y el

segundo al nodo emisor de activacin (aunque advertimos al estudiante que estasconvenciones terminolgicas pueden cambiar en funcin del texto que se consulte).

Dado que en ocasiones es importante representar mediante un nico vector la

totalidad de los pesos correspondientes a las conexiones de varias neuronas con una

salida, se suele reservar para dicho vector correspondiente al peso la W mayscula

mientras que cuando nos referimos al peso correspondiente a una nica conexin parece

ms adecuado utilizar la w minscula.

7.1.4. El patrn de conexin.

En los modelos conexionistas el conocimiento que la red alcanza a partir del

aprendizaje se representa mediante el patrn de conexin, patrn que determinar, por

lo tanto, el modo de procesamiento de las seales y la respuesta del sistema ante

cualquier entrada.

En los modelos ms simples la entrada total correspondiente a cada unidad

depende esencialmente de los valores de entrada y de los pesos que ponderan el modo

en que dichos valores colaboran en la entrada total. Por ello en estos modelos el patrnde conexin es simplemente el conjunto de pesoscorrespondientes a cada una de las

conexiones de la red; los pesos positivos indicarn entradas excitatorias y los negativos

entradas inhibitorias. Para representar el patrn de conexin se utiliza una matriz de

pesos W, en donde cada uno de los elementos de la matriz (representado como wij)

indica el peso correspondiente a la conexin entre la unidad j y la unidad i. El nmero

correspondiente a wrepresenta la intensidad o fuerzade la conexin, y el signo (+ o )

indica si la unidad j excita a la unidad i (la conexin es excitatoria) o si la unidad j

inhibe a la unidad i(la conexin es inhibitoria). Si el nmero correspondiente a wes 0se quiere indicar que la unidadjno est conectada a la unidad i.

Veamos un ejemplo:


35/89

- 35 -

Valores de los pesos:

wi1: -0.5 wj1: 1

wi2: 0.3 wj2: 0.2

wi3: -1 wj3: 0

wi4: 0.6 wj4: -0.3

La matriz correspondiente al patrn de conexin (matriz de los pesos W) ser:

ui uj

u1 -0.5 1

u2 0.3 0.2

u3 -1 0

u4 0.6 -0.3

7.2.1 Notacin utilizada para representar los elementos y mecanismos de las

redes conexionistas.

La tarea de cada neurona o unidad es simple: recibir las entradas de las clulasvecinas y calcular un valor de salida, el cual es enviado a todas las clulas

restantes. Toda la informacin que la red recibe, almacena, transforma y enva se

expresa en trminos matemticos, en la forma de cantidades y de frmulas aplicadas a

cantidades.


36/89

- 36 -

La representacin interna de la informacin se genera en las sinapsis o conexiones

y en la actividad de las neuronas, particularmente en las de la capa oculta. Dado que las

redes modifican sus estados a travs del tiempo como consecuencia de las distintas

entradas de informacin, es imprescindible tambin introducir en la descripcin de los

estados de activacin la referencia al tiempo:1. a cada neurona (unidad i, ui) le corresponde en cualquier instante un valor numrico

denominado valor o estado de activacinai(t);

2. cada unidad utiliza unafuncin de salida, fi, que calcula la seal de salida (oi, del

ingls outputo salida) a partir del estado de activacin que en ese momento tiene la

neurona;

3. la seal de salida se trasmite a otras unidades con las que dicha neurona est

conectada;

4. una neurona recibe la seal de todas las unidades con las que est conectada, pero lo

hace teniendo en cuenta:

el peso asociado a cada una de las conexiones, wij (del ingls weight,peso)

y la intensidad o seal que se transmite por la sinapsis;A la suma de todas las seales ponderadas por el peso de las correspondientes

conexiones se le llama NETi

5. el nuevo estado de activacin ai(t+1) de la neurona ise calcula mediante una funcinde activacin Fa, teniendo en cuenta la entrada total calculada oNETy su anterior

estado de activacin, ai(t)


37/89

- 37 -

(Tomado de "Redes neuronales artificiales", J. R. Hilera y V. J. Martnez, Editorial

Ra-ma; p. 51.)

La notacin empleadaen las redes neuronales no es unnime:

las unidades o neuronasse representan como u o como n la funcin de activacin se suele representar por Fa, pero tambin,

simplemente, por F; dado que es preciso referirse a dos funciones, la de

activacin y la de transferencia, conviene utilizar una notacin distinta para cada

una de ellas, por ejemplo para la funcin de activacinla F mayscula (Fa) y

para la de transferencia la f minscula (fi);

la referencia a la activacin actualse suele representar como a(t) y la siguientecomo a(t+1); pero en la literatura sobre el tema tambin podemos encontrar la

referencia a la activacin actual como a(t-1) y el estado de activacin siguiente

como a(t) (y tanto en negrita como en caracteres normales);

para distinguir la parte de la frmula que corresponde al nombre de lasunidades de la parte de la frmula correspondiente a los otros elementos, se

pueden emplear varias estrategias:o subndice para los nombres y letra normal para el resto: oio letra normal para el nombre de la unidad y negrita para el resto: oi

para referirse al pesode cada conexin se puede emplear tanto la O maysculacomo la o minscula, lo mismo que para el peso (W o w) y para la entrada total

en cada unidad (Net o NET O NETo net).


38/89

- 38 -

7.2.2. La entrada (input) total. La regla de propagacin.

Una neurona recibe seales desde mltiples neuronas por lo que es necesario

calcular el efecto global que tendr ese conjunto de seales o inputs. El input total se

denomina NET, y para el caso de las entradas que le llega a la neurona i en el tiempo t, NETi(t). Llamamos regla de propagacina la frmula que nos indica cmo calcular

dicha entrada total o NET; existen varias reglas de propagacin, pero la ms sencilla y

habitual es la que se representa del siguiente modo:

NETi(t+1) = wij* oj(t)

NETi es la suma de todas las seales que llegan a la neurona i (seales

representadas como oj), ponderada cada una de ellas por el peso de conexin asociado,

(wij). Cuando una determinada seal ojllega a la neurona ipor una sinapsis inhibidora,

el peso wijasociado a dicha sinapsis ser negativo, por lo que el resultado del producto,

wij*oj, aportar un elemento negativo a la suma.

Los valores que transmite una neurona a las neuronas con las que est conectada

se representan como o (ojsera el valor que transmite la neuronaj). Pongamos que los

valores que transmite las neuronas de la capa de entrada, y los pesos correspondientes a

sus conexiones con la neurona ison los siguientes:

Valores: o(t) oj: 0.5 ok: 0.3 ot: 0.5 ou: -1

Pesos: (wij) wil: -0.5 wik: 1 wit: 0.5 wiu: -0.3


39/89

- 39 -

En ocasiones los pesos de todas las conexiones o sinapsis correspondientes a una

neurona se suelen representar mediante una matriz: la matriz Wij incluira todos los

pesos de las conexiones con la neurona i (wi1, wi2, wi3, ...,wij); si un elemento de la

matriz es positivo indica que la conexin es excitatoria, si es negativo, la conexin es

inhibitoria y si es 0 no existe conexin entre neuronas; en el caso anterior la matrizsera:

Wij= [0.5, 1, 0.5, 0.3]

Tambin es habitual referirse al conjunto de valores de entrada de una unidad

como el vector O(t) (de output, salida, puesto que normalmente estos valores que le

llegan a una unidad son la salida que produce otra unidad). En el caso anterior, el vector

de valores que le llegan desde otras neuronas y correspondiente al instante anterior a lamodificacin de la neurona i(instante que se suele representar como (t)) sera:

O(t) = [0.5, 0.3, 0.5, -1]

Si utilizamos la regla de propagacin antes sealada, la entrada total que le llega a

la neurona i o NETi ser la suma de las entradas parciales ponderadas por los pesos

correspondientes:

(0.5 -0.5) + (0.3 1) + (0.5 0.5) + (-1 -0.3) = -2.5 + 0.3 + 2.5 + 0.3 = 0.6

La entrada total se calcula para despus averiguar el estado de activacin que la

va a corresponder a la unidad, pero, dado que la regla de propagacin citada es muy

sencilla, la funcin de activacin que ha de calcular su activacin no se suele referir a

NETi, sino simplemente al sumatorio de los productos del peso por el valor de las

entradas (Wij* Oj).

7.2.3 El estado de activacin.

La activacin (o excitacin, o actividad) de una neurona es muy importante

para el procesamiento puesto que la salida que la neurona provoca depende de ella. La


40/89

- 40 -

activacin es el grado o nivel de excitacin de una neurona, y, generalmente, cambia

en funcin de cuatro factores:

el anterior estado de activacin de la unidad; las entradas que la neurona recibe; los pesos de las conexiones por las que recibe las seales; la funcin de activacin utilizada para calcular la activacin a partir de dichas

entradas.

Se llama cicloa cada una de las veces que la red toma los vectores de entrada

(conjunto de valores de entrada) para realizar los cmputos correspondientes; pues bien,

dado que en cada ciclo la activacin de las neuronas puede ser distinta, es preciso

caracterizar dicha activacin en cada pasada de la informacin o ciclo, por ello es

necesario referirse al tiempo; as, es habitual representar como Ai(t) (o tambin, con

minscula, como ai(t)), el nivel de activacin de la neurona i en el tiempo t.

Lo que la red representa en cada momento depende del conjunto o patrn de

activacin de la totalidad de las unidades que la componen, por ello es conveniente

tambin especificar dicho patrn. Para reflejar el patrn de activacin se suele utilizar

un vector de N nmeros reales a(t), vector que representa el estado de activacin de

todas las unidades de la red en el tiempo t; en el vector, cada uno de los elementos

representa la activacin de cada unidad en el tiempo t:

A(t) = (a1(t), a2(t), ..., ai(t), ...., an(t))

De este modo, cabe caracterizar el procesamiento que realiza la red como la

evolucin que sufren a travs del tiempo los patrones de activacin de las unidades.

Hay muchos modelos de redes conexionistas y los valores de activacin que

pueden tomar las unidades no son los mismos en todos ellos. Los valores utilizados con

ms frecuencia son los siguientes:

I. CONTINUOS

a) abiertos; los modelos que utilizan este tipo reciben el nombre de modelos no

acotados(o modelos sin lmite): el valor de activacin de una neurona ipuede ser

cualquier nmero real;


41/89

- 41 -

b) o cerrados; los modelos que utilizan este tipo reciben el nombre de modelos

acotados (o modelos con lmites): pueden tomar cualquier valor real

comprendido en un intervalo con un valor mnimo y un valor mximo, por

ejemplo, el intervalo (0, 1) o el intervalo (-1, 1) generalmente siguiendo una

funcin sigmoidal.

II.DISCRETOS: estos valores se utilizan en los modelos ms sencillos.

a) los ms frecuentes son los valores binarios: la neurona slo puede tener dos

estados: activada o desactivada, estados que se suelen identificar mediante el par

de valores {0, 1}, representado el 1 el estado de activado y el 0 el estado de

desactivado o en reposo, o bien {-1, +1}; o, simplemente, {,+}, representado el

1 (o el +) el estado de activado y el -1 (o el ) el estado de desactivado.

b) en otros casos son valores discretos no binarios, valores que estn entre

cualquiera de un pequeo conjunto: por ejemplo, pueden estar restringidos al

conjunto de valores {-1, 0, +1}, o a un pequeo conjunto finito de valores tales

como {1, 2, 3, 4, 5, 6, 7, 8, 9}.

Naturalmente, el comportamiento y las utilidades de las redes con distintos tipos

de valores de activacin son tambin distintos; por ejemplo, si las entradas responden a

informacin analgica y no a seales discretas, entonces los valores ms adecuados sonlos continuos, no los discretos.

7.2.4 La regla de activacin.

7.2.4.1. Concepto y frmula general

El estado de activacin de una unidad depende de la funcin de activacin, que

no es otra cosa que unafuncin matemtica utilizada para calcular el siguiente estadode activacin; dicha funcin calcula la nueva actividad de la unidad o neurona a partir

de:

El anterior estado de activacin de la unidad (aunque esta cantidad no siempre setiene en cuenta);

Todas las entradas que recibe dicha unidad de las otras unidades;


42/89

- 42 -

los pesos de las conexiones que la unidad en cuestin tiene con las unidades delas que recibe las entradas.

Si tenemos la unidad i, su actividad en el tiempo t+1 depender de la funcin de

activacin (Fa) aplicada a:

el estado de activacin de la neurona ien el tiempo t; todas las entradas oj recibidas por la unidad idesde las neuronas j de la capa

anterior en el tiempo t;

los pesos de conexin wijcorrespondientes a las distintas sinapsis por los quecada seal ojllega a la neurona ien el tiempo t.

De este modo, podemos representar la funcin de activacin para el clculo del

nuevo estado de activacin de la unidad i en el tiempo t+1 utilizando la siguientenotacin:

ai(t+1) = Fa[ai(t), oj(t), wij]

Dado que la entrada total o NET correspondiente a dicha unidad es igual a la

suma de todas las entradas ponderadas por sus correspondientes pesos, la anterior

frmula tambin se puede expresar del siguiente modo:

ai(t+1) = Fa[ai(t), NETi(t)]

Como ms arriba se ha indicado, la notacin utilizada no es la misma en todos los

autores, as en la frmula algunos utilizan F, otros Fa, y para referirse al tiempo algunos

utilizan la notacin t y t-1 y otros t+1 y t, pero son frmulas equivalentes.

Como ocurra para los valores de activacin de cada neurona, existen mltiples

funciones de activacin, y es el diseador de la red quien debe establecer la que se ha de

utilizar en funcin de las peculiaridades de la tarea para la que se disea la red.

7.2.4.2. Tipos de funciones de activacin.

Funcin identidad.

conexionismo

Documents