Árboles de redes neuronales...

INTRODUCCIÓN Y ANTECEDENTES:

Actualmente, la clasificación de patrones es unaimportante herramienta utilizada en el análisis dedatos experimentales, reconocimiento automático,visión por computadora y otras disciplinas ingenier-iles y científicas. Los algoritmos de aprendizajemaquinal forman parte de lo que se denomina clasi-ficación automática y están encargados de extraer lainformación relevante de un conjunto de patronesque permita su clasificación. Estos algoritmos puedendividirse en dos categorías: supervisados y no super-visados. Los algoritmos supervisados requieren unconocimiento previo acerca de las clases a las que

pertenecen los patrones, mientras que los no super-visados se basan en agrupar a los patrones de acuer-do a sus similitudes, por lo que también se denomi-nan métodos de agrupamiento. Desde otro punto devista, los algoritmos de clasificación pueden reunirseen dos categorías: simples y jerárquicos [1]. La clasi-ficación jerarquizada se lleva a cabo, al contrario quela simple, en cierta cantidad de etapas o subclasifica-ciones sucesivas. El caso jerárquico normalmenteimplica una reducción en la carga computacional [2].Las particiones que se generan en un proceso declasificación pueden ser duras o difusas [3]. Porejemplo, dentro de los algoritmos de clasificaciónsimple, el algoritmo k-means [4] genera particionesduras y el fuzzy c-means [5] genera particionesdifusas. Las clasificaciones jerarquizadas serán vistascon mayor detalle en la siguiente sección.

Los árboles de decisión (AD) y las redes neu-ronales artificiales (RNA) son dos técnicas amplia-mente utilizadas para la implementación de clasifi-

Revista Mexicana de Ingeniería Biomédica • volumen XIX • número 4 • diciembre 1998

13

ÁRBOLES DE REDES NEURONALES AUTOORGANIZATIVAS

MILONE, DHSÁEZ, JCSIMÓN, GRUFINER, HL

Laboratorio de Cibernética, Departamento deBioingeniería, Facultad de Ingeniería, Universidad Nacional de Entre Ríos, Ruta 11 Km. 10, Oro Verde (CP: 3101), Entre Ríos, Argentina

PALABRAS CLAVE:Árboles de decisión, Redes neuronales autoorganizativas,Clasificación automática, Comparación de clasificadores,Reconocimiento de fonemas.

KEYWORDS:Decision Trees, Self-Organizing Neural Networks,Automatic Classification, Clasificators comparison,Phoneme recognition.

RESUMEN:Un campo muy importante de la inteligencia artificial es el dela clasificación automática de patrones. Para este tipo detareas se han utilizado diferentes técnicas. En este trabajo sepresenta una combinación de árboles de decisión y redesneuronales autoorganizativas como una alternativa paraatacar el problema. Para la construcción de estos árboles serecurre a procesos de crecimiento. En estos procesos esnecesario evaluar el rendimiento en la clasificación de uno ovarios nodos ante distintas configuraciones para tomar deci-siones que optimicen la estructura y el desempeño del árbolde redes neuronales autoorganizativas. Para ello se define ungrupo de coeficientes que cuantifican el rendimiento y sedesarrolla un algoritmo de crecimiento basado en estos coe-ficientes. En las pruebas se muestra como los coeficientesmiden de manera objetiva el rendimiento en la clasificaciónpara estructuras simples. Finalmente se realiza una com-paración con otros métodos de clasificación utilizando méto-dos de validación cruzada y bases de datos reales y artifi-ciales.

ABSTRACT:Automatic pattern classification is a very important field ofartificial intelligence. For this type of tasks several techniqueshave been used. In this work a combination of decision treesand self-organizing neural networks is presented as an alter-native to attack the problem. For the construction of thesetrees growth processes were applied. In these processes, eval-uation of the classification efficiency of one or several nodesin different configurations is necessary in order to take deci-sions to optimize the structure and performance of the self-organizing neural tree net. For this task a group of coefficientsthat quantify the efficiency is defined and a growth algorithmbased on these coefficients is developed. The tests show thatthe coefficients give an objective measure of the classificationperformance for simple structures. Finally, a comparison withother classification methods, using cross-validation methodsand real and artificial databases, is carried out.

AR

TÍC

ULO

DE

INVES

TIG

ACIÓ

NO

RIG

INA

L

Recepción del artículo en su primera versión: abril / 98Aprobación del artículo en su versión final: diciembre /98Responsable:

Hugo L. Rufiner.Laboratorio de Cibernética, Departamento de Bioingeniería, Facultad de IngenieríaUniversidad Nacional de Entre Ríos, Ruta 11 Km. 10, Oro Verde (CP: 3101)Entre Ríos, Argentina. E-Mail: [email protected]

cadores. Los AD generan un conjunto de particionesde los datos basándose en una estructura jerárquicade nodos en los que se realizan comparaciones sobrealguna componente del vector de características. Lasredes neuronales están formadas por un conjunto deunidades de procesamiento no lineal altamente inter-conectadas, que procesan en paralelo un conjunto dedatos para extraer información. Existen diferentesmodelos neuronales para la implementación de clasi-ficadores supervisados y no supervisados. El percep-trón multicapa (PMC) es un ejemplo clásico de clasi-ficador simple supervisado [6] [4], mientras que losmapas autoorganizativos (MAO) [6] son ejemplos declasificadores simples no supervisados.

Este artículo está organizado de la siguienteforma. A continuación se presenta el paradigma deAD y los conceptos básicos de los MAO, para contin-uar con las alternativas híbridas como la que se pre-senta en este trabajo. Después de esta introducciónse encuentra una sección dedicada a un conjunto decoeficientes necesarios en el proceso de crecimientoy entrenamiento de los árboles de redes neuronalesautoorganizativas (ARNA) propuestos en este traba-jo. En esta sección se presentan sus definiciones ypropiedades, y algunos ejemplos que aportan a lacomprensión de su funcionamiento. En la sección demétodos se encuentra todo lo relacionado con elalgoritmo de crecimiento y entrenamiento de losARNA conjuntamente con la información acerca delos métodos de validación y las bases de datos uti-lizadas en las pruebas. Finalmente, en las últimassecciones se muestran y discuten los resultados y sepresentan las conclusiones del trabajo.

Inducción de reglas mediante árboles de decisión

En este paradigma el algoritmo de aprendizaje buscauna colección de reglas que clasifican "mejor" losejemplos de entrenamiento. Dichas reglas pueden serrepresentadas como un AD. Éste puede pensarsecomo un diagrama de flujo en donde cada nodo rep-resenta una prueba y cada rama que sale del nodorepresenta un resultado posible de dicha prueba.Para una revisión más detallada ver [7], [8].

Existen AD binarios y n-arios, de acuerdo a lacantidad de particiones realizadas en cada nodo.Dependiendo de las características de la función delnodo y del tamaño del árbol, la frontera final dedecisión puede ser muy compleja. Una de las fun-ciones más empleadas es la prueba mediante un cier-to umbral para cada atributo, teniendo como resulta-do la partición del espacio de atributos por medio dehiperplanos paralelos u ortogonales a los ejes coor-denados del espacio de atributos.

Dos de los algoritmos más utilizados son ID3 yCART y sus derivados [9]. El algoritmo ID3 generaAD n-arios debido a que particiona el conjunto deejemplos de entrenamiento en función del mejoratributo. La función heurística que utiliza ID3 paradeterminar el mejor atributo es una medida de laentropía para cada atributo. CART genera AD bina-

rios ya que para particionar el conjunto de ejemplosen un nodo elige el mejor par atributo-valor de acuer-do con un criterio denominado criterio de Gini [10].

Aunque los AD son intuitivamente atractivos yhan tenido aplicaciones exitosas [9], existen algunosproblemas que pueden obstaculizar su empleo encasos reales [8]. Entre estos problemas se encuen-tran la presencia de datos inconclusos, incompletos oruidosos y el empleo simultáneo de todos los vec-tores de atributos. Para solucionar algunos de estosproblemas se debe pensar en algún criterio de termi-nación adecuado, es decir, hasta qué punto se debehacer crecer el árbol de tal forma que no se obtengaun árbol demasiado complejo, difícil de entender ypoco eficiente. Existe otro problema inherente a losclasificadores jerárquicos que tiene que ver con lacantidad de datos de entrenamiento disponibles encada nivel por lo que constituye otra razón para ele-gir un criterio de terminación adecuado.

Mapas autoorganizativos

Diversas áreas del cerebro, especialmente de lacorteza cerebral, se hallan organizadas según dife-rentes modalidades sensoriales. Esta organización dela actividad cortical del cerebro puede describirsemediante mapas ordenados. Por ejemplo se encuen-tran los mapas retinoscópicos de la corteza visual, losmapas tonotópicos de la corteza auditiva [11], losmapas somatotópicos de la corteza somatosensorial ylos mapas de retardo interaural [2], [12].

Inspirado en el mapeo ordenado del cerebro,Kohonen introdujo en 1982 [13] un algoritmo deautoorganización que produce mapas ordenados quesimulan cortezas biológicas simplificadas con el obje-to de resolver problemas prácticos de clasificación yreconocimiento de patrones. Estos mapas fuerondenominados mapas autoorganizativos. Los MAOpresentan la propiedad de preservación de la vecin-dad, que los distingue de otros paradigmas de redesneuronales.

Los MAO son redes neuronales entrenadasmediante aprendizaje competitivo. En este tipo deaprendizaje, las neuronas de salida compiten entreellas para ser activadas, dando como resultado laactivación de una sola a la vez. Esta neurona es lla-mada "neurona ganadora". A diferencia de otrasredes neuronales donde sólo se permite que aprendala unidad ganadora, en los MAO todas las unidadesvecinas a la ganadora reciben una realimentaciónprocedente de la misma, participando de esta man-era en el proceso de aprendizaje. Esta importantecaracterística es también denominada realimentaciónlateral y puede ser excitatoria, inhibitoria o una com-binación de ambas [14].

En la figura 1 se puede ver la configuraciónbásica de un MAO. Se observan las neuronas deentrada e

iy una red bidimensional de neuronas de

salida sj. Un peso sináptico conecta a la neurona con

la sj. A cada neurona de entrada e

ise le presenta el

i-ésimo elemento de cada patrón de entrada x(n) SD,

Rufiner, HL; et al.: Árboles de Redes Neuronales Autoorganizativas

14

siendo n la ocurrencia temporal de este patrón. Elarreglo bidimensional de neuronas de salida incluyeconexiones entre las neuronas vecinas simulando larealimentación lateral.

Si G es una neurona ganadora durante elentrenamiento de un MAO, las neuronas vecinas quetambién serán actualizadas quedan en una regióndeterminada por una función de vecindad Λ

G(n). Esta

región puede tener diferentes formas y es variablecon el tiempo. El área cubierta comienza siendo máxi-ma y se reduce a medida que avanza el entrenamien-to hasta no incluir ninguna neurona vecina a laganadora. En la figura 2 se puede observar unaregión de vecindad cuadrada que disminuye su áreaen función del tiempo. Para un análisis más comple-to de esta función puede consultarse [14] y [2].

En la figura 3 se puede ver el algoritmo deentrenamiento de un MAO. Tanto la velocidad deaprendizaje η(n) como Λ

G(n), deben variar dinámica-

mente durante el entrenamiento, aunque no existeuna base teórica para la selección de estos parámet-ros. Durante el aprendizaje se consideran dos etapas:la etapa de ordenamiento y la de convergencia. Lasvariaciones de η(n) y de Λ

G(n) están directamente

relacionadas con estas etapas [2], [14]. Una vez quese ha entrenado un MAO, los vectores de pesos w

j,

que van desde la salida sja todas las entradas, deter-

minan los denominados centroides de cada clase.Los MAO han sido utilizados con éxito en el

reconocimiento de fonemas en discurso continuo (fin-landés y japonés) [2], control de brazos robotizados[15, 16], diseño de circuitos integrados [17] ymuchas otras aplicaciones. En este trabajo se utilizancomo parte del algoritmo de clasificación propuesto.

Soluciones híbridas

Para solucionar algunos de los problemas que se pre-sentan con los AD, una alternativa consiste en unaimplementación híbrida de AD y RNA, como la pre-sentada por Sankar y Mammone en 1991 [18]denominada árboles de redes neuronales (ARN). Estetipo de enfoque permite aprovechar las ventajas de laclasificación jerárquica y crear fronteras de decisiónmás complejas con menos nodos, minimizando losproblemas de ruido y de estructuras intrincadas. LosARN son AD que implementan la tarea de decisión enlos nodos mediante una red neuronal. De esta ma-nera la decisión que se toma en cada nodo se basaen reglas más complejas, lo que permite aproximarmejor las fronteras a costa de perder claridad en lainterpretación de las reglas (ya no son reglas lógicassencillas). Se han utilizado diversas arquitecturas enlos nodos, entre ellas se pueden citar: perceptronessimples [18], PMC [19, 20] y MAOs [21]. La canti-dad de particiones que se producen en cada nodopuede ser fija [18, 19] o variable [20]. Cuando lacantidad de clases generadas puede variar para cadanodo, el ARN tiene la posibilidad de adoptar una con-figuración más adecuada para el problema a resolver.Otras alternativas que combinan estructurasjerárquicas con redes neuronales son las redes neu-


15

Figura 1. Configuración de un MAO.

Figura 2. Reducción de vecindades en torno a laneurona ganadora G.

Figura 3. Algoritmo de entrenamiento para un MAO.

ronales modulares [22] y los MAO con neuronas enestructura jerárquica [2].

Los ARN realizan una clasificación basada enuna combinación de los métodos de clasificación sim-ples y jerárquicos. En este trabajo, el ARNA prop-uesto consiste en un árbol de MAOs. Estas redes nosupervisadas separan a los patrones de acuerdo a ladistribución natural de los mismos y permitenaprovechar las características jerárquicas de losárboles. El algoritmo permite que en las primerascapas o nodos se separen los grupos de patronesmás alejados entre sí (o más fácilmente separables) yen las capas finales se separen los patrones de ma-nera más fina (es decir, los más dificilmente separa-bles). Esto puede funcionar muy bien si los patronesposeen cierta jerarquización natural en clases y sub-clases, como en el caso de las características espec-trales de los fonemas. Un problema importante escomo decidir acerca de la cantidad de particiones arealizar en cada nodo en el caso de árboles n-arios.Para atacar este problema se establecieron criteriosbasados en los coeficientes de clasificación que sedescriben en la sección siguiente.

COEFICIENTES DE CLASIFICACIÓN

Dado un clasificador general se define X={x1,x

2,...x

p}

donde xi ∈ R D, como el conjunto de patrones de entra-

da. Estos patrones de entrada corresponden a Mclases que se denominan clases de entrada C I

i. Para

el conjunto de clases de entrada C I={C I1 ,C I

2 ,...C I

M } se

cumplen las siguientes hipótesis:

hi1) X=C I1∪ C I

2∪ ••• ∪ C I

M

hi2) C Ii∩ C I

j= & ø i ≠ j

hi3) C Ii ≠ & ø i

De la misma forma en que los patrones de entrada seagrupan según las clases a las que pertenecen real-mente, también se pueden agrupar de acuerdo a lasclases C O

j en que son separados por el clasificador.

Estas últimas forman el conjunto de clases de salidaC O= { C O

1,C O

2 ,...,C O

N } y cumplen con las siguientes

hipótesis:

ho1) X=C O1∪ C O

2∪ ••• ∪ C O

N

ho2) C Oi∩ C O

j= & ø i ≠ j

(no se requiere ) C Oj ≠ & ø j

Se observa que, en el caso más general, la cantidadde clases de entrada M no necesariamente debe serigual a la cantidad de clases de salida N. Esta gene-ralización resulta muy útil cuando el proceso de clasi-ficación se realiza mediante clasificaciones sucesivas.En estas etapas intermedias en general M≥ N. Noobstante, en el clasificador visto como un solo con-junto generalmente se tiene M≤ N.

Un elemento importante para el desarrolloposterior es la matriz de intersección de entrada -salida definida como:

NI O

i , j= n(C I

i∩ C O

j ) con 1≤ i≤ M y 1≤ j≤ N (1)

donde n es el operador de cardinalidad. Esta matrizcontiene en su i,j-ésima celda la cantidad de patronesde la clase de entrada C I

iclasificados como pertene-

cientes a la clase de salida C Oj .

A continuación se analizan las limitaciones enla utilización del coeficiente de reconocimiento clási-co como criterio para el desarrollo de la topología deun ARNA.

Coeficiente de reconocimiento clásico

El coeficiente de reconocimiento que se utiliza gen-eralmente para medir el desempeño de un clasifi-cador en el reconocimiento de patrones se puededefinir según:

(2)

siempre que se cumplan las hipótesis:

hcr1) M = N

sea ji=

hcr2) ji 1

≠ ji 2

ø i1

≠ i2

para 1≤ i ≤ M

Este coeficiente tiene algunas propiedades que sue-len hacer confusa su interpretación. Sin embargotodavía continua utilizándose en muchos trabajos declasificación para reportar resultados. Si se cumplenlas hipótesis hi, ho y hcr, el máximo que puede alcan-zar cr es 1 cuando ø i Ü j/N

I O

i , j= n(C I

i). Vale aclarar

que para cada i existe un único j por la restricciónimpuesta en la hcr2.

El mínimo que puede alcanzar cr no es cero yaque éste depende del número de clases de salida M.Cuando el clasificador se encuentra en un máximo deconfusión, distribuye igualmente cada clase de entra-da en las clases de salida. Por lo tanto el mínimo paracr es 1/M, ya que el máximo en cualquier clase desalida es n(C I

i)/M. Esto es particularmente confuso ya

que un clasificador con dos clases de salida no podríatener nunca un desempeño menor al 50% (cr ≥ 0.5).

Por otro lado, este coeficiente de reco-nocimiento no es aplicable cuando M≠N. Además, lahipótesis hcr2 restringe su aplicabilidad cuando sehacen agrupaciones intermedias de varias clases deentrada en una clase de salida para ser luego sepa-radas por otro clasificador. Cuando se relaja hcr2 elcoeficiente no permite discernir en que medidapatrones de las misma clase de entrada son concen-trados en la misma clase de salida y patrones de dis-


16

cr=∑

n(X)

M

i=1j=1

max (NI O

i , j)

arg [ ]N

j=1max (N

I O

i , j)

tintas clases de entrada son distribuidos en distintasclases de salida. Para poder eliminar hcr1 y hcr2, sedefinen dos coeficientes que miden estas concentra-ciones y dispersiones por separado.

Coeficiente de concentración interclase

Para medir en que grado un clasificador agrupapatrones pertenecientes a una clase de entrada enuna misma clase de salida se define, en primer lugar,el coeficiente de concentración interclase para laclase de entrada CI

ien las N clases de salida CO

jcomo:

(3)

Se observa que ∑ NI O

i , j= n(C I

i) y además por la hi3 se

cumple ∑ NI O

i , j ≠ ø i.

Este coeficiente posee las siguientes propie-dades:

pcci1) cci= 0 si Ü j*/N

I O

i , j *= n(C I

i)

(si existe j* entonces es único por ho2)

pcci2) cci= 0 si N

I O

i , j 1= N

I O

i , j 2ø1≤ j

1, j

2≤ N

pcci3) cciestá siempre en el intervalo [0,1].

pcci4) cci

es monótono decreciente con

max(NI O

i , j) .

Se define el coeficiente de concentración interclasepara un clasificador como el promedio de los cc

ipon-

derados por la cantidad de patrones de la clase deentrada correspondiente:

(4)

sustituyendo según la ecuación (3) y simplificando seobtiene:

(5)

donde se observa que ∑ NI O

i , j= n(X) y n(X) ≠ 0

por hi3.

El coeficiente de concentración para un clasificadorposee propiedades que hereda directamente del coe-ficiente de concentración para cada clase de entrada.

Asumiendo las hipótesis hcr1 y hcr2, y obser-vando las ecuaciones (2) y (5) se deduce la siguienterelación:

(6)

Así, se puede ver que cuando los máximos de cadaclase de entrada se encuentran en distintas clases desalida y la cantidad de clases de salida es igual a lade clases de entrada, el coeficiente de reconocimien-to puede expresarse como una versión escalada ydesplazada del coeficiente de concentración intra-clase.

Hay que destacar que, si bien el coeficiente deconcentración mide la capacidad con que un clasifi-cador agrupa patrones de una misma clase de entra-da en una única clase de salida, no es capaz dedetectar cuando todos los patrones de entrada sonllevados a una misma clase de salida. Para esto sedefine a continuación el coeficiente de dispersiónintraclase.

Coeficiente de dispersión intraclase

Para medir la capacidad que posee un clasificadorpara llevar patrones de distintas clases de entrada adistintas clases de salida se define, en primer lugar, elcoeficiente de dispersión intraclase para la clase desalida C O

jen las M clases de entrada C I

icomo:

(7)

Se observa que ∑ NI O

i , j= n(C O

j).

Este coeficiente posee las siguientes propiedades:

pcdj1) cdj= 1 si Ü i*/N

I O

i * , j= 0 øi ≠ i*

(si existe i* entonces es único por hi2)

pcdj2) cdj= 0 si N

I O

i 1 , j = N

I O

i 2 , j ø1≤ i

1, i

2≤ M

pcdj3) cdjestá siempre en el intervalo [0,1].

pcdj4) es monótono creciente con max(NI O

i , j) .

De forma similar que para el coeficiente de concen-tración, se define el coeficiente de dispersión intra-clase para un clasificador como el promedio de los cd

j

ponderados por la cantidad de patrones en cadaclase de salida:


17

cci=

∑N

N

j=1j=1

N max (NI O

i , j) - N

I O

i , j

∑N

j=1

( N - 1) NI O

i , j

cr = cc +

∑i=M, j=N

i, j=1

(M-1)M

1M

NI O

i , j

cc =∑

MN

i=1 j=1N max (N

I O

i , j) -

∑i=M, j=N

i, j=1

i=M, j=N

i, j=1

( N - 1) NI O

i , j

cc =∑

M

i=1

n(C Ii)• cc

i

∑M

i=1

n(C Ii)

j

j

i

i

j

cdj=

0

si n(C Oj) ≠ 0

si n(C Oj) = 0

∑M

M

i=1i=1

M max (NI O

i , j) - N

I O

i , j

∑M

i=1

( M - 1) NI O

i , j

(8)

Sustituyendo según (7) y simplificando se obtiene:

(9)

donde nuevamente se tiene .∑ NI O

i , j= n(X)

Las propiedades de cd se heredan directamente delas propiedades del coeficiente de dispersión paracada clase de salida.

El coeficiente de dispersión intraclase no mideel grado en que patrones de entrada de una mismaclase son derivados a diferentes clases de salida. Estoes cuantificado por el coeficiente de concentracióninterclase.

Finalmente se muestran algunos ejemplos dela aplicación de los coeficientes de clasificación. Sepuede observar en la figura 4.a) la matriz N IO corres-pondiente a un clasificador ideal. En este caso lostres coeficientes de clasificación llegan a su valormáximo indicando una clasificación perfecta. La figu-ra 4.b) muestra el comportamiento de un clasificadortotalmente confundido. El ejemplo muestra como cc ycd marcan más fehacientemente que cr la deficienciadel clasificador. En la figura 4.c), la matriz N IO corres-ponde a un clasificador que clasificó a todos lospatrones de entrada como pertenecientes a unamisma clase de salida. Este es un ejemplo típico demáxima concentración y mínima dispersión, como loscoeficientes lo indican. En la matriz de la figura 4.d)se encuentra el ejemplo opuesto donde la dispersiónes máxima.

MATERIALES Y MÉTODOS

En esta sección se describe el nuevo algoritmo declasificación propuesto y la forma de entrenarlotomando como base los coeficientes descriptos en lasección anterior. También se describen las bases dedatos utilizadas en los experimentos, el método devalidación con el cual se obtuvieron los resultados ylos detalles de implementación computacional.

Algoritmo de entrenamiento del ARNALa totalidad de los patrones de entrenamiento

es presentada inicialmente al nodo raíz. A los nodosde los niveles siguientes les llega un subconjunto depatrones que ha sido derivado jerárquicamentedesde los niveles anteriores del árbol.

Considerando un nodo en particular se debedecidir, en primer lugar, si se justifica o no realizaruna tarea de clasificación. Así se distingue entre dostipos de nodos: nodos clasificadores y nodos termi-nales. Para declarar que un nodo es terminal o clasi-

ficador se deben tener en cuenta dos característicasde su conjunto de patrones de entrada: el grado dehomogeneidad en clases y el número de patronesque posee. Si bien esta última característica no pre-senta ninguna dificultad en cuanto a su mediciónobjetiva la medida de la homogeneidad en clases noes trivial. Por esta razón se define el coeficiente deconcentración para el conjunto de patrones de entra-da como:

(10)

del cual, en forma similar a los coeficientes cc y cd,pueden enunciarse las propiedades:

ppc1) pc=1 si Ü i*/n(Ci)= 0 ø1≤ i ≠ i*≤ M

(si existe j* entonces es único por ho2)

ppc2) pc=0 si n(Ci1)=n(C

i 2 ) ø1≤ i

1, i

2≤ M

ppc3) 0<pc<1en cualquier otro caso

ppc4) pc es monótono creciente con max(n(Ci))

Para determinar el tipo de nodo en base a las carac-terísticas mencionadas se comparan sus medidas condos umbrales: el umbral de concentración mínima depatrones de entrada (upc) y el umbral de cantidadmínima de patrones de entrada (unX). De esta formase dice que un nodo es terminal cuando la concen-tración de patrones de entrada supera el umbral upco cuando la cantidad de patrones es menor que elumbral unX.

Si se encuentra un nodo clasificador entonceséste debe entrenarse. La red neuronal que debeentrenarse para implementar la tarea de clasificaciónen el nodo es un MAO y se entrena por el métodoexplicado anteriormente. La dimensión de entrada enesta red está determinada por la dimensión de lospatrones y es la misma para todo el árbol. La dimen-sión o cantidad de clases de salida junto con losnodos terminales definen la topología final del árbol.


18

Figura 4. Ejemplos de aplicación de los coeficientesde clasificación: a) clasificador ideal; b) clasificadortotalmente confundido; c) hay concentración peronada de dispersión; d) máxima dispersión pero pocaconcentración.

cd =∑

N

j=1

n(C Oj)• cd

j

∑N

j=1

n(C Oj)

∑j=N, i=M

j, i=1

NI O

i , j

cd =∑

NM

j=1 i=1M max (N

I O

i , j) -

∑j=N, i=M

j, i=1

( M - 1) NI O

i , j

j=N, i=M

j, i=1

pc=

M

i=1M max (n(C

i) - n(X)

(M - 1)n(X)

j

Para determinar la cantidad apropiada declases de salida se utiliza un proceso de crecimientode nodo basado en los coeficientes cc y cd y dosumbrales de capacidad de clasificación mínima ucc yucd respectivamente. Se adopta inicialmente unaconfiguración con dos clases de salida (N=2), seentrena la red y se evalúa su desempeño en la clasi-ficación. En el caso en que no se supere alguno de losumbrales se incrementa N en uno y se repite el entre-namiento y prueba. Este proceso culmina cuandoambos coeficientes superan sus correspondientesumbrales o cuando N alcanza el máximo permitidomaxN. En este último caso, se elige la mejor de todaslas configuraciones entre 2 y maxN y se consideraconcluido el entrenamiento de ese nodo. Este algorit-mo de crecimiento de nodo se repite para todos losnodos de cada nivel del árbol y puede verse en lafigura 7.

Las exigencias en cuanto a concentración ydispersión varían de acuerdo al nivel de profundidaden el proceso de clasificación. En las primeras etapasde la clasificación se propone una mayor exigencia encuanto a la concentración, mientras que la separaciónbasada en detalles más finos se realiza progresiva-mente en niveles posteriores, en los que se exigemejor dispersión en la clasificación. Así se pasa gra-dualmente desde la no supervisión a la supervisión yse logra progresivamente la concordancia entre lasclases de salida y las de entrada.

Cuando el árbol ha sido entrenado se procedeal etiquetado de los nodos terminales. La elección dela etiqueta asignada a cada nodo terminal se realizaen base a la siguiente ecuación:

(11)

Los nodos terminales se unen, de acuerdo a su eti-queta, en otro nivel de nodos artificiales que poseenlas etiquetas de todas las clases y de esta forma enel ARNA completo se cumple M = N.

Funcionamiento del ARNA entrenado

Para realizar la clasificación de un patrón una vez queel ARNA ha sido entrenado, se necesita propagarlo através de él. La propagación del patrón puederealizarse en forma secuencial o en forma paralela.

Cuando se propaga un patrón en formasecuencial se describe un camino a través del árbolmediante un simple algoritmo como el siguiente:

1) Se comienza haciendo pasar el patrón por elnodo raíz

2) Se miden las distancias del patrón a cada unode los centroides del MAO correspondiente.

3) Se elige como nodo siguiente aquel cuyorespectivo centroide está más cerca del patrón.

4) Se vuelve a 2 hasta que se llega a un nodo ter-minal y se clasifica al patrón según la etiquetade este nodo.

En la propagación paralela se miden las distanciasentre el patrón y todos los centroides simultánea-mente y luego se sigue el camino formado por losnodos activados a partir del nodo raíz, hasta llegar aun nodo terminal. De esta manera el funcionamientodel ARNA ya armado puede paralelizarse en unaimplementación hardware que, para el caso de losMAO, no requiere la evaluación de funciones de nodono lineales y puede basarse en simples compara-dores. Esto hace que la implementación pueda sersimple y eficiente [20].

Patrones de entrenamiento y pruebas de validación

Descripción de las bases de datos

Las bases de datos empleadas en las pruebas delalgoritmo fueron tomadas en su mayoría de [23]. Enel trabajo citado se presenta una comparación de var-ios paradigmas incluido un árbol de perceptronessimples (APS). Estos resultados se utilizarán paracontrastar con los obtenidos en el presente trabajo.Se emplearon dos tipos de datos: artificiales y reales.Entre las bases reales se eligieron dos relacionadascon la clasificación de fonemas debido a que estaaplicación es de interés central para nuestro grupo. Acontinuación se describen brevemente las bases dedatos utilizadas.

Clouds: esta base de datos artificial fue creadacon el objetivo de estudiar el comportamiento delos clasificadores para una distribución de clasescon gran intersección y alto grado de no linealidaden las fronteras [23]. Está formada por 5000patrones bidimensionales separados en dosclases. La primera clase está constituida por lasuma de tres distribuciones gaussianas diferentesy la segunda por una distribución normal única.

IRIS: esta base de datos real fue tomada de [23,24]. La fuente original fue [25], aunque se hizofamosa a través de los trabajos de R. A. Fisher[26, 27]. Esta base de datos ha sido ampliamenteutilizada en la bibliografía y es quizás la más cono-cida en la literatura de reconocimiento depatrones. Para ejemplos referirse a [28, 29], [30]y recientemente [23]. El conjunto de datos estáformado por 150 ejemplos (50 de cada clase),cada uno de los cuales consta de 4 atributos. Elnúmero de clases es 3 y cada una corresponde aun tipo de planta IRIS. Una de las clases es lineal-mente separable de las otras dos, las cuales noson linealmente separables una de otra. En lafigura 5 se observa la distribución en clases de laspatrones proyectados en sus componentes princi-pales.

Phoneme: esta base de datos se desarrollo parasu aplicación a un sistema para reconocimientodel habla en francés y español en tiempo real[23]. Los datos iniciales fueron elaborados obte-niendo un espectro coclear (del tipo escala de Mel[31]). La salida de los filtros se tomó cada 2 u 8


19

Ji= arg [ ]

N

j=1

max {P(xi ∈ C O

j x

i )}

[mseg] dependiendo del tipo de fonema observa-do (estacionario o transitorio). El objetivo de labase de datos es distinguir entre vocales nasalesy orales por lo que hay dos clases. Esta base con-tiene vocales tomadas de 1809 sílabas aisladas.Para caracterizar cada vocal se escogieron cincoatributos diferentes. Estos atributos correspondena las amplitudes de los cinco primeros armónicos,normalizados por la energía total (integrada entodas las frecuencias). Se guardaron tres instantesdiferentes por cada vocal para obtener los 5404patrones de la base actual luego de remover lospatrones inconsistentes.

Peterson: esta es una base de datos clásica enaudiología. Consiste en las primeras cuatro for-mantes de las vocales del inglés [F1-F4]. La com-pilación de la base se debe a Peterson y Barney[32]. La base consta de dos repeticiones de diezvocales inglesas emitidas por un total de 76hablantes (15 niños, 33 hombres y 28 mujeres),lo que produce 1520 emisiones. Los datos seidentificaron luego por 26 oyentes y se marcaronlos que tuvieron problemas de reconocimiento. Ladistribución de patrones para las clases de estabase de datos se pueden ver proyectadas sobreF1 y F2 en la figura 6. Recientemente se hantomado datos nuevos y se han hecho revisionessobre los datos originales [33].

Descripción del método de validación

Es ampliamente conocido que cuando se prueba laexactitud de clasificación de un algoritmo la tasa deerror tiende a estar sesgada si se la estima a partirdel mismo conjunto de datos que fueron utilizadospara entrenar el método. Lo que en realidad debemedirse es el poder de generalización del algoritmocon datos distintos a los utilizados durante el entre-namiento. Sin embargo en las aplicaciones reales secuenta con un numero finito de ejemplos de cadaclase. El método de validación cruzada conocidocomo reservar aparte (RA) (en inglés hold out) con-siste en realizar una partición del conjunto depatrones para obtener los subconjutos de entre-namiento y prueba. De esta manera los patrones deprueba no se utilizan durante el entrenamiento.Como usualmente la distribución de patrones porclase en cada conjuto no es uniforme, es posible quela partición particular sesgue la estimación del error.Es por ello que se han propuesto varias alternativasque permiten mejorar la estimación del error [34,23]. La mejor estimación la provee el método dejar-uno-aparte (DUA). Si existen N patrones, este méto-do consiste en realizar N entrenamientos separandoen cada uno un patrón distinto para usarlo en laprueba. El resultado final es el porcentaje de aciertosen las pruebas. En algunos casos este método no esimplementable debido a su alto costo computacional.

Existen alternativas que permiten establecerun compromiso entre el costo computacional y laprobabilidad de sesgar los resultados. Una de estasalternativas es el método denominado dejar-k-aparte

(DKA) [23] que consiste en tomar m particiones delos N datos: m = N /k; dejando k patrones para prue-ba y usando los restantes N – k para entrenamiento.Los m resultados de desempeño así obtenidos sonpromediados para obtener la estimación final delerror. Los patrones no se repiten en los conjuntos deprueba, es decir que cada conjunto de prueba poseepatrones diferentes a los de los otros conjuntos. Otraalternativa es el método reservar aparte promediado(RAP), que consiste en realizar varias estimacionesRA con diferentes particiones y promediar los resul-tados. En este caso no se restringe la cantidad depatrones por partición de prueba y se reduce el costocomputacional manteniendo una buena estimacióndel desempeño.

Detalles de implementación

Todas las pruebas se realizaron en computadoras PCtipo Pentium, y el desarrollo del nuevo algoritmo(ARNA) fue realizado bajo el paradigma de progra-mación orientada a objetos en ambiente Delphi 3,utilizándose para los MAOs librerias dinámicas pre-compiladas provenientes del paquete comercialNeuroWindows [35]. También se desarrollaron ruti-nas para implementar los métodos de validacióncruzada.

RESULTADOS

Con el objeto de aclarar el comportamiento de loscoeficientes se muestra un ejemplo sencillo en el quese entrenó un clasificador real. El clasificador utiliza-do es un MAO aislado como los descriptos anterior-mente. Como patrones de entrenamiento se utilizanlos de la base de datos de Peterson. En una experi-mentación controlada basada en el método DKA seobtuvieron los resultados que se ven en la figura 8.Aquí se puede ver la evolución de los coeficientes deconcentración y dispersión en función de la cantidadde clases de salida.

El coeficiente de concentración comienza convalores altos (0.98 para 2 clases de salida) y decrecea medida que aumenta la cantidad de clases de sali-da (hasta 0.78 para 15 clases de salida). El coefi-ciente de dispersión comienza con valores bajos(0.21 para 2 clases de salida) y se incrementa amedida que aumenta la cantidad de clases de salida(0.67 para 15 clases de salida). Ambos coeficientesse cruzan cuando la cantidad de clases de entrada esigual a la cantidad de nodos de salida. También seconsiguieron gráficas similares a ésta para las basesde datos IRIS, Clouds y Phoneme.

Los siguientes resultados conciernen al entre-namiento del ARNA. En primer lugar se presentanresultados relacionados con su crecimiento. La fig-uras 9 muestran dos diagramas de flujo de clasespara un entrenamiento con los patrones de Petersony los fonemas /ao/ y /iy/ respectivamente. En estosdiagramas cada línea horizontal separa un nivel delsiguiente y cada rectángulo representa a un nodo.Los rectángulos que llegan hasta el último nivel sonnodos terminales. En tonos de gris se muestra la can-


20

tidad de patrones de la clase en cuestión, en cadanodo y en relación al total de patrones de la clase.

A continuación se muestra las relación queexiste entre las características de la base de datos deentrenamiento y la topología del ARNA construidopor el algoritmo de crecimiento. Para este ejemplo seutilizó la base de datos IRIS. El árbol que se generacon esta distribución de patrones puede observarseen la figura 10. Esta figura muestra la topología delARNA e indica además la cantidad de patrones decada una de las clases que ha llegado a cada nodo.Cada nodo terminal posee una etiqueta que lo iden-tifica según su clase mayoritaria.

Para terminar esta sección se presentan losresultados finales de las pruebas de validación paraun conjunto de problemas de clasificación bien cono-cidos. Para contrastar los resultados obtenidos conARNA se muestran los resultados obtenidos con otrastécnicas de clasificación aplicadas al mismo problemay una estimación del máximo desempeño de Bayesmediante el método de los k-vecinos más cercanos[23]. En las tablas 1 a 3 se compara el coeficiente dereconocimiento del ARNA con el de PMC, el deaprendizaje por cuantización vectorial (ACV, o cono-cido por su sigla en inglés LVQ) y el de APS extraídosdel trabajo comparativo de [23]. La tabla 4 comparalos resultados con PMC y ACV a partir de los pa-trones de Peterson. En las figuras 11 a 14 se mues-tran estos resultados en forma gráfica para una com-paración cualitativa. El método de validación utilizadopara evaluar el rendimiento del ARNA fue el RAP. Seeligió este método con el objeto de que las compara-ciones con los resultados reportados previamente en[23] fueran consistentes. Además, a pesar de losinconvenientes ya señalados para el coeficiente dereconocimiento, el mismo tuvo que utilizarse en lascomparaciones ya que los autores de [23] lo uti-lizaron para reportar sus resultados.

Para tener una referencia de la velocidad deentrenamiento se entrenaron un PMC y un ARNA conla base de datos Peterson. Para que la comparación

sea válida se utilizó RAP en el caso del PMC,requiriendo de éste un desempeño similar al delARNA. El resultado final indica que el ARNA es 8.4veces más rápido que el PMC.

DISCUSIÓN

En las experiencias realizadas con el MAO aislado elcd aumentó en forma notoria a medida que la canti-dad de nodos de salida se aproximaba a la cantidadde clases de entrada. Esto concuerda con un aumen-to en la eficiencia de la red para separar las clases deentrada. El cd continuó incrementándose, aunque enmenor medida, cuando la cantidad de nodos de sali-da fue superior a la cantidad de clases de entrada.Por otro lado se observa que el cc se comporta deforma opuesta. Cuando el clasificador posee pocosnodos de salida, se produce una mayor concentraciónde patrones en las clases de salida y por ende unamayor concentración de patrones de una misma clasede entrada en una misma clase de salida. A medidaque la cantidad de nodos de salida aumenta, existenmás posibilidades de que la red separe en distintasclases de salida patrones de la misma clase de entra-da. Esta situación implica una disminución en lacapacidad de la red para concentrar patrones de unamisma clase de entrada en una misma clase de sali-da. En las experiencias realizadas el cc comenzó convalores altos para pocos nodos de salida y disminuyócon el aumento de los nodos de salida, lo cual con-cuerda con la disminución en la capacidad de con-centración de la red. Se puede observar con esta sim-ple experiencia que cd y cc son indicadores de lacapacidad de la red para dispersar patrones de dis-tintas clases de entrada en distintas clases de saliday para concentrar patrones de la misma clase deentrada en una misma clase de salida respectiva-mente. Esto es lo esperado de acuerdo a la forma enla que se plantearon los coeficientes.

Las gráficas de flujo de patrones muestran elcomportamiento de un ARNA ya entrenado para elcaso de Peterson (figura 9). Los fonemas fácilmente


21Figura 5. distribución de los patrones de IRISproyectados es dos de sus componentes principales

Figura 6. Distribución de algunas de las vocales delInglés según Peterson.

diferenciables entre sí como los conjuntos de fone-mas /ao/ e /iy/ (figura 6) son separados en el primernivel de decisión. Por otro lado cuando dos clases depatrones son más confundibles son separadas enniveles de decisión posteriores. Esto deja de mani-fiesto el comportamiento jerárquico del ARNA, elcual realiza una separación más fina de los fonemasen los últimos niveles de decisión.

Es interesante comparar la topología del ARNAgenerada de la figura 10 con la distribución depatrones de la base de datos IRIS en la figura 5. Sepuede observar como la clase Setosa, que es lineal-mente separable, queda aislada en una única clasede salida a partir del nodo 2. Al nodo 3 llegan lamayor parte de los patrones correspondientes a laclase Versicolor y la totalidad de los patrones de laclase Virginica. Se puede observar en la figura 5 quela complejidad de este subproblema de clasificaciónes mayor, lo que genera una estructura más comple-ja en la topología a partir del nodo 3. Todas las ramasa partir del nodo 6 se generan para resolver el pro-blema de separar un patrón Versicolor rodeado por16 patrones cercanos de la clase Virginica. Nóteseque el árbol generado posee error cero debido a queel umbral de pc fué fijado en 1 (con lo que se obtieneun árbol sobreentrenado). Ésto también es impor-tante ya que indica que el ARNA es una estructura declasificación que en forma práctica puede alcanzar unerror de clasificación cero durante el entrenamiento.Otras estructuras, como el PMC, también presentanesta propiedad en forma teórica pero difícilmente laalcanzan en la práctica.

La jerarquización en la clasificación adquiereespecial importancia cuando se resuelven problemasen el campo del reconocimiento automático delhabla. En estos problemas existe una jerarquía inher-ente a la generación misma de los datos de entre-namiento. En el caso de la clasificación de fonemasse encuentran sub clasificaciones según la energía, elgrado de tensión de las cuerdas vocales, el sexo, laposición de las constricciones en el tracto vocal, etc.Las sucesivas particiones generadas por los MAOpermiten separar los patrones según sus característi-cas más sobresalientes en los primeros niveles delárbol e incrementar el nivel de detalle para lograr unaclasificación definitiva en los nodos terminales.

Si se comparan los resultados obtenidos con elARNA y otros clasificadores se observa que la per-formance comparativa varía para las diferentes basesde datos. El ARNA tuvo un desempeño superior atodas las otras arquitecturas cuando se utilizó la baseIRIS para el entrenamiento. El desempeño del ARNApara la base Phoneme fue prácticamente el mismoque el desempeño obtenido por el resto de las arqui-tecturas. Sin embargo, para la base Clouds elrendimiento del ARNA fue 3.72% inferior al obtenidopor un PMC, que fue el clasificador que obtuvo elmejor resultado. En el caso de los patrones dePeterson los resultados favorecen al ARNA frente aACV y PMC.


22

Figura 7. Algoritmo para el crecimiento de ARNA.

Figura 8. Evolución de los coeficientes de clasifi-cación en función de la cantidad de nodos en unclasificador MAO. La gráfica se obtuvo mediante elmétodo de leave-k-out aplicado sobre la base dedatos de Peterson. Las barras indican la desviaciónestándar y los puntos el promedio para un k = 10(para mayores detalles ver la sección Patrones deentrenamiento y pruebas de validación).

Figura 9. Diagramas de flujo de clase para el unentrenamiento basado en la base de datos dePeterson. Se observa el flujo de patrones para lasclases /ao/ (izda) y /iy/ (dcha).

La razón de la disminución comparativa de losresultados del ARNA se debe a una limitación técni-ca de la implementación del algoritmo. La máximacantidad de MAOs que se pueden generar está limi-tada a 128. Esta cantidad parece ser suficiente parabases simples como IRIS y Peterson, sin embargono lo es para bases más complejas como Clouds yPhoneme. De esta manera, debido a la limitación delnúmero máximo de MAOs que se pueden generar, lasconfiguraciones alcanzadas por el ARNA no son lasóptimas para la solución del problema.

Una consideración muy importante a la horade realizar comparaciones entre diferentes arquitec-turas es el hecho de que mientras el ARNA adapta sutopología al problema en cuestión, otros métodoscomo ACV y PMC necesitan que se especifique unaconfiguración inicial, generalmente basada en laexperiencia del usuario y refinada mediante prueba yerror. De hecho los resultados para ACV, PMC y APSque se encuentran en las tablas 1, 2, 3 correspondena resultados alcanzados con la mejor configuraciónhallada después de numerosas pruebas. Aquí se debeaclarar que ARNA adapta su topología a través de

múltiples ensayos, como se desprende del método decrecimiento de nodos (la figura 7), aunque lo hace demanera jerárquica y automática en cada nodo lo queresulta en un ahorro computacional sustancial conrespecto a los métodos de prueba y error citados.

Dado que los cómputos realizados para la gen-eración de un ARNA son sencillos, esta arquitecturaes considerablemente más veloz que otras estruc-turas con algoritmos más complejos. Sin embargopuede requerir más operaciones para solucionar unmismo problema que los métodos clásicos de ge-neración de árboles como ID3 o C4. Su principal ven-taja frente a éstos últimos la posibilidad de generarfronteras mucho más complejas.

CONCLUSIONES Y TRABAJOS ACTUALES

En el presente trabajo se presenta un algoritmo parael crecimiento de árboles de redes neuronales autoor-ganizativas y se compara su desempeño frente aotros métodos de clasificación con distintas bases dedatos. La principal fuente de las ventajas de estemétodo está en la combinación de diferentes para-digmas de clasificación, lo que permite aprovechar


23

Figura 10. Árbol generado durante el entrenamiento con la base de datos IRIS. Los nodos clasificadores son los sim-bolizados con una red neuronal. Los nodos terminales poseen todos un pc = 1 y están simbolizados con una elipseen la que se indica la clase representada en el nodo. Referencias: se = Iris-setosa; ve = Iris-versicolor; vi = Iris-vir-ginica.


24

Figura 11. Resultados comparativos para la base dedatos IRIS.

Figura 13. Resultados comparativos para la base dedatos Phoneme.

Figura 14. Resultados comparativos para la base dedatos Peterson.

Figura 12. Resultados comparativos para la base dedatos Clouds.

cr % µ Min Max

PMC 83.63 82.36 84.69

ACV 83.00 82.20 83.76

APS 83.47 82.04 85.06

ARNA 82.99 81.87 84.84

Bayes 87.7 86.81 88.02

Tabla 3. Resultados comparativos para la base dedatos Phoneme.

cr % µ Min Max

PMC 83.08 79.55 84.85

ACV 84.36 74.81 87.57

ARNA 86.36 84.85 87.88

Tabla 4. Resultados comparativos para la base dedatos Peterson.

cr % µ Min Max

PMC 95.78 93.33 98.61

ACV 93.83 89.44 98.67

APS 93.33 86.61 98.61

ARNA 97.78 96.67 98.33

Bayes 96.66 94.72 97.27

Tabla 1. Resultados comparativos para la base dedatos IRIS.

cr % µ Min Max

PMC 87.66 86.77 88.33

ACV 87.66 85.66 88.55

APS 85.66 85.00 86.33

ARNA 83.93 82.20 87.20

Bayes 88.11 87.44 88.77

Tabla 2. Resultados comparativos para la base dedatos Clouds.

las ventajas de cada uno. El algoritmo planteadocombina las ventajas del aprendizaje supervisado conlas del aprendizaje no supervisado. Para el crecimien-to y definición de la topología del árbol se utilizainformación acerca de la identidad de los patrones.En cambio, para la tarea de clasificación en cadanodo se utiliza un extractor de características basadoen un MAO que no usa información acerca de identi-dad de los patrones de entrenamiento. Otra de lascombinaciones de paradigmas de clasificación que seencuentran en este algoritmo es la de los clasifi-cadores simples y los jerarquizados. Mientras que laestructura general responde a los métodos de clasifi-cación jerarquizada, en cada nodo se utiliza un típicoclasificador simple como lo es una red neuronal. ElARNA es un clasificador muy flexible que no necesitala definición a priori de la topología (como se requiereen el caso del PMC). La velocidad del método es otracaracterística que hace del ARNA una configuraciónadecuada para la implementación de tareas de clasi-ficación.

Si bien en algunos de los experimentos ARNAclasificó mejor, se puede decir que los resultados nofavorecen a ningún método en particular. Con el obje-to de resolver el problema generado por la limitaciónen el número de redes neuronales actualmente serealizan modificaciones de la implementación, parapoder generar un número indeterminado de redesneuronales. De esta forma se podrán atacar proble-mas complejos. Como hay problemas que pueden sermuy difíciles de resolver para un MAO y no para otrosparadigmas de redes neuronales, actualmente seimplementa la sustitución de los nodos MAO de bajodesempeño con PMC, ACV o redes neuronales debase radial. Existen problemas donde el sistema declasificación debe tomar decisiones que dependen delpatrón de entrada actual y de T patrones anteriores,siendo T variable. Este es el caso del reconocimientoautomático de habla y se debe proveer de memoriaal sistema de clasificación. Se estudian actualmentediferentes alternativas para convertir al ARNA en unsistema dinámico de clasificación.

AGRADECIMIENTOS

Agradecemos a Daniel A. Zapata por su participaciónen las discusiones llevadas a cabo durante las etapasiniciales de la elaboración es este trabajo. A Aldo D.Sigura, y Damián Tochetto por sus aportes en laimplementación y depuración de los programas.

Este trabajo ha sido soportado por la Univer-sidad Nacional de Entre Ríos.

REFERENCIAS

1. J. Mao, A.C. Jain, "A Self-Organizing Network for Hyper-Ellipsoidal Clustering", IEEE Trans. On NeuralNetworks, vol.7, no.1, pp16, Jan. 1996.

2. T. Kohonen, "The Self-Organizing Map", New York:Springer-Verlag, 1995.

3. B. Kosko, "Fuzzy Engineering", Prentice Hall, 1997.4. D. R. Hush, B. G. Horne, "Progress in Supervised Neural

Netwoks. What’s New Since Lippmann", IEEE ASSPMag., vol. 10, no.1, pp 8-39, 1993.

5. M. P. Windham, "Cluster Validity for the Fuzzy c-MeansClustering Algorithm", IEEE Trans. Pattern Anal.Machine Intel., vol. PAMI-4, no.4, pp 357-363, July1982.

6. R. P. Lippmann, "An introduction to computing with neu-ral nets", IEEE ASSP Mag., vol.4, no.2, pp 4-22,1987.

7. Goddard J.C., Martinez F.M.; Martinez A.E., CornejoJ.M., Rufiner H.L., Acevedo R.C., "AprendizajeMaquinal en Medicina: Diabetes, un caso deEstudio"; Revista Mexicana de Ingeniería BiomédicaVolumen 16, no.2, Octubre de 1995.

8. L. Breiman, J. H. Friedman, R. A. Olshen, C. J. Stone,"Classification and Regression Trees", Wadsworth.Int., 1984.

9. J. Ross Quinlan, "C4.5: Programs for Machine Learning",The Morgan Kaufmann Series in Machine Learning,Pat Langley, Series Editor, 1993.

10. Sestito, Dillon, "Automated Knowledge Acquisition",Prentice Hall 1994.

11. Rubén Acevedo, "Representación tonotópica de lacorteza auditiva", Tesis de Maestría en IngenieríaBiomédica UAMI, México, Marzo 1997.

12. T. Kohonen, "The Self-Organizing Map", Proc. IEEE,vol.78, no.9, pp 1464-1480, Sept. 1990.

13. T. Kohonen, "Self-Organized Formation of TopologicallyCorrect Feature Maps", Biological Cybernetics, vol.44, pp. 59-69, 1982.

14. S. Haykin, "Neural Networks. A ComprehensiveFoundation", Macmillan College Publishing Company,1994.

15. J. A. Walter, K.Schulten, "Implementation of Self-Organizing Neural Networks for Visuo-Motor Controlof an Industrial Robot", IEEE Trans. on Neural Net-works, vol.4, no.1, pp 86, 1993.

16. J. Freeman, D. Skapura, "Neural Networks. Algorithms,Aplications and Programming Techniques", Addison-Wesley Publishing Company, 1991.

17. Chen-Xiong Zhang, D.A.Mlynski, "Mapping andHierarchical Self-Organizing Neural Networks forVLSI Placement", IEEE Trans. On Neural Networks,vol.8, no.2, pp 299-314, 1997.

18. A. Sankar, R. J. Mammone, "Neural Tree Networks", en"Neural Networks: Theory and Applications", R.Mammone and Y. Zeevi Eds., New York: AcademicPress, pp 281-302, 1991.

19. I. K. Sethi, "Decision tree performance enhancementusing an artificial neural network implementation",Artificial Neural Networks and Statitical PatternRecognition. Old and New Conections, Ed. I. K.Sethi, A. K. Jain, Elsevier Science Publishers B.V.,1991.

20. M. G. Rahim, "A self-learning neural tree network forphone recognition", Artificial Neural Networks forSpeech and Vision, Ed.R. J. Mammone, Chapman &Hall, 1993.

21. C. Ke, Y. Xiang, CH. Huisheng, Y. Liping, "Modular-Tree:A Self-architecture Neural Network Architecture",Report of National Lab of Machine Perception andCenter for Information Science Peking University, vol.32, no.1, pp 110-119, 1996.

22. E. Ronco, P. Gawthrop, "Modular Neural Networks: astate of the art", Tech. Report: CSC-95026. Centrefor System and Control, Univ. of Glasgow, Glasgow,UK, May 1995.

23. Guerin-Dugue, A. and others, "Deliverable R3-B4-P -Task B4: Benchmarks", Technical Report of Elena-Nerves II "Enhanced Learning for Evolutive NeuralArchitecture", ESPRIT-Basic Research Project Number6891, June 1995.


25

24. Blake, C., Keogh, E. & Merz, C.J., "UCI Repository ofmachine learning databases" [http://www.ics.uci.edu/~mlearn/MLRepository.htm] Irvine, CA: Universityof California, Department of Information and Com-puter Science, 1998.

25. Anderson, E. "The Irises of the Gaspe Peninsula", Bulletinof the American Iris Society, 59, pp 2-5, 1935.

26. Fisher, R.A. "The use of multiple measurements in taxo-nomic problems", Annual Eugenics, 7, Part II, pp179-188, 1936.

27. Fisher, R.A. "Contributions to Mathematical Statistics",John Wiley, NY, 1950.

28. Duda, R.O., & Hart, P.E. "Pattern Classification andScene Analysis". John Wiley & Sons., pp 218, 1973.

29. Dasarathy, B.V. "Nosing Around the Neighborhood: ANew System Structure and Classification Rule forRecognition in Partially Exposed Environments". IEEETransactions on Pattern Analysis and MachineIntelligence, Vol. PAMI-2, no.1, pp 67-71, 1980.

30. Gates, G.W. "The Reduced Nearest Neighbor Rule". IEEETransactions on Information Theory, pp 431-433,May 1972.

31. J. Deller, J. Proakis, J. Hansen, "Discrete TimeProcessing of Speech Signals". Macmillan Publishing,NewYork, 1993.

32. G. E. Peterson, H. L. Barney, "Control methods used ina study of the vowels", J. Acoust. Soc. Am. 24, pp175-184, 1952.

33. J. Hillenbrand, L. A. Getty, M. J. Clark, K. Wheeler,"Acoustic characteristics of American English vowels"J. Acoust. Soc. Am. 97, pp 3099-3111, 1995.

34. D. Michie, D.J. Spiegelhalter, C.C. Taylor, "MachineLearning, Neural and Statistical Classification", EllisHorwood, University College, London, 1994.

35. Ward Systems Group, Inc.; NeuroWindows; [http://www.wardsystems.com]. Executive Park West; 5Hillcrest Drive; Frederick, MD 21702; USA.

GLOSARIO DE SIGLAS UTILIZADAS

ACV Aprendizaje por Cuantización Vectorial (LVQ)AD Árboles de DecisiónAPS Árboles de Perceptrones SimplesARN Árboles de Redes NeuronalesARNA Árboles de Redes Neuronales AutoorganizativasDKA Dejar-K-AparteDUA Dejar-Uno-AparteMAO Mapas AutoorganizativosPMC Perceptrón MulticapaRA Reservar AparteRAP Reservar Aparte PromediadoRNA Redes Neuronales Artificiales


26

Árboles de redes neuronales...

Documents