seminario aplicaciones de las redes neuronales (websom)

SeminarioAplicaciones de las Redes Neuronales

(WebSOM)Inteligencia Artificial

5o Informática

IA curso 2012-2013

CCIA

Noviembre 2012

IA–1213 (CCIA) Seminario WebSOM Noviembre-2012 1 / 12

Usos de los Mapas Auto-Organizativos

Idea base: Aprovechar las capacidades de auto-organización paraaplicar métodos basados en SOM sobre colecciones ...

... con un gran número de datosI muchos elementos⇒ muchos vectores

... con datos complejosI muchos atributos⇒ vectores de alta dimensión

Campos de aplicación1 SOM en visualización de datos2 SOM en compresión de datos3 SOM en extracción de prototipos y características


Campos de aplicación (I)

SOM en visualización de datosObjetivo: reducción de dimensión sobre vectores con un gran no

de dimensionesI Escalado multidimensional

Mapeo de un espacio n-dimesional (capa de entrada) a unespacio bidimensional (capa de competición)

I Resumir datos multidimensionales en un ”mapa plano”Permite el descubrimiento y visualización de relaciones entredatos de entrada

I SOM preservan la ”topología semántica” de los datos de entrada,capturándola y trasladándola a la capa de competición

F Datos de entrada ”semánticamente próximos” activarán neuronaspróximas

I Relaciones no evidentes en el conjunto de entrada se hacenvisibles en el mapa


Ejemplo: Mapa de la ”pobreza” mundial(Helsinki University of Technology)http://www.cis.hut.fi/research/som-research/worldmap.html

Países descritos mediante vectores de 39 indicadores de calidad devida (nivel educativo, sistema sanitario, etc)

Despues del entrenamiento del SOM:I cada neurona de competición se ”especializa” en paises (1 ó más)

con caraterísticas similaresI paises con niveles de riqueza similares activan neuronas próximas


Campos de aplicación (II)SOM en compresión de datos

Objetivo: usar el escalado dimensional para generar una nuevaversión ”compacta” de los datos de entrada que preserve lasrelaciones ”semánticas” entre ellosExplotar la ”salida” del SOM para obtener una versión másmanejable de los datos de entrada

I Entrada: patrones de entrada (n dimensiones)I Salida: construida a partir de la capa de competición

F Neurona ganadora ”representa” al patrón de entradaPatrón entrada→ clase discreta

F Todas las neuronas ”representan” al patrón de entradaPatrón entrada→ vector de ”correspondencias” (proximidad con neuronas)

SOM en extracción de prototipos y característicasObjetivo: explotar ”conocimiento implícito” descubierto por SOM

I Identificación de vectores representantes de cada uno de los”grupos” asociados a las neuronas de competición

I Selección de componentes (o combinaciones de componentes)que ”dominan” la activación de las neuronas

F También permite ponderación de componentes


WebSOM: organización de documentosHerramienta para la organización de grandes colecciones de docs.textuales

Organiza los documentos estructurándolos en un ”mapa” enfunción de su contenidoDocumentos similares (misma temática) se ubican en zonaspróximas del ”mapa”Permite la navegación por ese ”mapa de documentos”(estructuración en niveles)http://websom.hut.fi/websom/

Tareas:1 Representación de documentos

I Documentos = vectores numéricos representando su contenidoI Representación de palabras y ponderación

2 Organización de los documentos (entrenamiento del SOM)3 Generación del interfaz de presentación

I Asignación de documentos a posiciones del mapa (neuronas)I Etiquetado del mapa (neuronas)


WebSOM: representación de documentos (I)Transformación de cada documento en un vector numérico

Problema: gran número de palabras⇒ reducir dimensiónFase 1: preprocesamiento de la colección

Filtrado:{

eliminar palabras vaciastomar palabras presentes en al menos 30 docs.

Normalización de palabras (extracción de raices)Agrupar palabras en ”clases de palabras” usando SOM

I Creación de mapa de categorías de palabras (≈ diccionario de ”sinónimos”)

Mapa de categorias de palabras (WCM: word category map)1 Cada palabra de la colección tiene asociado un vector que

representa su ”contexto medio” de aparición (ventana de longitud 1)I se asigna un vector aleatorio único a cada palabra Wi (≈ función hash [huella única])

I media de los vectores aleatorios de las palabras que aparecen antes de Wi (contexto anterior medio)

I media de los vectores aleatorios de las palabras que aparecen después de Wi (contexto posterior medio)

2 Entrenar word category map con los vectores resultantesI Es un SOM que ”agrupa” palabras con contextos medios similaresI IDEA: sinónimos y palabras cercanas semánticamente ó palabras

que representan conceptos relacionados ”caen” en la mismaneurona (= categoría)


WebSOM: representación de documentos (II)Mapa de categorías de palabras

Fase 2: representación de documentosLas palabras de cada doc. son filtradas y normalizadasCada palabra se pasa por el word category map ya entrenadopara obtener su ”clase” (neurona activada)El vector que representará al doc. será un histograma de lafrecuencia de las categorías del WCM que contiene ese doc.

I Un componente por cada neurona/categoria del WCMReducción de dimensión

I decenas de miles de palabras→ cientos/miles de categoriasIA–1213 (CCIA) Seminario WebSOM Noviembre-2012 8 / 12

WebSOM: organización y visualización de docs. (I)Con los vectores asociados a cada uno de los docs. de la colección seentrena otro SOM (el mapa de documentos)

IDEA: Cada neurona especializa en un tipo de documentos (≈ tema)

Cada doc. ocupa un lugar en el mapa en función de su contenidoDocs. de temática similar ”caen” en misma neurona (o una próxima)

A cada punto (neurona) del mapa de documentos se le asocia:Lista de docs. ”ubicados” en ese puntoLista de palabras descriptivas

I Tienen

alta frecuencia de aparación en docs. de esa neuronabaja frecuencia de aparación en docs. de otras neurona

Construcción de la interfaz de navegación/presentaciónDivisión en niveles de detalleEtiquetado de puntos(neuronas) y regiones en base a laspalabras descriptivas y su ”fuerza”Dentro de cada nivel→ color indica la densidad de documentosen una región del mapa


WebSOM: organización y visualización de docs. (II)


WebSOM: Esquema general del proceso


Temas a desarrollar

Ejemplos de usos prácticos de los SOMI en visualización de datosI en reconocimiento de formas y procesam. de imágenesI en preprocesamiento de datosI otros, ...

Usos prácticos de las redes neuronales en generalI Predicción y clasificaciónI Procesamiento de imágenesI etc

Revisión de herramientas/sistemas relacionados (con SOMs ócon RNAs en general)etc,...

ReferenciasWebSOM: http://websom.hut.fi/websomT. Kohonen: http://www.cis.hut.fi/research/som-research


seminario aplicaciones de las redes neuronales (websom)

Documents