El aprendizaje automático en agentes inteligentes

Introducción

El presente artículo tiene como finalidad, el abordar que es el aprendizaje automático, como colabora en el desarrollo de agentes inteligentes, para la inteligencia artificial, cuales son algunas de sus mejores variantes, así como una visión comparativa de cómo son cada uno de los tipos de aprendizaje en cuanto a su forma de resolver problemas y ser modelados.

Hemos tomado como referencia algunos libros de texto así como una tesis doctoral, de Ismael Ledesma Espino llamada “Aprendizaje automático en conjuntos clasificadores heterogéneos y modelado de agentes” en donde se plantea el desarrollo de agentes inteligentes con datos continuos en dominios, estáticos. Además de esta, consultamos el libro “Aprendizaje Automático” de Antonio Moreno, donde se presentan los conceptos básicos sobre el aprendizaje automático y una clasificación de los tipos de aprendizaje descrita. Entre otras fuentes como “Introducción to Machine Learning” e “Inteligencia Artificial un enfoque moderno”.

Como se notara arriba la metodología del artículo es meramente documental.

El objetivo de nuestra investigación documental es, el desarrollo del conocimiento sobre que es el aprendizaje automático, como ayuda en el desarrollo de agentes inteligentes.

Resumen

En la primera parte del artículo, se muestra el concepto básico del aprendizaje automático, sus diversas acepciones según nuestras fuentes, enseguida se muestran los diversos tipos de aprendizaje automático, esta información se ve esquematizada en cuadros sinópticos y una descripción medianamente extensa.

En la siguiente parte del artículo se tocan algunos tipos de modelado de agentes inteligentes entre los que destacan los de teoría de juegos.

Finalmente se concluye con una comparativa de donde y cuando se deben de aplicar los diversos tipos de aprendizaje.

Palabras clave:

Aprendizaje, Aprendizaje automático (Machine Learning), Modelado

Definición de aprendizaje automático y a fines.

El aprendizaje automático, es un área de la inteligencia artificial, encargada del desarrollo de entidades (generalmente, robots o maquinas) tengan un comportamiento similar al del género humano o animal.

Existe una amplia variedad de paradigmas de clasificación del aprendizaje automático y de su objetivo los agentes inteligentes. Para aclarar un poco más el panorama sobre el aprendizaje automático, veremos algunas definiciones:

El agente racional. Es aquel que actúa buscando el mejor resultado, y si hay incertidumbre el mejor resultado esperado. Entonces un agente racional es aquel que hace lo correcto.

En tanto que para Ledesma un agente debe de distinguirse una serie de características, como autonomía, sociabilidad capacidad para reaccionar y tomar iniciativa.

En tanto que se entiende por aprendizaje a un marco cognitivo de las conductas observables en la naturaleza, por parte de los animales y que pueden considerarse identificables, como parte de dicho aprendizaje, es importante no solo responder, el qué y el cómo sino también identificar ese algo que evite obtener información sesgada y que no permita una comprensión total del proceso de aprendizaje.

El aprendizaje se podría definir con la siguiente formula:

Aprendizaje = Selección + Adaptación

Para Herbert Simon el aprendizaje es:

“cualquier cambio en un sistema que le permite desempeñarse mejor la próxima vez, sobre la misma tarea u otra tomada de la misma población”.

Esta definición cumple un amplio aspecto de las actividades necesarias para mejorar el rendimiento del sistema. También da cuenta de que dicho aprendizaje pueda emplearse sobre una tarea similar en un universo diferente.

Mientras que Rafael Bello define el aprendizaje automático:

“Es un subcampo de la Inteligencia artificial encargado de estudiar el problema del aprendizaje en las máquinas, es decir, su objeto de estudio es el problema de cómo las máquinas pueden adquirir el conocimiento que las capacite para resolver problemas determinados” (Bello, 2002)

La intención es automatizar el aprendizaje de las maquinas a fin de que exista una intervesion mínima del hombre. Y así la maquina sea dotada del conocimiento para resolver un nuevo rango de problemas más amplio y con mayor rendimiento.

Una definición similar presenta Palous:

“Es un área de la inteligencia artificial enfocada, en el desarrollo de principios y técnicas para automatización en la obtencion del conocimiento” (Palous,2002)

Otra definición de inteligencia aprendizaje automático, interesante es:

Aprendizaje automático “se refiere a los cambios en los sistemas que desempeñan tareas asociadas a la inteligencia artificial “

Aprendizaje animal

Podemos considerar a los animales como maquinas ya que estos poseen sensores, que son los órganos específicos que estos poseen a fin de poder encontrar su alimento recibiendo estímulos de su entorno, y por medio de estos determina cual es el mejor para encontrar su alimento, mientras que las plantas filtran el agua que les sirve de alimento(por lo que el aprendizaje es un proceso adaptativo), esta diferencia entre moverse y no es en la que se hace énfasis para distinguir diferentes tipos de conocimiento animal.

Aprendizaje animal

Habituación. Respuesta a un conjunto de estímulos repetidos.

Aprendizaje asociativo. Este ocurre cuando en el entorno con cierta confianza se puede predecir un evento en base a otro.

Condicionamiento el animal responde a uno u otro estimulo condicional, aunque el entorno no cambia.

Aprendizaje a prueba y error. Se identificó al experimentar con animales, dándoles recompensa cuando encontraban la salida (respuesta correcta) a un laberinto.

Aprendizaje latente. Se efectúa no dando ningún tipo de recompensa, inicialmente las ratas permanecen en el laberinto. Un segundo grupo es ingresado dándole recompensa, así el primer grupo obtiene mejores resultados ya que su aprendizaje permanece latente hasta que es necesitado.

Cuadro 1. Tipos de aprendizaje animal

Antecedentes Históricos

Aunque se pudiese pensar que el aprendizaje automático y la inteligencia artificial son conceptos muy recientes, encuentran muchos de sus fundamentos décadas atrás, a continuación una reseña histórica:

1955-1965. Etapa inicial. Cuyo referente son los perceptrones, estos sistemas no tienen conocimiento inicial

1965-1976. Eta Oscura. Se basa en la existencia de jerarquías, por lo que requiere de un profesor humano que evalué el contenido.

1976-1986. Renacimiento. Se explora con el uso de cantidades de conocimiento de respaldo.

1986-Actual. Desarrollo.

Sistemas multiestreategia Aprendizaje conexionista Comparaciones experimentales.

Otras áreas activas.

*Modelos neuronales y cognitivos *Modelos computacionales teóricos *Algoritmos de aprendizaje evolutivos. *Sistemas autónomos.

Paradigmas del aprendizaje automático

Antes de hablar de lleno sobre los paradigmas, hay que considerar que los sistemas de aprendizaje deben de responder a ciertas preguntas con la finalidad de que se pueda tomar una mejor decisión sobre el tipo de paradigma a utilizar por parte delDiseñador y/o desarrollador del agente inteligente.

1. ¿Qué tipo de experiencia de entrenamiento usare para que el sistema aprenda?2. ¿Qué es exactamente lo que debe ser aprendido?3. ¿Cómo se debe representar?4. ¿Qué algoritmo de aprendizaje debería usar?

Esencialmente en base a estas preguntas podemos encontrar:

Otra clasificación de acuerdo con la estrategia empleada para adquirir el aprendizaje es la siguiente:

Paradigmas de aprendizaje automático

Aprendizaje deductivo. Aprendizaje analítico Aprendizaje Analógico Aprendizaje inductivo Aprendizaje mediante el

descubrimiento Algoritmos genéticos. Conexionismo

Cuadro 2. Paradigmas del aprendizaje automático

Supervisado

No supervisado

Mediante refuerzosCuadro 3. Otros métodos genéricos de aprendizaje automático

Con relación al Cuadro 2 se efectuara en seguida una descripción y análisis de los paradigmas enumerados.

Aprendizaje inductivo

Consiste en obtener aprendizaje después de haber realizado una inducción sobre los datos obtenidos del ambiente o del maestro, por lo que en la clasificación del cuadro 3 también podría ser considerado como supervisado ya que depende de un maestro. Lo que se pude considerar como una búsqueda heurística en base a los estados. Dónde:

Los estados son descripciones simbólicas de mayor o menor generalidad. El estado inicial son los datos de entrada.

Los operadores son las reglas de inferencia donde generalmente pasan de reglas de generalización (pasan de lo simbólico a lo general) y las reglas de especialización(transforman la descripción en otra más particular )

El estado final tiene las siguientes propiedades:A. Implica los datos de entrada.B. Satisface el conocimiento de respaldo del problema.C. Maximiza el criterio de preferencia.

Tipos de aprendizaje inductivo

A pesar de cómo se menciona arriba el aprendizaje inductivo pude considerarse como un supervisado de acuerdo con los tipos de clasificación del propio aprendizaje inductivo también podría ser en algún grado no supervisado ya que:

Aprendizaje por adquisición de conceptos. Donde un profesor proporciona objetos ya clasificados (conceptos). De donde se induce una hipótesis que es una regla de reconocimiento del concepto

Aprendizaje por observación. Determina la descripción general de un conjunto de observaciones.

Como se observa en la definición anterior el aprendizaje mediante observación no requiere de un maestro para adquirir dicho conocimiento.

Dentro del aprendizaje inductivo uno los métodos más utilizados es la inducción de árboles de decisión.

Un árbol de decisión según Moreno:” Una representación de los procesos de decisión involucrados en tareas inductivas de clasificación “

De acuerdo con Nilsson un árbol de decisión es: “generalmente definido como, arboles cuyos nodos internos son pruebas (en patrones de entrada) y cuyos nodos hoja son categorías o patrones” (1996)

De acuerdo con Moreno el nodo interno también puede ser etiquetado como decisión y el externo como respuesta.

Un ejemplo arboles inductivos es el ID3 cada elemento o instancia de la secuencia de entrada presentada al algoritmo toma la forma de una lista de pares atributo valor tomando la forma de una descripción conjuntiva.

Otro algoritmo de aprendizaje inductivo es el RLM consiste en escoger atributo que provoque en X una partición más próxima a la correcta, entendiendo por correcta, aquella donde cada uno de los elementos del subconjunto sean de la misma clase C.

Aprendizaje por descubrimiento. Es una forma restringida de aprendizaje, en la cual el agente adquiere conocimientos sin ayuda de un profesor, este proceso ocurre cuando no existe ninguna fuente disponible del conocimiento que el agente busca. Por lo que dentro de la clasificación del cuadro tres cabrias dentro del aprendizaje supervisado bajo dichas condiciones.

Aprendizaje analógico.

El proceso de la analogía está basado en la siguiente suposición:

Si dos situaciones son similares en algún aspecto, entonces pueden serlo en otro.

Definiciones.

Problema base. Es referente al problema ya resuelto en el pasado tal que su resolución sirva de base para resolver el nuevo problema. En caso de hacer analogías entre dominios diferentes, se llama dominio base a aquel en el cual está definido el referente. También se denomina conocimiento base a toda la información del problema base y su dominio.

Problema objetivo. Es el nuevo problema a resolver utilizando información referente al problema base, de forma análoga se habla de dominio objetivo y conocimiento objetivo.

En figura se muestra un esquema general del razonamiento por analogía. En ella ß representa una inferencia conocida en el dominio base entre los hechos A y B generalmente denominada relación de causalidad, la relación A y A’ denotada por alfa representa la similitud entre ambos hechos pertenecientes a los dominios base y objetivo. El razonamiento analógico consiste en la inferencia denotada por ß’ que se obtiene de la transformación de ß.

Modelo unificado de analogía

Es el modelo propuesto por Kedar-Cabelli. El tipo de problema que intenta resolver es el siguiente:

Dada como entrada una situación objetivo, dar un resultado de representación aumentada, de la misma en la que consisten las inferencias analógicas obtenidas de la situación base.

Las fases son:

Recuperación Elaboración Mapeo Justificación Aprendizaje.

El conexionismo.

Es claro que si el aprendizaje automático desea asemejar el aprendizaje animal, es necesario que los agentes inteligentes tengan un “cerebro”, es así que como bajo el nombre de conexionismo se conoce a uno de los paradigmas que más ha vuelto a incrementar su popularidad en el campo de la IA las redes neuronales, el incremento de su uso se basa en el hecho de que la computacion puede realizar chips neuronales el advenimiento de máquinas masivamente paralelas.

Este enfoque de la neurocomputacion a diferencia de la programada, no requiere de un algoritmo específico. A continuación una definición de Neurocomputacion:

Disciplina que trata con sistemas de procesamiento de la información adaptativos paralelos y distribuidos y que desarrollan capacidades de procesamiento en respuesta a señales que provienen del entorno.

Las estructuras principales son las redes neuronales, aunque existen otras entre las que se encuentran:

Las memorias asociativas Las memorias auto adaptativas, direccionales por contenido Los sistemas de enfriamiento simulado. Los sistemas genéticos Los sistemas de aprendizaje difusos Los autómatas aprendices.

Computacionalmente una red neuronal es una estructura procesadora de información tiene la forma de un grafo dirigido donde además:

1. Los nodos de denominan elementos del proceso.2. Los arcos se denominan conexiones (caminos propagadores de la señal,

instantáneos y unidireccionales.).3. Cada elemento puede tener tantas conexiones de entrada como se quiera y

solo una salida, aunque esta puede estar conectado a una o mas salidas.4. Los elementos pueden tener memoria local5. Cada elemento tiene una función de transferencia que en su forma general

puede expresarse como:

Conexiones de entrada X Memoria local ----> Conexiones de Salida X Memoria local.6. La descripción matemática de la red se llama arquitectura.

El modelo básico.

Sea n un número de conexiones de entrada es x = {x1, x2,…Xn} y w = {w1, w2, w3...Wn} el vector de la neurona completa entonces:

O bien en notación vectorial y’= ->x->w resultado al que se aplica la función de activación para producir la salida y de la neurona, la forma más sencilla es una lineal (cuyo propósito es un escalado) del tipo:

Donde y son constantes. Una función muy simple pero que da problemas (como se verá más adelante, es la función lindero, con L como constante prefijada.

Así cada wi representa la fuerza de conexión sináptica, correspondiente a y’, la combinación del cuerpo celular e y el recorrido por axón.

Una función de activación muy utilizada es la sigmoide S llamado así por su forma, que proporciona siempre un valor entre 0 y 1.

Figura 2

Redes Mono capa. La arquitectura más simple es aquella formada por una sola capa, conjunto usualmente alineado de neuronas normalmente con un rasgo arquitectónico distintivo y uniforme para todas ellas.

Las entradas son simples distribuidoras del vector de entrada mostradas por conveniencia. La salida de la capa es un vector, constituye la salida final de la red. En este caso se obtiene una matriz de pesos W de m filas por n columnas

Redes Multicapa.

La estructuración de las capas consecutivas, incrementa notablemente el poder de las redes neuronales. A este tipo de configuración se le denomina en cascada, y las capas para las cuales no tenemos acceso directo a su salida se llaman ocultas.(es decir todas menos la última) y se obtiene simplemente conectando la entrada(vectorial) a una salida(vectorial) de la otra capa. Donde n es el rango del vector de entrada y m el número de neuronas de la capa. Así W12 correspondería 1 vector de entrada y 2 el número de la neurona. La salida y seria ahora:

Donde F es la función de activación.

Redes neuronales

Redes Mono capa.

Redes Multicapa

Cuadro 4. Tipos de redes neuronales

Entrenamiento de redes neuronales.

Entre los tipos de aprendizaje para las redes neuronales destacan tres grandes grupos:

Aprendizaje supervisado: Junto con cada vector de entrada se suministra a la red cada vector de entrada se suministra a la red, el vector de salida deseado de manera que eta puede corregir los pesos en base a la diferencia. A cada par de entrada y su vector de salida se le denomina par de entrenamiento. El proceso se repite hasta que el error de cada uno de los pares de entrenamiento es aceptable bajo cierto criterio.

Aprendizaje no supervisado: El método agrupa las entradas en base a criterios estadísticos, por lo que no se sabe el aspecto que tendrá cada salida, hasta que esta no es calculada por la red, lo que implica las necesarias interpretaciones a posteriori, hacia un formato más comprensible.

Aprendizaje gradual. Consiste en proporcionar a la red una valoración periódica de que tan bien o que tan mal está haciendo una tarea.

Algoritmos genéticos.

Los Algoritmos Gen éticos (AG’s) son procedimientos de búsqueda muy ligados a la teoría de la evolución mediante la selección artificial .En términos de búsqueda clásica, los AG’s se pueden ver como un tipo de búsqueda en haz .Los tres principales componentes son:

El haz contiene un conjunto de soluciones candidatas, llamados individuos en el espacio de búsqueda que el algoritmo actualmente está explorando. Los operadores que transforman las soluciones candidatas actuales, en nuevas soluciones candidatas. Su principal característica que operan sobre cadenas de bits haciéndolas independientes del dominio.

La función heurística (o función de fitness). Esta función mide el valor de una solución candidata. La meta de un AG es encontrar soluciones candidatas que maximicen esta función.

La segunda clasificación tiene que ver con el método que utiliza para la resolver la tarea es:

Aprendizaje supervisado. Los ejemplos proporcionados como entrada, son necesarios para cumplir con las metas de aprendizaje.

No supervisados. Desarrollan el aprendizaje descubriendo regularidades en los datos.

Mediante refuerzos. Este aprendizaje se realiza mediante refuerzos

Modelado de agentes

En base a este tipo de aprendizaje se puede hacer el modelado de agentes, el modelar un agente se puede definir como el modelado, metas, planes conocimientos y emociones de otro agente. La tarea de modelar un agente se puede definir como el modelado y razonamiento acerca de las metas, planes, conocimientos, capacidades o emociones de otro agente.

Como veremos más adelante el modelado de un agente pude depender de otro, teniendo como información de entrada los atributos de dicho agente

La teoría de juegos desde el punto de vista clásico se basa en la construcción de una matriz que permite entender el conflicto entre las partes involucradas y sus posibles soluciones, este enfoque, parece tener un gran potencial, ya que los videojuegos gracias al desarrollo de gráficos cada vez más avanzados, su popularidad sigue en aumento.

Existen entre otros muchos agentes para modelar los agentes basados en trazas y los agentes basados en observación

El modelado de los agentes basados en trazas tiene que ver más con un aprendizaje supervisado ya que se requiere de dos agentes un AGENTE A el que tiene acceso a las entradas y salidas de un AGENTE B en situaciones pasadas.

La técnica de construcción del agente A es conocida como (Input/Output Agent Modelling) donde como se pude ver en el modulo de construcción del AGENTE B es quien genera el agente A, dando como resultado un agente dependiente de las entradas y salidas del otro agente, por lo que se podría considerar como aprendizaje inductivo.

En tanto que en el aprendizaje basado en observación un conjunto de datos previos, conocidos a priori, por ejemplo en la Robo Cup , ningún participante conoce, las entradas del compañero en tiempo real, por lo que para obtener información la tiene que inferir y debe de etiquetar la última acción realizada mediante un Módulo de Etiquetado de acciones y luego generar el agente A en base al MEA y entonces tener un Módulo de creación y Modelado. Como puede verse en la figura 4

Figura 3. Agente A basado en trazas del agente B

Figura 4