redes neuronales, aprendizaje autosupervisado
TRANSCRIPT
FEBRERO 2003 ESCOM I P N 1
FEBRERO 2003 ESCOM I P N 2
AprendizajeEl aprendizaje es el proceso por medio
del cual, los parámetros libres de una red neuronal son adaptados a través de un proceso de estimulación por el ambiente en el cual la red se encuentra inmersa.
El tipo de aprendizaje es determinada por la manera en la cual el cambio de parámetros tiene lugar.
Mendel and Mc Claren (1970)
FEBRERO 2003 ESCOM I P N 3
Tipos de AprendizajeAprendizaje Supervisado
entrada, salida, objetivo
Aprendizaje Autosupervisadoentrada, salida
Aprendizaje por Reforzamiento.Recompensa/castigo
FEBRERO 2003 ESCOM I P N 4
AprendizajeSupervisado
Entrada, salida, objetivo
Se le proporciona salidas deseadas, su meta es aprender una correcta salida dada una nueva entrada
FEBRERO 2003 ESCOM I P N 5
Aprendizaje Supervisado
Se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro), que determina la respuesta que debería generar la red apartir de una entrada determinada.
FEBRERO 2003 ESCOM I P N 6
Aprendizaje por Reforzamiento
Recompensa/castigoEste produce acciones las cuales
afectan el edo del mundo, y recibe recompensas (o castigo). Su meta es aprender a actuar de tal forma que maximise las reconpensas a largo plazo.
FEBRERO 2003 ESCOM I P N 7
Aprendizaje por Reforzamiento
El aprendizaje da una comparación entrada/salida se desempeña a través de la interacción continua del medio ambiente de tal forma que se minimice un índice escalar de su desempeño.
FEBRERO 2003 ESCOM I P N 8
Aprendizaje por Reforzamiento
Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso= -1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.
FEBRERO 2003 ESCOM I P N 9
Aprendizaje Autosupervisado
Entrada y salida.
Su meta es construir representaciones de la entrada que puedan ser usadas para razonamiento, toma de decisiones, prediccion, comunicación, etc.
FEBRERO 2003 ESCOM I P N 10
Aprendizaje AutosupervisadoNo hay un maestro
o critico externo para supervisar el proceso de aprendizaje.
No existen ejemplos etiquetados de la función que será aprendida por la red
FEBRERO 2003 ESCOM I P N 11
Aprendizaje AutosupervisadoEsta constituido por un conjunto de
reglas que dan a la red la habilidad de aprender asociaciones entre los patrones que ocurren en conjunto frecuentemente.
Una vez aprendido como asociación permite a las redes realizar tareas útiles de reconocimiento de patrones y recordar.
FEBRERO 2003 ESCOM I P N 12
El aprendizaje No Supervisado no involucra valores objetivo. De hecho, los objetivos son los mismos que las entradas.
En otras palabras, el aprendizaje no supervisado usualmente realiza la misma tarea que una red autoasociativa, la compresión de la información de las entradas.
FEBRERO 2003 ESCOM I P N 13
Metas del aprendizaje Autosupervisado
Encontrar representaciones utiles de los datos.
Encontrar Clusters. p/ej. K-means, ART.
Reduccion de dimensionalidad. P/ej. Aprendizaje Hebbiano, PCA, Escalamiento multidimensional (MDS)
FEBRERO 2003 ESCOM I P N 14
Metas del aprendizaje Autosupervisado (2)
Construcción de mapas topograficos. P/ej. Mapas de Kohonen, Redes elasticas.
Encontrar causas ocultas o fuentes de datos
Modelado de densidad de datos
FEBRERO 2003 ESCOM I P N 15
Usos del Aprendizaje Autosupervisado
Compresion de DatosDeteccion de bordesClasificación Hacer otras tareas de aprendizaje
mas faciles.Una teoría del aprendizaje
humano y la percepción.
FEBRERO 2003 ESCOM I P N 16
Clustering
Cluster: Separar en subconjuntos dado un conjunto de datos Los patrones en el
mismo cluster son tan similares como sea posible.
Los patrones de diferente cluster son tan distintos como sea posible
FEBRERO 2003 ESCOM I P N 17
ClusteringDivide un conjunto de datos en
subconjuntos.P/ej. Las flores se pueden agrupar de
acuerdo a colores y numero de pétalos
FEBRERO 2003 ESCOM I P N 18
Cuantización de Vectores
Regiones de Voronoi Cada región se
representa usando un solo vector llamado “code book vector”.
Cada punto del espacio de entrada corresponde a una de estas regiones.
El espacio se divide en varias regiones conectadas llamadas regiones de Voronoi
FEBRERO 2003 ESCOM I P N 19
Cuantización de Vectores
Usado para compresión de información voluminosa de entrada en un pequeño numero de vectores de pesos
FEBRERO 2003 ESCOM I P N 20
Investigadores del Aprendizaje No Supervisado
D.O. Hebb
James Anderson
Teuvo Kohonen
Stephan Grossberg
FEBRERO 2003 ESCOM I P N 21
Tipos de aprendizaje Autoupervisado
Aprendizaje Asociativo
Aprendizaje Competitivo y Cooperativo
FEBRERO 2003 ESCOM I P N 22
Aprendizaje Asociativo
ESTIMULO
A B
•No CondicionadoNo Condicionado
•CondicionadoCondicionado
RESPUESTA
•Un concepto Un concepto
•Una acciónUna acción
FEBRERO 2003 ESCOM I P N 23
Aprendizaje Competitivo y Cooperativo
Un neurona o un grupo de ellas compiten entre si por ser la ganadora; activandose solamente la ganadora y las demás colaboran inhibiendose.
FEBRERO 2003 ESCOM I P N 24
Wake up!
FEBRERO 2003 ESCOM I P N 25
Dudas ???
FEBRERO 2003 ESCOM I P N 26
Hasta la próxima !!!
FEBRERO 2003 ESCOM I P N 27
Ejemplos de algoritmos que usan el Aprendizaje por Refuerzo
Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher.
Algoritmo Asociativo con recompensa y penalización (Barto / Anandan).
Adaptive Heuristic Critic (Barto, Sutton, Anderson).