control inteligente adaline — the adaptive linear element
TRANSCRIPT
Control inteligente
ADALINE — The Adaptive Linear Element
Nov 2005
2
Agenda Estructura de la Adaline Aproximacion lineal de una funcion Regla de aprendizaje Widrow-Hoff Adaline como un filtro lineal adaptativo Identificacion de sistemas adaptativo Cancelacion adaptativa de ruido
Estructura de la Adaline
Nov 2005
4ADALINE (Adaptive Linear Element)
Desarrollada por Widrow & Hoff (1960)
La Adaline puede ser vista como el bloque de construccion lineal mas pequeño de las redes neuronales artificiales.
Similar al perceptron, es capaz de clasificar patrones linealmente separables
La principal diferencia aqui esta en como se crea la señal de error.
Nov 2005
5
Estructura de la Adaline
w0
w1
wn
x0
x1
xn
+ sgn(s)..
.
.
s
+
Algoritmo Adaptivo
+-
d
e = d – wTx
y
y
Aquí no se considera la salida s
Nov 2005
6
Estructura de la Adaline
Tw x
x1
x2
xn
w1
w2
wn
.
.
.
Ty w x
bfuncion de activacion lineal1
un peso mas, b=0?
Nov 2005
7
Salida de la Adaline La salida de la neurona es la suma pesada de
sus entradas
xwTi
ii xwy ˆ
Estimado de la neurona de la salida deseada
vector de entrada
Vector de pesos
El proposito del aprendizaje es minimizar la discrepancia entre la salida deseada y la salida de la neurona
Nov 2005
8Una posible implementacion Una posible implementacion con ADALINE
n
1i0ii wxwoutput
v1
vn
G1
Gn
iInput:
voltages
Output:
current
Nov 2005
9Una posible implementacion El problema
El problema consiste en encontrar un conjunto de conductancias tales que la conducta de entrada-salida de
la ADALINE se acerque a un conjunto de datos de entrada-salida dados
n
1i0ii wxwoutput
conductancias
Nov 2005
10Comparacion del perceptron y la Adaline
Perceptron Adaline
Architecture Single-layer Single-layer
Neuronmodel
Non-linear linear
Learningalgorithm
Minimzenumber ofmisclassifiedexamples
Minimize totalerror
Application Linearclassification
Linear classification andregression
Aproximacion lineal de una
funcion
Nov 2005
12
El problema Sea una funcion de p variables, y una salida
La funcion a ser aproximada linealmente se conoce en N puntos (patrones de entrenamiento).
1D d d n d N 1 × N matrix
1X x x n x N p × N matrix
y = f(x)
Nov 2005
13
Solucion con Adaline Para aproximar la funcion consideremos una
Adaline de p entradas y una salida Caracterizada por un vector de pesos w, 1×p,
y w x
1×p weight vector
Nov 2005
14
Salida de la Adaline
Para cada vector de entrada, x(n), la Adaline calcula la salida real
N puntos (patrones de entrenamiento)
y n w x n
1D d d n d N 1 × N matrix
1X x x n x N p × N matrix
Nov 2005
15
Salida de la Adaline El conjunto completo de salida 1, .., N puede
ser calculada matricialmente:
Y w X
1Y y y n y N 1× N matrix
¿Como medir las discrepancias?
Nov 2005
16
El indice de desempeño Definimos el error
El indice de desempeño, puede ser el error cuadratico medio para los N valores de entrenamiento:
n d n y n
2
1
1
2
N
n
J w nN
Nov 2005
17
El indice de desempeño El indice de desempeño puede expresarse
como:
1
2TJ w e e
N
donde e es el vector N × 1 de todos los errores
Te D Y
Nov 2005
18Un problema de optimizacion El problema de la aproximacion es el de
minimizar el indice de desempeño
Diferentes metodos
LMS (Least Mean Squares)
Algoritmos basados en el gradiente
-2-1
01
2
-2
-1
0
1
20
0.2
0.4
0.6
0.8
1
w1
Performance Index: J(w1, w2)
w2
Nov 2005
19
El indice de desempeño El indice de desempeño puede calcularse de
la manera siguiente:
1
2T
J w D Y D YN
212
2T TJ w D DY YY
N
Nov 2005
20
El indice de desempeño
Denotados como
212
2T T T TJ w D DX w wXX w
N
q = (D · XT )/N the 1 × p vector de correlacion cruzada
R = (X · XT )/N the p × p matriz de correlacion de entrada
Nov 2005
21
El indice de desempeño
El objetivo es hallar w tal que se minimize J
212
2T TJ w D N qw wRw
Nov 2005
22Solucion por minimos cuadrados A fin de hallar el vector de pesos optimo se
calcula el gradiente de J con respecto a w:
igualando a cero
TJ w q wR
wR q
TR R
Nov 2005
23Solucion por minimos cuadrados La solucion, si existe, puede encontrarse
facilmente, y es igual a:
11 T Tw q R DX XX
El modelo Adaline puede encontrarse usando el metodo de los minimos cuadrados
X es la matriz de N datos de entrada
Nov 2005
24
Ejemplo Aproximar una pequeña seccion de la
superficie no lineal 2-D
con un plano, el cual es especificado por un vector de pesos de una neurona lineal.
2 21 2
1
x xy f x x e
Nov 2005
25
Ejemplo
funcion Adaline
Ver adln1.m
Regla de aprendizaje Widrow-Hoff
Nov 2005
27
Aprendizaje Widrow-Hoff Sin embargo, el metodo MLS puede ser lento
(requiere de demasiados calculos!) si p es grande, por lo tanto Widrow & Hoff propone el descenso por el gradiente
Para minimizar f , se esoge
w = J
Nov 2005
28
El indice de desempeño El indice de desempeño puede expresarse
como:
1
2TJ w e e
N
donde e es el vector N × 1 de todos los errores
Te D Y
2
1
1
2
N
n
J w nN
n d n y n
Nov 2005
29
El indice de desempeño El indice de desempeño puede expresarse
como:
donde es el error cometido en la muestra n
2J w n
n d n y n
Descenso por el gradiente
Nov 2005
30
Calculando el gradiente de la funcion de costo (por muestra)
ˆ 2 TJ n x n
22 2
ii i
n nn n
w w
1, ,i p
T
i i
nd n w x
w w
1
p
j jji i
nd n w x n
w w
ii
nx n
w
Nov 2005
31
Aprendizaje Widrow-Hoff El algoritmo del descenso por el gradiente es
Conocido tambien como
Ley de aprendizaje de Widrow-Hoff Regla Delta
Tw n x n
Adaline como un filtro lineal adaptativo
Nov 2005
33
Vectores de señales En el procesamiento de señales en tiempo
real una señal analoga pasa por un conversor A/D, el cual produce muestras de la señal
Estas muestras pueden agruparse en un vector de p elementos de la señal de entrada,
1 1X n x n x n x n p
Nov 2005
34
Vectores de señales Este vector, de la muestra actual y las p-1
pasadas, es creado por una linea de retardo
Nov 2005
35La Adaline como un filtro adaptativo FIR
Si conectamos las salidas de los elementos de retardo a las sinapsis de una Adaline,
resultra en una estructura de procesamiento de señales conocida como
Filtro digital lineal de orden p FIR (Finite-Impulse-esponse)
Nov 2005
36La Adaline como un filtro adaptativo FIR
Diagrama de bloques
La salida del filtro, y(n) seguira la salida deseada, d(n).
Nov 2005
37
Ejemplo En este ejemplo se configura una Adaline
para predecir una señal 1-D (serie de tiempo)
0 1 2 3 4 5 6 7 8-1.5
-1
-0.5
0
0.5
1
1.5target and predicted signals
time [sec]
Ver adlpr.m
Identificacion de sistemas
adaptativo
Nov 2005
39
Sistema MA desconocido
Considere una señal de tiempo-discreto x(n), la cual es procesada por un sistema Moving-Average (MA) desconocido
Tal sistema tiene la misma estructura de una Adaline con parametros (pesos) desconocidos, siendo b un
vector de p elementos
Nov 2005
40Identificacion de sistemas adaptativo Es posible usar otra Adaline para observar las
entradas y salidas del sistemas y adaptar sus pesos
Nov 2005
41
Ejemplo
0 1 2 3 4 5 6-1
-0.5
0
0.5
1Input Signal, x(t)
0 1 2 3 4 5 6
-1
-0.5
0
0.5
1
Target d(t) and predicted y(t) signals
time [sec]
Ver adsid.m
Cancelacion adaptativa de
ruido
Nov 2005
43
La situacion Una señal util, u(n), es perturbada por un ruido, x(n).
por ejemplo, la voz de un piloto en un avion perturbada por el ruido originado por ejemplo desde el motor
El ruido es coloreado por un filtro FIR desconocido
El problema consiste en filtrar el ruido con el fin de obtener un estimado de la señal original
Nov 2005
44Cancelacion adaptativa de ruido Considere el sistema
Nov 2005
45
Resultados
0 1 2 3 4 5 6 7 8-2
-1
0
1
2Input signal u(t) and estimated signal uh(t)
time -- msec
0 1 2 3 4 5 6 7 8-0.4
-0.2
0
0.2
0.4estimation error
time --[msec]
Ver adlnc.m
Aplicaciones
Nov 2005
46
Cancelación de Ruido
Nov 2005
47
Cancelación de Ruido
Nov 2005
48
Numero de adaptaciones (cientos)
Pot
enci
a de
rui
do d
e sa
lida
Cancelación de la interferencia de 60hz en un ECG
Nov 2005
49
Cancelación de la interferencia de 60hz en un ECG
Nov 2005
50
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
51
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
52
Cancelación del ECG Materno durante un ECG Fetal
Nov 2005
53
Nov 2005
54
Fuentes Andrew P. Paplinski, CSE5301 Neuro-Fuzzy Computing
(Neural Networks and Fuzzy Systems). Lecture Notes. Monash University, Australia. 1 June 2005.
Martin Hagan, Neural Network Design Demonstrations. PWS Publishing Company. 1994
Heikki Koivo, Neuro-Fuzzy Computing in Automation, course material. Control Engineering Laboratory. Helsinki University of Technology. Spring 2002.
Jeen-Shing Wang, Course: Introduction to Neural Networks. Lecture notes. Department of Electrical Engineering. National Cheng Kung University. Fall, 2005
Wen Yu, Advanced Fuzzy neural networks. Lecture notes. Departamento de Control Automatico. CINVESTAV-IPN. 2005
Nov 2005
55
Sources J-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani, Slides
for Ch. 5 of “Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Machine Intelligence”, First Edition, Prentice Hall, 1997.
Djamel Bouchaffra. Soft Computing. Course materials. Oakland University. Fall 2005
Lucidi delle lezioni, Soft Computing. Materiale Didattico. Dipartimento di Elettronica e Informazione. Politecnico di Milano. 2004
Handbook of Neural Computation. release 97/1. IOP Publishing Ltd and Oxford University Press. 1997
A. S. Hodel, Neural Networks, notes of ELEC 6240 course. Dept. ECE, Auburn University. November 19, 2003.