inteligencia artificiallctorress/iartificial/iac011.pdf · el axón se ramifica en filamentos y...

Inteligencia artificial

Red

es N

euro

nale

s Art

ifici

ales

22

Red

es N

euro

nale

s Art

ifici

ales

33

¿Qué es una Red Neuronal Artificial?

Las redes neuronales artificiales (RNA) presentanuna alternativa computacional para la solución dealgunos problemas.Las redes neuronales son modelos del procesocognoscitivo del cerebro (Blum).Un sistema de computación compuesto por un grannúmero de elementos simples muy interconectados,los cuales procesan información por medio de suestado dinámico como respuesta a entradas externas.(Hecht-Niesen).

Red

es N

euro

nale

s Art

ifici

ales

44

Una RNA es un sistema procesador de informacióncon características de desempeño similares a lasredes neuronales biológicas.Las RNA son elementos (usualmente adaptativos)interconectados masivamente en paralelo y conorganización jerárquica, los cuales interactuan conobjetos del mundo real del mismo modo que lo haceel sistema nervioso biológico. (Kohonen).

Colección de procesadores paralelos conectados entresí en la forma de Grafo dirigido (Freeman).

Red

es N

euro

nale

s Art

ifici

ales

55

El procesamiento de información ocurre enelementos sencillos llamados neuronas y se transmitepor conexiones.Cada conexión tiene asociado un peso, el cualpermite ponderar la señal transmitida.En cada neurona se aplica una función de activación(usualmente no lineal) a la ponderación de entradas.

Una RNA se desarrolla como generalización demodelos matemáticos del razonamiento humano obiología neuronal, basada en los siguientesacepciones:

Red

es N

euro

nale

s Art

ifici

ales

66

Las RNA (Artificial Neural Networks -ANNs-) sonmodelos de las redes neuronales biológicas.Son una simulación abstracta de los sistemasnerviosos biológicos, se forman por un conjunto deunidades llamadas "neuronas" conectadas unas conotras.

Red

es N

euro

nale

s Art

ifici

ales

77

Pre-1940: von Hemholtz, Mach, Pavlov, … Teoríasgenerales sobre el aprendizaje, visión ycondicionamiento sin modelos matemáticosespecíficos sobre la operación neuronal.1940s: Hebb, McCulloch and Pitts. Mecanismo deaprendizaje en neuronas biológicas. Redes deelementos ‘neuronales’ pueden hacer cómputoaritmético.

1950s: Rosenblatt, Widrow and Hoff. Primeras redesartificiales (RNA) prácticas y reglas de aprendizaje.

Historia de RNA

1949 Donald Hebb: The organization of behavior.

1950 Karl Lashley: In search of engram

Red

es N

euro

nale

s Art

ifici

ales

88

1954 Minsky Neural Nets and the Brain ModelProblem. PhD thesis, Princeton University.1958 Frank Rosenblatt: Presenta el modelo delPerceptron1962 Rosenblatt. Principles of Neurodynamics:Perceptrons and the Theory of Brain Mechanisms.Washington, DC: Spartan Books.

Red

es N

euro

nale

s Art

ifici

ales

99

1969 Marvin Minsky/Seymour Papert: Crítica al Perceptron.Podría decirse que fue el fin de las redes neuronales. Minsky yPapert probaron matemáticamente que el Perceptrón no eracapaz de resolver problemas relativamente fáciles (comoaprender la función XOR). Concluyeron que, en general, losdescubrimientos en redes neuronales no merecían la pena.

Red

es N

euro

nale

s Art

ifici

ales

1010

Historia de RNA

1970s: Amari, Anderson, Fukushima, Kohonen,Grossberg, ... Trabajan en el tema pero a pasoslentos.1974 Paul Werbos. Desarrolló la idea básica delalgoritmo de retropropagación.1977 Stephen Grossberg. Adaptative ResonanceTheory (ART). Una arquitectura de red que difierede todo lo anteriormente inventado. Simula otrahabilidad del cerebro: la memoria a largo y a cortoplazo.

Red

es N

euro

nale

s Art

ifici

ales

1111

1980s: Grossberg, Hopfield, Kohonen, Rumelhart, …Desarrollos importantes causan un resurgimiento deestudios en el campo.1981 Mapas Auto-Organizativos de Kohonen.1982 Redes de Hopfield, que implementan el modelo dememoria asociativa

1985 John Hopfield. Publicó el libro Neuralcomputation of decisión in optimization problems quedió renacimiento de las redes neuronales.

Red

es N

euro

nale

s Art

ifici

ales

1212

Historia de RNA

Otros científicos al inicio del siglo XX sedistinguieron por sus estudios sobre el cerebro:Ramón y Cajal, Charles Sherrington, Iwan Pawlow.

1890 William James: Psicólogo. Modelo para explicarcomo el cerebro realiza asociaciones.

1986 Rumelhart, McClelland & Hinton crean elgrupo PDP. Este grupo de trabajo solucionó losproblemas propuestos por Minsky y Papert, graciasal algoritmo de retropropagación.

Red

es N

euro

nale

s Art

ifici

ales

1313

¿Por qué una RNA?

El cerebro humano es mucho más lento que unmicroprocesador y, sin embargo, es capaz de realizarciertas tareas de forma más eficiente que cualquierordenador.Visión, reconocimiento, toma de decisiones,Control,....

La potencia de cáculo tiene relación con las siguientescaracterísticas:

Complejidad, no linealidad,paralelismo, aprendizaje,...

Red

es N

euro

nale

s Art

ifici

ales

1414

El Primer modelo de red neuronal fue propuesto en1943 por McCulloch y Pitts en términos de un modelocomputacional de "actividad nerviosa".El modelo de McCulloch-Pitts es un modelo binario, ycada neurona tiene un umbral prefijado.El modelo de McCulloch-Pitts sirvió de ejemplo paralos modelos posteriores de Jhon Von Neumann,Marvin Minsky, Frank Rosenblatt, Hopfield,Kohonen, ...

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

1515

Proceso clásico/RNA

• Proceso clásico

Datos

Datos

Construcción

Modelo

Validación

Modelo- Clasificación

- Predicción

- Reconocimiento,...

Red

es N

euro

nale

s Art

ifici

ales

1616

Cómputo convencional

M em oriaCPU

¿Qué limitaciones tiene este esquema?, ¿quéproblemas no podrían ser resueltos así?

Máquina‘von Neuman’

Tomar una instrucción de memoria.Tomar datos de memoria requeridos por la

instrucción.Ejecutar la instrucción (procesar los datos).Almacenar resultados.Regresar al paso#1.


Red

es N

euro

nale

s Art

ifici

ales

1717

• Proceso con RNA

Datos

DatosAprendizaje

RNA

- Clasificación

- Predicción

- Reconocimiento,...Entrenamiento

Test

¡ La red neuronal extrae directamente de los datosla informacion para resolver el problema!


Red

es N

euro

nale

s Art

ifici

ales

1818

E SProcesamientode información

neurona

x1

x2

y = F(a)

F(a) y


Σw1

w2

a

a = x1*w1 + x2*w2

Red

es N

euro

nale

s Art

ifici

ales

1919

Una RNA es un conjunto de nodos ordenadosadaptables los cuales, a través de un proceso deaprendizaje mediante ejemplos prototipo, almacenanconocimiento de tipo experiencial y lo hacendisponible para su uso.Una RNA es un ensamble de elementos procesadoressimples y adaptables, cuya funcionalidad estáburdamente basada en una neurona animal. Lahabilidad de procesamiento de la red está en laintensidad de las conexiones por un proceso deadaptación a un conjunto de patrones.

Definiciones

Red

es N

euro

nale

s Art

ifici

ales

2020

Las conexiones de las RNA tienen una gransemejanza con las dendrítas y los axones en lossistemas nerviosos biológicos.El campo de las RNA, como otros, ha tenido unrápido desarrollo al hacer énfasis a la inspiraciónbiológica para la solución a algunos problemas.El paralelismo masivo y la interconectividad que seobserva en los sistemas biológicos complejos son lascausas de la capacidad del cerebro para llevar a cabocomplejos reconocimientos de tramas en pocotiempo.

Red

es N

euro

nale

s Art

ifici

ales

2121

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2222

La arquitectura del cerebro humano se presentasignificativamente distinta a la forma de uncomputador convencional.Se estima que el cerebro humano (sistema nerviosohumano) contiene más de cien mil millones (1011) deneuronas y 1014 sinápsis (una neurona se comunicahasta con 1000 neuronas).Es importante notar que aunque el tiempo deconputación de la neurona (unos pocos milisegundos)es casi un millón de veces menor que en los actualeselementos de los computadores, ellas tienen unaconectividad miles de veces superior.

Red

es N

euro

nale

s Art

ifici

ales

2323

El objetivo principal de de las redes neuronales detipo biológico es desarrollar un elemento sintéticopara verificar las hipótesis que conciernen a lossistemas biológicos.Las neuronas y las conexiones entre ellas(sinápsis) constituyen la clave para el proceso dela información.

Red

es N

euro

nale

s Art

ifici

ales

2424

El cerebro es un sistema super complejo.El tamaño de una neurona biológica es deaproximadamente un tamaño de 5-100 micrómetros.El cerebro es el dispositivo de computo más poderosoque existe.Le ha tomado a la naturaleza 4.000 millones de añosdesarrollarlo.

Bases biológicas

Red

es N

euro

nale

s Art

ifici

ales

2525

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2626

En la neurona biológica se consideran sustres partes más principales:1. El cuerpo de la neurona.2. Ramas de extensión llamadas dendrítas.3. Un axón que lleva la salida de laneurona a las dendritas de otras neuronas.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

2727

Neurona biológica

La forma que dos neuronas interactuan no estátotalmente conocida, depende además de cadaneurona.Una neurona envía su salida a otras por su axón.El axón se ramifica en filamentos y subfilamentos,mediante los cuales establece conexión con otrasneuronas para llevar la información por medio dediferencias de potencial, u ondas de corriente, quedepende del potencial de la neurona.La neurona recoge las señales en la sinapsis sumandotodas las influencias excitadoras e inhibidoras.

Red

es N

euro

nale

s Art

ifici

ales

2828

Las DENDRITAS recogen señales procedentes deotras neuronas, por estímulos del mundo externo ointerno y las transmiten al cuerpo de la neurona.El CUERPO de la neurona recibe las señales de todaslas dendritas y según la tipología de la neurona en si,determina una respuesta.El AXON transmite la respuesta generada por elcuerpo de la neurona a otras neuronas.

Neurona biológica

Las señales que utilizan las neuronas son denaturaleza eléctrica y química.

Red

es N

euro

nale

s Art

ifici

ales

2929

Una neurona es una célula viva y, como tal, contienelos mismos elementos que forman parte de todas lascélulas biológicas.La característica principal que diferencian a lasneuronas del resto de las células vivas, es sucapacidad de comunicarse.

Neurona biológica

Red

es N

euro

nale

s Art

ifici

ales

3030

Una red neuronal

Red

es N

euro

nale

s Art

ifici

ales

3131

Sinapsis

Red

es N

euro

nale

s Art

ifici

ales

3232

Aprendizaje en el cerebro

Las señales se propagan de neurona a neuronamediante una complicada reacción electroquímica.Las sinapsis liberan sustancias químicas Tx y entrana las dendritas con lo cual se activa el potencial delcuerpo de la célula.Cuando el cuerpo rebasa cierto limite, se envía alaxón un impulso eléctrico (potencial de acción), elcual se difunde a través de las ramas del axón, yfinalmente llega a las sinapsis y libera Tx en loscuerpos de otras células.

Red

es N

euro

nale

s Art

ifici

ales

3333

Las conexiones sinápticas muestran plasticidad:alteraciones de la intensidad de las conexiones comorespuesta al patrón de estimulación.La señal generada por la neurona y transportada alo largo del axón es un impulso eléctrico, mientrasque la señal que se transmite entre los terminalesaxónicos de una neurona y las dendritas de laneuronas siguientes es de origen químico

Red

es N

euro

nale

s Art

ifici

ales

3434

Señal eléctrica

La membrana de la neurona separa el plasmaintracelular del fluido intesticial que se encuentrafuera de la célula.La membrana es permeable para ciertas especiesiónicas, y actúa de tal forma que se mantenga unadiferencia de potencial entre el fluido intracelulary el fluido extracelular.La diferencia más notable se da en relación con laconcentración de los iones sodio y potasio.

Red

es N

euro

nale

s Art

ifici

ales

3535

El medio externo es unas 10 veces más rico ensodio que el interno, mientras que el mediointerno es unas 10 veces más rico en potasio queel externo.Esta diferencia de concentración en iones sodio ypotasio a cada lado de al membrana produce unadiferencia de potencial de aproximadamente 70milivoltios, negativa en el interior de la célula. Eslo que se llama potencial de reposo de la célulanerviosa.

Red

es N

euro

nale

s Art

ifici

ales

3636

La llegada de señales procedentes de otrasneuronas a través de las dendritas (recepción deneurotransmisores) actúa acumulativamente,bajando ligeramente el valor del potencial dereposo.El potencial modifica la permeabilidad de lamembrana, de manera que cuando llega a ciertovalor crítico comienza una entrada masiva deiones sodio que invierten la polaridad de lamembrana.

Red

es N

euro

nale

s Art

ifici

ales

3737

La inversión del voltaje de la cara interior de lamembrana cierra el paso a los iones sodio y abreel paso a los iones potasio hasta que se restableceel equilibrio en reposo.La inversión del voltaje, conocida como potencialde acción, se propaga a lo largo del axón y, a suvez, provoca la emisión de los neurotransmisoresen los terminales axónicos.

Red

es N

euro

nale

s Art

ifici

ales

3838

Después de un pequeño periodo refractario,puede seguir un segundo impulso.El resultado de todo esto es la emisión por partede la neurona de trenes de impulsos cuyafrecuencia varía en función (entre otros factores)de la cantidad de neurotransmisores recibidos.

Red

es N

euro

nale

s Art

ifici

ales

3939

Señal química

La acción química que se produce en los receptores dalugar a cambios de permeabilidad de la membranapostsináptica para ciertas especias iónicas.Existen dos tipos de efectos locales en la sinapsis:– a) el efecto excitador, cuyos neurotransmisores

provocan disminuciones de potencial en la membranade la célula postsináptica, facilitando la generación deimpulsos a mayor velocidad.

– b) el efecto inhibidor, cuyos neurotransmisores tiendena estabilizar el potencial de la membrana, dificultandola emisión de impulsos.

Red

es N

euro

nale

s Art

ifici

ales

4040

Estos dos efectos actúan solo a lo largo de unapequeña distancia hacia el interior de la célula; sesuman en el montículo del axón; la suma de losefectos excitadores e inhibidores determina si lacélula será o no estimulada; es decir, si emitirá o noun tren de impulsos y a qué velocidad.

Red

es N

euro

nale

s Art

ifici

ales

4141

Bajo estas consideraciones se llega al modelode una neurona artificial.

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4242

∑ ∫∫ Yi

g

YYii = g(= g(ininii))

ini

Función deFunción deentradaentrada

Función deFunción deactivaciónactivación

SalidaSalida

Conexionesde entrada

XXjjWWjj,i,i

Conexionesde salida

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

Unidades ó nodosConexionesPesosNivel de activaciónFunción de activaciónSalida

WW WWgg

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4444

Atributo Valor ValnorEdad 20 0.4No. Rec. 3 0.3Repar 2 0.15Clima D 0.25Cochera 2 0.33Terreno 400 0.4Construc. 350 0.35Sector 3 0.65

0.71315

$2,255,000

0.79612

0.5824

0.4

0.3

Pesos Wij

Valores aj

0.15

0.25

0.33

0.4

0.35

0.65

0.8234

0.6136

-1.325

1.23

-0.24

0.937

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4545

Los modelos de RNA sólo son un parecidosuperficial con sus contrapartes biológicas.Lo importante de las RNA es que muestrancomportamiento útil al aprender, reconocer yaplicar relaciones en tramas de objetos propios delmundo real.

Neurona artificial

Red

es N

euro

nale

s Art

ifici

ales

4646

Asociadoresde patrones

Mapas deautoorganización

Modelos desatisfacciónde demanda

Redesasociativas de

pesos fijos

Perceptrones

Redes deretropropagación

Redes deKohonen

ArquitecturasART

Redes deHopfield

Máquinas deBoltzmann

MemoriasProasociativas

Redes deHamming

RNA - Tipos

Red

es N

euro

nale

s Art

ifici

ales

4747

¿Utilizar RNA?

Cuándo utilizar una RNA– En tareas en las que un ser humano se

desenvuelve bien.

Cuándo no utilizarla– Solución algorítmica es eficiente– No se dispone de suficientes patrones-ejemplos

Red

es N

euro

nale

s Art

ifici

ales

4848

Problemas que resuelven

Procesos– Optimización– Reconocimiento– Generalización

Optimización– Determinar una solución que sea óptima– Gestión empresarial (niveles adecuados de

tesorería,de existencias,de producción)

Red

es N

euro

nale

s Art

ifici

ales

4949

Reconocimiento– Se entrena una RNA con entradas como sonidos,

números, letras y se procede al test presentandopatrones con ruido.

Generalización– Se entrena la RNA con unas entradas y el test se

realiza con casos diferentes.– Clasificación

Asignar a cada caso su clase correspondiente (préstamos)

– PredicciónLo que más interés despierta (ratio)


Red

es N

euro

nale

s Art

ifici

ales

5050

Conversión de texto escrito a lenguaje hablado.Compresión de imágenes.Reconocimiento de escritura manual (japonesa)Visión artificial en robots industriales(inspección de etiquetas, clasificación decomponentes).


Red

es N

euro

nale

s Art

ifici

ales

5151

¿Cómputo convensionalvs. Redes neuronales?

Los computadores actuales son incapaces parainterpretar el mundo.Son capaces de realizar 100 millones deoperaciones de punto flotante por segundo perono pueden entender el significado de formasvisuales.Pueden repetir en forma indefinida un conjuntode instrucciones generadas por un programadorhumano pero no pueden aprender a partir de laexperiencia.

Red

es N

euro

nale

s Art

ifici

ales

5252

¿Por qué utilizar una RNA?

Las RNA, con su marcada habilidad paraderivar de datos complicados o imprecisos, seutilizan para extraer patrones y detectar tramasque son muy difíciles de apreciar por humanos uotras técnicas computacionales.Una RNA entrenada puede usarse como un"experto" para categorizar la información quese ha dado para su análisis. Este experto puedeusarse para proveer proyecciones de nuevassituaciones.

Red

es N

euro

nale

s Art

ifici

ales

5353

Las redes neuronales son preferibles a otros métodosmatemáticos cuando se presentan las siguientescaracterísticas:Es difícil encontrar reglas que definan la variable amodelizar en relación a las entradas consideradas.Los datos son imprecisos o contienen perturbacionesestadísticas (ruido).El problema necesita para ser definido un grannúmero de variables dependientes (presenta una altadimensionalidad).

Red

es N

euro

nale

s Art

ifici

ales

5454

El modelo a resolver es no lineal.Se dispone de un gran número de datos.El entorno de trabajo es variable

Red

es N

euro

nale

s Art

ifici

ales

5555

¿Utilizar RNA?

Cuándo utilizar una RNA– En tareas en las que un ser humano se

desenvuelve bien.

Cuándo no utilizarla– Solución algorítmica es eficiente– No se dispone de suficientes patrones-ejemplos

Red

es N

euro

nale

s Art

ifici

ales

5656

RNA - Modo de operación

Fase de aprendizaje.Aprendizaje supervisado.

Aprendizaje no supervisado.

Aprendizaje reforzado.

Fase de test (opcional).

Fase de aplicación.

Red

es N

euro

nale

s Art

ifici

ales

5757

RNA - Modo de operación Aprendizaje Supervisado

1. Aleatorizar los pesos de todas las conexiones.

2. Seleccionar patrón para entrenamiento

3. Calcular salida.

4. Calcular la discrepancia en la salida.

5. Aplicar la regla de aprendizaje.

Seguir.

Hasta que no haya error.

Red

es N

euro

nale

s Art

ifici

ales

5858

RNA - Modo de operaciónAprendizaje No Supervisado

Requiere propagar información (el error) haciaatrás.Requiere un instructor que proporcione la salida.

No requiere presentar la salida en los patrones.

Red

es N

euro

nale

s Art

ifici

ales

5959

Ventajas

Aprendizaje adaptativo. Capacidad de aprender a realizartareas basada en un entrenamiento o una experiencia inicial.Autoorganización. Una red neuronal puede crear su propiaorganización o representación de la información que recibedurante la etapa de aprendizaje.Tolerancia a fallas vía información redundante.La destrucción parcial de una red conduce a una degradaciónde su estructura; sin embargo, algunas capacidades de la redse pueden retener, incluso sufriendo daños mayores.

Operación en tiempo real. El cómputo neuronal se realiza enparalelo. Inicio del diseño y fabricación de máquinas paratrabajar en paralelo.

Red

es N

euro

nale

s Art

ifici

ales

6060

Aplicaciones

Pilotos automáticos. Simulaciones y predicciones detrayectoria de vuelo, sistemas de control de vuelo, detección defallas en componentes de la nave.Automotriz. Sistemas automáticos de navegación, comandospor voz.Bancos. Lectores de documentos, evaluadores de asignación decrédito, identificador de firmas.Electrónica. Predicción de secuencias de códigos, control deprocesos, análisis de fallas de circuitos, visión de máquina,síntesis de voz, modelado no lineal.Voz. Reconocimiento, compresión, sintetizadores de texto a voz.

Red

es N

euro

nale

s Art

ifici

ales

6161

Telecomunicaciones. Compresión de datos e imágenes,servicios automáticos de información, traducción delenguaje hablado en tiempo real.Transportation. Sistemas ruteadores, diagnóstico demotores, tiempos y movimientos.Seguridad. Reconocimiento de rostros, identificación yacceso de personasFinancieros. Evaluación de bienes raíces, consultor deprestamos, valuación de bonos corporativos, análisis deluso de la línea de crédito, predicción de tipo de cambio.Robótica. Control de trayectorias, control demanipuladores, sistemas de visión.

Aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

6262

Manufactura. Control de procesos de manufactura,análisis y diseño de productos, diagnóstico de máquinas yprocesos, identificación de partes en tiempo real, sistemasde inspección de calidad, predicción de fin de proceso,análisis de mantenimiento de máquinas, modelado desistemas dinámicos.Medicina. Detección de cáncer mamario o en la piel,análisis de EEG y ECG, diseño de prótesis, optimizaciónde tiempos de trasplante, reducción de gastos enhospitales.Oficinas postales, Verificación remota, etc.

Aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

6363

•Modelado/Predicción:-Predicción no lineal de series temporales(financieras, consumo eléctrico,...)

•Control:-Control de procesos, robots, vehículos, ...

Aplicaciones

Red

es N

euro

nale

s Art

ifici

ales

6464

• Un Filtro No lineal

- Algoritmos Adaptativos (LMS, RLS, Newton), Modelos no lineales (Volterra,

Wiener), Clasificadores Bayesianos,...

• Un sistema dinámico no lineal

- Estabilidad, Funciones de Liapunov, Atractores, Ecs diferenciales no lineales, ...

• Un aproximador funcional

- Análisis funcional, Teoría de la aproximación,....

• Un modelo neurofisiológico

- Percepción, Visión, Reconocimiento,...

• Una red neuronal puede ser vista como:

Conclusiones

Red

es N

euro

nale

s Art

ifici

ales

6565

Conclusiones

Las RNA son estructuras paralelas y no linealescapaces de resolver un gran número de problemas.Ofrecen soluciones en problemas en los queintervienen muchas variables y que son difíciles deformalizar.

Son capaces de aprender y generalizar

Existen un gran número de topologías y algoritmosde entrenamiento

Red

es N

euro

nale

s Art

ifici

ales

6666

Inconveniente: Funcionan como una “caja negra”,resuelven un problem pero es difícil saber cómolo han hecho.

Son una herramienta valiosa, pero no resuelvenTODOS los problemas, ni siempre los resuelvende la MEJOR manera.

Conclusiones

Red

es N

euro

nale

s Art

ifici

ales

6767

Perceptrón

Definición. Es una red neuronal feedforwardque consta de dos capas, una de entrada yuna de salida.

Red

es N

euro

nale

s Art

ifici

ales

6868

Patrones de entrenamiento

Un patrón es una pareja de vectores X y Y delongitud n y m respectivamente:X = (x1, x2, x3, .. , xn)

Y= (y1, y2, y3, .. , ym)donde xi corresponde a un valor para laneurona de entrada i y yj es el valor deseado dela neurona de salida j.

Red

es N

euro

nale

s Art

ifici

ales

6969

El PerceptrónAprendizaje

1. Inicialización aleatoria de los pesos (wi)y del umbral (a).

2. Tomar un patrón de entradaXp=(x1,x2,...,xn, d(t)) d(t) es la salida deseada

3. Cálcular la salida actual yiyi =f [Σwixi - a] f función de activación

4. Adaptación de los pesos :wi+1=wi + ∆wi ∆wi = η[di - yi] xiη es la tasa de aprendizaje

5. Repetir desde el paso 2.

Red

es N

euro

nale

s Art

ifici

ales

7070

Σ

x0

x1

x2

1.5

0.5

1.51

0

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

7171

Patrones dados:– 00 0– 01 1– 10 1– 11 1

Ajuste de pesos de las conexiones de una red quedebe realizar la función OR.1. Valores elegidos aleatoriamente:

w0=1.5, w1=0.5 w2=1.5 a=0

El PerceptrónEjemplo

Red

es N

euro

nale

s Art

ifici

ales

7272

2. Se toman cada uno de los patrones de entrada y seaplica el método:2.1.Patrón de entrada 00, d=0

Entradas: x1=0; x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0=1.5sum i= 1*1.5 +0*0.5+0*1.5 = 1.5

Salida producida yi : 1 ( sumi >= 0)Error: (deseada-obtenida)= 0-1= -1


Red

es N

euro

nale

s Art

ifici

ales

7373

Nuevos pesos:w1 = 0.5 + (-1)*0 = 0.5w2 = 1.5 + (-1)*0 = 1.5w0 = 1.5 + (-1)*1 = 0.5


Red

es N

euro

nale

s Art

ifici

ales

7474

2.2. Patrón de entrada 01, d=1Entradas: x1=0; x2=1; x0=1Pesos: w1 = 0.5; w2 = 1.5; w0 = 0.5sum i = 1*0.5 + 0*0.5 + 1*1.5 = 2

Salida producida : 1Error : (deseada-obtenida)= 1-1 = 0Los pesos no se modifican


Red

es N

euro

nale

s Art

ifici

ales

7575

2.3. Patrón de entrada 10, d=1Entradas: x1=1; x2=0; x0=1Pesos: w1 = 0.5; w2 = 1.5; w0 = 0.5sum i = 1*0.5 + 1*0.5 + 0*1.5 = 1

Salida producida : 1Error : (deseada-obtenida)= 1-1 = 0Los pesos no se modifican


Red

es N

euro

nale

s Art

ifici

ales

7676

2.4. Para el patrón 11 1, la salida obtenida es iguala la deseada, por tanto no varían los pesos. Si nofuese así se aplica la corrección.

Como existió un patrón de entrada (00 0) en que elerror no es cero, se realiza de nuevo el proceso.


Red

es N

euro

nale

s Art

ifici

ales

7777

3. Se toman de nuevo los cuatro patrones deentrada:

3.1 Patrón de entrada 00, d=0Entradas: x1=0; x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0=0.5sum i: 1*0.5 +0*0.5+0*1.5 = 0.5

Salida producida = 1Error = -1

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

7878

Nuevos pesos:w1 = 0.5+(-1)*0 = 0.5w2 = 1.5+(-1)*0 = 1.5w0 = 0.5+(-1)*1 = -0.5

3.2. Patrón de entrada 01, d=1Entradas: x1=0; x2=1; x0=1Pesos: w1=0.5; w2=1.5; w0(t)= -0.5sum i = 0*0.5+1*1.5+1*-0.5 =1

Salida producida = 1Error = 0 No se modifican los pesos

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

7979

3.3. Para las entradas restantes 10 y 11, los pesosno varían.

Existe aún una entrada con error distinto de cero.

El Perceptrón

4. Se toman de nuevo los cuatro patrones deentrada:4.1 Patrón de entrada 00, d=0

Entradas: x1=0;x2=0; x0=1Pesos: w1=0.5; w2=1.5; w0= -0.5sum i = 0*0.5+0*1.5+1*-0.5= -0.5

Salida producida = 0Error = 0 No se varían los pesos

Red

es N

euro

nale

s Art

ifici

ales

8080

4.2 Patrón de entrada 01, d=0Entradas: x1=0;x2=1; x0=1Pesos: w1=0.5; w2=1.5; w0= -0.5sum i = 0*0.5+1*1.5+1*-0.5= -0.5

Salida producida = 1Error = 0 No se varían los pesos

El Perceptrón

4.3. Al no variar los pesos en los otros patrones, elerror cometido es cero.

Con estos pesos, al calcular la salida para cualquierade los cuatro patrones no se obtiene error, luego laetapa de aprendizaje concluye.

Red

es N

euro

nale

s Art

ifici

ales

8181

x1

x2

xm

.

...

y1

y2

yn

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

8282

El Perceptrón

La salida depende de los pesos (W) y los umbrales (a).Los a pueden representarse como un W0 con entrada1.Busca minimizar el error producido por las salidasobtenidas t1, t2,...,tm, con respecto a las esperadas y1,y2, ..., ym para unas entradas dadas x1, ..., xn

El entrenar un perceptrón es reducir el error entérminos de los pesos. Por tanto, el espacio debúsqueda tiene una dimensión igual al número deconexiones.

Red

es N

euro

nale

s Art

ifici

ales

8383

1. Inicializar los pesos y el umbral:– Se asignan valores aleatorios a los pesos (wi)

de las conexiones y al umbral (a).2. Presentar nuevo par (entrada, salidaesperada):– Entrada Xp=(x1,x2,...,xN), salida esperada d(t).

3. Cálculo de la salida actual– y(t)=f [Σwi(t)xi(t)]

f (x) = función de transferencia (Escalón).

El Perceptrón Regla de Aprendizaje

Red

es N

euro

nale

s Art

ifici

ales

8484

La función de error es la función cuadrática medio.Para la neurona de salida i el error cuadrático es:ei = (di – yi)2 / 2

Donde di es: ∑j wij xj ó f(∑j wij xj) si no es linealExpresado en términos de pesos: ei = (∑j wij xj – yi)2 / 2 ei = (f(∑j wij xj)– yi)2 / 2 no lineal

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

8585

Aplicando técnica de gradiente

(∑j wij xj – yi)x1

(∑j wij xj – yi)x2

∇ ei =

(∑j wij xj – yi)xn

f’(wi1)( ∑j wij xj)(f(wij xj)– yi)

∇ ei f’(wi2)( ∑j wij xj)(f(wij xj)– yi)

f’(win)( ∑j wij xj)(f(wij xj)– yi)

lineal No lineal

.

.

.

.

.

.

.

.

.

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

8686

(di– yi)x1

(di– yi)x2

∇ ei =

(di– yi)xn

(f’(wi1)( ∑j wij xj))(di -yi)

∇ ei = (f’(wi2)( ∑j wij xj))(di -yi)

(f’(win)( ∑j wij xj))(di -yi)

.

.

.

.

.

.

lineal No lineal

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

8787

4. Adaptación de los pesos :

∆wij(t)=η[d(t)-y(t)] xi(t)

(0<=i<=N)donde η es la tasa de aprendizaje y varia entre 0 y 1. wij (t+1) =w ij(t) - η[di (t)-yi (t)] xj(t)

5. Repertir desde el paso 2.

El Perceptrón

Red

es N

euro

nale

s Art

ifici

ales

8888

Sean los patrones:


[ 1 1 0 1 ] [ 1 0 1 1 ] [ 0 1 1 1 ]

[ 0 1 0 0 ] [ 1 0 0 0 ] [ 0 0 1 0 ]

Red

es N

euro

nale

s Art

ifici

ales

8989


Pesos iniciales: W01=.5, W11=1, W21=0, W31=.8Umbral a= 0.5, µ=.5 (t aprendizaje

Patrón 1: X1=1; X2=1; X3=0, X0=1, Sd=1

Y = 1*.5 + 1*1 + 1*0 + 0*.8 = 1.5 > .5, Y=1

Error = Sd - Y = 1 - 1 = 0

No hay cambio de pesos

Red

es N

euro

nale

s Art

ifici

ales

9090


Pesos : W01=.5, W11=1, W21=0, W31=.8Patrón 2: X1=1; X2=0; X3=1, X0=1, Sd=1Y = 1*.5 + 1*1 + 0*0 + 1*.8 = 2.3 > .5, Y=1

Error = Sd - Y = 1 - 1 = 0No hay cambio de pesos

Red

es N

euro

nale

s Art

ifici

ales

9191


Pesos : W01=.5, W11=1, W21=0, W31=.8Patrón 3: X1=0; X2=1; X3=1, X0=1, Sd=1Y = 1*.5 + 0*1 + 1*0 + 1*.8 = 1.3 > .5, Y=1


Red

es N

euro

nale

s Art

ifici

ales

9292


Pesos : W01=.5, W11=1, W21=0, W31=.8Patrón 4: X1=0; X2=1; X3=0, X0=1, Sd=0Y = 1*.5 + 0*1 + 1*0 + 0*.8 = .5 >= .5, Y=1

Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=.5-.5(-1)1=1

W11=1-.5(-1)0=1W21=0-.5(-1)1=.5W31=.8-.5(-1)0=.8

Red

es N

euro

nale

s Art

ifici

ales

9393


Pesos : W01= 1, W11=1, W21=.5, W31=.8Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0Y = 1*1 + 1*1 + 0*.5 + 0*.8 = 2 >= .5, Y=1

Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=1-.5(-1)1=1.5

W11=1-.5(-1)1=1.5W21=.5-.5(-1)0=.5W31=.8-.5(-1)0=.8

Red

es N

euro

nale

s Art

ifici

ales

9494


Pesos : W01= 1.5, W11=1.5, W21=.5, W31=.8Patrón 6: X1=0; X2=0; X3=1, X0=1, Sd=0Y = 1*1.5 + 0*1 + 0*.5 + 1*.8 = 2.3 >= .5, Y=1

Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=1.5-.5(-1)1=2

W11=1.5-.5(-1)0=1.5W21=.5-.5(-1)0=.5W31=.8-.5(-1)1=1.3

Red

es N

euro

nale

s Art

ifici

ales

9595

En el ciclo de los patrones existió un error, portanto, se requiere volver a mirar todos lospatrones con los nuevos pesos.

Red

es N

euro

nale

s Art

ifici

ales

9696


Pesos : W01= 2, W11=1.5, W21=.5, W31=1.3Patrón 1: X1=1; X2=1; X3=0, X0=1, Sd=1

Y = 1*2 + 1*1.5 + 1*.5 + 0*1.3 = 4 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

9797



Y = 1*2 + 1*1.5 + 0*.5 + 1*1.3 = 4.8 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

9898



Y = 1*2 + 0*1.5 + 1*.5 + 1*1.3 = 3.8 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

9999



Y = 1*2 + 0*1.5 + 1*.5 + 0*1.3 = 2.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=2-.5(-1)1=2.5

W11=1.5-.5(-1)0=1.5W21=.5-.5(-1)1=1W31=1.3-.5(-1)0=1.3

Red

es N

euro

nale

s Art

ifici

ales

100100


Pesos : W01= 2.5, W11=1.5, W21=1, W31=1.3Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0

Y = 1*2 + 1*1.5 + 0*.5 + 0*1.3 = 3.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=2.5-.5(-1)1=3

W11=1.5-.5(-1)1=2W21=1-.5(-1)0=1W31=1.3-.5(-1)0=1.3

Red

es N

euro

nale

s Art

ifici

ales

101101


Pesos : W01= 3, W11=2, W21=1, W31=1.3Patrón 6: X1=0; X2=0; X3=1, X0=1, Sd=0

Y = 1*2 + 0*1.5 + 0*.5 + 1*1.3 = 3.3 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W01=3-.5(-1)1=3.5

W11=2-.5(-1)0=2W21=1-.5(-1)0=1W31=1.3-.5(-1)1=1.8

Red

es N

euro

nale

s Art

ifici

ales

102102

Nuevamente existe error diferente de 0Hay que volver a repasar por todos los patroneshasta que todos posean error=0

Se puede visualizar que la red no converge.¿Qué sucede sin X0?

Red

es N

euro

nale

s Art

ifici

ales

103103


Pesos iniciales: W11=1, W21=0, W31=.8Umbral a= 0.5, µ=.5 (t aprendizaje

Patrón 1: X1=1; X2=1; X3=0, Sd=1

Y = 1*1 + 1*0 + 0*.8 = 1 > .5, Y=1

Error = Sd - Y = 1 - 1 = 0


Red

es N

euro

nale

s Art

ifici

ales

104104


Pesos : W11=1, W21=0, W31=.8Patrón 2: X1=1; X2=0; X3=1, Sd=1Y = 1*1 + 0*0 + 1*.8 = 1.8 > .5, Y=1


Red

es N

euro

nale

s Art

ifici

ales

105105


Pesos : W11=1, W21=0, W31=.8Patrón 3: X1=0; X2=1; X3=1, Sd=1Y = 0*1 + 1*0 + 1*.8 = .8 > .5, Y=1


Red

es N

euro

nale

s Art

ifici

ales

106106


Pesos : W11=1, W21=0, W31=.8Patrón 4: X1=0; X2=1; X3=0, Sd=0Y = 0*1 + 1*0 + 0*.8 = 0 >= .5, Y=0

Error = Sd - Y = 0 - 0 = 0


Red

es N

euro

nale

s Art

ifici

ales

107107


Pesos : W11=1, W21=0, W31=.8Patrón 5: X1=1; X2=0; X3=0, Sd=0Y = 1*1 + 0*0 + 0*.8 = 1 >= .5, Y=1

Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1-.5(-1)1=1.5

W21=0-.5(-1)0= 0

W31=.8-.5(-1)0=.8

Red

es N

euro

nale

s Art

ifici

ales

108108


Pesos : W11=1.5, W21=0, W31=.8Patrón 6: X1=0; X2=0; X3=1, Sd=0

Y = 0*1.5 + 0*0 + 1*.8 = .8 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1.5-.5(-1)0=1.5

W21= 0 -.5(-1)0= 0

W31=.8-.5(-1)1=1.3

Red

es N

euro

nale

s Art

ifici

ales

109109

En el ciclo de los patrones existió un error, portanto, se requiere volver a mirar todos lospatrones con los nuevos pesos.

Red

es N

euro

nale

s Art

ifici

ales

110110


Pesos : W11=1.5, W21=0, W31=1.3Patrón 1: X1=1; X2=1; X3=0, Sd=1Y = 1*1.5 + 1*0 + 0*1.3 = 1.5 >= .5, Y=1

Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

111111


Pesos : W11=1.5, W21=0, W31=1.3Patrón 2: X1=1; X2=0; X3=1, X0=1, Sd=1Y = 1*1.5 + 0*0 + 1*1.3 = 2.8 >= .5, Y=1

Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

112112


Pesos : W11=1.5, W21=0, W31=1.3Patrón 3: X1=0; X2=1; X3=1, Sd=1

Y = 0*1.5 + 1*0 + 1*1.3 = 1.3 >= .5, Y=1Error = Sd - Y = 1 - 1 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

113113


Pesos : W11=1.5, W21=0, W31=1.3Patrón 4: X1=0; X2=1; X3=0, Sd=0

Y = 0*1.5 + 1*0 + 0*1.3 = 0 < .5, Y=0Error = Sd - Y = 0 - 0 = 0NO hay que ajustar pesos

Red

es N

euro

nale

s Art

ifici

ales

114114


Pesos : W11=1.5, W21=0, W31=1.3Patrón 5: X1=1; X2=0; X3=0, X0=1, Sd=0

Y = 1*1.5 + 0*0 + 0*1.3 = 1.5 >= .5, Y=1Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=1.5-.5(-1)1=2

W21=0-.5(-1)0=0

W31=1.3-.5(-1)0=1.3

Red

es N

euro

nale

s Art

ifici

ales

115115


Pesos : W11=2, W21=0, W31=1.3Patrón 6: X1=0; X2=0; X3=1, Sd=0Y = 0*2 + 0*0 + 1*1.3 = 1.3 >= .5, Y=1

Error = Sd - Y = 0 - 1 = -1Ajustar pesos: W11=2-.5(-1)0=2

W21=0-.5(-1)0=0

W31=1.3-.5(-1)1=1.8

Red

es N

euro

nale

s Art

ifici

ales

116116

Nuevamente existe error diferente de 0Hay que volver a repasar por todos los patroneshasta que todos posean error=0

Se puede visualizar que la red no converge.¿Hacemos otro ciclo?¿Se cambia el umbral?

Red

es N

euro

nale

s Art

ifici

ales

117117

EL PERCEPTRON MULTICAPA

• Es la Red Neuronal más empleada y conocida• Conocido un conjunto de patrones entrada/salida la red es capaz

de “aprender” mediante un algoritmo de entrenamiento• El “conocimiento” está almacenado y distribuido en los pesos de

la red.• Es una estructura de computación robusta ante fallos

Entra

das

1ª capaoculta

2ª capaoculta

Salid

as

Red

es N

euro

nale

s Art

ifici

ales

118118

inteligencia artificiallctorress/iartificial/iac011.pdf · el axón se ramifica en filamentos y...

Documents