TEMATICA: Prcticas Pre Profesionales II

X Ciclo

Ingeniera de Sistemas

DATOS DE IDENTIFICACIN

CURSO: Prcticas Pre Profesionales IIFECHA DE ENTREGA : 17 de Julio de 2015SEMESTRE ACADMICO : 2015 IESTUDIANTE : LUZ MARA ALFARO ESQUIVELFACULTAD : FACULTAD DE INGENIERA ARQUITECTURA Y URBANISMOESCUELA PROFESIONAL : INGENIERA DE SISTEMASPROFESOR :

Programa Acadmico de Educacin Superior a Distancia

CNN (CONVNET) CONVOLUTIONAL NEURAL NETWORKSI. INTRODUCCINEl diseo de las redes neuronales convolucionales sigue el descubrimiento de mecanismos visuales en los organismos vivos.En nuestro cerebro, la corteza visual contiene una gran cantidad de clulas.Estas clulas son responsables de detectar la luz en pequeas, sub-regiones del campo visual, llamados campos receptivos superpuestos.Estas clulas actan como filtros locales sobre el espacio de entrada.Las clulas ms complejas tienen campos receptivos ms grandes.Se crea un operador de convolucin para llevar a cabo la misma funcin por todas estas clulas.

Redes neuronales convolucionales se introdujeron en un artculo de 1980 por Kunihiko Fukushima.En 1988 se desarrollaron por separado, con el paralelo explcito y circunvoluciones entrenables para seales temporales, por Toshiteru Homma, Les Atlas, y Robert J. Marks II. Su diseo fue posteriormente mejorado en 1998 porYann LeCun, Lon Bottou, Yoshua Bengio, y Patrick Haffner,generalizada en 2003 por Sven Behnke, y simplificado por Patrice Simard, David Steinkraus, y John C. Platt en el mismo ao. La famosa red LeNet-5 puede clasificar dgitos xito, que se aplica a reconocer comprobar los nmeros.Sin embargo, teniendo en cuenta los problemas ms complejos de la amplitud y profundidad de la red seguirn aumentando el que se convertira limitada por los recursos informticos.El enfoque utilizado por LeNet no realiz bien con problemas ms complejos.

II. RESUMEN DE LA TEMTICA ABORDADAa) Ideas o Palabras importantes Capa de Convolucin Capa de Pooling Capa FC (Fully Conntected) b) Desarrollo de la temticaLos diferentes tipos de capas: Capa ConvolucionalA diferencia de una convolucin codificado a manokernel(Sobel, Prewitt, Roberts), en una red neural convolucional, los parmetros de cada ncleo de convolucin son entrenados por el algoritmo de backpropagation.Hay muchos ncleos de convolucin en cada capa, y cada ncleo se replica en toda la imagen con los mismos parmetros.La funcin de los operadores de convolucin es extraer diferentes caractersticas de la entrada.La capacidad de una red neuronal vara, dependiendo del nmero de capas.Las primeras capas de convolucin obtendrn las caractersticas de bajo nivel, como bordes, lneas y curvas.Cuantas ms capas de la red tiene, las caractersticas de alto nivel que van a recibir.

Capa de ReluRelu es la abreviatura deUnidades Rectificado lineales.Esta es una capa de neuronas que utilizan la no saturacinfuncin de activacin .Aumenta las propiedades no lineales de la funcin de decisin y de la red global sin afectar los campos receptivos de la capa de convolucin. Otras funciones se utilizan para aumentar la no linealidad.Por ejemplo, la saturacin detangente hiperblica . Y lafuncin sigmoide . En comparacin con las unidades de TANH, la ventaja de RELU es que la red neuronal se entrena varias veces ms rpido.

Capa de PoolingA fin de reducir la varianza, capas de fondo comn calculan la max o el valor promedio de una caracterstica particular sobre una regin de la imagen.Esto asegurar que se obtenga el mismo resultado, incluso cuando las caractersticas de imagen tienen pequeas traducciones.Esta es una operacin importante para la clasificacin de objetos y deteccin.

Mtodo de InsercinDesde una capa totalmente conectada ocupa la mayor parte de los parmetros, que es propenso aoverfitting.El mtodo de desercin se introduce para evitar sobreajuste. En cada etapa de formacin, los nodos individuales estn bien "abandonaron" de la red con una probabilidad 1-p o mantenidos con probabilidad p, por lo que una red reducida es izquierda;Tambin se eliminan los bordes entrantes y salientes a un nodo cado-out.Slo la red reducida est entrenado en los datos en esa etapa.Los nodos eliminados son luego reinsertados en la red con sus pesos originales.En las etapas de formacin, la probabilidad de un nodo oculto ser retenido (es decir, no se redujo) es generalmente 0,5;para la entrada de nodos de la probabilidad de retencin debe ser mucho mayor, intuitivamente, porque la informacin se pierde directamente cuando se ignoran nodos de entrada.A la hora de la prueba despus del entrenamiento ha terminado, nos gustara idealmente gustara encontrar un promedio de la muestra de todas las posibles 2 ^ n redes cado fuera;por desgracia esto es infeasable para n grande.Sin embargo, podemos encontrar una aproximacin mediante el uso de la red completa con la salida de cada nodo ponderado por un factor de p, por lo que el valor esperado de la salida de cualquier nodo es el mismo que en las etapas de formacin.Esta es la mayor contribucin del mtodo de desercin: a pesar de que efectivamente genera 2 ^ n redes neuronales, y como tal permite la combinacin de modelos, en tiempo de prueba slo una nica red necesita ser probado.Al evitar la formacin de todos los nodos en todos los datos de formacin, desercin disminuye sobreajuste en redes neuronales.El mtodo tambin mejora significativamente la velocidad de formacin.Esto hace que la combinacin modelo prctico, incluso para redes neuronales profundas.

Capa PrdidaSe puede utilizar diferentes funciones de prdida para diferentes tareas.Prdida Softmax se utiliza para predecir una sola clase de K clases mutuamente excluyentes.Sigmoide prdida de entropa cruzada se utiliza para la prediccin de K valores de probabilidad independiente en [0,1].Prdida euclidiana se utiliza para la regresin a las etiquetas de valor real [-inf, inf]

Aplicaciones: El reconocimiento de imgenesRedes neuronales convolucionales se utilizan a menudo en sistemas de reconocimiento de imagen.Han logrado unatasa de errordel 0,23 por ciento sobre la base de datos MNIST, que a partir de febrero 2012 es el ms bajo alcanzado en la base de datos. Otro artculo sobre el uso de la CNN para la clasificacin de imgenes inform que el proceso de aprendizaje era "sorprendentemente rpido";en el mismo papel, los mejores resultados publicados en el momento se lograron en la base de datos y la base de datos MNIST Norb. Cuando se aplica alreconocimiento facial, que fueron capaces de contribuir a una gran disminucin de la tasa de error.En otro papel, que fueron capaces de lograr una tasa de reconocimiento del 97,6 por ciento en "5600 imgenes fijas de ms de 10 temas".CNNs se han utilizado para evaluarla calidad de vdeode una manera objetiva despus de haber sido entrenados de forma manual;el sistema resultante tena un muy bajoerror cuadrtico medio.

Anlisis de VideosEl video es ms compleja que las imgenes ya que tiene otra dimensin temporal. La forma comn es fusionar las caractersticas de diferentes redes neuronales convolucionales, que son responsables de espacial y corriente temporal.

Procesamiento del lenguaje naturalRedes neuronales convolucionales tambin han visto su uso en el campo de procesamiento de lenguaje natural o PNL. Al igual que el problema de la clasificacin de imgenes, algunas tareas de PNL pueden formularse como asignar etiquetas a las palabras en una oracin. La materia prima de la red neuronal entrenada moda que va a extraer las caractersticas de las frases. El uso de algunos clasificadores, podra predecir nuevas sentencias.

Jugar GoRedes neuronales convolucionales se han utilizado en ordenador Go. En diciembre de 2014, Christopher Clark y Amos Storkey publicaron un artculo que muestra una red de convolucin entrenado por aprendizaje supervisado a partir de una base de datos de juegos profesionales humanos podra superar a GNU Go y ganar algunos partidos contra Monte Carlo Bsqueda rbol Fuego 1.1 en una fraccin del tiempo que tom Fuego jugar. Poco despus se anunci que una gran red neuronal convolucional 12 capas haba predicho correctamente el movimiento profesional en el 55% de las posiciones, igualando la precisin de un dan 6 jugador humano. Cuando se utiliz la red de convolucin entrenados directamente a jugar juegos de Go, sin ningn tipo de bsqueda, que venci el programa de bsqueda tradicional GNU Go en el 97% de los juegos, e igual el rendimiento del rbol de bsqueda Monte Carlo programa Fuego simulando diez mil playouts (alrededor un milln de posiciones) por jugada

III. APLICACIN AL CENTRO DE PRCTICASa) Cmo se podra aplicar al centro de prcticas?

CLASIFICACIN DE IMGENES CON EL ALGORITMO CNN

Una de las principales aplicaciones del algoritmo CNN es el reconocimiento de modelos aprendidos. Fruto de ello es la gran cantidad de trabajo dedicado a la explotacin de esta caracterstica. Se pueden hallar estrategias de aprendizaje muy eficientes que aseguran un ptimo almacenamiento de patrones, modelos de neuronas con capacidades de reconocimiento bien definidas, estudios tericos que aseguran la estabilidad de la red, y anlisis de la capacidad de almacenamiento de informacin de la misma. Se ha empleado mucho esfuerzo en reproducir dos de las caractersticas principales del cerebro humano, aprendizaje y reconocimiento, as como en comprender los principios que las gobiernan. Lo que se planea implementar en la empresa Computadoras y Negocios S.A.C. es la utilizacin de este algoritmo en la aplicacin Web del lado del cliente para realizar de una manera ms ptima de ubicacin de los productos clasificando de una manera inteligente las imgenes de estos con slo realizar una bsqueda.

En la figura podemos observar cmo se va filtrando desde el ingreso de varias opciones, hasta llegar a la imagen buscada.

b) Qu ventajas se lograra? Las ventajas de utilizar esta tecnologa: La posibilidad de trabajo en tiempo real con imgenes digitalizadas. Mejor ordenamiento y clasificacin de las imgenes de los diversos productos. Mejor presentacin del producto al cliente. Incrementara la competitividad Mayor satisfaccin del cliente al momento de usar la aplicacin.

c) Qu desventajas se tiene?Las desventajas de utilizar esta tecnologa:

d) Qu herramientas tecnolgicas se necesitan implementar?

CONCLUSIONES Y RECOMENDACIONES

CONCLUSIONES: Las redes neuronales CNN proporcionan un mtodo alternativo de clasificacin de imgenes. La aplicacin del algoritmo CNN en un problema de clasificacin simple permiti observar cmo es su funcionamiento y verificar su alta dependencia de los datos de entrenamiento.

RECOMENDACIONES: Se sugiere que la aplicacin de los mtodos emergentes debe ser muy cuidadosa y exige un entendimiento cabal de sus ventajas y limitaciones.

BIBLIOGRAFA Ueli Meier;Jonathan Masci;Luca M. Gambardella;Jurgen Schmidhuber (2011)."flexible, de alto rendimiento convolucionales redes neuronales para la imagen Clasi fi cacin".Actas de la vigsima segunda conferencia conjunta internacional sobre volumen de Inteligencia Artificial-Volume Two2, 1237-1242.

Deng, Jia, et al. "Imagenet: Una base de datos jerrquica imagen a gran escala" Visin por Computador y Reconocimiento de Patrones, 2009. CVPR 2009. Conferencia IEEE sobre. IEEE 2009.

Vengo, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). . "Capa-Wise Greedy Formacin de Redes profundas" Avances en Sistemas de Procesamiento de Informacin Neural, 153-160.

Srivastava, Nitish; C. Geoffrey Hinton; Alex Krizhevsky; Ilya Sutskever; Ruslan Salakhutdinov (2014). "Desercin Escolar: Una manera sencilla para Prevenir Redes Neuronales de sobreajuste". Journal of Machine Learning Investigacin 15 (1): 1929-58.

S. Behnke. Jerrquicas Redes Neuronales de interpretacin de imgenes, volumen 2766 de Lecture Notes in Computer Science. Springer, 2003.

Homma, Toshiteru; Les Atlas; Robert Marcas II (1988). "Una red neuronal artificial para el espacio-temporal bipolares patrones: Aplicacin a la clasificacin de fonemas. Los avances en Neural Information Processing Systems, 31-40.

II.- RESUMEN DE LA TEMATICA ABORDADA (mximo 4 hojas)a) Ideas o palabras importantesb) Desarrollo de la temtica

III.- APLICACIN AL CENTRO DE PRCTICAS (mximo 3 hojas)(El alumno debe exponer en forma expositiva y grfica como podra aplicar la temtica abordada a su centro de prcticas)a) Cmo se podra aplicar al centro de prcticas? b) Qu ventajas se lograra? c) Qu desventajas se tiene?d) Qu herramientas tecnolgicas se necesitan implementar?

Conclusiones y recomendaciones

Bibliografa.

10