Algoritmos eficientes, incrementales y escalables para el aprendizaje en redes de neuronas artificiales

Abstract

[Abstract] The core of this work is the development of new supervised learning methods for feedforward neural networks. In the first place, improvements on already developed learning methods are presented in order to generalize their behaviour to new situations while keeping their original characteristics. In particular, the employment of the regularization technique is proposed to handle situations where the overfitting to data is possible. Secondly, we develop online learning algorithms for one and two layer neural networks so as to allow their application in stationary and non stationary contexts in which the process to be modelled does not remain unalterable. In addition, for the case of two layers neural networks, this algorithm will also automatically adapt the topology of the network according to the needs of learning, by adding new hidden units only when necessary. In all cases, an optimum employment of the computational resources is pursued. For all the proposed algorithms, theoretical descriptions of their capacities are included, and their behaviours are illustrated by means of their application to significant cases. Finally, we analyze the results obtained, extracting the main conclusions about each method, their capacities and limitations for their future application. [Resumo] Este traballo céntrase no desenvolvemento de novos modelos de aprendizaxe supervisada para redes de neuronas artificiais alimentadas cara a adiante. En primeiro lugar, expóñense melloras sobre métodos de aprendizaxe xa desenvolvidos, co obxecto de xeneralizar o seu comportamento a novas situacións mantendo as súas características orixinais. En concreto, móstrase o emprego da regularización para manexar situacións onde é posible o fenómeno de sobreaxuste aos datos. En segundo lugar, desenvólvense algoritmos de aprendizaxe online tanto para redes dunha capa como de dúas, que permiten a súa aplicación en contornas non estacionarias en que o proceso que se vai modelar non permanece inalterable. Alén diso, para o caso das redes de dúas capas, este algoritmo online permitirá que tamén a topoloxía da rede se adapte de xeito automático segundo as necesidades da aprendizaxe, engadindo unidades ocultas unicamente en caso de que sexa necesario. En todo momento perséguese un aproveitamento dos recursos dispoñibles. Para os algoritmos propostos, inclúese unha descrición teórica das súas capacidades e o seu comportamento ilústrase mediante a súa aplicación a casos concretos e significativos. Finalmente, analízanse os resultados obtidos, extraendo as principais conclusións do comportamento de cada método e as súas capacidades e limitacións para a súa aplicación futura. [Resumen] Este trabajo se centra en el desarrollo de nuevos modelos de aprendizaje supervisado para redes de neuronas artificiales alimentadas hacia delante. En primer lugar, se plantean mejoras sobre métodos de aprendizaje ya desarrollados, con el objeto de generalizar su comportamiento a nuevas situaciones manteniendo sus características originales. En concreto, se plantea el empleo de la regularización para manejar situaciones donde es posible el fenómeno de sobreajuste a los datos. En segundo lugar, se desarrollan algoritmos de aprendizaje online tanto para redes de una capa como de dos, que permiten su aplicación en entornos no estacionarios en los que el proceso a modelar no permanece inalterable. Además, para el caso de las redes de dos capas, este algoritmo online permitirá que también la topología de la red se adapte de manera autom ática según las necesidades del aprendizaje, añadiendo unidades ocultas únicamente en caso necesario. En todo momento se persigue un aprovechamiento de los recursos disponibles. Para los algoritmos propuestos se incluye una descripción teórica de sus capacidades, y su comportamiento se ilustra mediante su aplicación a casos concretos y significativos. Finalmente se analizan los resultados obtenidos, extrayendo las principales conclusiones del comportamiento de cada método, capacidades y limitaciones para su aplicación futura.