Novel machine learning methods based on information theory

Abstract

[Resumo] A aprendizaxe automática é a área da intelixencia artificial e da ciencia da computación que estuda algoritmos que aprenden a partir de datos, fan prediccións e producen comportamentos baseados en exemplos. Esta tesis desenvolve novos métodos de aprendiza.xe automática baseados en teoría da información [TI) e en information Iheoretic learning (ITL): (1) En primeiro lugar, utilizase TI para selección de características. Específicamente, se desenvolveo dous novos algoritmos. O primeiro ten en conta o coste (computacional. económico, etc.) de cada caracteristica -ademais da relevancia-. O segundo fai uso do concepto de enremble. moi comÚD en escenarios de clasificación, pero moi poueo explorado na literatura de selección de características. (2) En segundo lugar. se poden empregar conceptos de TI e ITL como unha función de erro alternativa. o cal permite a exploración doutro campo da literatura non moi estudado: a aproximación de modelado local. Específicamente, desenvólvese un novo algoritmo para clasificación. Este algoritmo está baseado na combinación de redes de neuronas por medio de modelado local e técnicas baseadas en ITL.[Resumen] El aprendizaje automático es el área de la inteligencia artificial y la ciencia de la computación que estudia los algoritmos que aprenden a partir de datos, realizan predicciones y producen comportamientos basados en ejemplos. Esta tesis desarrolla nuevos métodos de aprendizaje automático basados en teoría de la información (TI) y en information theoretic learning (ITL): (1) En primer lugar, se utiliza TI para selección de características. Específicamente, se desarrollan dos nuevos algoritmos. El primero tiene en cuenta el coste (computacional, económico, etc.) de cada característica -además de la relevancia-. El segundo hace uso del concepto de ensemble, muy común en escenarios de clasificación, pero muy poco explorado en la literatura de selección de características. (2) En segundo lugar. se pueden emplear conceptos de TI e ITL como una función de error alternativa, lo cual permite la exploración de otro campo de la literatura no muy estudiado: la aproximación de modelado local. Especificamente, se desarrolla un nuevo algoritmo para clasificación. Este algoritmo está basado en la combinación de redes de neuronas por medio de modelado local y técnicas basadas en ITL.[Abstract] Machine learning is the area of artificial intelligence and computer science that studies algorithms that can learn from data, make predictions, and produce behaviors based on examples. This thesis develops new methods of machine learning based on infonnation theory (IT) and information tbeoretic leaming (ITL): (1) On the one band, IT is used for feature selection. Specifically, two new algorithms are developed. The first one takes into account the cost (computational, economic, etc.) of each feature -besides its relevance-. Tbe second one makes use of the concept of ensemble, quite common for c1assification scenarios, but very little explored in the literature of feature selection. (2) 0n the other band, IT and ITL concepts can be employed as an altemative crror function, thus allowing the exploration of another not very well studied field in the literature: {he local modeling approach. Specifically, a new algorithm for classification is developed. This algorithm is based on the combination of neural networks by means of local modeling and techniques based on ITL.