Cancela, BraisHernández Martínez, PabloUniversidade da Coruña. Facultade de Informática2026-10-052026-10-052026-09https://hdl.handle.net/2183/49628[Resumen] En aprendizaje profundo, las arquitecturas basadas en Mixture of Experts (MoE) consisten en una combinación de múltiples capas expertas, cada una de las cuales aprende a resolver una parte específica del problema. Estas arquitecturas han sido empleadas con éxito en robótica, fusión multimodal de modelos y Large Language Model (LLM). En cada paso, una capa de enrutamiento calcula puntuaciones individuales para decidir qué expertos se activan para procesar la entrada. Tras el entrenamiento, cada experto se ha especializado en un patrón de entrada, y el bloque de enrutamiento ha aprendido a identificar qué experto (o conjunto de expertos) debe activar para cada entrada. Este trabajo desarrolla ExpertTree, una arquitectura que clasifica imágenes utilizando exclusivamente los logits continuos de los routers de una secuencia de capas MoE con dos expertos. Se evalúa en MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 y Tiny ImageNet, y se compara con una red convolucional (CNN, del inglés Convolutional Neural Network) de referencia y dos variantes que incorporan las features del último bloque de expertos. Los resultados muestran que los logits de enrutamiento contienen información útil para la clasificación, aunque comprimirla en pocas dimensiones limita el rendimiento en las tareas más complejas. El análisis interno revela agrupaciones de clases visual o semánticamente relacionadas, más marcadas cuando la clasificación depende únicamente de los routers, pero no una jerarquía clara entre sus decisiones. Aunque los códigos binarios de selección de expertos no bastan por sí solos para identificar la clase, el vector continuo de logits sí constituye una representación compacta y suficientemente discriminativa para realizar la clasificación de imágenes.[Abstract] In deep learning, Mixture of Experts (MoE) architectures consist of a combination of multiple expert layers, each of which learns to solve a specific portion of the problem. These architectures have been successfully applied to downstream tasks in fields such as robotics, multimodal fusion and large language models (LLMs). At each step, a routing layer calculates individual scores to choose which experts process the input. After training, each expert has specialized in a certain input pattern, and the routing layer has learned which expert (or set of experts) should be activated for a given input. This work develops ExpertTree, an architecture that classifies images using only the continuous router logits from a sequence of MoE layers with two experts each. It is evaluated on MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 and Tiny ImageNet, and compared with a reference convolutional neural network (CNN) and two variants that incorporate features from the final expert block. The results show that routing logits contain useful information for classification, although compressing it into few dimensions limits performance on more complex tasks. Internal analysis reveals groups of visually or semantically related classes, which are more pronounced when classification relies exclusively on routers, but no clear hierarchy among routing decisions. Although binary expert-selection codes are not sufficient on their own to identify the class, the continuous logits vector does constitute a compact representation discriminative enough to perform image classification.spaAttribution-NonCommercial 4.0 Internationalhttp://creativecommons.org/licenses/by-nc/4.0/IAAprendizaje profundoMezcla de expertosVisión por computadorAprendizaje de representacionesAI; Deep Learning;Mixture of ExpertsComputer VisionRepresentation Learningbachelor thesisopen access