Fusión multimodal de características profundas en imágenes OCT y OCTA para la detección de esclérosis múltiple

Abstract

[Resumen] La Esclerosis Múltiple (EM) es la principal causa de discapacidad neurológica no traumática en adultos jóvenes, y su heterogeneidad clínica dificulta la identificación de biomarcadores objetivos que permitan un diagnóstico y un seguimiento precoces. La retina, como extensión directamente observable del sistema nervioso central, ofrece una oportunidad única para el estudio no invasivo de la neurodegeneración asociada a la EM: la Tomografía de Coherencia Óptica (OCT) permite cuantificar el adelgazamiento de las capas retinianas ligado al daño axonal, mientras que su variante angiográfica (OCTA) revela alteraciones de la microvasculatura retiniana que a menudo preceden a la pérdida estructural evidente. Este Trabajo de Fin de Grado propone y evalúa un sistema de aprendizaje profundo para la detección automática de la EM mediante la fusión multimodal de características profundas extraídas de imágenes OCT y OCTA. El análisis se apoya en un conjunto de datos clínico de 52 pacientes (103 ojos: 61 con EM y 42 controles) procedente del Hospital General Universitario Gregorio Marañón, sobre el que el sistema no procesa una única imagen por ojo, sino el volumen tridimensional completo de cada exploración: cada protocolo de Disco Óptico aporta 200 B-scans y cada protocolo Macular 128 B-scans, de modo que el modelo aprende a partir de los cientos de cortes tomográficos individuales que componen cada volumen, y no de una proyección aislada. Sobre esta base se comparan distintos paradigmas de transfer learning (fine-tuning y extracción de características con EfficientNet-B0, ResNet-50 y el modelo fundacional RETFound, las tres arquitecturas analizadas además a tres niveles de profundidad de extracción cada una), estrategias de selección de características mediante Extra Trees, y esquemas de fusión intra-familia y cruzada, en configuración intermedia y tardía, evaluados sobre 64 configuraciones experimentales mediante validación cruzada agrupada por paciente. Los resultados muestran que la fusión tardía de las cuatro modalidades (OCT Disco Óptico, OCT Macular, OCTA 6×6 mm y OCTA ONH), combinada con selección de características, alcanza el mejor rendimiento observado sobre el conjunto de test disponible (F1 = 0,985; especificidad = 0,950), superando de forma sistemática tanto a los modelos unimodales como a la fusión entre modalidades de una misma familia. El análisis sistemático por profundidad de extracción. replicado sobre las tres arquitecturas evaluadas, revela además un riesgo metodológico relevante: las representaciones de las capas más superficiales colapsan bajo un clasificador SVM por un desajuste de dominio, un efecto solo detectable mediante el uso simultáneo de clasificadores con sesgos inductivos distintos. Estos hallazgos respaldan la hipótesis de que la información estructural y vascular de la retina aportan una sinergia neurovascular complementaria, y sientan una base metodológica reproducible para el desarrollo de biomarcadores computacionales de la EM basados en imagen retiniana.[Abstract] Multiple Sclerosis (MS) is the leading cause of non-traumatic neurological disability in young adults, and its clinical heterogeneity makes it difficult to identify objective biomarkers for early diagnosis and monitoring. The retina, as a directly observable extension of the central nervous system, offers a unique opportunity for the non-invasive study of MS-related neurodegeneration: Optical Coherence Tomography (OCT) enables quantification of the retinal layer thinning associated with axonal damage, while its angiographic variant (OCTA) reveals microvascular alterations that often precede overt structural loss. This Final Degree Project proposes and evaluates a deep learning system for the automatic detection of MS through multimodal fusion of deep features extracted from OCT and OCTA images. The analysis is built on a clinical dataset of 52 patients (103 eyes: 61 with MS and 42 controls) from Hospital General Universitario Gregorio Marañón, over which the system does not process a single image per eye but the full three dimensional volume of each scan: every Optic Disc protocol yields 200 B-scans and every Macular protocol 128 B-scans, so the model learns from the hundreds of individual tomographic slices that make up each volume rather than from a single isolated projection. On this basis, several transfer learning paradigms are compared (fine-tuning and feature extraction with EfficientNet-B0, ResNet-50 and the RETFound foundation model, all three architectures additionally analysed at three extraction depths each), together with Extra Trees feature selection and intra-family and cross-modality fusion schemes, in intermediate and late configurations, evaluated across 64 experimental configurations using patient grouped cross-validation. Results show that late fusion of the four modalities (OCT optic disc, OCT macula, OCTA 6×6 mm and OCTA ONH), combined with feature selection, achieves the best performance observed on the available test set (F1 = 0.985; specificity = 0.950), systematically outperforming both unimodal models and intra family fusion. The systematic depth analysis, replicated across the three architectures evaluated, further reveals a relevant methodological risk: representations from the shallowest layers collapse under an SVM classifier due to a domain mismatch, an effect detectable only through the simultaneous use of classifiers with different inductive biases. These findings support the hypothesis that structural and vascular retinal information provide complementary neurovascular synergy, and establish a reproducible methodological basis for the development of computational MS biomarkers based on retinal imaging.