Use this link to cite:
https://hdl.handle.net/2183/50284 Census of the Milky Way from Gaia Spectrophotometric Data Through Self-Organising Map-Based Techniques
Loading...
Identifiers
Publication date
Authors
Advisors
Other responsabilities
Journal Title
Bibliographic citation
Type of academic work
Abstract
[Abstract] Gaia is one of the cornerstone missions of the European Space Agency, devoted to the study of the structure and evolution of the Milky Way. Over more than a decade of sky survey operations, the satellite has produced several major data products, including high-precision astrometry, photometry, and low-resolution spectrophotometry for more than two billion sources. The volume and diversity of these data, together with the imbalance between stellar and extragalactic sources, make automated classification challenging. This thesis develops a morphological classification of Gaia BP/RP spectra, providing the scientific community with a general characterisation of the observed sources. To this end, a machine-learning approach based on Self-Organising Maps (SOMs) is proposed to classify sources into three broad categories: stars, galaxies, and quasars. The approach is designed to be both computationally efficient and explainable, two properties that are essential given the volume of data to be processed within the operational constraints of the mission. It has been integrated into Apsis, the Gaia astrophysical parameters processing pipeline developed by the Gaia DPAC consortium, as a dedicated software module deployed for the operational classification of sources in preparation for GDR4. A major advantage of SOM Maps is their unsupervised nature, which allows them to learn intrinsic relationships between sources directly from the data. This property is particularly useful for Gaia BP/RP spectra, which provide continuous representations of their Spectral Energy Distributions rather than fixed features. Moreover, the use of dedicated maps for each source type allows the preservation of less abundant subtypes, which would otherwise have a limited influence on a single map trained on the complete dataset. Once the maps are trained, the complete dataset can be classified through inference, making the operational stage more efficient. The method also provides an outlier detection mechanism based on custom rejection criteria, allowing the identification of sources that cannot be reliably characterised by the models. Sources flagged as outliers can then be further analysed by the Outlier Analysis (OA) model, which provides a more detailed characterisation of rare or peculiar objects. The methodology was developed and validated using GDR3 spectra and subsequently adapted to the GDR4 data, allowing a direct comparison of the classification behaviour between the two releases. The results indicate robust performance for stellar sources and more limited performance for extragalactic populations, owing to the scarcity and heterogeneity of high-quality reference spectra. The classifications were further assessed against independent reference catalogues, which provides an external characterisation of the recovered populations beyond the internal validation metrics. The approach also supports the construction of a curated reference sample of observed spectra with known labels, which is used to train the SOM Maps and build the OA templates. Together with the resulting source classifications and model information, this sample is intended for release to the scientific community, providing a high-quality reference resource for further studies with Gaia data.
[Resumen] Gaia es una de las misiones fundamentales de la European Space Agency, dedicada al estudio de la estructura y evolución de la Vía Láctea. A lo largo de más de una década de operaciones de exploración del cielo, el satélite ha producido varios conjuntos de datos de gran relevancia, que incluyen astrometría, fotometría y espectrofotometría de baja resolución de alta precisión para más de dos mil millones de fuentes. El volumen y la diversidad de estos datos, junto con el desbalanceo entre fuentes estelares y extragalácticas, hacen que su clasificación automatizada resulte un reto. Esta tesis desarrolla una clasificación morfológica de los espectros BP/RP de Gaia, proporcionando a la comunidad científica una caracterización general de las fuentes observadas. Para ello, se propone un enfoque de aprendizaje automático basado en Self-Organising Maps (SOMs) para clasificar las fuentes en tres categorías amplias: estrellas, galaxias y cuásares. El enfoque está diseñado para ser a la vez computacionalmente eficiente y explicable, dos propiedades que son esenciales dado el volumen de datos que se debe procesar dentro de las restricciones operacionales de la misión. Ha sido integrado en Apsis, el sistema de procesamiento de parámetros astrofísicos de Gaia desarrollado por el consorcio DPAC de Gaia, como un módulo de software dedicado desplegado para la clasificación operacional de fuentes en preparación de GDR4. Una ventaja importante de los SOM Maps es su naturaleza no supervisada, que les permite aprender las relaciones intrínsecas entre las fuentes directamente a partir de los datos. Esta propiedad es especialmente útil para los espectros BP/RP de Gaia, que proporcionan representaciones continuas de sus Spectral Energy Distributions en lugar de características fijas. Además, el uso de mapas dedicados para cada tipo de fuente permite preservar los subtipos menos abundantes, que de otro modo tendrían una influencia limitada en un único mapa entrenado sobre el conjunto de datos completo. Una vez entrenados los mapas, el conjunto de datos completo puede clasificarse mediante inferencia, lo que hace que la etapa operacional sea más eficiente. El método también proporciona un mecanismo de detección de valores atípicos basado en criterios de rechazo personalizados, que permite identificar fuentes que no pueden caracterizarse de forma fiable por los modelos. Las fuentes marcadas como atípicas pueden entonces analizarse en mayor detalle mediante el modelo Outlier Analysis (OA), que proporciona una caracterización más detallada de objetos raros o peculiares. La metodología se desarrolló y validó utilizando los espectros de GDR3 y posteriormente se adaptó a los datos de GDR4, lo que permite una comparación directa del comportamiento de la clasificación entre ambas publicaciones. Los resultados indican un rendimiento robusto para las fuentes estelares y un rendimiento más limitado para las poblaciones extragalácticas, debido a la escasez y heterogeneidad de espectros de referencia de alta calidad. Las clasificaciones se evaluaron además frente a catálogos de referencia independientes, lo que proporciona una caracterización externa de las poblaciones recuperadas más allá de las métricas de validación internas. El enfoque también permite la construcción de una muestra de referencia curada de espectros observados con etiquetas conocidas, que se utiliza para entrenar los SOM Maps y construir las plantillas del OA. Junto con las clasificaciones de fuentes resultantes y la información de los modelos, esta muestra está destinada a ser publicada para la comunidad científica, proporcionando un recurso de referencia de alta calidad para futuros estudios con datos de Gaia.
[Resumo] Gaia é unha das misións fundamentais da European Space Agency, adicada ao estudo da estrutura e evolución da Vía Láctea. Ao longo de máis dunha década de operacións de exploración do ceo, o satélite produciu varios conxuntos de datos de grande relevancia, que inclúen astrometría, fotometría e espectrofotometría de baixa resolución de alta precisión para máis de dous mil millóns de fontes. O volume e a diversidade destes datos, xunto co desbalanceo entre fontes estelares e extragalácticas, fan que a súa clasificación automatizada resulte un reto. Esta tese desenvolve unha clasificación morfolóxica dos espectros BP/RP de Gaia, proporcionándolle á comunidade científica unha caracterización xeral das fontes observadas. Para iso, proponse un enfoque de aprendizaxe automática baseado en Self-Organising Maps (SOMs) para clasificar as fontes en tres categorías amplas: estrelas, galaxias e cuásares. O enfoque está deseñado para ser á vez computacionalmente eficiente e explicable, dúas propiedades que son esenciais dado o volume de datos que se debe procesar dentro das restricións operacionais da misión. Foi integrado en Apsis, o sistema de procesamento de parámetros astrofísicos de Gaia desenvolvido polo consorcio DPAC de Gaia, como un módulo de software dedicado despregado para a clasificación operacional de fontes en preparación de GDR4. Unha vantaxe importante dos SOM Maps é a súa natureza non supervisada, que lles permite aprender as relacións intrínsecas entre as fontes directamente a partir dos datos. Esta propiedade é especialmente útil para os espectros BP/RP de Gaia, que proporcionan representacións continuas das súas Spectral Energy Distributions en lugar de características fixas. Ademais, o uso de mapas dedicados para cada tipo de fonte permite preservar os subtipos menos abundantes, que doutro xeito terían unha influencia limitada nun único mapa adestrado sobre o conxunto de datos completo. Unha vez adestrados os mapas, o conxunto de datos completo pode clasificarse mediante inferencia, o que fai que a etapa operacional sexa máis eficiente. O método tamén proporciona un mecanismo de detección de valores atípicos baseado en criterios de rexeitamento personalizados, que permite identificar fontes que non poden caracterizarse de forma fiable polos modelos. As fontes marcadas como atípicas poden entón analizarse con maior detalle mediante o modelo Outlier Analysis (OA), que proporciona unha caracterización máis detallada de obxectos raros ou peculiares. A metodoloxía desenvolveuse e validouse utilizando os espectros de GDR3 e posteriormente adaptouse aos datos de GDR4, o que permite unha comparación directa do comportamento da clasificación entre ambas as publicacións. Os resultados indican un rendemento robusto para as fontes estelares e un rendemento máis limitado para as poboacións extragalácticas, debido á escaseza e heteroxeneidade de espectros de referencia de alta calidade. As clasificacións avaliáronse ademais fronte a catálogos de referencia independentes, o que proporciona unha caracterización externa das poboacións recuperadas máis aló das métricas de validación internas. O enfoque tamén permite a construción dunha mostra de referencia curada de espectros observados con etiquetas coñecidas, que se utiliza para adestrar os SOM Maps e construír as plantillas de OA. Xunto coas clasificacións de fontes resultantes e a información dos modelos, esta mostra está destinada a ser publicada para a comunidade científica, proporcionando un recurso de referencia de alta calidade para futuros estudos con datos de Gaia.
[Resumen] Gaia es una de las misiones fundamentales de la European Space Agency, dedicada al estudio de la estructura y evolución de la Vía Láctea. A lo largo de más de una década de operaciones de exploración del cielo, el satélite ha producido varios conjuntos de datos de gran relevancia, que incluyen astrometría, fotometría y espectrofotometría de baja resolución de alta precisión para más de dos mil millones de fuentes. El volumen y la diversidad de estos datos, junto con el desbalanceo entre fuentes estelares y extragalácticas, hacen que su clasificación automatizada resulte un reto. Esta tesis desarrolla una clasificación morfológica de los espectros BP/RP de Gaia, proporcionando a la comunidad científica una caracterización general de las fuentes observadas. Para ello, se propone un enfoque de aprendizaje automático basado en Self-Organising Maps (SOMs) para clasificar las fuentes en tres categorías amplias: estrellas, galaxias y cuásares. El enfoque está diseñado para ser a la vez computacionalmente eficiente y explicable, dos propiedades que son esenciales dado el volumen de datos que se debe procesar dentro de las restricciones operacionales de la misión. Ha sido integrado en Apsis, el sistema de procesamiento de parámetros astrofísicos de Gaia desarrollado por el consorcio DPAC de Gaia, como un módulo de software dedicado desplegado para la clasificación operacional de fuentes en preparación de GDR4. Una ventaja importante de los SOM Maps es su naturaleza no supervisada, que les permite aprender las relaciones intrínsecas entre las fuentes directamente a partir de los datos. Esta propiedad es especialmente útil para los espectros BP/RP de Gaia, que proporcionan representaciones continuas de sus Spectral Energy Distributions en lugar de características fijas. Además, el uso de mapas dedicados para cada tipo de fuente permite preservar los subtipos menos abundantes, que de otro modo tendrían una influencia limitada en un único mapa entrenado sobre el conjunto de datos completo. Una vez entrenados los mapas, el conjunto de datos completo puede clasificarse mediante inferencia, lo que hace que la etapa operacional sea más eficiente. El método también proporciona un mecanismo de detección de valores atípicos basado en criterios de rechazo personalizados, que permite identificar fuentes que no pueden caracterizarse de forma fiable por los modelos. Las fuentes marcadas como atípicas pueden entonces analizarse en mayor detalle mediante el modelo Outlier Analysis (OA), que proporciona una caracterización más detallada de objetos raros o peculiares. La metodología se desarrolló y validó utilizando los espectros de GDR3 y posteriormente se adaptó a los datos de GDR4, lo que permite una comparación directa del comportamiento de la clasificación entre ambas publicaciones. Los resultados indican un rendimiento robusto para las fuentes estelares y un rendimiento más limitado para las poblaciones extragalácticas, debido a la escasez y heterogeneidad de espectros de referencia de alta calidad. Las clasificaciones se evaluaron además frente a catálogos de referencia independientes, lo que proporciona una caracterización externa de las poblaciones recuperadas más allá de las métricas de validación internas. El enfoque también permite la construcción de una muestra de referencia curada de espectros observados con etiquetas conocidas, que se utiliza para entrenar los SOM Maps y construir las plantillas del OA. Junto con las clasificaciones de fuentes resultantes y la información de los modelos, esta muestra está destinada a ser publicada para la comunidad científica, proporcionando un recurso de referencia de alta calidad para futuros estudios con datos de Gaia.
[Resumo] Gaia é unha das misións fundamentais da European Space Agency, adicada ao estudo da estrutura e evolución da Vía Láctea. Ao longo de máis dunha década de operacións de exploración do ceo, o satélite produciu varios conxuntos de datos de grande relevancia, que inclúen astrometría, fotometría e espectrofotometría de baixa resolución de alta precisión para máis de dous mil millóns de fontes. O volume e a diversidade destes datos, xunto co desbalanceo entre fontes estelares e extragalácticas, fan que a súa clasificación automatizada resulte un reto. Esta tese desenvolve unha clasificación morfolóxica dos espectros BP/RP de Gaia, proporcionándolle á comunidade científica unha caracterización xeral das fontes observadas. Para iso, proponse un enfoque de aprendizaxe automática baseado en Self-Organising Maps (SOMs) para clasificar as fontes en tres categorías amplas: estrelas, galaxias e cuásares. O enfoque está deseñado para ser á vez computacionalmente eficiente e explicable, dúas propiedades que son esenciais dado o volume de datos que se debe procesar dentro das restricións operacionais da misión. Foi integrado en Apsis, o sistema de procesamento de parámetros astrofísicos de Gaia desenvolvido polo consorcio DPAC de Gaia, como un módulo de software dedicado despregado para a clasificación operacional de fontes en preparación de GDR4. Unha vantaxe importante dos SOM Maps é a súa natureza non supervisada, que lles permite aprender as relacións intrínsecas entre as fontes directamente a partir dos datos. Esta propiedade é especialmente útil para os espectros BP/RP de Gaia, que proporcionan representacións continuas das súas Spectral Energy Distributions en lugar de características fixas. Ademais, o uso de mapas dedicados para cada tipo de fonte permite preservar os subtipos menos abundantes, que doutro xeito terían unha influencia limitada nun único mapa adestrado sobre o conxunto de datos completo. Unha vez adestrados os mapas, o conxunto de datos completo pode clasificarse mediante inferencia, o que fai que a etapa operacional sexa máis eficiente. O método tamén proporciona un mecanismo de detección de valores atípicos baseado en criterios de rexeitamento personalizados, que permite identificar fontes que non poden caracterizarse de forma fiable polos modelos. As fontes marcadas como atípicas poden entón analizarse con maior detalle mediante o modelo Outlier Analysis (OA), que proporciona unha caracterización máis detallada de obxectos raros ou peculiares. A metodoloxía desenvolveuse e validouse utilizando os espectros de GDR3 e posteriormente adaptouse aos datos de GDR4, o que permite unha comparación directa do comportamento da clasificación entre ambas as publicacións. Os resultados indican un rendemento robusto para as fontes estelares e un rendemento máis limitado para as poboacións extragalácticas, debido á escaseza e heteroxeneidade de espectros de referencia de alta calidade. As clasificacións avaliáronse ademais fronte a catálogos de referencia independentes, o que proporciona unha caracterización externa das poboacións recuperadas máis aló das métricas de validación internas. O enfoque tamén permite a construción dunha mostra de referencia curada de espectros observados con etiquetas coñecidas, que se utiliza para adestrar os SOM Maps e construír as plantillas de OA. Xunto coas clasificacións de fontes resultantes e a información dos modelos, esta mostra está destinada a ser publicada para a comunidade científica, proporcionando un recurso de referencia de alta calidade para futuros estudos con datos de Gaia.
Description
Keywords
Gaia Machine learning Morphological classification BP/RP spectra Self-Organising Maps (SOM) Extragalactic sources Stellar classification Aprendizaje automático Clasificación morfológica Espectros BP/RP Fuentes extragalácticas Clasificación estelar Clasificación morfolóxica Aprendizaxe automática Fontes extragalácticas
Editor version
Rights
Os titulares dos dereitos de propiedade intelectual autorizan a visualización do contido desta tese a través de Internet, así como a súa reprodución, gravación en soporte informático ou impresión para o seu uso privado e/ou con fins de estudo e de investigación. En ningún caso se permite o uso lucrativo deste documento. Estes dereitos afectan tanto ao resumo da tese como ao seu contido Los titulares de los derechos de propiedad intelectual autorizan la visualización del contenido de esta tesis a través de Internet, así como su reproducción, grabación en soporte informático o impresión para su uso privado o con fines de investigación. En ningún caso se permite el uso lucrativo de este documento. Estos derechos afectan tanto al resumen de la tesis como a su contenido






