Aliñamento de imaxes oftalmolóxicas usando representacións neuronais implícitas

Abstract

[Resumo]: O aliñamento da imaxe oftalmolóxica é útil para, entre outras cousas, revisar o avance dunha enfermidade ao longo do tempo, fusionar diferentes modalidades de imaxe ou comparar entre diferentes pacientes. O caso dos ollos é de particular interese xa que permiten a observación in-vivo de tecido neuronal e vasos sanguíneos, o que posibilita a detección temprana de certas enfermidades. Aliñar as imaxes manualmente é un traballo tedioso e complexo, polo que automatizar este proceso é de gran interese. Neste traballo explórase o uso de redes de representación implícita aplicadas á tarefa de aliñamento de imaxes oftalmolóxicas. Neste tipo de redes, a deformación é parametrizada como unha función continua nos propios pesos da rede, coas coordenadas da imaxe móbil como entrada e a deformación correspondente como saída. Representar a deformación desta forma ten varias vantaxes frente a representacións tradicionais discretas, como a independencia de resolución e poder prescindir de grandes bases de datos xa que se adestran mediante un proceso de optimización para cada par de imaxes. Ademais, en lugar de usar funcións de activación estándar como RELU, estudamos empregar unha función de activación sinusoidal (SIREN) que pode axudar a eliminar o sesgo cara sinais de baixa frecuencia e mapear mellor deformación pequenas e detalladas [1]. Adaptando o traballo realizado por Wolterink et al. [2], valorarase se este método é apto para a tarefa de aliñamento de imaxes oftalmolóxicas.[Abstract]: The alignment of ophthalmic images is useful for, among other things, reviewing the progression of a disease over time, fusing different image modalities, or comparing different patients. The case of the eyes is of particular interest as it allows for in-vivo observation of neuronal tissue and blood vessels, enabling the early detection of certain diseases. Manually aligning images is a tedious and complex task, so automating this process is of great interest. This work explores the use of implicit neural representations applied to the task of ophthalmic image alignment. In this type of network, the deformation is parameterized as a continuous function in the network’s weights, with the coordinates of the moving image as input and the corresponding deformation as output. Representing the deformation in this way has several advantages over traditional discrete representations, such as resolution independence and the ability to avoid large databases, as they are trained through an optimization process for each image pair. Moreover, instead of using standard activation functions like RELU, we explore using a sinusoidal activation function (SIREN [1]), which can help eliminate the bias toward low-frequency signals and better map small and detailed deformations. By adapting the work of Wolterink et al. [2], it will be evaluated whether this method is suitable for the task of ophthalmic image alignment.