Compresión de imágenes mediante selección dinámica de datos y optimización de códecs neuronales de extremo a extremo

Loading...
Thumbnail Image

Identifiers

Publication date

Authors

Martínez Martínez, Daniel

Other responsabilities

Universidade da Coruña. Facultade de Informática

Journal Title

Bibliographic citation

Type of academic work

Abstract

[Resumen] Los códecs neuronales de compresión de imagen superan a los estándares tradicionales en la curva tasa-distorsión adaptando la asignación de bits a la complejidad estadística local de la imagen, pero ninguno distingue explícitamente entre regiones de alto y bajo valor semántico para el observador humano. Este trabajo propone integrar un mecanismo de Selección Dinámica de Datos (DDS) no supervisado con un códec neuronal de CompressAI en un pipeline de tres etapas: una primera fase entrena conjuntamente una UNet-E y una UNet-D para generar y reconstruir a partir de una máscara de importancia; una segunda fase especializa el códec sobre esta información parcial; y una tercera fase ajusta el sistema completo de extremo a extremo con una pérdida perceptual interna. El sistema se evalúa sobre el dataset Kodak frente a cuatro arquitecturas de CompressAI entrenadas de forma propia, validadas a su vez frente a los valores oficiales publicados. Los resultados muestran que el sistema DDS no resulta competitivo en PSNR frente al baseline en casi ningún punto evaluado, con una brecha que crece con la exigencia de calidad hasta 6.65 dB en el extremo alto; no obstante, en régimen de bitrates muy bajos (ρ = 0.10) el sistema consigue operar con menos bits que el baseline, y dos experimentos de ablación —sustitución del códec por compresión sin pérdidas y restricción de la granularidad de selección del DDS por canal frente a por píxel— permiten aislar con precisión las causas estructurales de esta limitación. El trabajo concluye que el códec neuronal es imprescindible, tanto por eficiencia en bits como por calidad de reconstrucción a paridad de bitrate, y que el déficit de información impuesto por el propio mecanismo de selección del DDS es la limitación más fundamental del sistema.
[Abstract] Neural image compression codecs outperform traditional standards on the rate-distortion curve by adapting bit allocation to the local statistical complexity of the image, but none explicitly distinguishes between regions of high and low semantic value for the human observer. This work proposes integrating an unsupervised Dynamic Data Selection (DDS) mechanism with a CompressAI neural codec in a three-stage pipeline: a first stage jointly trains a UNet-E and a UNet-D to generate and reconstruct from an importance mask; a second stage specializes the codec on this partial information; and a third stage fine-tunes the complete system end-to-end with an internal perceptual loss. The system is evaluated on the Kodak dataset against four CompressAI architectures trained in-house, themselves validated against the officially published values. Results show that the DDS system is not competitive in PSNR against the baseline at almost any evaluated point, with a gap that grows with the quality requirement up to 6.65 dB at the high end; nevertheless, in the very low bitrate regime (ρ = 0.10) the system manages to operate with fewer bits than the baseline, and two ablation experiments —replacing the codec with lossless compression and restricting the granularity of the DDS selection between per-channel and per-pixel— allow the structural causes of this limitation to be precisely isolated. The work concludes that the neural codec is indispensable, both for bit efficiency and for reconstruction quality at matched bitrate, and that the information deficit imposed by the DDS selection mechanism itself is the system’s most fundamental limitation.

Description

Editor version

Rights

Attribution-NonCommercial-ShareAlike 4.0 International
Attribution-NonCommercial-ShareAlike 4.0 International

Except where otherwise noted, this item's license is described as Attribution-NonCommercial-ShareAlike 4.0 International