Estudo de técnicas de compactación de datos na xestión de residuos

Abstract

[Resumo] As plantas de tratamento e reciclaxe de residuos incorporan cada vez máis sistemas de sensorización para supervisar o fluxo de material sobre as súas liñas de proceso. No marco do proxecto GRESINT, unha cámara de profundidade instalada sobre unha cinta transportado ra captura entre sete e oito frames por segundo, cada un representado como unha matriz de 424 × 512 valores; só o mapa de distancias acumula arredor de medio terabyte ao día por sensor, o que converte o seu almacenamento nun problema de Big Data. Este traballo analiza esas medicións en bruto co obxectivo de xustificar e propoñer unha solución que reduza o espazo de almacenamento das medicións do sensor sen perder a capacidade de consulta. A caracterización estatística previa confirma dúas redundancias explotables: unha espacial, entre valores veciños dentro dun mesmo frame, e outra temporal, entre frames consecutivos. Sobre esa base constrúese unha cadea de esquemas de codificación sen perda: primeiro unha liña base intra-frame (codificación de lonxitude fixa e por ranking de frecuencia), e despois unha codificación diferencial que explota a redundancia temporal mediante tres estratexias de selección de frames de referencia (similitude do coseno, ventá deslizante e clustering K means), refinada finalmente cunha codificación híbrida sobre as diferenzas. O esquema final reduce o volume orixinal a menos dunha terceira parte superando algún dos compresores de propósito xeral empregados como referencia (bzip2, zlib e lzma) e mantendo en todo momento a propiedade de acceso individual. Completa o traballo una interface web, desenvolta en Python con Dash e Plotly, que permite visualizar os frames e consultar o espazo que ocupa cada un baixo as distintas técnicas estudadas.

[Abstract] Waste treatment and recycling plants are increasingly adopting sensor systems to monitor material flow along their processing lines. Within the GRESINT project, a depth camera mounted above a conveyor belt captures between seven and eight frames per second, each represented as a 424×512 matrix; the distance map alone accumulates around a half terabyte per day per sensor, turning its storage into a Big Data problem. This work analyses these raw sensor measurements with the aim of justifying and proposing a solution that reduces the storage space required by the sensor’s measurements without losing the ability to query them. A prior statistical characterisation confirms two exploitable redundancies: a spatial one, between neighbouring values within a frame, and a temporal one, between consecutive frames. Building on this, a chain of lossless encoding schemes is developed: first an intra-frame baseline (fixed-length and frequency-ranking encoding), and then a differential encoding that exploits temporal redundancy through three reference-frames selection strategies (cosine similarity, a sliding window and K-means clustering), further refined with hybrid frequencyranking encoding applied to the residuals. The final scheme reduces the original volume to under a third, outperforming one of the general-purpose compressors used as a benchmark (bzip2, zlib and lzma), while always preserving individual frame access. The work is completed with a web interface, built in Python with Dash and Plotly, for visualising and querying the space each one occupies under the different techniques studied.