Detección automática de rebases de oleaje mediante visión artificial y aprendizaje profundo

Abstract

[Resumen] Un rebase de oleaje se produce cuando el agua supera la coronación de un dique portuario, con riesgo directo para personas, vehículos e instalaciones. Este trabajo aborda su detección automática mediante visión artificial, formulando el problema como segmentación de instancias a nivel de píxel de dos clases: el rebase propiamente dicho, y la espuma o spray que constituye la principal fuente de confusión visual. A partir de grabaciones reales sin anotar se construye un dataset propio de 1058 frames, etiquetado de forma semiasistida mediante SAM 3 integrado en Roboflow y verificado mediante huella criptográfica y pruebas automáticas de integridad. Sobre este conjunto congelado se diseñan, entrenan y comparan ocho ramas experimentales que contrastan detección frente a segmentación, el escalado de la arquitectura, dos generaciones de YOLO, un esquema de segmentación por teselas con medición explícita de su coste extremo a extremo, y dos arquitecturas de fusión temporal (ConvLSTM y CNN + GRU) evaluadas mediante una ablación interna controlada. Los resultados muestran una ventaja de la segmentación frente a la detección en la ejecución disponible, en particular para la clase de espuma; identifican dicha clase como el problema abierto del sistema, no resuelto por el escalado de modelo ni por el teselado; y documentan, de forma metodológicamente fundamentada, que la rama temporal no puede valorarse de forma concluyente con el montaje disponible: la reducida población y la cobertura temporal del dataset no proporcionan potencia estadística suficiente para detectar una posible contribución del contexto temporal, por lo que el resultado no puede atribuirse a una causa única. En el test común, el sistema seleccionado, YOLO11m-seg sobre una región de interés común, alcanza una F1 por frame de 0,963 en REBASE y 0,636 en SALPICADURA; por intervalo alcanza 0,976 y 0,634, respectivamente. Frente a él, YOLO11m-detección obtiene 0,950 y 0,574 por frame, mientras que el escalado a YOLO11L-seg obtiene 0,905 y 0,543. El teselado conserva la F1 de REBASE (0,963) pero reduce la de SALPICADURA (0,613) y eleva la latencia extremo a extremo de 8,9 a 16,8 ms por frame. Las ramas temporales quedan como exploratorias: sus F1 de test son 0,605/0,485 (ConvLSTM) y 0,667/0,538 (CNN + GRU) para REBASE/SALPICADURA, sin métricas de intervalo exportadas. El sistema final se integra en una interfaz web que permite cargar vídeo y consultar bandas temporales, puntuaciones por fotograma e intervalos con trazabilidad verificable de los umbrales aplicados.[Abstract] Wave overtopping occurs when water surpasses the crest of a harbour breakwater, pos ing a direct risk to people, vehicles and port infrastructure. This work addresses its automatic detection through computer vision, formulating the problem as pixel-level instance segmentation of two classes: the overtopping event itself and the foam or spray that constitutes its main source of visual confusion. Starting from real, unannotated recordings, a purpose-built dataset of 1058 frames is constructed, semi-automatically labelled with SAM 3 through Roboflow and verified through a cryptographic fingerprint and automated integrity checks. On this frozen dataset, eight experimental branches are designed, trained and compared, contrasting detection against segmentation, architecture scaling, two YOLO generations, a tile-based segmentation scheme with an explicit end-to-end cost measurement, and two temporal fusion architectures (ConvLSTM and CNN + GRU) evaluated through a controlled internal ablation. The temporal branch cannot be assessed conclusively with the available setup: the limited population and temporal coverage of the dataset do not provide sufficient statistical power to detect a possible contribution of temporal context, so the outcome cannot be attributed to a single cause. On the common test set, the selected system, YOLO11m seg over a shared region of interest, achieves frame-level F1 scores of 0.963 for REBASE and 0.636 for SPRAY, and Interval level F1 scores of 0.976 and 0.634. YOLO11m detection obtains 0.950 and 0.574 at frame level, while scaling to YOLO11L-seg obtains 0.905 and 0.543. Tiling preserves REBASE F1 (0.963) but lowers SPRAY F1 to 0.613 and increases end-to-end latency from 8.9 to 16.8 ms per frame. The temporal branches remain exploratory: their test F1 scores are 0.605/0.485 (ConvLSTM) and 0.667/0.538 (CNN + GRU) for REBASE/SPRAY, with no exported interval metrics. The final system is integrated into a web interface that exposes temporal bands, frame-level scores and detected intervals with verifiable traceability of the applied thresholds.