Pasture Quality and Quantity Evaluation using Computer Vision Techniques on Mobile and Camera Images

Abstract

[Abstract]: In this Bachelors Degree thesis, I present the development of a system designed to automatically and non-destructively estimate both the quantity and quality of pasture from images captured using smartphones and digital cameras. The main objective of this work is to contribute to the field of precision agriculture by proposing a computational approach that supports informed decision-making in pasture and forage management, particularly in extensive livestock systems. To achieve this goal, a set of machine learning and deep learning models were implemented, including traditional algorithms such as Random Forest, XGBoost, and Support Vector Regression, as well as modern convolutional neural network architectures like MobileNet and ResNet for regression tasks, and U-Net and Mask R-CNN for semantic segmentation. This combination of techniques allowed to tackle the problem from two complementary perspectives: the quantitative estimation of dry matter yield (expressed as kg DM/ha), and the qualitative segmentation of the different vegetation components present in the pasture. The project makes use of three main datasets: the VistaMilk Irish Clover Dataset, the GrassClover Dataset (provided by Aarhus University), and the SAT Marga Dataset, which was collected in a real livestock farm in Galicia, Spain. These datasets offer a wide range of variability in terms of soil type, species composition, and environmental conditions, which has been essential for training and validating the models in a robust manner. On the technical side, the system was developed using tools such as PyTorch Lightning, Scikit-learn, Albumentations, and Segmentation Models PyTorch, which enabled the creation of a modular, scalable, and reproducible workflow. I also explored various types of input data: RGB images, tabular data, and hybrid combinations of both, which led me to design multi-input architectures capable of integrating visual and structured information into a single predictive model. This project demonstrates that computer vision and machine learning techniques can be effectively applied to the agronomic domain, yielding promising results for estimating key variables in pasture analysis with a high degree of automation and accuracy. I believe this research opens the door for future applications focused on sustainability, data-driven management, and efficiency in modern livestock production.[Resumo]: Neste Traballo de Fin de Grao, presento o desenvolvemento dun sistema deseñado para estimar de forma automática e non destrutiva tanto a cantidade como a calidade do pasto a partir de imaxes capturadas con teléfonos móbiles e cámaras dixitais. O obxectivo principal deste traballo é contribuír ao ámbito da agricultura de precisión, propoñendo un enfoque computacional que apoie a toma de decisións informadas na xestión de pastos e forraxes, especialmente en sistemas gandeiros extensivos. Para acadar este obxectivo, implementouse un conxunto de modelos de aprendizaxe automática e aprendizaxe profunda, que inclúen algoritmos tradicionais como Random Forest, XGBoost e Support Vector Regression, así como arquitecturas modernas de redes neuronais convolucionais como MobileNet e ResNet para tarefas de regresión, e U-Net e Mask R-CNN para segmentación semántica. Esta combinación de técnicas permitiu abordar o problema desde dúas perspectivas complementarias: a estimación cuantitativa da materia seca (expresada en kg MS/ha) e a segmentación cualitativa dos distintos compoñentes vexetais presentes no pasto. O proxecto fai uso de tres conxuntos de datos principais: o VistaMilk Irish Clover Dataset, o GrassClover Dataset (proporcionado pola Aarhus University) e o SAT Marga Dataset, recollido nunha granxa real situada en Galicia, España. Estes conxuntos de datos ofrecen unha ampla variabilidade en canto a tipo de solo, composición de especies e condicións ambientais, aspectos que foron esenciais para adestrar e validar os modelos de maneira robusta. Dende o punto de vista técnico, o sistema foi desenvolto empregando ferramentas como PyTorch Lightning, Scikit-learn, Albumentations e Segmentation Models PyTorch, o que permitiu crear un fluxo de traballo modular, escalable e reproducible. Ademais, exploráronse distintos tipos de datos de entrada: imaxes RGB, datos tabulares e combinacións híbridas de ambos, o que me levou a deseñar arquitecturas multientrada capaces de integrar información visual e estruturada nun único modelo predictivo. Este proxecto demostra que as técnicas de visión por computador e aprendizaxe automática poden aplicarse de forma efectiva ao ámbito agronómico, obtendo resultados prometedores na estimación de variables clave na análise de pastos cun alto grao de automatización e precisión. Considero que esta investigación abre a porta a futuras aplicacións centradas na sustentabilidade, na xestión baseada en datos e na eficiencia da produción gandeira moderna.