A digital framework for automated non-invasive waterfowl detection in Carinthia based on high resolution UAS imagery and machine learning

Gernot Paulus; Mohammad Sa’Doun; Karl-Heinrich Anders; Ulf Scherling; Werner Petutschnig; Johann Wagner; Christopher D. Lippitt

doi:10.71911/cii-p3-nt-2024112

You are here: FH Kärnten PHAIDRA Detail o:36

Title (eng)

A digital framework for automated non-invasive waterfowl detection in Carinthia based on high resolution UAS imagery and machine learning

Title (eng)

Ein digitales Framework für die automatisierte, nichtinvasive Wasservogelerfassung in Kärnten basierend auf hochauflösenden UAS-Bildern und maschinellem Lernen

Author

Gernot Paulus

Mohammad Sa’Doun

Karl-Heinrich Anders

Ulf Scherling

Werner Petutschnig

Office of the Carinthian Provincial Government, Dept. 8 - Environment, Energy and Nature Conservation

Johann Wagner

Office of the Carinthian Provincial Government, Dept. 8 - Environment, Energy and Nature Conservation

Christopher D. Lippitt

CMS-RS, University of New Mexico Department of Geography and Environmental Studies

Description (eng)

ABSTRACT Automated waterfowl detection from uncrewed aerial system (UAS; “drones”) imagery has become an important task for various environmental applications such as wildlife monitoring, nature conservation, and habitat mapping. This paper presents a digital framework for automated waterfowl detection using high-resolution UAS imagery and artificial intelligence/machine learning (ML). Several UAS missions in Brenndorf, Carinthia, Austria, were conducted simultaneously with a traditional ground-based waterfowl field survey by an experienced expert. Several data pre-processing steps were applied to optimize digital image data pipelines for the generation of high-quality ML training data. The You Only Look Once (YOLO) open-source computer vision and ML object detection model was used to detect waterfowl in the UAS imagery. A transfer learning approach from a large waterfowl study at the University of New Mexico in collaboration with the U.S. Fish and Wildlife Service was used to further improve the model’s performance. Validation results showed promising performance with 80% and 83% classification accuracy on the waterfowl classes ‘duck’ and ‘swan’, respectively. Finally, a spatial projection model and a visualization approach for the ML-based detection and classification results on a map were implemented. The proposed digital framework for automated waterfowl detection provides promising results for standardization and a new paradigm for waterfowl counting to support and extend traditional wildlife monitoring.

Description (deu)

ZUSAMMENFASSUNG Die automatische Erkennung von Wasservögeln anhand von Bildern unbemannter Luftfahrtsysteme (UAS) ist zu einer wichtigen Aufgabe für verschiedene Umweltanwendungen geworden, z. B. für die Überwachung von Wildtieren, den Naturschutz und die Kartierung von Lebensräumen. In diesem Beitrag wird ein digitaler Rahmen für die automatische Erkennung von Wasservögeln mit Hilfe von hochauflösenden Drohnenbildern und künstlicher Intelligenz vorgestellt. Mehrere UAS-Einsätze in Brenndorf im Bezirk Völkermarkt in Kärnten wurden zeitsynchron mit einer klassischen bodengestützten Wasservogelkartierung durch einen erfahrenen Fachmann durchgeführt. Mehrere Datenvorverarbeitungsschritte wurden angewandt, um digitale Bilddatenpipelines für die Generierung qualitativ hochwertiger KI-Trainingsdaten zu optimieren. YOLOv5, ein Modell aus der You Only Look Once (YOLO)-Familie von Computer-Vision-Modellen für die Objekterkennung, wurde verwendet. Um die Leistung des Modells weiter zu verbessern, wurde ein Transfer-Learning-Ansatz aus einer großen Wasservogel-Studie, die an der University of New Mexico im Auftrag des U.S. Fish and Wildlife Service durchgeführt wurde, übernommen und adaptiert. Die Validierungsergebnisse zeigten eine vielversprechende Leistung mit einer Klassifizierungsgenauigkeit von 80 % und 83 % auf Artenebene für „Ente“ und „Schwan“. Ein räumliches Projektionsmodell für die Darstellung der Ergebnisse der durch KI detektierten einzelnen Wasservogelindividuen in Kartenform zeigt die räumliche Verteilung der Wasservögel im Projektgebiet. Der vorgeschlagene digitale Rahmen für die automatische Erkennung von Wasservögeln liefert vielversprechende Ergebnisse für die Standardisierung und ein neues Paradigma für die Zählung von Wasservögeln, um die traditionelle Feldkartierung zu unterstützen und zu erweitern.

Keywords (deu)

conservation technologies

Type (eng)

journal article

Language

[eng]

Persistent identifier

https://phaidra.fh-kaernten.at/o:36

DOI

10.71911/cii-p3-nt-2024112

Association (eng)

Carinthia University of Applied Sciences