Plant detection and classification in agricultural fields

Abstract

Field game herbs like the field larkspur provide a food source for animals e.g. bees, especially during their blooming period. This plant species is weak in competition for nutrients, thus it does not decrease crop yield. Nevertheless, the field larkspur is destructed by the field-wide application of plant protection products. The goal of this thesis is to explore different object detection, classification and segmentation approaches for their eligibility as crop-weed-discriminators for deployment in an autonomously acting weeding robot to be able to omit harmless plant species like the field larkspur during the weeding process. Prior to the development, a fundamental literature research is conducted and the state-of-the- art methods are summarised and compared. Subsequently the task is precisely defined and the requirements are derived, since they form the foundation for following assessments. After determining the system architecture of relevant components and selecting the utilised software, the first experiments are conducted. This includes fine-tuning of a pre-trained Mask R-CNN model on the Carrot-Weed data set and on three subsets of the Sugar Beets 2016 (SB16) data set to fulfil the vegetation detection, classification and segmentation task. Following the validation and verification of these experiments, the same pre-trained Mask R-CNN model is fine- tuned on the subset of SB16 data set comprising multi-class annotations with the goal to detect, classify and segment objects into the three classes crop, soil and weed. The weed class comprises all weed species instead of splitting them into different classes to enable the model to identify previously unknown weed types with less effort. Finally YOLOv4 is fine-tuned on the same multi-class annotated data set aiming to fulfil the crop-weed detection and classification task in real-time. Finally all methods of resolution are evaluated. With the findings of the present thesis it is possible to detect, classify and segment vegetation and background on agricultural fields and more importantly to distinguish the vegetation between crop and weed. This can be enhanced in future research by adding harmless non-crop plant species to the crop class, thus enhance the diversity on the agricultural field, which will also contribute to preservation of natural habitats for animals.

Feldwildkräuter wie der Ackerrittersporn bieten vor allem während ihrer Blütezeit eine Nahrungsquelle für Tiere, u.a. Bienen. Diese Pflanzenart ist gegenüber der Nutzpflanze eine schwache Konkurrenz um Nährstoffe, sodass sie den Ernteertrag nicht beeinträchtigt. Dennoch wird der Ackerrittersporn durch die Ausbringung von Pflanzenschutzmitteln auf dem gesamten Feld im Zuge der Unkrautvernichtung zerstört. Ziel dieser Arbeit ist es, verschiedene Objekterkennungs-, Klassifizierungs- und Segmentierungsansätze auf ihre Eignung zur Unterscheidung zwischen Nutzpflanze und Unkraut für den Einsatz in einem autonom agierenden Unkrautroboter zu untersuchen, um harmlose Pflanzenarten wie den Ackerrittersporn während des Unkrautjätens zu verschonen. Vor Beginn der Entwicklung wird eine grundlegende Literaturrecherche durchgeführt, der Stand der Technik zusammengefasst und verglichen. Anschließend wird die Aufgabenstellung genau definiert und die Anforderungen werden abgeleitet, da diese die Grundlage für die nachfol- genden Bewertungen bilden. Nach der Bestimmung der Systemarchitektur für die im Rahmen dieser Arbeit relevanten Komponenten und der Auswahl der verwendeten Software werden die ersten Experimente durchgeführt. Dafür wird ein vortrainiertes Mask R-CNN-Modell auf dem Karotten-Unkraut-Datensatz und auf drei Teilmengen des Sugarbeets 2016 (SB16) - Datensatzes trainiert, um die Aufgabe der Vegetationserkennung, Klassifizierung und Segmentierung zu er- füllen. Nach der Validierung und Verifizierung dieser Experimente wird das gleiche vortrainierte Mask R-CNN-Modell auf einer Teilmenge des SB16-Datensatzes, die Annotationen mit mehreren Klassen umfasst, mit dem Ziel trainiert, Objekte zu erkennen, zu klassifizieren und in die drei Klassen Kulturpflanze, Boden und Unkraut zu segmentieren. Die Unkrautklasse umfasst alle Unkrautarten, anstatt sie in verschiedene Klassen aufzuteilen, damit das Modell zukünftig bisher unbekannte Unkrautarten mit weniger Aufwand identifizieren kann. Schließlich wird YOLOv4 auf der Grundlage desselben Datensatzes trainiert, um die Aufgabe der Unkrauterfassung und -klassifizierung in Echtzeit zu erfüllen. Zuletzt werden alle Methoden bewertet. Mit den Ergebnissen der vorliegenden Arbeit ist es möglich, die Vegetation und den Hintergrund auf landwirtschaftlichen Feldern zu erkennen, zu klassifizieren und zu segmentieren. Außerdem kann die Vegetation zwischen Kulturpflanzen und Unkraut zu unterschieden werden. Dies kann in der zukünftigen Forschung durch das Hinzufügen von harmlosen Nicht-Kulturpflanzenarten zur Kulturpflanzenklasse verbessert werden. Dadurch wird die Vielfalt auf dem landwirtschaftlichen Feld erhöht, was zur Erhaltung der natürlichen Lebensräume von Tieren beiträgt.