Forschung & Entwicklung
KI-gestützte Unkrauterkennung mit Drohnen
Im Rahmen eines ESA-BIC-Inkubationsprojekts entwickelt die Drohnenscan Huber OG ein System zur drohnenbasierten Erkennung und georeferenzierten Kartierung ausgewählter Unkraut- und Beikrautarten. Dafür werden hochauflösende Drohnenaufnahmen, KI-gestützte Bildauswertung und satellitenbasierte GNSS- beziehungsweise RTK-Positionierung miteinander kombiniert. Ziel ist ein durchgängiger Arbeitsablauf von der Datenerfassung über die Erkennung und Kartierung bis zur Navigation, Kontrolle und Dokumentation im Feld. Die Ergebnisse stellen eine Entscheidungshilfe dar. Eine vollständige oder fehlerfreie Erkennung sämtlicher Pflanzen kann nicht zugesichert werden.
Forschungs- oder Pilotfläche anfragen
Ausgangslage
Das Auffinden einzelner unerwünschter oder problematischer Pflanzen kann auf größeren Acker- und Grünlandflächen einen erheblichen Zeitaufwand verursachen.
Besonders schwierig ist die Suche:
- auf großen oder unübersichtlichen Flächen
- in bereits hoch entwickelten Pflanzenbeständen
- bei ungleichmäßig verteiltem Auftreten
- bei einzelnen Giftpflanzen
- kurz vor der Ernte
- bei wiederholten Kontrollgängen
- wenn Pflanzenpositionen nachvollziehbar dokumentiert werden sollen
Kameragestützte Systeme, die unmittelbar an landwirtschaftlichen Maschinen montiert sind, verbinden Erkennung und Bearbeitung häufig in einem einzigen Arbeitsgang. Dadurch müssen Bildauswertung, Entscheidung und gegebenenfalls Behandlung während der Überfahrt erfolgen.
Der von Drohnenscan entwickelte Ansatz trennt die Erfassung und Erkennung zeitlich von der anschließenden Kontrolle oder Maßnahme.
Zunächst wird die Fläche mit einer Drohne aufgenommen. Die Bilddaten werden anschließend ausgewertet und erkannte Zielpflanzen georeferenziert kartiert. Die erzeugten Positionen können danach kontrolliert, im Feld aufgesucht oder für weitere Arbeitsabläufe exportiert werden.
Zielpflanzen
Im bisherigen Forschungs- und Entwicklungsprojekt liegt der Schwerpunkt insbesondere auf folgenden Zielpflanzen:
Acker-Kratzdistel
Wissenschaftliche Bezeichnung: Cirsium arvense
Die Acker-Kratzdistel kann auf landwirtschaftlichen Flächen einzeln oder in zusammenhängenden Bereichen auftreten. Abhängig von Kultur, Entwicklungsstadium und Aufnahmebedingungen sollen entsprechende Pflanzen beziehungsweise Bestände in Drohnenbildern erkannt und räumlich abgegrenzt werden.
Gewöhnlicher Stechapfel
Wissenschaftliche Bezeichnung: Datura stramonium
Der Gewöhnliche Stechapfel enthält Tropanalkaloide und kann insbesondere bei einer Vermischung mit Erntegut problematisch sein.
Die drohnenbasierte Erkennung soll dazu beitragen, verdächtige Pflanzenpositionen vor der Ernte zu lokalisieren und für eine gezielte Kontrolle im Feld bereitzustellen.
Eine erkannte oder nicht erkannte Position ist jedoch kein Nachweis über die tatsächliche Belastung oder Unbedenklichkeit des Ernteguts. Dafür sind weiterhin geeignete betriebliche Kontrollen und erforderlichenfalls Laboruntersuchungen notwendig.
Stumpfblättriger Ampfer
Wissenschaftliche Bezeichnung: Rumex obtusifolius
Der Stumpfblättrige Ampfer ist insbesondere auf Grünlandflächen eine relevante Zielpflanze. Die Kartierung soll dabei unterstützen, einzelne Pflanzen oder Verteilungsschwerpunkte zu dokumentieren und anschließend gezielt aufzusuchen.
Abgrenzung des Erkennungsumfangs
Das System ist keine allgemeine KI, die automatisch jede vorkommende Unkrautart unter sämtlichen Bedingungen erkennt.
Ein KI-Modell kann nur Pflanzenarten und Erscheinungsformen zuverlässig berücksichtigen, für die geeignete Trainings- und Validierungsdaten vorhanden sind.
Für jede unterstützte Zielart müssen unter anderem folgende Varianten berücksichtigt werden:
- unterschiedliche Wachstumsstadien
- verschiedene Blickwinkel
- wechselnde Lichtverhältnisse
- verschiedene Bodenoberflächen
- unterschiedliche Kulturpflanzen
- teilweise verdeckte Pflanzen
- unterschiedliche Bestandsdichten
- verschiedene Flug- und Bodenauflösungen
- jahreszeitliche Veränderungen
- regionale Ausprägungen
Weitere Zielpflanzen können grundsätzlich in die Entwicklung aufgenommen werden. Dafür sind jedoch geeignete Bilddaten, fachlich geprüfte Annotationen und eigenständige Validierungsschritte erforderlich.
Erfassung mit Drohnen
Die Grundlage der Auswertung bilden georeferenzierte Bilder der Untersuchungsfläche.
Abhängig von Zielpflanze, Kultur, Entwicklungsstadium und Projektanforderung können RGB- oder multispektrale Drohnenaufnahmen verwendet werden.
Ein typischer Erfassungsablauf umfasst:
- Festlegung der Untersuchungsfläche
- Auswahl der gesuchten Zielpflanzen
- Prüfung von Kultur und Entwicklungsstadium
- Festlegung von Flughöhe und Bodenauflösung
- Kontrolle des Fluggebiets und der rechtlichen Voraussetzungen
- Prüfung des GNSS- und RTK-Status
- Durchführung des Aufnahmefluges
- Kontrolle von Bildschärfe und Flächenabdeckung
- Übertragung und Sicherung der Bilddaten
- Vorbereitung der Daten für die KI-Auswertung
Die Qualität der späteren Erkennung hängt wesentlich von der Qualität der Ausgangsdaten ab. Bewegungsunschärfe, ungeeignete Flughöhen, starke Schatten, Windbewegungen, verdeckte Pflanzen oder eine unzureichende Bodenauflösung können das Ergebnis beeinflussen.
KI-generiert Trainings- und Validierungsdaten
Für die Entwicklung werden eigene Drohnenaufnahmen gesammelt, ausgewählt und fachlich annotiert.
Dabei werden die gesuchten Pflanzen in den Bildern markiert und einer definierten Zielklasse zugeordnet. Diese Datensätze dienen anschließend dem Training und der Prüfung des KI-Modells.
Ein geeigneter Datensatz muss unterschiedliche Aufnahme- und Bestandsbedingungen enthalten. Bilder derselben Fläche oder derselben Befliegung dürfen bei einer methodisch sauberen Validierung nicht unkontrolliert sowohl im Trainings- als auch im Testdatensatz verwendet werden.
Die Weiterentwicklung umfasst insbesondere:
- Sammlung zusätzlicher Drohnenbilder
- fachliche Prüfung der Zielpflanzen
- Annotation der Pflanzenpositionen
- Festlegung einheitlicher Klassen
- Trennung von Trainings-, Validierungs- und Testdaten
- Training verschiedener Modellvarianten
- Prüfung von Fehlklassifikationen
- Vergleich unterschiedlicher Flughöhen und Auflösungen
- Feldkontrolle erkannter Positionen
- Dokumentation der Einsatzgrenzen
Veröffentlichte Erkennungswerte werden nur angegeben, wenn Datensatz, Zielart, Testmethode und Prüfbedingungen nachvollziehbar beschrieben werden können.
KI-gestützte Bildauswertung
Die aufgenommenen Bilder werden mithilfe eines trainierten Modells analysiert.
Abhängig von Modell und Projektkonfiguration kann die Auswertung:
- Pflanzen in einzelnen Bildern erkennen
- Zielpflanzen klassifizieren
- mögliche Pflanzenpositionen markieren
- erkannte Bereiche räumlich abgrenzen
- jedem Ergebnis eine Modellbewertung zuordnen
- Fundstellen für eine manuelle Kontrolle vorbereiten
- Ergebnisse in einen Geodatenlayer übertragen
Eine Modellbewertung oder Konfidenz ist keine Garantie dafür, dass eine Pflanze richtig bestimmt wurde. Deshalb müssen insbesondere sicherheits-, lebensmittel- oder behandlungsrelevante Ergebnisse fachlich plausibilisiert werden.
Die KI unterstützt die Vorauswahl und Kartierung. Die endgültige Beurteilung einer Pflanze kann weiterhin eine Kontrolle im Feld erfordern.
KI-generiert Georeferenzierung der Fundstellen
Damit eine erkannte Pflanze später im Feld aufgesucht werden kann, muss ihre Position aus dem Bild in ein geeignetes Koordinatensystem übertragen werden.
Dafür werden unter anderem folgende Informationen berücksichtigt:
- Position der Drohne zum Aufnahmezeitpunkt
- RTK- beziehungsweise GNSS-Status
- Lage und Ausrichtung der Kamera
- Flughöhe beziehungsweise Abstand zum Boden
- Kameramodell und Objektiveigenschaften
- Geländeoberfläche
- Lage der Pflanze innerhalb des Bildes
- verwendetes Koordinatenreferenzsystem
- notwendige Koordinatentransformationen
Im Forschungsprojekt wird auch untersucht, wie Zielpositionen aus einzelnen georeferenzierten Bildern abgeleitet werden können, ohne für jeden Arbeitsablauf zuerst ein vollständiges Orthofoto erzeugen zu müssen.
Die Positionsgenauigkeit der Drohne ist nicht automatisch mit der Genauigkeit der abgeleiteten Pflanzenposition gleichzusetzen. Kamerageometrie, Gelände, Pflanzengröße, Bewegung, Bildauflösung und Blickwinkel können zusätzliche Abweichungen verursachen.
Konkrete Genauigkeitsangaben werden daher nur für dokumentierte Aufnahme- und Prüfbedingungen gemacht.
KI-generiert Ergebnisbereitstellung in Drohninger
Die erkannten Zielpflanzen sollen als projektbezogene Geodaten in Drohninger bereitgestellt werden.
Abhängig vom Entwicklungsstand und der vereinbarten Systemkonfiguration können unter anderem folgende Funktionen verwendet werden:
- Darstellung der Untersuchungsfläche
- Anzeige erkannter Pflanzenpositionen
- Punkt-, Linien- und Flächenlayer
- Einblendung unterschiedlicher Zielpflanzenklassen
- Anzeige projektbezogener Attribute
- Navigation zu ausgewählten Fundstellen
- Kennzeichnung bereits kontrollierter Positionen
- Ergänzung von Notizen oder Bearbeitungsinformationen
- Online- und Offlinebereitstellung von Projekten
- Import und Export unterstützter Geodatenformate
- Erstellung projektbezogener Dokumentationen
Der tatsächlich verfügbare Funktionsumfang richtet sich nach der eingesetzten Version von Drohninger und der jeweiligen Projektkonfiguration.
Navigation mit dem RTK-Smartphone
Erkannte und kartierte Pflanzenpositionen können an das von Drohnenscan entwickelte RTK-Smartphone übertragen werden.
Das RTK-Smartphone kombiniert ein Android-Smartphone mit einer speziell entwickelten Systemhülle, integrierten GNSS-Komponenten, einer GNSS-Antenne und der Drohninger-App.
Ein möglicher Arbeitsablauf ist:
- Projekt in Drohninger öffnen
- Zielpflanzenlayer auswählen
- RTK-Verbindung und Positionsstatus kontrollieren
- gewünschte Fundstelle auswählen
- anhand von Richtung und Entfernung zur Position navigieren
- Pflanze beziehungsweise Fundbereich vor Ort kontrollieren
- Ergebnis dokumentieren
- Bearbeitungsstatus speichern
- gegebenenfalls Foto oder Notiz ergänzen
- weitere Fundstelle auswählen
Das RTK-Smartphone erleichtert das Aufsuchen der kartierten Position. Es garantiert jedoch nicht, dass eine Pflanze exakt an der angezeigten Stelle gefunden wird. Abweichungen können sowohl aus der ursprünglichen Georeferenzierung als auch aus der mobilen Positionsbestimmung entstehen.
Anwendung im biologischen Landbau
Im biologischen Landbau kann die Kartierung dazu verwendet werden, erkannte Zielpflanzen gezielt aufzusuchen und anschließend mit einem zulässigen Verfahren zu kontrollieren oder zu entfernen.
Mögliche Anwendungsbereiche sind:
- Suche nach einzelnen Giftpflanzen
- Kontrolle größerer Grünlandflächen
- Lokalisierung von Ampferpflanzen
- Dokumentation manueller Entfernung
- Planung mechanischer Bearbeitung
- Nachkontrolle bereits bearbeiteter Bereiche
- Erfassung wiederkehrender Fundstellen
Die Kartierung entscheidet nicht darüber, welche Maßnahme im konkreten Betrieb fachlich geeignet oder rechtlich zulässig ist.
Anwendung im konventionellen Landbau
Im konventionellen Landbau können erkannte Fundstellen als Grundlage für eine teilflächenspezifische Planung oder die Erstellung einer Maschinenkarte verwendet werden.
Abhängig von vorhandener Technik und unterstützten Datenformaten können Ergebnisse beispielsweise für folgende Arbeitsabläufe vorbereitet werden:
- manuelle Kontrolle erkannter Positionen
- Planung mechanischer Maßnahmen
- Erstellung von Punkt- oder Flächenkarten
- Übertragung an geeignete Bodenmaschinen
- Vorbereitung einer teilflächenspezifischen Bearbeitung
- Dokumentation behandelter und unbehandelter Bereiche
- Vergleich zwischen Gesamtfläche und vorgesehener Bearbeitungsfläche
Ob und in welchem Umfang sich dadurch Betriebsmittel einsparen lassen, hängt von tatsächlichem Pflanzenbesatz, Sicherheitszonen, Maschinentechnik, Mindestarbeitsbreiten und der gewählten Maßnahme ab.
Eine Einsparung wird deshalb nur anhand der konkreten Projektfläche und einer nachvollziehbar festgelegten Vergleichsvariante berechnet. Allgemeine Einsparungswerte werden nicht zugesichert.
KI-generiert Spot-Spraying und Maschinenkarten
Drohninger kann die Vorbereitung projektbezogener Punkt- oder Flächeninformationen für geeignete Maschinen unterstützen.
Je nach Systemkonfiguration können dafür unterstützte Formate wie Shapefile oder ISOXML verwendet werden. Vor dem praktischen Einsatz müssen Datenformat, Koordinatensystem, Maschinenkompatibilität und Geometrie geprüft werden.
Die erzeugte Karte ist keine automatische Pflanzenschutzempfehlung. Sie legt insbesondere nicht selbstständig fest:
- welches Pflanzenschutzmittel verwendet werden darf
- ob eine Behandlung erforderlich ist
- welche Aufwandmenge zulässig ist
- welche Abstände einzuhalten sind
- ob eine Anwendung unter den aktuellen Bedingungen erlaubt ist
Diese Entscheidungen verbleiben beim verantwortlichen landwirtschaftlichen Betrieb beziehungsweise bei entsprechend sachkundigen Anwendern.
Abgrenzung zur Pflanzenschutzmittelausbringung mit Drohnen
Die drohnenbasierte Datenerfassung und Kartierung ist von einer möglichen Ausbringung von Pflanzenschutzmitteln mit Drohnen rechtlich und technisch zu trennen.
Die hier beschriebene Leistung umfasst nicht automatisch eine chemische Behandlung aus der Luft.
Eine Ausbringung mit einer Drohne darf nur erfolgen, wenn sämtliche pflanzenschutzrechtlichen, luftfahrtrechtlichen, gerätebezogenen und behördlichen Voraussetzungen für die konkrete Fläche, das konkrete Mittel und die vorgesehene Anwendung erfüllt sind.
Eine erstellte Unkrautkarte stellt für sich allein keine entsprechende Bewilligung dar.
Dokumentation und Kontrollnachweise
Im Forschungsprojekt ist vorgesehen, die Kontrolle oder Bearbeitung erkannter Fundstellen nachvollziehbar zu dokumentieren.
Je nach Projektumfang können erfasst werden:
- Projekt und Untersuchungsfläche
- Datum der Drohnenaufnahme
- verwendetes Aufnahmesystem
- Zielpflanzenklasse
- erkannte Positionen oder Flächen
- Datum der Feldkontrolle
- bestätigte oder verworfene Erkennung
- dokumentierte Entfernung oder Bearbeitung
- ergänzende Fotos und Notizen
- bearbeitete und noch offene Fundstellen
- verwendetes Koordinatensystem
- Hinweise auf Datenlücken oder Einschränkungen
Eine solche Dokumentation ist ein projektbezogener Arbeits- und Kontrollnachweis. Sie ist kein amtliches Reinheitszertifikat, keine Laboranalyse und keine Garantie dafür, dass eine Fläche oder Ernte vollständig frei von unerwünschten Pflanzen beziehungsweise Pflanzenbestandteilen ist.
Stechapfel und Lebensmittelsicherheit
Samen und Pflanzenteile des Gewöhnlichen Stechapfels können Tropanalkaloide enthalten. Deshalb kann die Kontrolle entsprechender Pflanzen insbesondere bei Kulturen relevant sein, bei denen eine Vermischung mit dem Erntegut möglich ist.
Die drohnenbasierte Erkennung kann dabei helfen, verdächtige Pflanzenpositionen für eine gezielte Kontrolle bereitzustellen.
Sie ersetzt jedoch nicht:
- betriebliche Eigenkontrollen
- geeignete Ernte- und Reinigungsverfahren
- Probenahmen
- Laboruntersuchungen
- lebensmittelrechtliche Prüfungen
- Anforderungen eines Abnehmers oder Qualitätsprogramms
Auch bei einer vollständig abgearbeiteten Fundstellenliste kann nicht zugesichert werden, dass keine weiteren Pflanzen oder Samen vorhanden sind.
Feldtests und Validierung
Das System wird unter unterschiedlichen praktischen Bedingungen weiterentwickelt und geprüft.
Vorgesehen beziehungsweise durchgeführt werden können:
- Erfassung stark bewachsener Ackerflächen
- Erfassung von Grünlandflächen
- Vergleich verschiedener Flughöhen
- Vergleich unterschiedlicher Bodenauflösungen
- Tests unter wechselnden Lichtbedingungen
- Prüfung verschiedener Wachstumsstadien
- Vergleich von RGB- und Multispektraldaten
- Kontrolle der erkannten Fundstellen im Feld
- Prüfung von GNSS- und RTK-Einflüssen
- Versuche mit Galileo HAS
- Tests der Navigation mit dem RTK-Smartphone
- Erprobung des Drohninger-Moduls
- Validierung in geeigneten agrifoodTEF-Testumgebungen
Für die Datenerfassung und Erprobung werden geeignete, stärker mit Ampfer, Stechapfel oder Distel bewachsene Acker- und Grünlandflächen benötigt.
Testflächen werden vorab hinsichtlich Kultur, Zielpflanze, Entwicklungsstadium, Befliegbarkeit und verfügbarer Referenzdaten beurteilt.
Aussagekraft und Grenzen
Die Erkennungs- und Kartierungsqualität hängt unter anderem ab von:
- unterstützter Zielpflanzenart,
- Umfang und Qualität der Trainingsdaten,
- Entwicklungsstadium der Pflanzen,
- Kultur und Bestandsdichte,
- Sichtbarkeit der Zielpflanzen,
- Flughöhe und Bodenauflösung,
- Kamera und Sensorik,
- Licht- und Wetterbedingungen,
- Bildschärfe,
- Geländeform,
- GNSS- und RTK-Status,
- verwendeter Georeferenzierungsmethode,
- Qualität der fachlichen Referenzdaten.
Falsch-positive Erkennungen sind möglich. Dabei wird eine andere Pflanze oder Bildstruktur irrtümlich als Zielpflanze markiert.
Auch falsch-negative Ergebnisse sind möglich. Dabei wird eine tatsächlich vorhandene Zielpflanze vom Modell nicht erkannt.
Deshalb dürfen die Ergebnisse nicht als Garantie einer vollständigen Flächenkontrolle oder Pflanzenfreiheit dargestellt werden.
Ergebnisse des Forschungs- und Entwicklungsprojekts
Im Rahmen des ESA-BIC-Entwicklungsprojekts können insbesondere folgende Ergebnisse entstehen:
- annotierte Trainings- und Validierungsdaten
- trainierte Modelle für ausgewählte Zielpflanzen
- dokumentierte Aufnahmeparameter
- georeferenzierte Fundstellen
- Verfahren zur Ableitung von Pflanzenpositionen aus Drohnenbildern
- Feld- und Validierungsergebnisse
- Drohninger-Modul für die Beikrauterkennung
- Navigation zu Fundstellen mit dem RTK-Smartphone
- Maschinenkarten für unterstützte Systeme
- projektbezogene Kontroll- und Bearbeitungsdokumentation
- technische Berichte
- begleitende wissenschaftliche Arbeiten
- Grundlagen für eine spätere kommerzielle Dienstleistung
Welche Pflanzenarten, Kulturen und Funktionen für ein konkretes Projekt verfügbar sind, muss vor Projektbeginn abgestimmt werden.
Angestrebter Nutzen
Mit dem Projekt wird untersucht, ob die Kombination aus Drohne, KI und satellitenbasierter Positionierung zukünftig:
- größere Flächen strukturiert erfassen kann
- die Suche nach einzelnen Zielpflanzen unterstützen kann
- Fundstellen nachvollziehbar dokumentieren kann
- wiederholte Kontrollen erleichtern kann
- biologische und konventionelle Arbeitsabläufe unterstützen kann
- Maschinenkarten für geeignete Systeme bereitstellen kann
- manuelle Suchzeiten reduzieren kann
- eine gezieltere Planung nachfolgender Maßnahmen ermöglichen kann
- Daten für Qualitäts- und Forschungszwecke bereitstellen kann
Ob und in welchem Umfang diese Vorteile erreicht werden, muss für Zielpflanze, Kultur, Fläche und vorgesehenen Arbeitsablauf geprüft werden.
Fachlicher und rechtlicher Hinweis
Die KI-gestützte Unkrauterkennung ist ein datenbasiertes Unterstützungs- und Dokumentationssystem.
Die bereitgestellten Ergebnisse ersetzen insbesondere nicht:
- eine vollständige Feldkontrolle
- die fachliche Bestimmung einer Pflanze
- eine Pflanzenschutzberatung
- eine amtliche oder privatrechtliche Zertifizierung
- eine Laboruntersuchung
- eine lebensmittelrechtliche Konformitätsprüfung
- die Prüfung der Zulässigkeit einer konkreten Maßnahme
- die Einhaltung pflanzenschutzrechtlicher Vorgaben
- die Prüfung einer Maschinen- oder Drohnenanwendung
Über eine Kontrolle, Entfernung oder Behandlung entscheidet weiterhin der verantwortliche Betrieb beziehungsweise die entsprechend sachkundige Person.
Die Eignung der Ergebnisse für einen konkreten Zweck muss anhand der vereinbarten Zielpflanzen, der dokumentierten Datenqualität und der jeweiligen Projektbedingungen beurteilt werden.
Nächster Schritt
Forschungs- oder Pilotfläche anfragen
Sie verfügen über eine Acker- oder Grünlandfläche mit Ampfer, Stechapfel oder Distel und möchten die drohnenbasierte Erkennung und Kartierung gemeinsam mit uns erproben? Teilen Sie uns mit: - welche Zielpflanzen vorkommen - welche Kultur angebaut wird - wie groß die Fläche ist - in welchem Entwicklungsstadium sich der Bestand befindet - ob bekannte Fundstellen oder Referenzdaten vorhanden sind - welche weitere Verwendung der Ergebnisse geplant ist Wir prüfen anschließend, ob die Fläche für Datenerfassung, Modelltraining, Validierung oder eine Pilotanwendung geeignet ist.