Verteilte AR-Assistenzsysteme helfen auf dem Feld

Schnelle Hilfe bei Pannen und der regelmäßigen Wartung von Landmaschinen verspricht ein gemeinsames Forschungsprojekt von Huawei und dem Fraunhofer-Institut für Kognitive Systeme IKS (ehemals ESK) München. Mit dem Internet der Dinge (Internet of Things, IoT) und Augmented Reality (AR) erhalten Fahrer und Techniker Unterstützung aus der Cloud.

Bauernhof und Cloud Computing sind kein Widerspruch. Die Digitalisierung kann auch Unternehmen in der Landwirtschaft unterstützen, zum Beispiel mit IoT-Technologien und dem Konzept des Edge Computings, also dem Einsatz von Computerkapazität am Rande des Netzwerks. Für den Landwirt ist das zugleich der Rand eines Felds, auf dem er ernten muss – wie in diesem Beispiel: Eine Erntemaschine bleibt plötzlich auf dem Rübenfeld stehen, ein Sensor hat ein technisches Problem entdeckt. Und jetzt? Die Zeit drängt, denn es wird bald regnen. Es ist unmöglich, das Riesengefährt in eine Werkstatt zu schleppen. Und ein Servicetechniker braucht lange für die Anfahrt.

Solche Situationen sind in der Landwirtschaft kritisch, denn die Landmaschinen müssen während der Erntezeit rund um die Uhr auf dem Feld sein. Ansonsten arbeiten sie nicht wirtschaftlich und gefährden den Umsatz des Betriebs. Bis heute muss ein Landwirt bei Pannen improvisieren und hoffen, dass es sich nur um ein kleines Problem handelt. Dank digitaler Technologien wie Cloud Computing, dem Internet der Dinge und digitalen Verfahren aus der Industrie 4.0 könnten solche Situationen bald ganz anders aussehen.

Augmented-Reality-Assistenzsystem für Fahrer und Techniker

Wenn es nach dem von Huawei geförderten Fraunhofer-Projekt INVIA geht, wird sich ein Landwirt mit einer vernetzten mobilen Anwendung und dem Internet der Dinge in Zukunft selbst helfen können. Unterstützt wird die digitale Landwirtschaft dabei durch eine mobile Augmented-Reality-Anwendung in der Cloud. Das könnte so aussehen: Der Landwirt nutzt eine Datenbrille, die via Mobilfunk mit dem Internet verbunden ist und sich mit dem Servicezentrum des Herstellers der Erntemaschine in Verbindung setzt. Dort erkennt ein Servicetechniker, dass der Kunde ein Problem hat, und fragt nach.

Nun beginnt eine bild- und videogestützte Diagnose der Fehlerursache. Das Hersteller-Servicedesk in der Cloud führt den Landwirt, der die AR-Datenbrille trägt, via Internet durch einen vordefinierten Serviceprozess, der am Schluss zur Entdeckung des Problems führt. In einigen Fällen wird der Landwirt nun in der Lage sein, die Panne selbst zu beheben – immer unterstützt durch den Servicetechniker. In anderen Fällen weiß der Hersteller immerhin, wo das Problem liegt und welche Bauteile eventuell ersetzt werden müssen. Er wird nun einen Techniker an den betreffenden Ort schicken, der mit der richtigen Ausstattung das Problem rasch löst.

Ein Assistenzsystem mit AR-Technologie hilft nicht nur den Fahrern auf dem Feld, sondern auch den Servicetechnikern. Sie werden ebenfalls durch eine mobile Internetverbindung mit AR-Brille unterstützt, sodass sie ein sehr breites Spektrum unterschiedlicher Landmaschinen warten und reparieren können. Eine dritte Möglichkeit für INVIA: Die Mitarbeiter im landwirtschaftlichen Betrieb erhalten ein Onlinetraining on-the-job. Moderne Landmaschinen sind äußerst komplex und eine Schulung kann nicht jede Situation abdecken. Hier ist dann der Rückgriff auf die mobile Verbindung in die Cloud hilfreich; in unbekannten Situationen kann der Fahrer durch einen Trainer unterstützt werden.

Die Kombination aus Cloud, Edge und Fog Computing

Eine solche Anwendung stellt erhebliche technische Anforderungen. Durch die permanente Übertragung von Audio- und Videostream sind für eine Echtzeitkommunikation geringe Latenzzeiten und eine dauerhaft stabile Mobilfunkverbindung notwendig. Doch beides ist vor allem im ländlichen Bereich nicht immer garantiert. Die Felder der landwirtschaftlichen Betriebe können sich auch außerhalb oder an den Rändern einer Mobilfunkzelle befinden. Dort gibt es entweder keine Verbindung oder nur eine mit recht geringer Bandbreite. Entsprechend benötigen die Assistenzsysteme eine Anpassung an die äußeren Rahmenbedingungen.

Durch diese drei Konzepte entsteht eine verteilte Anwendung, die Nutzer von Problemen mit der Netzwerkverbindung zur Cloud abschirmt und sich deshalb gut für den Einsatz in landwirtschaftlichen Betrieben eignet. Die zugehörige Software wird im Projekt INVIA des Fraunhofer-Instituts für Kognitive Systeme IKS (ehemals EKS) erprobt, zusammen mit Industriepartnern wie Herstellern landwirtschaftlicher Maschinen und Experten für smarte IoT-Devices. Huawei bringt in dieses Projekt seine Expertise auf dem Gebiet des Mobilfunks und des Edge Computings ein.

Rechenleistung in der Edge – am Rand des Netzwerks

Das MEC-Konzept bietet aufgrund der Nähe von Datenverarbeitungsleistung zur Landmaschine geringe Latenzzeiten. Zudem verfügen MEC-Komponenten über eine vergleichsweise hohe Rechenkapazität. Dadurch sind die Geräte in der Lage, Software zu verteilen, Daten zu verwalten und ein Nahbereichsfunknetz – in diesem Fall WLAN – zur Verfügung zu stellen. Im Vorfeld wird das Anwendungsszenario analysiert, um die richtige Platzierung der Hardware auf den Landmaschinen und in der Edge zu berechnen.

Wenn schnelle Ergebnisse der digitalen Bilderkennung notwendig sind, wird das Edge-Device entweder direkt an der Landmaschine oder in der Nähe platziert. Es sorgt dafür, dass der Fahrer bei einer Panne unkomplizierte und direkte Unterstützung bekommt. Er muss nicht stundenlang auf einen Servicetechniker warten. Im Idealfall kann er nach kurzer Zeit weiterfahren und seine Arbeit beenden. Auf diese Weise eignet sich das Assistenzsystem gut für die Bereitstellung von Augmented-Reality- und Videodiensten und unterstützt so die Digitalisierung der Landwirtschaft.