Bramen, een delicate fruitsoort, worden nog steeds met de hand geplukt. De ontwikkeling van geavanceerde technologieën door wetenschappers van Mississippi State University (MSU) kan nu helpen om het plukproces te automatiseren.
Veel gewassen worden al met succes geplukt door machines en MSU assistent-professor Xin Zhang werkt samen met een team om dit ook voor bramen mogelijk te maken.
In het Mississippi Agricultural and Forestry Experiment Station van de universiteit ontwikkelen Zhang en haar team een bramendetectie- en lokalisatiesysteem, de "ogen" en "hersenen" van een robotoogstsysteem dat aangedreven wordt door een innovatieve, op kunstmatige intelligentie gebaseerde benadering van deep learning.
Het onderzoek betreft een multi-institutionele inspanning van $1 miljoen die wordt gefinancierd door het Amerikaanse ministerie van Landbouw.
Terwijl het MSU-team dit cruciale onderdeel van de geautomatiseerde oogstmachine ontwikkelt, werken partners bij Georgia Tech aan een zachte robotarm en grijper en een tweevoetig mobiel platform. Het prototype van de grijper is uitgerust met sensoren aan de uiteinden, zoals kleine vingertoppen, waardoor de bramen kunnen worden vastgepakt en geplukt zonder ze te knijpen of te beschadigen. Wetenschappers van de Universiteit van Arkansas richten zich op de analyse van het fruit na de oogst.
Het waarnemingssysteem dat Zhang en haar team hebben ontworpen, werkt met YOLOv8 (You Only Look Once, versie 8), een op vision gebaseerd objectdetectiemodel dat interessante objecten – in dit geval rijpe bramen – snel en nauwkeurig identificeert en lokaliseert. Dit soort technologie is krachtig genoeg om robots, bewakingssystemen en zelfrijdende auto's te ondersteunen.
Het team trainde een reeks YOLO-modellen om niet alleen elke braam op een struik te identificeren, maar ook om de mate van rijpheid te detecteren, van rijp (zwart van kleur) tot bijna rijp (rood) en onrijp (groen). Het proces maakte gebruik van meer dan 1.000 beelden van plantkruinen in verschillende commerciële percelen in Arkansas, zodat het systeem het rijpe zachtfruit kan selecteren om te oogsten en de andere bramen kan laten hangen voor de volgende plukronde.
"Onze focus ligt op het detecteren van het rijpe zachtfruit voor de robotoogstmachine, maar we hebben de andere twee categorieën toegevoegd om een beeld te krijgen van de totale hoeveelheid bramen aan de struiken", aldus Zhang. "Op deze manier krijgen telers ook een raming van hun totale oogst."
Tijdens testen met meerdere configuraties en varianten was het best presterende model 94% nauwkeurig in het identificeren van rijpe bramen, 91% voor rijpende bramen en 88% voor onrijpe bramen. Het detecteerde ook indrukwekkend hoge-resolutiebeelden in realtime en klokte 21,5 milliseconden per beeld.
"Het waarnemingssysteem identificeert de braam en stuurt 3D-coördinaten, inclusief afstand, naar de robotarm, die deze feedback gebruikt om de braam vast te pakken", aldus Zhang. "Het is cruciaal dat ons waarnemingssysteem snel en nauwkeurig communiceert met de arm en het grijpersysteem."
Naast hun bijdrage aan de oogstmachine beginnen Zhang en haar team met de ontwikkeling van een mobiele app op basis van hun beelddetectiesysteem.
"De app is een apart project. Het zou telers een snelle en gemakkelijke manier moeten bieden om hun totale oogst aan het begin van het oogstseizoen te voorspellen, zodat ze hun afzetstrategie snel kunnen aanpassen", besluit Zhang.
Bron: msstate.edu