摘要: 【目的】提出一種基于改進YOLOv4 成熟番茄果實識別方法,以解決采摘智能機器人識別中廣泛存在的因枝葉遮擋而導致識別不準確的問題?!痉椒ā坷蒙疃葘W習算法,在卷積神經網絡YOLOv4 算法中引入輕量化模塊Mobilenetv2、Mobilenetv3 和Ghostnet,對遮擋程度小于35%、35%~65% 以及超過65% 的成熟番茄果實進行特征提取和識別分析?!窘Y果】3 種YOLOv4 輕量化模塊對遮擋面積小于65% 的番茄果實的識別率超過90%。Ghostnet-YOLOv4 算法在3 種模塊中識別率最高、表現最穩(wěn)定,平均識別率為94.41%,檢測速度為0.012 s;該算法對遮擋面積大于65% 的果實識別率明顯優(yōu)于其他2 種算法。3 種算法的識別率均隨遮擋程度的提高而下降。【結論】Ghostnet-YOLOv4 算法識別率高、速度快,可用于番茄果實的識別,且優(yōu)勢更為明顯。本研究可以為采摘機器人的采摘策略提供更好的思路和技術基礎。
關鍵詞: 番茄識別;YOLOv4;不同遮擋程度;輕量化網絡
中圖分類號: S641.209.9 文獻標志碼: A 文章編號: 1004–390X (2024) 04?0184?06
番茄作為世界上種植面積和產量最高的蔬菜之一,其生產越來越精準化、規(guī)模化、集約化,對智能化和自動化農業(yè)智能裝備的需求也快速增長[1]。目前,番茄生產和加工過程中的人工成本仍較高,采摘過程勞動強度大、耗費時間長,對智能采摘需求更加迫切,應用智能采摘機器人對番茄進行精準識別和自動化采摘已成為當前研究的重點[2]。
國內外對番茄外觀識別和品質檢測的研究已取得一定進展。孫建桐等[3]對番茄圖像進行Canny邊緣檢測操作后獲得果實邊緣輪廓點,基于幾何形態(tài)學對果實輪廓點進行分組處理,利用迭代隨機圓處理得到果實識別結果,正確率為85.1%,識別準確率為79.1%。李寒等[4]使用互相關函數進行快速和歸一化處理,估計目標果實數量,排除了綠色根葉莖對果實檢測識別的干擾。馬翠花等[5]在未成熟番茄果實的識別研究中,提出基于密集和稀疏重構的顯著性檢測方法,正確識別率達到77.6%。
被遮擋番茄在圖片中的表現形式與實際有差異,番茄不能完整呈現,識別難度增大[6]。RGB色差分割方法處理遮擋果實會有較大誤差[7];橢圓擬合方法受番茄形狀和大小不規(guī)則的影響,會出現較明顯的果實漏識現象[8];SVM 支持向量機受正樣本和負樣本影響的概率較大,無法完成復雜環(huán)境中番茄果實的識別[9]。相較于單純采用圖像處理的方法,機器學習[10]中深度卷積神經網絡對目標大、高維度特征的提取能力突出,適合復雜環(huán)境下檢測識別番茄果實。卷積神經網絡總體上有2 種方法。一種是兩階段目標檢測方法,首先使用算法對已標注的樣本進行處理得到目標檢測候選框,再對制作好的樣本進行卷積分類,其代表性算法主要有RCNN[11]、Fast-RCNN[12]和Faster-RCNN[13]。熊俊濤等[14]利用Faster-RCNN 深度卷積神經網絡的目標檢測算法對綠色柑橘進行識別檢測,其模型泛化能力和預期精度均較好,但由于兩階段目標檢測方法的計算機運行耗費大,檢測時間長,實時性存在不足。另一種是一階段目標檢測方法,主要是把分類和回歸進行結合,直接在坐標系中對算法分好的類別進行回歸處理,代表性的算法主要有SSD[15]和YOLO[16]。薛月菊等[17]采用YOLOv2 深度卷積神經網絡檢測識別未成熟的杧果果實,在維持預期泛化能力和識別精度的同時對檢測速度進行優(yōu)化和提升;但其缺點是召回率明顯降低,尤其是識別較密集果實時,會將聚集果實劃入同一個識別框,且該方法需要高性能顯卡,但當前農業(yè)機械設備的終端多采用性價比較高的消費性設備,即邊緣設備[18],使其無法高效可靠地移植到邊緣設備上。
已有應用深度學習識別成熟番茄果實的研究存在對實際作業(yè)需求考慮不足的問題。為便于機器人更好地識別不同遮擋程度的成熟番茄果實,進而做出科學采摘決策,本研究對YOLOv4 的輕量化卷積神經網絡算法進行改進,以期對不同遮擋程度的成熟番茄果實進行準確識別。
1 材料與方法
1.1 圖像采集
研究數據來自2021 年云南農業(yè)大學校內溫室番茄大棚進行的試驗,試驗品種為云番27 號,圖像拍攝時間為2021 年8 月8 日—8 月12 日的每天 14:0 0—16:0 0,為增加數據多樣性,拍照分為遠景和近景,遠景距離果實600~800 mm,近景距離果實300~400 mm,遠景和近景各采集左、中、右3 種角度圖像,每個角度拍攝3 幅(圖1) 以供后續(xù)篩選。數據采集方法和參數設置保持一致。
1.2 研究方法
本研究共采集照片4 000 張,首先對圖片進行預處理,挑選出不同遮擋程度的成熟番茄果實,并用Labelimg 工具進行標注,利用不同輕量化特征提取網絡對YOLOv4 進行改進,使用完全一致數據集在相同參數設置環(huán)境下進行訓練。