王園園 黨延江 何博

基金項(xiàng)目：陜省教育廳專項(xiàng)科研計(jì)劃項(xiàng)目；項(xiàng)目編號(hào)：22JK0363。商洛市科技局項(xiàng)目；項(xiàng)目編號(hào)：2021-z-0043。商洛學(xué)院科研項(xiàng)目；項(xiàng)目編號(hào)：19SKY009。

作者簡(jiǎn)介：王園園（1987— ），女，陜西商洛人，講師，碩士，研究方向：計(jì)算機(jī)視覺。

摘要：自然環(huán)境下核桃果實(shí)目標(biāo)的表皮顏色與葉片顏色極為接近，一般的果實(shí)識(shí)別算法無法準(zhǔn)確地分割出近色系果實(shí)的問題。為了解決這個(gè)問題，文章使用YOLOv5算法進(jìn)行核桃果實(shí)識(shí)別，在不同時(shí)間、角度和距離條件下，在自然環(huán)境下采集1 482張實(shí)核桃圖像，利用 LabelImg標(biāo)定軟件對(duì)核桃果實(shí)圖像進(jìn)行標(biāo)定，建立了核桃果實(shí)數(shù)據(jù)集。文章采用YOLOv5算法進(jìn)行核桃果實(shí)識(shí)別，結(jié)果顯示其穩(wěn)定狀態(tài)下的模型的AP值可達(dá)到0.930，識(shí)別速度可達(dá)每秒0.115幅。此算法基本可以滿足核桃實(shí)時(shí)檢測(cè)需求，對(duì)實(shí)現(xiàn)核桃自動(dòng)化采摘具有重要意義。

關(guān)鍵詞：目標(biāo)檢測(cè)；核桃識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；YOLOv5

中圖分類號(hào)：TP312? 文獻(xiàn)標(biāo)志碼：A

0? 引言

隨著核桃盛果期面積增加，產(chǎn)量提高以及農(nóng)村勞動(dòng)力短缺，核桃采摘及處理問題漸漸凸顯出來，研發(fā)核桃采摘機(jī)器人是十分必要的。研發(fā)采摘機(jī)器人重點(diǎn)和難點(diǎn)在視覺系統(tǒng)，視覺系統(tǒng)負(fù)責(zé)感知環(huán)境以及識(shí)別和定位果蔬，是果實(shí)采摘的第一步［1］。實(shí)際果園所采集的核桃圖像，受光照和枝葉影響，目標(biāo)果實(shí)往往會(huì)枝葉遮擋、相互重疊、枝葉背景相對(duì)復(fù)雜，且由于目標(biāo)果實(shí)顏色與背景顏色十分相近，從而導(dǎo)致目標(biāo)果實(shí)檢測(cè)精度降低，難以滿足在實(shí)際作業(yè)機(jī)械的裝配需求。

2012 年，錢建平等［2］基于RGB、HSV混合顏色空間對(duì)核桃進(jìn)行了識(shí)別。近年，有科研工作者采用彩色相機(jī)研發(fā)出了實(shí)體采摘機(jī)器人。2016年，孫賢剛等［3］采用2R-G-B的Otsu閾值法分割出草莓，研發(fā)出的機(jī)器人具有自動(dòng)導(dǎo)航、識(shí)別以及自動(dòng)采摘核桃的功能。2019年，胡浩波等［4］應(yīng)用雙目視覺系統(tǒng)進(jìn)行了蘋果的識(shí)別。本文采用YOLOv5進(jìn)行果實(shí)識(shí)別研究具有非常重要的意義，通過基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法，提高核桃果實(shí)識(shí)別效率，可以滿足核桃實(shí)時(shí)檢測(cè)需求，對(duì)實(shí)現(xiàn)核桃自動(dòng)化采摘具有重要意義。

1? YOLOv5算法

You Only Look Once簡(jiǎn)稱為YOLO算法（Unified，Real-Time Object Detection），You Only Look Once的意義為，在整個(gè)運(yùn)算過程中，只需添加一次CNN運(yùn)算Unified對(duì)框架的統(tǒng)一性進(jìn)行詳細(xì)說明，并包涵端對(duì)端的預(yù)測(cè)，但與之不同的是Real-Time所體現(xiàn)的是YOLO的效率［5-7］。

YOLOv5是一種單階段目標(biāo)檢測(cè)算法，它在YOLOv4的基礎(chǔ)上加入了一些新思路，從而實(shí)現(xiàn)了在速度和精度上的極大提升。YOLOv5主要包括以下幾個(gè)部分。

輸入端：為了提高數(shù)據(jù)的多樣性和訓(xùn)練的魯棒性，YOLOv5采用了Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算和自適應(yīng)圖片縮放等策略。這些改進(jìn)措施使得模型可以更好地適應(yīng)不同場(chǎng)景和目標(biāo)的變化。

基準(zhǔn)網(wǎng)絡(luò)：YOLOv5引入了一些新的結(jié)構(gòu)，包括Focus結(jié)構(gòu)和CSP結(jié)構(gòu)。這些新結(jié)構(gòu)的設(shè)計(jì)旨在加速計(jì)算并提高檢測(cè)精度，從而提升整體模型的性能。

Neck網(wǎng)絡(luò)：針對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)中BackBone和Head輸出層之間的瓶頸問題，YOLOv5采用了FPN+PAN結(jié)構(gòu)作為Neck網(wǎng)絡(luò)。該結(jié)構(gòu)能夠提高特征的利用率和感受野范圍，進(jìn)一步提升目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性。

Head輸出層：YOLOv5對(duì)訓(xùn)練損失函數(shù)進(jìn)行了改進(jìn)，采用了GIOU_Loss。此外，還引入了DIOU_nms預(yù)測(cè)框篩選算法，以進(jìn)一步提高檢測(cè)的準(zhǔn)確度和效果。以上這些改進(jìn)思路和策略雖然比較簡(jiǎn)單，但都可以提升檢測(cè)算法的性能。

YOLOv5的網(wǎng)絡(luò)架構(gòu)如圖1所示。

2? 核桃果實(shí)數(shù)據(jù)集制作

本研究以綠色目標(biāo)果實(shí)精準(zhǔn)檢測(cè)為目標(biāo)。陜西省是我國三大核桃種植地區(qū)之一，是核桃生產(chǎn)的傳統(tǒng)大省。延安以南大部分地區(qū)是傳統(tǒng)的核桃生產(chǎn)地區(qū)。商洛被國家林業(yè)和草原局授予“中國核桃之鄉(xiāng)”稱號(hào)。選擇核桃作為研究對(duì)象，便于數(shù)據(jù)采集。

圖像采集：實(shí)驗(yàn)所需核桃圖片采自陜西省商洛市? 洛南縣核桃種植園，以及商洛市商州區(qū)周邊山區(qū)散種核桃，利用紅米手機(jī)拍攝，保存為.jpg 格式，24 位彩色圖像。拍攝周期為60天，采集圖像充分考慮光照、天氣、成熟度等多種因素，拍攝核桃圖像1 482張，包含枝葉遮擋、果實(shí)重疊、逆光、陰影、雨滴未干、遠(yuǎn)程拍攝目標(biāo)小等問題。圖2為部分采集圖像展示。采用 LabelImg 標(biāo)注工具按照 Pascal VOC 數(shù)據(jù)集的標(biāo)注格式對(duì)圖像進(jìn)行標(biāo)注，生成標(biāo)注文件。

3? 目標(biāo)檢測(cè)結(jié)果

為了訓(xùn)練YOLOv5模型，本次測(cè)試使用了小批量隨機(jī)梯度下降法。小批量隨機(jī)梯度下降法可以劃分為小批量樣本，通過計(jì)算梯度和更新參數(shù)進(jìn)行模型訓(xùn)練。測(cè)試集中100幅圖像的部分識(shí)別結(jié)果，如圖3所示。

由圖3可知，YOLOv5算法對(duì)于核桃的識(shí)別準(zhǔn)確率非常高，本圖片集展示了不同角度在不同光照強(qiáng)度下都能取得良好的識(shí)別效果。為了更好地評(píng)測(cè)YOLOv5算法模型是否準(zhǔn)確，利用AP對(duì)測(cè)試集進(jìn)行計(jì)算；其測(cè)試結(jié)果如圖4所示。AP值總體上隨著batch_size的增大而增大。當(dāng)?shù)揭欢ㄖ禃r(shí)，AP 值趨于平緩。當(dāng)模型趨于平緩時(shí)，AP值在0.930附近，它表明YOLOv5算法模型的識(shí)別準(zhǔn)確率高。

4? 結(jié)語

本文采用YOLOv5算法實(shí)現(xiàn)了高效準(zhǔn)確的核桃自動(dòng)檢測(cè)和識(shí)別系統(tǒng)。本研究使用手動(dòng)標(biāo)注數(shù)據(jù)集的方式來收集核桃圖像數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理和增強(qiáng)等操作，以提高模型的訓(xùn)練效果。測(cè)試結(jié)果表明YOLOv5算法對(duì)核桃果實(shí)有很好的識(shí)別準(zhǔn)確率和識(shí)別速度，甚至對(duì)一些較小、較遠(yuǎn)的核桃果實(shí)目標(biāo)以? 及果實(shí)相互遮擋的目標(biāo)，都可以達(dá)到很好的識(shí)別效果。其穩(wěn)定狀態(tài)下的模型的AP達(dá)到為0.930，可實(shí)現(xiàn)實(shí)時(shí)識(shí)別。

參考文獻(xiàn)

［1］祝前峰，陸榮鑒，劉彬，等.核桃采摘機(jī)械研究現(xiàn)狀與發(fā)展趨勢(shì)［J］.林業(yè)和草原機(jī)械，2021（1）：45-53.

［2］趙世達(dá).基于機(jī)器視覺的核桃識(shí)別技術(shù)研究［D］.武漢：武漢輕工大學(xué)，2018.

［3］孫賢剛，伍錫如，黨選舉，等.基于視覺檢測(cè)的蘋果采摘機(jī)器人系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.農(nóng)機(jī)化研究，2016（9）：151-155.

［4］謝志勇，張鐵中，趙金英.基于Hough變換的成熟草莓識(shí)別技術(shù)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2007（3）：103-109.

［5］高凡.基于深度學(xué)習(xí)的果實(shí)采摘研究［D］.北京：北京交通大學(xué)，2020.

［6］張琛.基于YOLOv3的道路目標(biāo)檢測(cè)方法研究［D］.西寧：青海大學(xué)，2021.

［7］樊湘鵬，許燕，周建平，等.基于改進(jìn)Faster R-CNN的核桃識(shí)別和定位［J］.燕山大學(xué)學(xué)報(bào)，2021（6）：544-551.

（編輯? 王永超）

Research on walnut fruit recognition algorithm in natural environment based on YOLOv5Wang Yuanyuan， Dang Yanjiang， He Bo

（College of Electronic Information and Electrical Engineering， Shangluo University， Shangluo 726000， China）

Abstract：? The skin color of walnut fruit targets is very close to the leaf color in the natural environment， and the general fruit recognition algorithm cannot accurately segment the near-color fruit. To address this issue， this paper uses the YOLOv5 algorithm for walnut fruit recognition. Firstly， 1482 real walnut images are collected in the natural environment under different time， angle and distance conditions， and the walnut fruit data set is established by using LabelImg calibration software to calibrate the walnut fruit images. Secondly， the YOLOv5 algorithm was used for walnut fruit recognition， and the results showed that the AP value of the model in the steady state could reach 0.930， and the recognition speed could reach 0.115 images per second. This algorithm can basically meet the real-time detection needs of walnuts， which is of great significance for realizing automatic walnut picking.

Key words： object detection; walnut identification; convolutional neural networks; YOLOv5