林營志 盧依琳 劉現(xiàn)

摘 要：為實現(xiàn)大田棚架栽培環(huán)境下百香果的機器自動化采摘，使用YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)建立了復(fù)雜背景下的百香果果實定位模型。該方法使用單個卷積神經(jīng)網(wǎng)絡(luò)遍歷整個圖像，回歸目標的類別和位置，實現(xiàn)了直接端到端的目標檢測。訓(xùn)練集使用了400張人工標注的圖像，測試集為100張圖片，共包含3071個百香果樣本。經(jīng)過訓(xùn)練的模型在測試集下的平均精度均值mAP為97.66%，當使用0.65置信閾值時，準確率為98%，召回率為94%，交并比IOU為83.96%。

關(guān)鍵詞：百香果;圖像識別;只需瞄一眼;深度學(xué)習(xí)

Abstract：In order to realize automatic picking of passion fruit under the environment of field shelving， YOLOv3 deep convolutional neural network was used to establish the fruit location model of passion fruit under the complex background. In this method， a single convolutional neural network was used to traverse the whole image and return to the category and location of the target thus to realize the direct endtoend target detection. The training set used 400 manually labeled images and the test set used 100 images， which included a total of 3，071 passion fruit samples. The average accuracy mean mAP of the trained model under the test set was 97.66%. When the confidence threshold of 0.65 was used， the accuracy rate was 98%， the recall rate was 94%， and the crossover ratio of IOU was 83.96%.

Key words：Passion fruit; Image recognition; You Only Look Once; Deep learning

果蔬采收是園藝生產(chǎn)的重要環(huán)節(jié)，勞動強度大、工作效率低、季節(jié)性用工明顯。自20世紀80年代以來，國內(nèi)外學(xué)者開展了大量果蔬采摘機器人的研究，如獼猴桃[1]、草莓[2]、黃瓜[3]、番茄[4]。視覺識別系統(tǒng)作為采摘機器人的重要組成部分，對機器人工作效率和可靠運行有較大影響。

早期的視覺系統(tǒng)多采用基于顏色或幾何形態(tài)特征的目標果實算法，較難滿足穩(wěn)定性和魯棒性要求。近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在目標檢測領(lǐng)域顯現(xiàn)出巨大的優(yōu)越性，使得在復(fù)雜情況下水果的識別變得可能。趙源深等[5]采用haarlike特征及其編碼的方法，結(jié)合AdaBoost深度學(xué)習(xí)算法，獲得用于識別成熟番茄的分類器，對光照變化、果實粘連以及枝葉遮擋等干擾具有較強的自適應(yīng)性和魯棒性。熊俊濤等[6]利用Faster RCNN方法進行樹上綠色柑橘的視覺檢測研究，模型mAP達到了85.49%，對自然環(huán)境下綠色柑橘有較好的檢測效果。只需瞄一眼（You Only Look Once，YOLO）即可識別圖像中物品及其位置，YOLO是目前最快的目標檢測方案之一，使用單一的卷積網(wǎng)絡(luò)基于整幅圖像直接進行位置檢測和分類預(yù)測[7]。趙德安等[8]在兼顧效率和準確率的情況下，使用YOLOv3實現(xiàn)了復(fù)雜背景下的蘋果識別，準確率達到了97%。

百香果是西番蓮科西番蓮屬的草質(zhì)藤本植物，主要采用棚架栽培模式，果實下垂于藤蔓上，棚架底部空間大，枝干、葉、果實干涉較小，但成熟期不一致。本研究嘗試使用YOLOv3卷積神經(jīng)網(wǎng)絡(luò)來建立預(yù)測模型，實現(xiàn)田間棚架栽培模式下的百香果識別，用于百香果的自動化采摘。

1 材料與方法

1.1 識別對象

百香果圖像采集地點為福建福州市閩侯縣荊溪鎮(zhèn)仁洲村和福建省漳州市薌城區(qū)埔里村百香果基地，均采用棚架式栽培模式，品種為黃金百香果，大部分處于接近成熟期（圖1）。棚架栽培模式下，機器人只能在棚架下方移動，視角自下而上，因而易受自然光影響，圖像顏色和亮度差異較大（圖2）。大部分掛果呈現(xiàn)自然下垂狀態(tài)，但仍存在重疊或者被葉片遮擋的狀態(tài)，使用傳統(tǒng)的色差分割等方法較難實現(xiàn)。因此本研究考慮使用深度卷積神經(jīng)網(wǎng)絡(luò)來提取果實特征，采用端到端的整體訓(xùn)練進行自適應(yīng)學(xué)習(xí)。

1.2 試驗平臺

訓(xùn)練使用GPU服務(wù)器，硬件配置為Intel E52665X2，32 G RECC DDR3，250 G固態(tài)硬盤，NVIDIA RTX 2080TI 11G顯卡4張，軟件配置為Ubuntu Linux 16.04， CUDA10.0， cuDNN7.6， YOLOv3。測試在筆記本電腦進行，硬件配置為Intel i79750H 4.5 GHz 6核，內(nèi)存32 G DDR4 2666，GPU為GeForce GTX 1650，軟件配置為Windows10、CUDA10.1、Cudnn7.6、OpenCV3.4.1、YOLOv3和Yolo Mark。

1.3 數(shù)據(jù)集構(gòu)建

隨機抽取田間采集到的圖像，使用軟件YOLO Mark對圖像中的百香果進行人工標注，標注信息包括目標百香果的類別和位置。矩形框坐標歸一化到0～1的范圍內(nèi)，便于在增強處理時保持坐標數(shù)據(jù)。YOLO標注信息存儲在與圖像同名的文本文件中，每行表示一個目標，包括5個參數(shù)，分別是目標類別編號、矩形框中心x坐標、中心y坐標、矩形框的寬和高。坐標歸一化的計算公式為：

1.4 模型訓(xùn)練與評估

模型訓(xùn)練和評估基于YOLOv3，采用64個樣本作為一個處理單元，每次更新權(quán)重值時BN正則化，動量0.9，權(quán)重衰減0.000 5，飽和度1.5，曝光度1.5，初始學(xué)習(xí)率0.001，使用0.1的學(xué)習(xí)率變動因子。為穩(wěn)定模型，學(xué)習(xí)率控制參數(shù)設(shè)定為1000。目標類型僅1個，因此最大迭代次數(shù)配置為4000次。為便于觀察訓(xùn)練過程，每4次迭代計算一次mAP。每100次迭代存儲一次權(quán)重模型。

過多訓(xùn)練可能導(dǎo)致過擬合，因此需要對模型進行評估，尋找適當?shù)哪Ｐ汀Ｔ诒狙芯恐幸詍AP為評估指標，使用測試集逐一計算模型的mAP值，測試閾值為0.25，交并比IOU閾值為0.50，查找最高的mAP值，選用與該值對應(yīng)迭代次數(shù)附近的模型。

1.5 檢測閾值的選取

在找到mAP值最高的權(quán)值模型后，使用不同的置信閾值計算模型精確率、召回率和F1因子[8]，繪制PR曲線、各指標與閾值的關(guān)系曲線，尋找最佳的置信閾值。置信閾值的變化范圍0.05～0.95，步長0.05。F1因子是準確率和召回率的綜合因子，準確率所占權(quán)重較大。

2 結(jié)果與分析

2.1 數(shù)據(jù)集構(gòu)建

從田間采集的圖像中挑選了500張圖像，總計標注了3071個果實，隨機挑選100張作為測試集（含551個果實），其余作為訓(xùn)練集。數(shù)據(jù)集部分圖像見圖3。

2.2 模型訓(xùn)練與最優(yōu)模型的選取

模型訓(xùn)練總計迭代4000次，耗時5 h，一共使用了256000幅圖像，獲得了120個模型。訓(xùn)練過程中的損失變化如圖4所示，剛開始迭代時損失值很大，經(jīng)過大約200次迭代后迅速縮小并逐步趨于穩(wěn)定，震蕩幅度很小。

計算120個模型在測試集上的mAP值，結(jié)果見圖5，縱坐標為mAP值，范圍從0～100%，橫坐標是選定模型運行，對應(yīng)迭代次數(shù)。從圖5可看出，迭代次數(shù)從600次開始mAP值就已經(jīng)穩(wěn)定，最大97.66%，對應(yīng)迭代次數(shù)1100次，作為本研究

2.3 檢測閾值的選取

選定模型的PR曲線見圖 6，當置信閾值在0.05～0.95范圍時，PR曲線都在較高區(qū)間，顯示模型識別能力較強。

不同置信閾值下的精確率、召回率、IOU值和F1值曲線見圖 7，縱坐標表示取值范圍70%～100%，橫坐標表示置信閾值，取值范圍0.05～0.95。從圖6可知，隨著置信閾值的增加，精確率和IOU值逐漸上升，召回率逐漸下降，F(xiàn)1值呈現(xiàn)先上升再下降的過程。在本研究中，以F1值為主的基礎(chǔ)上選擇盡可能高的精確率，在F1值的波峰

3 討論與結(jié)論

本研究使用深度神經(jīng)網(wǎng)絡(luò)YOLOv3算法進行了圖像中百香果的識別試驗，試驗結(jié)果表明該模型的檢測精度較高，當使用0.65置信閾值時，精確率可達98%，召回率94%，IOU值83.96%，模型mAP值97.66%。

模型參數(shù)的優(yōu)化過程，精確率和召回率往往是此消彼長的情況。但在采摘機器人的應(yīng)用中，隨著采摘的進行，樣本分布和視角會發(fā)生變化，原本被預(yù)測為負類別的果實仍有被識別出來的可能。錯誤的預(yù)測則可能導(dǎo)致未成熟果實被誤摘，也可能對末端執(zhí)行器造成損壞。因此采摘識別的要求是寧缺勿濫，對精確率的要求遠高于召回率。因此本研究參數(shù)優(yōu)化以精確率為主。

測試過程表明預(yù)測能力與圖像質(zhì)量有較大關(guān)系，當圖像質(zhì)量較差時，盡管精確率和召回率仍然很高，但矩形框位置錯位較為嚴重，IOU明顯下降，表明模型還需要進一步訓(xùn)練以提高泛化能力，同時應(yīng)盡量提高采圖質(zhì)量。深度學(xué)習(xí)模型對計算能力要求較高，模型在測試機上的預(yù)測時間長達232毫秒。盡管在采摘流程中，初始識別定位并不需要很高的刷新率，但從功耗角度考慮，仍要在可能保持精度的情況下縮減網(wǎng)絡(luò)模型。

參考文獻：

[1]HENRY A M WILLIAMS，MARK H JONES，MAHLA NEJATI，et al.Robotic kiwifruit harvesting using machine vision，convolutional neural networks，and robotic arms[J].Biosystems Engineering，2019，181：140-156.

[2]YA XIONG，CHENG PENG，LARS GRIMSTAD，et al.Development and field evaluation of a strawberry harvesting robot with a cabledriven gripper[J].Computers and Electronics in Agriculture，2019，157：392-402.

[3]紀超，馮青春，袁挺，等.溫室黃瓜采摘機器人系統(tǒng)研制及性能分析[J].機器人，2011，33（4）：726-730.

[4]王曉楠，伍萍輝，馮青春，等.番茄采摘機器人系統(tǒng)設(shè)計與試驗[J].農(nóng)機化研究，2016，（4）：94-98.

[5]趙源深，貢亮，周斌，等.番茄采摘機器人非顏色編碼化目標識別算法研究[J].農(nóng)業(yè)機械學(xué)報，2016，47（7）：1-7.

[6]熊俊濤，劉振，湯林越，等.自然環(huán)境下綠色柑橘視覺檢測技術(shù)研究[J].農(nóng)業(yè)機械學(xué)報，2018，49（4）：45-52.

[7]JOSEPH REDMON，ALI FARHADI.YOLOv3：An Incremental Improvement[J].arXiv preprint，2018（8）：1804.02767V1.

[8]趙德安，吳任迪，劉曉洋，趙宇艷.基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機器人采摘蘋果定位[J].農(nóng)業(yè)工程學(xué)報，2019，35（3）：164-173.