龍 燕，李南南，高 研，何夢(mèng)菲，宋懷波

（1. 西北農(nóng)林科技大學(xué)機(jī)械與電子工程學(xué)院，楊凌 712100；2. 農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)物聯(lián)網(wǎng)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100；3. 陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點(diǎn)實(shí)驗(yàn)室，楊凌 712100）

0 引 言

中國是世界上最大的蘋果生產(chǎn)國，蘋果產(chǎn)業(yè)在中國農(nóng)業(yè)中占有重要地位[1]。傳統(tǒng)的采摘作業(yè)效率低、成本高，同時(shí)面臨著勞動(dòng)力短缺的問題，因此開發(fā)蘋果采摘機(jī)器人具有重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景[2]。視覺系統(tǒng)是蘋果采摘機(jī)器人的重要組成部分，其主要任務(wù)是利用果實(shí)顏色、紋理、形狀等特征將果實(shí)目標(biāo)與枝葉、天空等背景區(qū)域分開，實(shí)現(xiàn)果實(shí)的識(shí)別。然后利用深度傳感器等獲取深度信息，實(shí)現(xiàn)果實(shí)的準(zhǔn)確定位[3-5]，為末端執(zhí)行器提供數(shù)據(jù)來源和決策依據(jù)。其中，果實(shí)的識(shí)別是首要任務(wù)也是研究難點(diǎn)。在自然環(huán)境下，普遍存在背景復(fù)雜、光照多變、枝葉遮擋、重疊嚴(yán)重等因素，大大增加了果實(shí)目標(biāo)識(shí)別難度。如何在復(fù)雜環(huán)境中提高作業(yè)可靠性，保持較高的檢測精度，對(duì)實(shí)現(xiàn)果實(shí)產(chǎn)量估計(jì)及機(jī)械化采收起著決定作用[6]。因此，本研究主要利用深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)自然環(huán)境下蘋果目標(biāo)的檢測，為后續(xù)的果實(shí)定位與機(jī)械化采摘提供參考。

近年來，深度學(xué)習(xí)以其局部感知和權(quán)值共享的特點(diǎn)，在目標(biāo)檢測領(lǐng)域得到飛速發(fā)展。與傳統(tǒng)機(jī)器學(xué)習(xí)[7-8]相比，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法，可以自動(dòng)地從圖像中提取特征，獲得目標(biāo)的類別和位置等信息，學(xué)習(xí)能力強(qiáng)、精度高、魯棒性好?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法主要分為兩種類型，一種是以卷積神經(jīng)網(wǎng)絡(luò)的特征區(qū)域（Region with Convolutional Neural Networks feature，

RCNN）[9]、Fast-RCNN[10]、Faster-RCNN[11]為代表的雙階段檢測（two-stage detection），核心思想是候選框區(qū)域產(chǎn)生一系列稀疏的候選框，然后進(jìn)行回歸。Sa等[12]提出了基于Faster-RCNN的7種水果檢測方法，建立了一個(gè)準(zhǔn)確、快速、可靠的水果檢測系統(tǒng)。Yu等[13]提出基于Mask-RCNN網(wǎng)絡(luò)的草莓檢測模型，在重疊和不同光照下，有很好的檢測性能。Jia等[14]在掩模區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）檢測模型基礎(chǔ)上，通過殘差網(wǎng)絡(luò)（ResNet）與密接卷積網(wǎng)絡(luò)（DenseNet）相結(jié)合，實(shí)現(xiàn)了蘋果的檢測。王丹丹等[15]針對(duì)幼小綠蘋果，以ResNet-44全卷積網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，在R-FCN深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)了疏果前蘋果目標(biāo)的識(shí)別與定位。李林升等[16]以自然光源下的蘋果圖像為研究對(duì)象，設(shè)置9個(gè)候選框，同時(shí)增加1個(gè)滑動(dòng)窗口，改進(jìn)Faster R-CNN目標(biāo)檢測框架，模型精度高，但是候選框的產(chǎn)生需要大量的計(jì)算資源，檢測時(shí)間較長。另一種是以單個(gè)多框檢測器（Single Shot MultiBox Detector，SSD）[17]、YOLO[18-19]為代表的單階段檢測（one-stage detection），直接回歸出目標(biāo)框的位置，將目標(biāo)的定位問題轉(zhuǎn)換為回歸問題。Tian等[20]用DenseNet方法處理YOLOv3網(wǎng)絡(luò)中分辨率較低的特征層，YOLOv3-dense模型能有效地檢測重疊和遮擋條件下的蘋果目標(biāo)。Kuznetsova等[21]將特殊的前處理和后處理加入YOLOv3算法，用在蘋果果實(shí)收獲機(jī)器人上。彭紅星等[22]用遷移學(xué)習(xí)方法和隨機(jī)梯度下降算法對(duì)SSD模型進(jìn)行優(yōu)化，設(shè)計(jì)了一種四類水果通用檢測模型；趙德安等[23]提出一種基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位，構(gòu)建13層類似用于大規(guī)模圖像識(shí)別的深度卷積網(wǎng)絡(luò)（Very Deep Convolutional Networks for Large-Scale Image Recognition，VGG）的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了在復(fù)雜環(huán)境下果實(shí)的檢測。武星等[24]提出了一種基于輕量化YOLO卷積神經(jīng)網(wǎng)絡(luò)的蘋果目標(biāo)檢測方法，采用深度可分離卷積替換普通卷積，設(shè)計(jì)了一種同構(gòu)殘差塊串聯(lián)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于隨機(jī)梯度下降（Stochastic Gradient gescent，SGD）和自適應(yīng)矩估計(jì)（Adaptive moment estimation，Adam）的多階段學(xué)習(xí)優(yōu)化技術(shù)。

以上兩種網(wǎng)絡(luò)的目標(biāo)識(shí)別準(zhǔn)確度都依賴于預(yù)定義錨框（anchor boxes）參數(shù)，檢測性能對(duì)錨框尺寸、寬高比和數(shù)量等比較敏感，模型計(jì)算復(fù)雜、泛化能力差。Tian等[25]提出了一種單階段無錨點(diǎn)（anchor）目標(biāo)檢測（Fully Convolutional One-Stage object detection，F(xiàn)COS）網(wǎng)絡(luò)，基于語義分割上的全卷積網(wǎng)絡(luò)（Fully Convolutional Networks for semantic segmentation，F(xiàn)CN）[26]，實(shí)現(xiàn)了逐像素?zé)o錨框的目標(biāo)檢測，避免了錨框尺度、長寬比、超參數(shù)的優(yōu)化設(shè)計(jì)，極大地減少了訓(xùn)練所需的內(nèi)存和時(shí)間。

雖然FCOS網(wǎng)絡(luò)引入逐像素點(diǎn)回歸策略、特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）多級(jí)預(yù)測和中心點(diǎn)（center-ness）預(yù)測等方法提升小目標(biāo)識(shí)別效果，但FCOS網(wǎng)絡(luò)在對(duì)自然環(huán)境下蘋果目標(biāo)檢測時(shí)，對(duì)小目標(biāo)果實(shí)、部分遮擋果實(shí)、重疊果實(shí)和光照不均果實(shí)的漏檢測率仍然很高。

因此本文提出了一種改進(jìn)FCOS網(wǎng)絡(luò)設(shè)計(jì)方法，以適用于自然環(huán)境下蘋果目標(biāo)檢測。首先骨干網(wǎng)絡(luò)采用darknet19以減少計(jì)算量。在損失函數(shù)中加入GIoU，增強(qiáng)多果實(shí)定位精度，并引入焦點(diǎn)損失（Focal loss）損失，解決正負(fù)難易樣本不平衡的問題。同時(shí)，在網(wǎng)絡(luò)訓(xùn)練時(shí)加入多尺度訓(xùn)練，提升對(duì)小目標(biāo)的識(shí)別效果。最后利用改進(jìn)的FCOS網(wǎng)絡(luò)對(duì)自然環(huán)境下不同密集程度、不同光照、不同遮擋的蘋果目標(biāo)進(jìn)行檢測，驗(yàn)證算法的有效性。本文研究提出了一種適用于自然環(huán)境下蘋果目標(biāo)檢測的方法，為實(shí)現(xiàn)蘋果生長監(jiān)測、機(jī)械化采摘等提供依據(jù)，同時(shí)也為其果實(shí)的識(shí)別提供參考。

1 改進(jìn)FCOS網(wǎng)絡(luò)設(shè)計(jì)

1.1 改進(jìn)FCOS網(wǎng)絡(luò)結(jié)構(gòu)

FCOS主要采用ResNet50和ResNet101作為骨干網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)推斷速度進(jìn)行優(yōu)化時(shí)，骨干網(wǎng)絡(luò)替換為層數(shù)更少更輕便的darknet19，本文利用darknet19為骨干網(wǎng)絡(luò)來搭建蘋果檢測模型，輸入圖片首先經(jīng)過C1，C2，C3，C4，C5，5個(gè)卷積模塊，每經(jīng)過一個(gè)卷積模塊特征圖變?yōu)樵瓉淼囊话?，從darknet19網(wǎng)絡(luò)中提取C3，C4，C5的特征圖，C5經(jīng)過1×1卷積上采樣得到P5，C4經(jīng)過1×1卷積上采樣與P5相加融合得到P4，C3經(jīng)過1×1卷積上采樣與P4相加融合得到P3層，P6、P7是P5通過卷積下采樣得到，最后得到P3、P4、P5、P6、P7特征圖，分別對(duì)應(yīng)原圖大小的1/8、1/16、1/32、1/64、1/128。5個(gè)特征圖分別經(jīng)過5個(gè)3×3卷積后得到分類、回歸、中心度分支。分類支路輸出的通道數(shù)為2，分別表示果實(shí)和背景?；貧w的目標(biāo)是(l，t，r，b)，即中心點(diǎn)到預(yù)測框的左、上、右和下的距離，不同的特征層需要回歸不同的尺寸范圍，并利用max(l，t，r，b)的范圍進(jìn)行劃分。在回歸分支中加入中心度來濾除遠(yuǎn)離目標(biāo)中心的大量低質(zhì)量檢測框，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 損失函數(shù)

網(wǎng)絡(luò)的損失函數(shù)L由目標(biāo)類別損失Lcls，目標(biāo)位置回歸損失Lreg和目標(biāo)中心度損失Lcenter-ness組成，即

1.2.1 Focal loss損失

在自然環(huán)境中，果實(shí)在圖像中的像素占比較小，使模型過于關(guān)注訓(xùn)練簡單的樣本，忽視難分類的樣本，所以需要用一個(gè)合適的函數(shù)去度量難分類和易分類樣本對(duì)總損失的貢獻(xiàn)，F(xiàn)ocal loss[27]函數(shù)在不影響原檢測速度下，使模型在訓(xùn)練時(shí)更加關(guān)注難分類的樣本，從而更有效地優(yōu)化網(wǎng)絡(luò)。Focal loss函數(shù)的數(shù)學(xué)公式如下

式中pt表示蘋果類別的概率，γ是調(diào)制系數(shù)。γ越大，簡單樣本所占比重降低的速率就越快。γ通過減少訓(xùn)練時(shí)簡單樣本所占的權(quán)重，使得模型更專注于難分類的樣本。αt是權(quán)重系數(shù)，αt取值為[0,1]，用來調(diào)整正負(fù)樣本比例不平衡問題。當(dāng)γ=1，αt=0時(shí)，F(xiàn)ocal loss損失函數(shù)即為交叉熵?fù)p失函數(shù)。

pt越大，(1-pt)γ越小，γ越大，調(diào)節(jié)簡單樣本降低的速率就越快，調(diào)制系數(shù)γ通過減少訓(xùn)練時(shí)簡單樣本所占的權(quán)重，從而使得模型更專注于難分類的樣本。

1.2.2 回歸損失

交并比（Intersection over Union，IoU）是目標(biāo)檢測任務(wù)中最常用的指標(biāo)，在基于錨框的算法中，IoU不僅可以用來確定正負(fù)樣本，而且可以用來反映預(yù)測檢測框與真實(shí)檢測框的相似性，IoU的計(jì)算公式為

式中A,B分別表示預(yù)測框與真實(shí)框的面積。IoU取值為

[0，1]。

IoU作為損失函數(shù)存在兩個(gè)問題：1）若兩個(gè)目標(biāo)框無重疊，則IoU為0，損失為0，網(wǎng)絡(luò)無法優(yōu)化。2）IoU無法正確區(qū)分兩個(gè)目標(biāo)之間的不同距離。如圖2所示，圖a和圖b的IoU都為0，但是圖2b中預(yù)測框與真實(shí)框的距離更近，檢測效果更好。

因此本文利用GIoU[28]邊框回歸損失函數(shù)，以進(jìn)一步反映預(yù)測框和檢測框的重合程度，提高檢測準(zhǔn)確度。GIoU的計(jì)算公式為

式中C表示包含A和B的最小矩形面積，GIoU取值范圍為[-1,1]，預(yù)測框與真實(shí)框重合時(shí)為1，不重合且距離無限遠(yuǎn)時(shí)取值為-1。類似于IoU，GIoU作為距離度量可以保留度量的所有屬性，GIoU不僅關(guān)注重疊區(qū)域，而且GIoU的值可以更好地反映預(yù)測框和真實(shí)框之間如何發(fā)生重疊。

以GIoU作為邊框回歸損失函數(shù)，計(jì)算公式如下：

1.2.2 中心度損失

中心度損失使用交叉熵?fù)p失函數(shù)抑制距離目標(biāo)中心較遠(yuǎn)位置產(chǎn)生的很多低質(zhì)量預(yù)測框，快速過濾負(fù)樣本，降低非極大值抑制（Non-Maximum Suppression，NMS）負(fù)擔(dān)，提高召回率和檢測性能。中心損失采用二值交叉損失函數(shù)，中心度損失如公式6所示。

式中l(wèi)*,r*,t*,b*分別為當(dāng)前像素點(diǎn)到目標(biāo)框的邊界的左、右、上、下距離。

因此，損失函數(shù)L為

2 試驗(yàn)數(shù)據(jù)

2.1 數(shù)據(jù)采集

圖像數(shù)據(jù)采集地點(diǎn)位于陜西省咸陽市乾縣宏霖農(nóng)業(yè)蘋果園，采集時(shí)間為2020年8月5日（陰天）上午8:00-11:30，8月10日下午（晴天）2:30-5:30，蘋果品種為華碩。采集設(shè)備為華為P30，樣本采集過程中，模擬機(jī)器人采收流程，攝像頭在果樹單邊固定位置，從樹冠外圍、上部、下部距離果實(shí)50 cm左右的距離進(jìn)行拍攝，采集樹葉遮檔，順光、逆光、側(cè)光等情況下的果實(shí)，以保證樣本的多樣性。共采集964幅圖像，包含未遮擋果實(shí)209幅，枝葉遮擋350幅，果實(shí)重疊405幅，其中側(cè)光784幅，順光86幅，逆光96幅。使用LabelImg對(duì)圖像進(jìn)行標(biāo)注，按照PASCAL VOC數(shù)據(jù)集格式保存圖像的類別和（Xmin，Xmax，Ymin，Ymax），（Xmin，Xmin）為目標(biāo)果實(shí)的左上角坐標(biāo)，（Ymax，Ymax）為目標(biāo)果實(shí)的右下角坐標(biāo)，最后生成XML格式的標(biāo)注文件，原圖大小3 456×4 608像素，為了方便模型的訓(xùn)練，將圖片壓縮至640×800像素。

2.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)量過少容易導(dǎo)致深度學(xué)習(xí)模型過擬合，利用數(shù)據(jù)增強(qiáng)來擴(kuò)大訓(xùn)練集樣本，以提高模型的泛化能力和魯棒性。使用亮度、對(duì)比度、色調(diào)、飽和度調(diào)整、水平鏡像、色彩擾動(dòng)以及加入噪聲等方式進(jìn)行數(shù)據(jù)增強(qiáng)，同時(shí)對(duì)圖像的標(biāo)注文件進(jìn)行相應(yīng)的變換。最后共獲得10 604幅圖像，按照8∶2的比例劃分訓(xùn)練集8 484幅，測試集2 120幅。

3 模型的訓(xùn)練與試驗(yàn)

3.1 模型訓(xùn)練

試驗(yàn)硬件平臺(tái)為深度學(xué)習(xí)工作站，其配置為AMDW-2245@3.90GHz×12，內(nèi)存64 GB和顯存11 GB的GeForce RTX 2080 Ti。操作系統(tǒng)為Win10，安裝CUDA和CUDNN，python版本為3.7，pytorch版本為1.5，torchvision版本為0.5。

模型訓(xùn)練時(shí)，采用4個(gè)步長樣本作為一批，每迭代一批更新一次損失，迭代2 410次為一期，每期保存一次訓(xùn)練權(quán)重，共訓(xùn)練24期。本試驗(yàn)?zāi)Ｐ陀?xùn)練使用遷移學(xué)習(xí)，利用Imgnet上darknet19的預(yù)訓(xùn)練權(quán)重進(jìn)行微調(diào)。

網(wǎng)絡(luò)多尺度訓(xùn)練為輸入的圖像大小在（480,800）、（512,800）、（544,800）、（576,800）、（608,800）、（640,800）內(nèi)隨機(jī)選擇。不同尺寸大小的圖片輸入網(wǎng)絡(luò)當(dāng)中，使網(wǎng)絡(luò)能夠適應(yīng)不同大小果實(shí)，加強(qiáng)網(wǎng)絡(luò)的性能。

權(quán)值更新用組標(biāo)準(zhǔn)化（Group Normalization，GN）進(jìn)行正則化，以減少小批量樣本訓(xùn)練帶來的精度損失，在模型訓(xùn)練初期，為了減緩模型在初始階段對(duì)小批量樣本的提前過擬合現(xiàn)象并保持模型深層的穩(wěn)定性，設(shè)置了一個(gè)熱身階段。模型學(xué)習(xí)率在第1期時(shí)從0線性增加到0.002，采用SGD優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，動(dòng)量參數(shù)為0.9，從第2期到第17期學(xué)習(xí)率保持為0.002，從第18期到第21期學(xué)習(xí)率為0.000 2，從第22期到24期學(xué)習(xí)率為0.000 02，損失函數(shù)中αt值為0.75，γ值為2。

本研究在測試集上采取準(zhǔn)確率（Precision，P）、檢測精度均值（mean Average Precision，mAP）對(duì)檢測性能進(jìn)行評(píng)價(jià)。

式中TP表示預(yù)測的正實(shí)際為正樣本的數(shù)量，F(xiàn)P表示預(yù)測的正實(shí)際為負(fù)樣本的數(shù)量，F(xiàn)N表示預(yù)測的負(fù)實(shí)際為正樣本的數(shù)量，通過P和召回率（Recall，R）可以繪制PR曲線，AP就是PR曲線下的面積，mAP為蘋果和背景的AP的平均值。

從訓(xùn)練日志得到損失值數(shù)據(jù)，繪制損失值，如圖3所示。

從圖3可以看出，前1 000次損失值迅速下降，這得益于遷移學(xué)習(xí)，darknet網(wǎng)絡(luò)使用了Imgnet上的預(yù)訓(xùn)練權(quán)重。迭代至35 000次后損失曲線漸漸穩(wěn)定，只有稍許振蕩。

3.2 試驗(yàn)結(jié)果與分析

3.2.1 不同密集程度果實(shí)的對(duì)比試驗(yàn)

當(dāng)果實(shí)尺寸大，數(shù)量少，目標(biāo)輪廓清晰時(shí)，訓(xùn)練時(shí)可獲得更多有用信息，檢測效果好。當(dāng)果實(shí)尺寸小，數(shù)量多時(shí)，有效信息較小，識(shí)別難度大，漏檢概率大。因此本研究對(duì)雙果、多果和密集果實(shí)進(jìn)行檢測效果對(duì)比試驗(yàn)。檢測的結(jié)果如圖4所示。雙果時(shí)，F(xiàn)COS和改進(jìn)FCOS網(wǎng)絡(luò)均能準(zhǔn)確識(shí)別蘋果目標(biāo)，但在多果或密集果實(shí)場景中，傳統(tǒng)FCOS網(wǎng)絡(luò)出現(xiàn)漏檢情況，如圖中圓圈標(biāo)記部分。因此改進(jìn)FCOS網(wǎng)絡(luò)在多果和密集果實(shí)條件下具有更好的檢測效果。而改進(jìn)FCOS網(wǎng)絡(luò)幾乎檢測到所有果實(shí)目標(biāo)。原因是改進(jìn)FCOS網(wǎng)絡(luò)引入了多尺度訓(xùn)練，輸入不同尺度圖像訓(xùn)練能夠使模型適應(yīng)尺寸較小的果實(shí)，因而在多果和密集果實(shí)條件下具有更好的檢測效果。

3.2.2 重疊和枝葉遮擋的對(duì)比試驗(yàn)

在自然環(huán)境下，會(huì)產(chǎn)生果實(shí)間相互遮擋和果實(shí)被枝葉和枝干遮擋的情況。失去果實(shí)部分的輪廓信息，增加了果實(shí)檢測的難度。因此本研究對(duì)果實(shí)間相互重疊和不同程度枝干遮擋情況進(jìn)行試驗(yàn)。果實(shí)間遮擋檢測結(jié)果如圖5所示，可以看到，當(dāng)遮擋較嚴(yán)重時(shí)，傳統(tǒng)FCOS網(wǎng)絡(luò)出現(xiàn)漏檢，如圖中圓圈標(biāo)記的果實(shí)未檢測出。當(dāng)果實(shí)受枝葉遮擋嚴(yán)重時(shí)，改進(jìn)FCOS網(wǎng)絡(luò)的目標(biāo)框大小更接近于果實(shí)真實(shí)輪廓的大小。改進(jìn)FCOS網(wǎng)絡(luò)則不受影響，檢測到所有果實(shí)目標(biāo)。原因是改進(jìn)FCOS網(wǎng)絡(luò)引入GIoU loss，GIoU不僅關(guān)注重疊區(qū)域，還關(guān)注其他的非重合區(qū)域，能更好反映預(yù)測框和真實(shí)框重合度，使網(wǎng)絡(luò)能夠關(guān)注那些受到果實(shí)遮擋和樹葉遮擋的極難識(shí)別的目標(biāo)，從而提升受到遮擋果實(shí)的檢測效果。

3.2.3 不同光照條件下的對(duì)比試驗(yàn)

在順光、逆光和側(cè)光條件下，果實(shí)會(huì)呈現(xiàn)偏亮或偏暗。順光時(shí)，蘋果表面的亮度會(huì)有一定的增強(qiáng)，紋理不夠清晰。逆光時(shí)，圖片整體偏暗，對(duì)比度低。側(cè)光時(shí)，蘋果的輪廓比較明顯，紋理比較清晰。不同光照條件下的檢測效果如圖6所示。順光和逆光條件下，傳統(tǒng)FCOS網(wǎng)絡(luò)均有漏檢，而改進(jìn)FCOS網(wǎng)絡(luò)可以實(shí)現(xiàn)較好的檢測效果，具有較好的魯棒性。改進(jìn)FCOS引入Focal loss，網(wǎng)絡(luò)能夠關(guān)注那些受到果實(shí)遮擋和樹葉遮擋的極難識(shí)別的目標(biāo)，從而提升受到遮擋果實(shí)的檢測效果，原因是順光和逆光條件下的樣本數(shù)量較少，傳統(tǒng)FCOS網(wǎng)絡(luò)不能準(zhǔn)確提取這兩種光照條件下的果實(shí)目標(biāo)特征，導(dǎo)致漏檢。改進(jìn)FCOS引入Focal loss，增加對(duì)順光、逆光樣本的權(quán)重，從而使不同光照條件下的訓(xùn)練樣本數(shù)量趨于均衡，提升光照不均樣本目標(biāo)的檢測能力。

3.2.4 不同網(wǎng)絡(luò)檢測精度對(duì)比試驗(yàn)

本研究對(duì)不同改進(jìn)程度的FCOS網(wǎng)絡(luò)進(jìn)行試驗(yàn)。僅使用多尺度訓(xùn)練記為FCOS-A，損失函數(shù)僅使用Focal loss的網(wǎng)絡(luò)記為FCOS-B，損失函數(shù)僅使用GIoU loss作為邊界框損失的記為FCOS-C，同時(shí)進(jìn)行以上所有改進(jìn)的記為改進(jìn)FCOS。為了進(jìn)一步驗(yàn)證網(wǎng)絡(luò)的有效性，加入Faster-RCNN、SSD、YOLOv4進(jìn)行對(duì)比。在同一個(gè)蘋果數(shù)據(jù)集上對(duì)以上模型進(jìn)行訓(xùn)練和測試。測試集mAP、準(zhǔn)確率P如表1所示。

表1 不同網(wǎng)絡(luò)檢測精度對(duì)比Table 1 Comparison of the detection accuracies of different network

由表1可知，相比與傳統(tǒng)FCOS網(wǎng)絡(luò)，本文改進(jìn)的FCOS-A、FCOS-B、FCOS-C、改進(jìn)FCOS檢測性能有一定的提升，并且精度高于Faster-RCNN、SSD和YOLOv4，由此說明多尺度訓(xùn)練，使用GIoU loss、Focal loss能夠提升網(wǎng)絡(luò)的性能。

3.2.4 不同網(wǎng)絡(luò)檢測時(shí)間對(duì)比試驗(yàn)

對(duì)基于ResNet50的FCOS網(wǎng)絡(luò)、改進(jìn)FCOS、Faster-RCNN、SSD、YOLOV4的檢測時(shí)間進(jìn)行試驗(yàn)。檢測時(shí)間，模型大小如表2所示。

由表2可以看出，以darknet19為骨干網(wǎng)絡(luò)的改進(jìn)FCOS的檢測時(shí)間比FCOS-ResNet50快15.1 ms，較FCOS-ResNet50檢測速度提升23.0%。

表2 不同網(wǎng)絡(luò)檢測時(shí)間對(duì)比Table 2 Comparison of different network of detection time

改進(jìn)FCOS的檢測時(shí)間比Faster-RCNN和SSD，分別快452.5 ms和69.5 ms，檢測速度分別提升90.0%和57.9%。與目前檢測速度較快的YOLOv4相比，只慢了17.2 ms。改進(jìn)FCOS的模型大小與Faster-RCNN、SSD和YOLOv4相比減少了47.8%，48.8%和56.6%。

4 結(jié) 論

1）為提高自然環(huán)境蘋果果實(shí)的識(shí)別準(zhǔn)確度，本研究在傳統(tǒng)FCOS網(wǎng)絡(luò)基礎(chǔ)上提出了改進(jìn)FCOS網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用體積更小的骨干網(wǎng)絡(luò)darknet19來進(jìn)行特征提取，損失函數(shù)使用GIoU損失替代FCOS網(wǎng)絡(luò)模型的邊框損失，并在分類損失中使用Focal損失，同時(shí)采用多尺度訓(xùn)練，極大提升了自然環(huán)境下蘋果果實(shí)的檢測準(zhǔn)確度。

2）本研究使用10 604張包含枝葉遮擋、果實(shí)重疊、多種光照條件等的蘋果圖像對(duì)改進(jìn)FCOS網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。試驗(yàn)結(jié)果表明，本文提出的網(wǎng)絡(luò)對(duì)自然環(huán)境下的蘋果果實(shí)具有良好的檢測能力。在工作站上的檢測準(zhǔn)確率和平均精度分別為96.0%和96.3%，優(yōu)于傳統(tǒng)FCOS網(wǎng)絡(luò)、Faster-RCNN、SSD和YOLOv4網(wǎng)絡(luò)；檢測速度為每幅圖像50.5 ms，優(yōu)于傳統(tǒng)FCOS網(wǎng)絡(luò)、Faster-RCNN和SSD，稍慢于目前檢測速度較快的YOLOv4網(wǎng)絡(luò)。