易佳昕，張榮華*，劉長(zhǎng)征，侯彤瑜，羅宏海

（1 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆 石河子 832003；2 石河子大學(xué)農(nóng)學(xué)院，新疆 石河子 832003）

棉花是我國(guó)種植業(yè)在產(chǎn)出量和消費(fèi)量上名列前茅的大田經(jīng)濟(jì)作物[1]。目前，新疆棉花區(qū)成為了中國(guó)最大的優(yōu)質(zhì)產(chǎn)棉基地，其棉花產(chǎn)量連續(xù)5年占全國(guó)棉花總產(chǎn)量75%以上[2]。在棉田管理中，會(huì)發(fā)生患病、蟲(chóng)害和雜草等影響棉花產(chǎn)量的消極因素，其中雜草會(huì)與棉花幼苗爭(zhēng)奪土壤養(yǎng)分、水分、光照和生長(zhǎng)發(fā)育空間，同時(shí)也為病蟲(chóng)害的滋生提供了適應(yīng)條件，這些情況都會(huì)造成棉花產(chǎn)量的下降，每年年均損失達(dá)到14%～16%，嚴(yán)重影響優(yōu)質(zhì)棉花的高效率產(chǎn)出[3]。目前主流的除草方法包括人力除草、機(jī)器除草和化學(xué)除草，這不僅拉高了成本、降低了效率，還減少了土壤肥力[4]、干擾了生態(tài)平衡[5]、影響了棉花品質(zhì)[6]，因此需要迫切解決棉田幼苗與雜草的快速識(shí)別和精準(zhǔn)定位問(wèn)題[7]。

傳統(tǒng)的雜草識(shí)別研究主要是圖像識(shí)別，一般需要根據(jù)農(nóng)作物和雜草在圖像中所表達(dá)的差異性對(duì)檢測(cè)目標(biāo)進(jìn)行分類，通過(guò)手動(dòng)提取圖像中的顏色、紋理和形狀等綜合特征來(lái)建立模型[8-9]，但這種方法對(duì)數(shù)據(jù)所獲取的環(huán)境有極大相關(guān)性，尤其在自然條件下，伴生雜草的復(fù)雜背景嚴(yán)重影響了物體檢測(cè)的準(zhǔn)確性，實(shí)際情況中難以適用。

現(xiàn)階段的主流研究是基于深度學(xué)習(xí)的物體識(shí)別與定位，此方法不僅能自動(dòng)提取圖像特征，而且具有極強(qiáng)的數(shù)據(jù)表達(dá)能力，通過(guò)學(xué)習(xí)數(shù)據(jù)的深層次特征擬合復(fù)雜環(huán)境下物體類別與位置，在農(nóng)作物識(shí)別與定位領(lǐng)域應(yīng)用廣泛?；诖?，薛金利等[10]使用無(wú)人機(jī)遙感技術(shù)，提出了一種基于改進(jìn)的YOLOv3模型的棉田雜草識(shí)別算法，相較于原始模型，此模型雜草檢測(cè)精度在0.29 cm數(shù)據(jù)集上識(shí)別率和查全率分別達(dá)到了94.06%和90.26%。鄧向武等[11]提出了一種基于深度卷積特征的方法，以稻田幼苗為研究對(duì)象，采用支持向量機(jī)和k最鄰近算法對(duì)雜草進(jìn)行辨別，識(shí)別精度均高于94%。孟慶寬等[12]針對(duì)自然條件下玉米苗期與雜草的識(shí)別問(wèn)題，提出了一種基于輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)合特征層網(wǎng)絡(luò)融合的SSD模型，在復(fù)雜背景下的識(shí)別精度為88.27%，與經(jīng)典SSD模型相比，精度提高了2.66%。

以上研究方法雖然可以提高農(nóng)作物的檢測(cè)精度，但不能做到實(shí)時(shí)性，目前，F(xiàn)aster R-CNN算法是速度和精度最為均勻的目標(biāo)檢測(cè)網(wǎng)絡(luò)。權(quán)龍哲等[13]提出的預(yù)訓(xùn)練網(wǎng)絡(luò)優(yōu)化了Faster R-CNN，對(duì)玉米幼苗的不同階段識(shí)別率高達(dá)97.71%，與此同時(shí)實(shí)現(xiàn)了多種天氣和相機(jī)條件下的檢測(cè)。樊湘鵬等[14]優(yōu)化了Faster R-CNN模型，采用4種特征提取網(wǎng)絡(luò)對(duì)棉花苗期的雜草分類識(shí)別，發(fā)現(xiàn)VGG16網(wǎng)絡(luò)針對(duì)不同天氣條件下識(shí)別效果最優(yōu)，平均識(shí)別精度為94.21%，綜上所述，以Faster R-CNN為基礎(chǔ)的模型在農(nóng)田小目標(biāo)識(shí)別中占據(jù)一定優(yōu)勢(shì)[15-17]。

新疆棉苗大多采用滴灌加地膜來(lái)減少水分蒸發(fā)，雜草之間間距大，多為獨(dú)立個(gè)體，用上述方法識(shí)別起來(lái)相對(duì)容易，為解決自然環(huán)境下棉田種植的作物伴生雜草多、背景復(fù)雜等問(wèn)題，本文對(duì)新疆試驗(yàn)棉田進(jìn)行不鋪設(shè)地膜的實(shí)地處理，以棉花幼苗與伴生雜草為研究對(duì)象，提出一種改進(jìn)的Faster R-CNN棉田雜草檢測(cè)方法，利用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)棉田復(fù)雜背景下幼苗和雜草的快速識(shí)別與精準(zhǔn)定位，為真正實(shí)現(xiàn)田間雜草精準(zhǔn)防控奠定前提基礎(chǔ)。

1 資料與方法

1.1 數(shù)據(jù)采集與處理

1.1.1 圖像數(shù)據(jù)獲取

研究區(qū)位于新疆生產(chǎn)建設(shè)兵團(tuán)第八師農(nóng)業(yè)部石河子科學(xué)觀測(cè)實(shí)驗(yàn)站，實(shí)驗(yàn)所需數(shù)據(jù)于2021年5月14日—24日分2個(gè)階段通過(guò)無(wú)人機(jī)平臺(tái)獲取，時(shí)間段為下午13：00-16：00太陽(yáng)光線充足的條件下，采集棉花幼苗2～4葉期間的遙感影像。飛行平臺(tái)采用大疆DJI四旋羽翼無(wú)人機(jī)Phantom 4 Advanced，在視野開(kāi)闊、無(wú)障礙物、無(wú)電磁干擾的環(huán)境下飛行，定位模式下的最大飛行速度為50 km·h-1，最長(zhǎng)續(xù)航能力為30 min。搭載CMOS大疆自動(dòng)對(duì)焦相機(jī)，起飛重量不超過(guò)1.4 kg，單幅圖像最大分辨率為5 472×3 648 pixel，格式為JPEG。采集圖像時(shí)相機(jī)設(shè)置為懸停模式，飛行高度設(shè)置為10 m，同時(shí)配備GPS和GLONASS雙模衛(wèi)星定位模塊。

1.1.2 數(shù)據(jù)預(yù)處理

無(wú)人機(jī)影像預(yù)處理分為3個(gè)步驟：

（1）圖像鑲嵌。使用Pix4Dmapper軟件對(duì)單幅遙感圖像進(jìn)行拼接，拼接規(guī)則是圖像的研究區(qū)域出現(xiàn)不在覆蓋范圍的情況下，需要將其圖像與多幅圖像拼接起來(lái)形成一幅包括全區(qū)的完整圖像。

（2）圖像裁剪。處理鑲嵌時(shí)，圖像研究之外的區(qū)域會(huì)出現(xiàn)異常值，按照自然區(qū)劃邊界進(jìn)行圖像的分幅裁剪。

（3）圖像切片分割。使用Adobe photoshop cc 2020 軟件對(duì)裁剪后的研究區(qū)域進(jìn)行圖像切片分割，預(yù)處理后的數(shù)據(jù)為模型訓(xùn)練做準(zhǔn)備。

1.1.3 數(shù)據(jù)增強(qiáng)

卷積神經(jīng)網(wǎng)絡(luò)模型需要大量樣本圖像，才能避免因樣本尺度不同的問(wèn)題所造成的失真或過(guò)擬合等情況，同時(shí)消除因圖像亮度或飽和度在視覺(jué)效果上產(chǎn)生的噪聲，訓(xùn)練出好的識(shí)別效果[18]。為了擴(kuò)大數(shù)據(jù)樣本，增加圖像的多樣性，主要利用幾何變換和顏色變換的方法對(duì)無(wú)人機(jī)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，基于此，對(duì)原始圖像進(jìn)行垂直水平翻轉(zhuǎn)、亮度增強(qiáng)和亮度減弱操作，其中將原始圖像的亮度參數(shù)調(diào)高一倍得到亮度增強(qiáng)的數(shù)據(jù)集，亮度設(shè)置至原來(lái)的1/2得到亮度減弱的數(shù)據(jù)集，最后，獲得一個(gè)2 000張圖像的總數(shù)據(jù)集。

以多目標(biāo)復(fù)雜背景下的棉田雜草圖像為例，數(shù)據(jù)增強(qiáng)后得到的圖像效果如圖1所示。

圖1 圖像數(shù)據(jù)增強(qiáng)效果

1.2 改進(jìn)的Faster R-CNN網(wǎng)絡(luò)

1.2.1 Faster R-CNN目標(biāo)檢測(cè)算法

經(jīng)典的Faster R-CNN是two-stage目標(biāo)檢測(cè)算法的典型代表[19]，該網(wǎng)絡(luò)主要由2個(gè)重要部分組成：（1）區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）；（2）Fast R-CNN部分。第1部分RPN通過(guò)錨（Anchor）在單一尺度的特征圖上生成不同尺度和比例的anchor boxes，感興趣的anchor boxes生成前景，利用RPN生成的邊界框回歸參數(shù)將每個(gè)anchor調(diào)整到所需要的候選框，并計(jì)算出目標(biāo)概率得分；第2部分Fast R-CNN包括：①ROI Pooling層：確定每個(gè)候選區(qū)域，得到固定大小的maps；②Softmax層：解決多檢測(cè)目標(biāo)的分類預(yù)測(cè)問(wèn)題；③邊界框回歸層（Bounding box regression）：解決檢測(cè)目標(biāo)的定位問(wèn)題。

Faster R-CNN目標(biāo)檢測(cè)算法的流程分為3個(gè)步驟：首先，將歸一化得到的圖像輸入特征提取網(wǎng)絡(luò)預(yù)訓(xùn)練出對(duì)應(yīng)的特征圖；其次，通過(guò)RPN模塊尋找前景（感興趣的anchor boxes生成前景）并調(diào)整邊界框回歸參數(shù)，將結(jié)果映射到第1步所提取的特征圖獲得相應(yīng)特征矩陣；最后，每個(gè)特征矩陣通過(guò)Fast R-CNN中的ROI Pooling層中提取特征，確定候選框，使用SoftMax來(lái)確定候選區(qū)域的類別，同時(shí)用邊界框回歸去調(diào)整錨點(diǎn)以獲得準(zhǔn)確的位置，實(shí)現(xiàn)對(duì)物體的分類與定位。

1.2.2 改進(jìn)的Faster R-CNN算法

1.2.2.1 特征提取網(wǎng)絡(luò)

經(jīng)典的Faster R-CNN網(wǎng)絡(luò)模型使用是ZFNet和VGG16作為特征提取網(wǎng)絡(luò)。VGG16網(wǎng)絡(luò)相較于ZFNet所提取的特征圖表現(xiàn)效果突出，在研究不同的實(shí)際情況中應(yīng)用廣泛。VGG16由16個(gè)網(wǎng)絡(luò)層構(gòu)成（13個(gè)卷積層和3個(gè)全連接層），其特點(diǎn)是堆疊多個(gè)3×3的卷積核來(lái)代替大尺度卷積核以減少所需參數(shù)，擁有相同的感受野。隨著網(wǎng)絡(luò)層次的加深在一定程度上能影響模型的識(shí)別效果，ResNet50成為卷積神經(jīng)網(wǎng)絡(luò)中性能較好的網(wǎng)絡(luò)結(jié)構(gòu)，并且所提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)因?yàn)樵黾恿硕踢B接結(jié)構(gòu)、組合了多個(gè)殘差模塊，從而消除了梯度消失的問(wèn)題。結(jié)構(gòu)示意圖如圖2所示。

圖2 殘差塊結(jié)構(gòu)圖

ResNet50網(wǎng)絡(luò)由5個(gè)階段構(gòu)成，分別為conv1_x、conv2_x、conv3_x、conv4_x、conv5_x，階段1可視為卷積層、Batch Normalization（BN）層、ReLU函數(shù)激活層和平均池化下采樣層，階段2至階段4則都為Identity Block和Conv Block所組成的殘差結(jié)構(gòu)級(jí)聯(lián)模塊，最后輸出的特征圖為RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)的物體分類和定位做準(zhǔn)備。本實(shí)驗(yàn)在經(jīng)典Faster R-CNN模型的基礎(chǔ)上，分別選擇ResNet50和MobileNetv2作為特征提取網(wǎng)絡(luò)，對(duì)比并驗(yàn)證VGG16、ResNet50和MobileNetv2對(duì)模型識(shí)別性能的影響。

1.2.2.2 FPN

2017年Lin等[20]提出了一種權(quán)衡速度和精度的特征金字塔網(wǎng)絡(luò)算法（Feature Pyramid Network，F(xiàn)PN），該算法的提出大程度提高了目標(biāo)檢測(cè)精度。FPN算法基于全卷積網(wǎng)絡(luò)可以預(yù)測(cè)不同尺度和尺寸的特征圖，利用不同低層特征圖上的高分辨信息與不同高層的語(yǔ)義信息進(jìn)行融合，將目標(biāo)預(yù)測(cè)出來(lái)，其網(wǎng)絡(luò)結(jié)構(gòu)包括3個(gè)部分：自底而上的通道、自頂而下的通道和側(cè)向連接。特征金字塔網(wǎng)絡(luò)融合結(jié)構(gòu)如圖3所示。

圖3 特征金字塔網(wǎng)絡(luò)融合結(jié)構(gòu)圖

圖4 基于FPN的ResNet50改進(jìn)模型圖

自底而上的通道：融合FPN的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)輸入的圖像經(jīng)過(guò)卷積層conv1_x、conv2_x、conv3_x、conv4_x和conv5_x，獲得不同尺度的特征圖。

自頂而下的通道和側(cè)向連接：conv5_x生成的高語(yǔ)義特征通過(guò)2倍上采樣處理操作，使特征尺度擴(kuò)大至原來(lái)的2倍，相鄰層conv4_x生成的特征經(jīng)過(guò)1×1的卷積核（保證特征圖深度不變）得到側(cè)邊輸出，使用側(cè)向連接的方法把所獲取的高層次特征圖和低層次特征圖進(jìn)行融合，最后經(jīng)過(guò)3×3的卷積核（避免上采樣混疊效應(yīng)）生成此層上最新的精細(xì)特征圖。

后面每層conv4_x、conv3_x、conv2_x、conv1_x都使用相同的處理方法，最終得到特征金字塔網(wǎng)絡(luò)各層最新的精細(xì)特征圖{P1,P2,P3,P4,P5}。將各層最新的特征圖分別輸入RPN網(wǎng)絡(luò)，且每一層特征圖{P1,P2,P3,P4,P5}分別對(duì)應(yīng)anchor的尺度為{8×8,16×16,32×32}，比例為{1∶2,1∶1,2∶1}，共9種類型的anchor boxes,經(jīng)過(guò)調(diào)整產(chǎn)生的感興趣區(qū)域通過(guò)ROI Align操作輸入Fast R-CNN網(wǎng)絡(luò)，預(yù)測(cè)出物體類別和位置坐標(biāo)。融合FPN的ResNet50網(wǎng)絡(luò)具體構(gòu)建方式如圖4所示。

1.2.2.3 ROI Align

在兩階段目標(biāo)檢測(cè)框架中，ROI Pooling層的作用是確定物體的候選框大小與位置。具體操作是根據(jù)預(yù)測(cè)框的位置坐標(biāo)將ROI映射到feature maps對(duì)應(yīng)位置，將映射后的區(qū)域劃分為大小相同的子區(qū)域，最后對(duì)每個(gè)子區(qū)域進(jìn)行max pooling處理得到固定大小且對(duì)應(yīng)的feature maps。多數(shù)情況下訓(xùn)練模型回歸得到的預(yù)選框位置是浮點(diǎn)數(shù)，經(jīng)池化后的特征圖需要固定尺寸，故ROI Pooling有兩次量化過(guò)程，導(dǎo)致候選框和預(yù)選框的位置出現(xiàn)偏差，降低模型對(duì)小目標(biāo)識(shí)別的準(zhǔn)確性。本文采用ROI Align代替ROI Pooling來(lái)減小量化操作所帶來(lái)的坐標(biāo)偏差，使用雙線性插值法計(jì)算浮點(diǎn)數(shù)像素上的圖像數(shù)值，從而解決因兩次量化而造成的位置坐標(biāo)不匹配的問(wèn)題，提高模型對(duì)目標(biāo)的分割效果。流程如圖5所示。

圖5 ROI Align流程圖

（1）對(duì)每個(gè)預(yù)測(cè)區(qū)域進(jìn)行遍歷，固定邊界浮點(diǎn)數(shù)值，不對(duì)其得到的浮點(diǎn)數(shù)做量化操作。

（2）將預(yù)測(cè)區(qū)域通過(guò)7×7的池化層等分，分割為k×k個(gè)子區(qū)域（bins），固定每個(gè)子區(qū)域的邊界。例如：等分后的子區(qū)域大小為1.56/7=0.22，不做量化操作。

（3）利用雙線性插值方法，在feature maps上計(jì)算出距離采樣點(diǎn)最近的四個(gè)像素值。

用ROI Align替代ROI Pooling，主要解決未對(duì)準(zhǔn)的問(wèn)題，保證有良好分割效果的同時(shí)提高處理速度。

1.2.2.4 Dropout優(yōu)化算法

VGG16、ResNet50和MobileNetv2已經(jīng)在ImageNet數(shù)據(jù)集上充分訓(xùn)練并且取得不錯(cuò)的預(yù)測(cè)效果，而在此數(shù)據(jù)集中棉花幼苗和雜草的數(shù)據(jù)相對(duì)較少，因此采用改進(jìn)的Dropout算法，以避免模型訓(xùn)練時(shí)產(chǎn)生過(guò)擬合的現(xiàn)象。Dropout層主要作用在全連接層上，通過(guò)調(diào)整參數(shù)值可以隨機(jī)丟棄中間特征的數(shù)量，防止因參數(shù)多而產(chǎn)生大量重復(fù)和冗余，增加了模型的魯棒性和泛化能力。改進(jìn)的Dropout算法在此基礎(chǔ)上添加2個(gè)Dropout層，分別在特征提取網(wǎng)絡(luò)后的2個(gè)全連接層，Dropout參數(shù)值設(shè)置為0.6。

改進(jìn)后的Faster R-CNN算法流程如圖6所示。

圖6 改進(jìn)的Faster R-CNN結(jié)構(gòu)圖

1.3 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)集準(zhǔn)備

整個(gè)實(shí)驗(yàn)過(guò)程在Linux運(yùn)行環(huán)境的Ubuntu 20.04操作系統(tǒng)下完成，同時(shí)安裝了Anaconda 4.9.2，CUDA 11.3和cuDNN 7.5庫(kù)，基于2nd Generation Intel（R） Xeon（R） Silver 4210 CPU@2.20 GHz處理器和NVIDIA Tesla T4 GPU（16GB運(yùn)行顯存）的硬件設(shè)備搭載Pytorch深度學(xué)習(xí)框架，所用Python版本為Python 3.8.5。

實(shí)驗(yàn)采用交替訓(xùn)練的方法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，模型的優(yōu)化器選擇隨機(jī)梯度下降（SGD）算法，訓(xùn)練網(wǎng)絡(luò)的初始學(xué)習(xí)率0.001，動(dòng)量因子系數(shù)為0.9，最大迭代次數(shù)為70 000次，權(quán)重衰減系數(shù)為0.000 1。每迭代一個(gè)epoch保存一次模型，通過(guò)選取精度最高的模型對(duì)測(cè)試集圖像的訓(xùn)練效果進(jìn)行調(diào)優(yōu)。當(dāng)?shù)螖?shù)達(dá)到20 000，學(xué)習(xí)率進(jìn)一步調(diào)整為0.000 1，當(dāng)?shù)螖?shù)達(dá)到40 000時(shí)學(xué)習(xí)率調(diào)整為0.000 01，當(dāng)損失函數(shù)收斂且迭代次數(shù)達(dá)到70 000步時(shí)停止訓(xùn)練。

本實(shí)驗(yàn)采用公開(kāi)的PASCAL VOC 2012數(shù)據(jù)集的標(biāo)準(zhǔn)對(duì)無(wú)人機(jī)圖像樣本數(shù)據(jù)進(jìn)行存儲(chǔ)，使用LabelImg圖像標(biāo)注工具對(duì)幼苗和雜草進(jìn)行標(biāo)注，存儲(chǔ)為XML格式文件，并且保證每個(gè)標(biāo)注矩形框在不包含背景的情況下存在一個(gè)識(shí)別目標(biāo)，最后得到地面分辨率為0.29 cm的幼苗與雜草的數(shù)據(jù)集。將數(shù)據(jù)集隨機(jī)選取80%作為訓(xùn)練集，10%為驗(yàn)證集和10%的測(cè)試集，每個(gè)集合中的圖像相互獨(dú)立，訓(xùn)練集作用于網(wǎng)絡(luò)模型的參數(shù)訓(xùn)練，驗(yàn)證集作用于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的超參數(shù)調(diào)優(yōu)，測(cè)試集作用于網(wǎng)絡(luò)模型對(duì)樣本泛化誤差的評(píng)估。

2 結(jié)果與分析

2.1 模型評(píng)價(jià)指標(biāo)

由于研究對(duì)象屬于多目標(biāo)檢測(cè)，需綜合AP（Average Precision）、mAP（Mean Average Precision）、精確率（Precision）、召回率（Recall）作為評(píng)價(jià)標(biāo)準(zhǔn)。AP為正確識(shí)別的物體數(shù)占總樣本個(gè)數(shù)的百分比，由精確率和召回率曲線（P-R曲線）的積分計(jì)算得到，其值越靠近100%，則網(wǎng)絡(luò)模型對(duì)棉田雜草的識(shí)別越好。mAP則是AP的平均值，Precision表示預(yù)測(cè)為正的樣本中正確樣本的百分比，Recall表示正樣本中預(yù)測(cè)正確的百分比。

2.2 對(duì)比實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)1對(duì)比了VGG16、ResNet50、MobileNetv2和融合PFN的ResNet50不同特征提取網(wǎng)絡(luò)對(duì)模型的性能影響。隨著模型訓(xùn)練迭代次數(shù)的增加，4種網(wǎng)絡(luò)在模型訓(xùn)練過(guò)程中的平均精確度、整體交叉熵?fù)p失對(duì)比結(jié)果如圖7和圖8所示。

圖7 不同特征提取網(wǎng)絡(luò)對(duì)模型的平均精度對(duì)比

圖8 不同特征提取網(wǎng)絡(luò)對(duì)模型的整體損失對(duì)比

圖7以精確率（P）為縱軸，召回率（R）為橫軸，得到P-R曲線，所圍成的面積實(shí)質(zhì)上是mAP。實(shí)驗(yàn)結(jié)果表明，在Faster R-CNN模型中訓(xùn)練融合FPN的ResNet50網(wǎng)絡(luò)表現(xiàn)的效果最好，其P-R曲線圍成的面積最大，在召回率不變的情況下能夠保持較高的準(zhǔn)確度。結(jié)合表1分析，融合FPN的ResNet50網(wǎng)絡(luò)模型的平均檢測(cè)時(shí)間相對(duì)于其他網(wǎng)絡(luò)模型用時(shí)較慢，但在檢測(cè)棉花和雜草的識(shí)別精度上均高于其他網(wǎng)絡(luò)模型，平均檢測(cè)精度達(dá)到89.19%。因?yàn)镕PN網(wǎng)絡(luò)融合了低層次的高分辨率和高層次的語(yǔ)義特征結(jié)合ResNet50網(wǎng)絡(luò)可以提取更深層次的特征圖，且不會(huì)因?yàn)樘卣魈崛【W(wǎng)絡(luò)層次深而丟失小目標(biāo)的信息，在一定程度上提高了小目標(biāo)的檢測(cè)精度。

表1 不同特征提取網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

VGG16的P-R曲線與ResNet50的P-R曲線存在相交，在召回率大于90%時(shí)，VGG16網(wǎng)絡(luò)模型的檢測(cè)性能優(yōu)于ResNet50網(wǎng)絡(luò)，而性能較差的ResNet50網(wǎng)絡(luò)需要降低一定的精度才能保證召回率的提高。結(jié)合表1也可以看出VGG16網(wǎng)絡(luò)的平均識(shí)別速度較其他模型表現(xiàn)最優(yōu)，是由于VGG16網(wǎng)絡(luò)的卷積層堆疊多個(gè)3×3的卷積核組成的卷積序列，能夠擁有相同的甚至更大的感受野，在減少參數(shù)的同時(shí)能精確提取細(xì)小特征，所以具有較滿意的效果。ResNet50網(wǎng)絡(luò)在訓(xùn)練過(guò)程中通過(guò)先降維再升維的方式能夠提取到更深層次的特征，但網(wǎng)絡(luò)在反向傳播過(guò)程中會(huì)發(fā)生梯度衰減，主要因?yàn)榉聪騻鞑サ角皩訒r(shí)權(quán)重會(huì)重復(fù)相乘，導(dǎo)致梯度無(wú)窮小使部分權(quán)重更新無(wú)效，影響識(shí)別速度和精確率。

MobileNetv2網(wǎng)絡(luò)模型在P-R曲線中表現(xiàn)的效果不佳，平均精確度只有70.81%，但在平均檢測(cè)時(shí)間上用時(shí)最短，放在移動(dòng)端或者嵌入式設(shè)備可以提高目標(biāo)的檢測(cè)速度，降低應(yīng)用的反應(yīng)延遲。

圖8以算法的交叉熵?fù)p失為縱軸，迭代次數(shù)為橫軸，得到不同特征提取網(wǎng)絡(luò)的整體損失曲線對(duì)比。隨著訓(xùn)練迭代次數(shù)的增加，4種網(wǎng)絡(luò)模型的損失值均在20 000步之后開(kāi)始下降，融合FPN的ResNet50網(wǎng)絡(luò)模型相較其它網(wǎng)絡(luò)模型可以更快的完成收斂，從而減少模型的訓(xùn)練時(shí)間，從60 000步后交叉熵?fù)p失下降緩慢，基本趨于穩(wěn)定，說(shuō)明模型達(dá)到局部最優(yōu)。MobileNetv2網(wǎng)絡(luò)模型在24 000步后整體損失迅速增加，在32 000步時(shí)訓(xùn)練的損失值最高，40 000步后逐漸平穩(wěn)，直至訓(xùn)練損失基本收斂到穩(wěn)定值，主要原因是MobileNetv2網(wǎng)絡(luò)借鑒了ResNet50網(wǎng)絡(luò)中的殘差結(jié)構(gòu)，訓(xùn)練過(guò)程中通過(guò)先升維再降維的方式增強(qiáng)梯度的傳播，減少訓(xùn)練期間所需的內(nèi)存占用。這種倒殘差的結(jié)構(gòu)在數(shù)據(jù)經(jīng)過(guò)全連接層輸出后，從1×1×1 280的logits回歸到1×1×2的過(guò)程中發(fā)生一定的信息特征突變，從而導(dǎo)致交叉熵?fù)p失不穩(wěn)定，使整體損失較大。

基于評(píng)價(jià)指標(biāo)的綜合考量，融合FPN的ResNet50特征提取網(wǎng)絡(luò)對(duì)Faster R-CNN模型達(dá)到較好的預(yù)期效果，適用于本研究的需求。本文后續(xù)實(shí)驗(yàn)均采用融合FPN的ResNet50特征提取網(wǎng)絡(luò)構(gòu)建Faster R-CNN棉田雜草識(shí)別模型。

根據(jù)最優(yōu)的網(wǎng)絡(luò)模型，其識(shí)別效果如圖9所示，在簡(jiǎn)單背景和無(wú)遮擋時(shí)的情況下可實(shí)現(xiàn)較高的識(shí)別率，在復(fù)雜背景且目標(biāo)較多的情況下識(shí)別率整體有所下降，但平均精度仍在80%以上，圖9d在部分有遮擋的情況下，識(shí)別結(jié)果也較為理想。出現(xiàn)檢測(cè)率有出入的主要原因是由于棉花幼苗受復(fù)雜背景影響，葉片在互相遮擋的情況下信息不全，從而導(dǎo)致檢測(cè)效率有不同程度的下降。實(shí)驗(yàn)結(jié)果表明：融合FPN的ResNet50特征提取網(wǎng)絡(luò)構(gòu)建Faster R-CNN模型適用于棉田復(fù)雜背景下，對(duì)棉苗與雜草實(shí)現(xiàn)較高的識(shí)別率。

圖9 棉花幼苗與雜草目標(biāo)識(shí)別結(jié)果

實(shí)驗(yàn)2將YOLOv5s和Faster R-CNN改進(jìn)算法進(jìn)行對(duì)比，因?yàn)閅OLOv5有4個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，分別為YOLOv5s、YOLOv5m、YOLOv5x、YOLOv5l，考慮對(duì)小目標(biāo)的檢測(cè)效果，本文主要聚焦于YOLOv5s結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果如表2。改進(jìn)的Faster R-CNN模型的平均檢測(cè)時(shí)間為0.289 s，在單張圖像識(shí)別上，用時(shí)稍遜YOLOv5s，但在平均檢測(cè)精度上本文方法比YOLOv5s模型高出4.93%，這是因?yàn)槿诤螰PN的ResNet50提取網(wǎng)絡(luò)生成的特征圖有更深層的語(yǔ)義特征，同時(shí)采用RPN優(yōu)化候選區(qū)域的產(chǎn)生，減少參數(shù)，利用GPU計(jì)算可大幅度縮減提取region proposal的速度，從而在保證速度相近的情況下提高檢測(cè)精度。圖10是兩種方法的整體損失隨著迭代次數(shù)的增加的變化曲線，圖中明顯看出，改進(jìn)的Faster R-CNN模型收斂速度更快，損失值低于YOLOv5s，由此可見(jiàn)，改進(jìn)的Faster R-CNN算法能夠更加準(zhǔn)確的識(shí)別棉田雜草。

表2 兩種模型實(shí)驗(yàn)效果對(duì)比

圖10 改進(jìn)的Faster R-CNN和YOLOv5s整體損失對(duì)比

3 結(jié)論

針對(duì)復(fù)雜背景下棉花幼苗與雜草識(shí)別難度大，雜草檢測(cè)不準(zhǔn)確等問(wèn)題，本文設(shè)計(jì)了符合研究對(duì)象特點(diǎn)的anchor尺寸，并且優(yōu)化了Dropout層，提出了改進(jìn)的Faster R-CNN模型。通過(guò)對(duì)VGG16、ResNet50、MobileNetv2和融合FPN的ResNet50這幾種網(wǎng)絡(luò)的性能對(duì)比，確定出融合FPN的ResNet50結(jié)構(gòu)為最優(yōu)的特征提取網(wǎng)絡(luò)。相比于經(jīng)典的目標(biāo)檢測(cè)方法，改進(jìn)的Faster R-CNN模型平均檢測(cè)時(shí)間為0.289 s，平均精確率為89.19%，在復(fù)雜背景下多種伴生狀態(tài)雜草的小目標(biāo)棉田識(shí)別效率更高。

將改進(jìn)的Faster R-CNN和YOLOv5s應(yīng)用到棉田雜草的識(shí)別中，比較兩種方法的訓(xùn)練效果，改進(jìn)Faster R-CNN模型的平均精確率比YOLOv5s高4.93個(gè)百分點(diǎn)，權(quán)衡了識(shí)別時(shí)間和平均精度，網(wǎng)絡(luò)性能優(yōu)于YOLOv5s。基于本文方法對(duì)棉田苗期雜草的識(shí)別更具有實(shí)時(shí)性和準(zhǔn)確性，后期能夠?qū)η度胧揭苿?dòng)雜草防控設(shè)備提供依據(jù)。