章權兵 胡姍姍 舒文燦 程 鴻

(安徽大學農業(yè)生態(tài)大數(shù)據分析與應用技術國家地方聯(lián)合工程研究中心， 合肥 230601)

0 引言

全球糧食年產量高達7億t，而在眾多的糧食作物中，小麥是最重要的農作物品種之一，且是世界1/3人口的主要食物來源，其種植面積和總產量均居谷類作物之首[1]。隨著城市化進程的加快和人均收入的增長，全球小麥消費也在快速增長。預計到2050年，小麥需求量將比現(xiàn)在增加60%[2]。在我國，小麥是主要糧食作物和戰(zhàn)略儲備糧，其產量對國家糧食安全具有重要影響。準確的產量預測不僅是小麥生產管理的重要環(huán)節(jié)之一，而且可以為農業(yè)管理決策者提供參考[3]。穗數(shù)是決定單位面積產量的關鍵因素，快速、準確地對麥穗進行檢測和計數(shù)，不僅在作物管理和作物產量評價中具有重要作用，而且在作物育種、植株表型分析等方面也具有十分深遠的意義。

傳統(tǒng)的小麥產量預測主要依靠人工計數(shù)和圖像處理的方法。人工計數(shù)方法繁瑣，容易出錯且不具有代表性[4]；而圖像處理方法是可實現(xiàn)麥穗自動計數(shù)的一種快速簡便的方法，因此得到了大量研究[5-7]。上述傳統(tǒng)方法需要大量實驗尋找有用的特征，工作量和復雜度都很高。此外，在實際的田間環(huán)境中，小麥緊密地生長在一起，麥穗間及麥穗與葉片間相互遮擋，傳統(tǒng)方法對麥穗的檢測效果并不理想。

隨著現(xiàn)代植物表型技術的快速發(fā)展，傳統(tǒng)方法已經無法滿足需求，而深度學習方法逐漸被大多數(shù)研究者應用到農作物的產量預測中，特別是卷積神經網絡(Convolution nerual network, CNN)在圖像分析中的應用開始成為主流，這使得自動化麥穗計數(shù)成為可能[8]。LU等[9]提出了一種名為TasselNet的深度卷積神經網絡來建立麥穗計數(shù)回歸模型。為了研究不同生長階段的小麥對檢測結果的影響，HASAN等[10]使用相同的R-CNN結構在4個不同生長階段捕獲的不同數(shù)據集上生成4個不同的模型，從而實現(xiàn)小麥穗粒計數(shù)。SADEGHI-TEHRAN等[11]使用簡單線性迭代聚類(Simple linear iterative clustering, SLIC)提取冠層相關特征，構建特征模型，然后將其添加到用于小麥穗部語義分割網絡中，但該方法對密集麥穗的檢測效果并不理想。張領先等[12]基于圖像處理和深度學習技術，設計并實現(xiàn)了基于卷積神經網絡的冬小麥麥穗檢測計數(shù)系統(tǒng)。將構建的冬小麥麥穗識別模型與非極大值抑制結合，進行冬小麥麥穗計數(shù)。MISRA等[13]提出了一種新的深度學習網絡SpikeSegNet，該網絡結合了兩種新的特征網絡：局部補丁提取網絡(Local patch network, LPNet)和全局掩碼細化網絡(Global mask refined network, GMRNet)，并應用imageJ的分析粒子函數(shù)計算出了圖像中的麥穗數(shù)。與早期的圖像處理等方法相比，以上方法對麥穗的檢測精度有所提高。然而，上述算法大多都只能在麥穗獨立無遮擋且背景比較簡單的情況下，才能取得較好的檢測結果，因此如何在麥穗目標較小且相互遮擋的情況下提高網絡的檢測性能成為關鍵性問題。

本文以麥穗為研究對象，首先在金字塔特征提取網絡中引入注意力機制模塊，建立通道空間特征金字塔網絡(Channel spatial feature pyramid network, CSFPN),有選擇地增強網絡的語義信息和位置信息，減少噪聲信息對檢測結果的影響；其次根據麥穗圖像的實際輸入尺寸，提出一種加權區(qū)域建議網絡(Weighted-region proposal network, WRPN)，生成更準確的待檢測框，提高對小目標麥穗的檢測效果。最后，為進一步驗證本文方法的性能，將其與更快的卷積神經網絡(Faster R-CNN)[14]、特征金字塔網絡(Feature pyramid network, FPN)[15]以及近期提出的YOLO v4網絡[16]進行比較。

1 卷積神經網絡

1.1 Faster R-CNN

Faster R-CNN是一種端到端的目標檢測算法，它將候選區(qū)域生成、特征提取、分類和位置精修4個步驟統(tǒng)一到一個網絡框架內。該網絡首先利用共享的殘差網絡ResNet101[17]提取圖像的特征，并將提取到的特征圖傳送至區(qū)域建議網絡(Region proposal network, RPN)中，生成所有可能的候選框。其次利用Softmax函數(shù)判斷候選框內是待檢測的目標還是背景，并采用邊框回歸方法對候選框進行初步回歸和校正。然后利用感興趣區(qū)域(Region of interest, ROI)池化層[18]將特征圖與RPN輸出的候選框集成，并選擇與特征圖上的每個感興趣區(qū)域相對應的特征。最后使用全連接層來確定目標類別，此時再次對候選框進行回歸校正，以獲得目標的精確位置和類別。Faster R-CNN雖然對大目標的檢測效果較好，但由于其特征提取網絡不斷下采樣，當進行卷積池化到最后一層時，損失了大量的語義信息，對小目標的檢測效果并不理想。

1.2 FPN

特征金字塔網絡(FPN)是一種自下而上的結構，主要解決物體檢測中的多尺度問題，通過對網絡連接做簡單改變，在基本不增加計算量的情況下，提升小物體檢測的性能。它先進行一系列的下采樣操作，得到原始圖像尺寸1/4、1/8、1/16、1/32的特征圖，這是網絡的前饋操作過程。然后逐步進行上采樣，生成相應尺寸的特征圖。在對每一層信息進行處理時，將前一層信息作為輸入，并將上采樣結果與自下而上生成的具有相同分辨率的特征圖進行水平連接。兩層特征圖融合后，對其結果進行3×3卷積，消除上層采樣的混疊效應。

FPN在進行特征融合時，將前一層的粗糙特征直接轉化為后一層的細化特征。在經過一系列的下采樣后，有一些高層次的特征圖(如原始圖像尺寸的1/16、1/32)，相對于底層特征而言，位置信息較弱。經過采樣并與具有相同分辨率的特征圖融合后，得到的特征圖仍然存在位置信息弱、位置信息融合不足等潛在問題，對網絡性能影響較大。

1.3 RPN

區(qū)域建議網絡(RPN)是一個專門用于提取候選區(qū)域的全卷積網絡，對前期提取到的特征圖進行處理，尋找可能包含目標區(qū)域的候選框，并預測每個框的類別得分。輸入RPN的特征圖與原始圖像有一定的映射關系，首先使用滑動窗口(Sliding window)在圖像上滑動，生成大量的錨(anchor)，然后對每個錨做前背景的二分類判斷，再通過非極大值抑制(NMS)[19]算法對候選框進行調整以消除冗余框，并將調整后的候選框作為感興趣區(qū)域輸出。

RPN的輸入圖像尺寸為原始圖像尺寸的1/4、1/8、1/16、1/32，從而利用多尺度空間信息生成待檢測區(qū)域。然而，在麥穗檢測任務中，初始圖像中的最大麥穗尺寸約為32像素×20像素。在經過大的逐步下采樣(例如1/16、1/32)后，很難通過RPN在這些特征圖中生成待檢測框。但如果只使用原始圖像尺寸的1/4作為特征圖，則會浪費網絡頂層的分類信息，從而對網絡的性能有很大的影響。

1.4 注意力機制

視覺注意力機制是人類視覺中一種特殊的腦信號處理機制。它通過快速掃描圖像來捕獲目標區(qū)域，然后更加注意獲取更詳細的信息，并抑制其他無用信息。對人類來說，這是一種以有限的注意力快速篩選大量信息的方法。在現(xiàn)有的語義分割體系中，金字塔結構可以提取不同尺度的特征信息，但缺乏全局上下文的優(yōu)先關注。因此，使用注意力機制[20]在傳統(tǒng)神經網絡的基礎上增加新的連接，就可以自動確定對輸入的每個部分應該分配多少注意，從而為卷積神經網絡提取的特征提供準確的像素級關注度。卷積神經網絡中常用的兩種注意力機制是通道注意力機制(Channel attention mechanism, CAM)和空間注意力機制(Spatial attention mechanism, SAM)[21]。通道注意力機制是一個一維的特征圖譜，特征圖中的每個通道被賦予一個權重；空間注意力機制以特征圖上的每個像素為單位，為其賦予一個權重，它是一個二維特征圖譜。

2 卷積神經網絡改進

本文選擇Faster R-CNN作為網絡框架，并引入注意力機制和加權區(qū)域建議網絡對麥穗進行檢測。卷積神經網絡模型架構如圖1所示。

圖1主要由3部分組成，其中CSFPN模塊在金字塔網絡的編碼區(qū)添加了通道注意力機制，以幫助提取信道中有意義的信息并抑制噪聲信道；解碼區(qū)引入了空間注意力機制，增強有用的位置信息以加強解碼部分空間信息的整合，從而避免編碼部分的粗糙特征直接流向解碼區(qū)域。設計了一種新的加權區(qū)域建議網絡WRPN，使其生成更精確的待檢測框，再執(zhí)行第1次候選框分類回歸操作，確定候選框并進行前背景的判別。經過ROI池化層之后，對候選框進行第2次分類回歸操作。由于網絡中引入的注意力機制是一個輕量級的模塊，因此可以把它們集成到卷積神經網絡的框架中一起進行端到端的訓練。實驗結果表明，引入的注意力機制模塊可以提升網絡對麥穗的檢測性能，且增加的運算量可以忽略不計。

2.1 通道注意力機制

通道注意力機制主要關注圖像中的語義信息。在網絡訓練過程中，利用眾多通道的卷積核對原始圖像進行映射時，會生成與通道數(shù)相同數(shù)量的特征圖。然而，并不是每一個通道都對檢測結果具有積極的影響。在整個網絡的每個階段中，都會有許多噪聲通道與有意義的通道相混合。因此，有效地過濾噪聲通道是提高網絡性能的關鍵。本文在FPN的解碼區(qū)引入了通道注意力機制模塊，利用該模塊對特征圖中的不同通道賦予不同的權重，增加通道間的差異，從而提高編碼器部分的特征提取性能。如圖2a所示，首先通過全局平均池化層(Global average pooling，GAP)來集成每個通道的全局信息，將尺寸為W×H×C(W、H、C分別為特征圖的寬、高通道數(shù))的上層特征圖D5拉伸為1×1×C的一維向量。然后利用收縮全連接層和ReLU激活函數(shù)建立通道間的相互依賴關系，并將所得的一維向量降維至1×1×C/4，再通過擴展全連接層將其映射回原始維度1×1×C，并發(fā)送到Sigmoid激活函數(shù)，獲得對應通道的概率。最后用所得的概率對底層特征圖C4進行加權，再將加權處理后的結果與高層特征圖D5進行通道級的融合(concate)，并將融合結果作為下一層的輸入D4。這樣，網絡就可以通過全局信息的映射，有選擇地增強含有有用語義信息特征的通道，抑制含有無用信息的通道。

2.2 空間注意力機制

與通道注意力機制不同，空間注意力機制側重于空間維度中的位置信息。在當前目標檢測結構中，金字塔結構被廣泛應用于通過在編碼部分下采樣和在解碼部分恢復空間分辨率來提取不同尺度的特征信息。然而，常用的上采樣插值方法在分辨率恢復中引入了大量的位置信息噪聲[22]。同時，如果編碼器部分的粗糙特征映射直接與解碼器部分的細化特征相結合，則會導致性能下降[23]。為此，本文引入空間注意力機制對上采樣階段的噪聲信息進行濾波，減少低維特征對檢測結果的影響。首先將高分辨率特征圖D2發(fā)送到全局平均池化層，與CAM不同的是，其將通道聚集起來生成全局空間信息圖,特征圖的維數(shù)從W×H×C變?yōu)閃×H×1。其次添加一個核尺寸為1×1的卷積層來調整每個像素的值，并將調整后的特征圖輸入到Sigmoid激活函數(shù)中，生成空間概率圖。然后將編碼器部分的特征圖D2乘以由其生成的概率圖來加權自身，生成特征圖P2。最后進行與D2類似的操作，先由P2生成空間概率圖，并利用其對D3進行加權，再將加權結果與P2融合為下一層P3，如圖2b所示。這里，空間注意力模塊選擇性地增強了有用的位置信息，抑制了無意義的位置信息。

2.3 加權區(qū)域建議網絡

RPN的設計是通過取不同尺寸的特征圖作為輸入，并形成一系列的區(qū)域建議網絡。在麥穗檢測任務中，小麥的目標非常小，且相互重疊，從而在一個小尺寸的輸入圖像中很難產生幾十個精確的麥穗檢測框[24]。使用大尺度的特征圖作為區(qū)域建議網絡是提升小目標檢測結果的一種有效的可行方案。同時，為了充分利用網絡中的語義信息，本文在原始RPN的輸入部分設計了加權模塊，提出了一種修正后的加權區(qū)域建議網絡(WRPN)，使其更適合于小目標的檢測，如圖3所示。與空間分辨率較大的特征圖相比，高層較小的特征圖具有更強的語義信息。為了更好地生成待檢測區(qū)域，將高層較小的低空間分辨率特征圖(P3、P4、P5)融合在一起，融合方式為通道級上的相加。融合后的特征圖經過全局平均池化層，生成特征向量。再通過收縮全連接層將特征向量降維至256，并由Sigmoid激活函數(shù)生成對應的概率。這樣具有較強語義信息的高層較小的特征圖(P3、P4、P5)就可以對低層較大的特征圖(P2)進行加權，以增強低層特征圖中的有用通道，進而更好地檢測出目標?？紤]到提高空間分辨率可以提高檢測精度，將P2上采樣為和C1同樣尺寸的特征圖，再經過1×1卷積層處理至相同通道后與C1相融合以獲得更豐富的位置信息。最后將特征向量加權到融合后的特征圖，并將加權結果輸入到RPN中。

3 模型訓練

3.1 數(shù)據集

為了驗證本文模型的性能，使用兩組數(shù)據集進行了訓練和測試，一組是實地拍攝的麥穗圖像，一組是諾丁漢大學計算機視覺實驗室公開發(fā)布的帶有標注的ACID麥穗圖像數(shù)據集。

實地采集的麥穗圖像拍攝于安徽省合肥市廬陽區(qū)安徽省農業(yè)科學院實驗基地。于2019年5月25日在晴朗無風的天氣條件下，使用佳能(Canon)EOS 80D型手持數(shù)碼相機，采用自然曝光模式以多種傾斜角度對麥穗進行拍攝(圖像分辨率為3 984像素×2 656像素)。為便于圖像獲取，采集時使用硬紙板圍成一個長、寬、高分別為0.5、0.5、1.2 m的長方體框，將目標區(qū)域與外界小麥隔離開(圖4a)；同時為了排除光照因素的影響，在多個不同時間段進行了圖像采集。

本文從獲取的140幅小麥灌漿期圖像中隨機選取120幅圖像作為訓練集，余下20幅作為測試集。由于實驗室設備計算能力有限，將原始圖像壓縮為1 000像素×600像素。為了提高最終訓練模型的穩(wěn)定性和魯棒性，對訓練集進行了數(shù)據擴充。數(shù)據集擴充是在保持圖像數(shù)據標簽不變的前提下對原始圖像進行變換，從而增加樣本的多樣性。本文主要采用水平翻轉和鏡像翻轉的方式將訓練集擴充至480幅。使用圖像標注工具LabelImg繪制圖像中目標的矩形邊框，麥穗的所有像素都在包圍框的范圍內。部分小麥數(shù)據集如圖4所示，圖4d中紅色矩形框是對圖像中每個目標麥穗的標注。由圖4可見，所拍圖像中既有麥穗粘連(如圖4b中標注的A、B、C區(qū)域)，又有葉片遮擋麥穗的情形(如圖4b中標注的D、E、F區(qū)域)。

第2組公開的ACID麥穗圖像數(shù)據集包含嫩芽期、灌漿期及成熟初期3個時期的小麥圖像，共1 398幅。該數(shù)據集中包含訓練集圖像1 374幅，其中嫩芽期108幅、灌漿期1 034幅、成熟期232幅；測試集圖像24幅，其中嫩芽期6幅、灌漿期12幅、成熟期6幅。不同時期的小麥圖像示例如圖5所示。原始數(shù)據集中的圖像分辨率為1 024像素×1 024像素，受計算能力的限制，將其降采樣到512像素×512像素。實驗中將不同物候時期的訓練集圖像放在一起進行模型訓練，然后對不同候物時期的測試圖像分別進行測試。

3.2 參數(shù)設置

實驗是在Linux操作系統(tǒng)上使用Tensorflow 1.10框架和Python 3.5.6實現(xiàn)的，硬件系統(tǒng)為NVIDIA GEFORCE RTX2070 GPU、Intel i7-8700處理器和16 GB RAM。為了得到更好的訓練效果，以Faster R-CNN為基礎網絡，采用VOC2007預訓練模型中的權重參數(shù)。網絡中關于通道注意力機制、空間注意力機制及加權區(qū)域建議網絡等的權值都由網絡自身學習而確定，通過反向傳播不斷調整權值，從而學習到合適的權值以使網絡達到最優(yōu)性能。其他訓練參數(shù)如表1所示。

表1 模型參數(shù)設置Tab.1 Setting of model parameters

3.3 性能指標

本文使用的卷積神經網絡的輸出是一個包圍框列表及其分類。理想情況下，列表應該包含圖像中的所有目標，但實際很難做到[25]。本文目標是使測試圖像中檢測框的數(shù)量和位置與原始圖像中手動標記框的數(shù)量和位置更加一致[26]。對于每幅圖像，檢測模型返回一組置信度介于0和1之間的回歸框，并利用常用指標交并比(Interest of union, IoU)對候選框進行篩選。

通常情況下，將IoU為0.7作為標注為前景的閾值(如果IoU大于0.7，則認為檢測到的對象為前景)，將IoU為0.3作為標記為背景的閾值(如果IoU小于0.3，則將檢測到的對象劃分為背景)；IoU在0.3～0.7之間的候選框選擇丟棄[27]。因此，在圖像中檢測到的前景或背景可以產生以下4種可能的結果：被正確分類的前景；被分類器分類為前景，但實際是背景；被正確分類為背景；被分類器分類為背景，但實際是前景。為了量化實驗結果，使用精確度(Precision)、召回率(Recall)、平均精度(Average precision, AP)和P-R(Precision-recall)曲線等指標，對建立的小麥穗數(shù)檢測模型進行性能評價[28-29]。精確度又稱查準率，表示在所有預測出的正樣本中，真正的正樣本所占的比例；召回率又稱查全率，表示在所有正樣本中，正確預測出的正樣本所占的比例；P-R曲線是由精確度和召回率所構成的曲線；平均精度是由P-R曲線和坐標軸包圍區(qū)域的面積，該指標綜合考量了精確度和召回率的影響，反映了模型的性能。

3.4 消融實驗設置

本文主要在Faster R-CNN模型的基礎上進行了兩方面的改進：一是將其特征提取網絡換成特征金字塔網絡(FPN)，并在FPN的基礎上引入了通道注意力機制(CAM)和空間注意力機制(SAM)，二是對原始網絡中的RPN設計了加權模塊，提出加權區(qū)域建議網絡(WRPN)。為了定量分析不同模型對麥穗檢測結果的影響，分別利用3.1節(jié)介紹的兩種數(shù)據集對以下6種不同組合模型進行實驗，并與Faster R-CNN和YOLO v4進行比較。

FPN-RPN：將Faster R-CNN中的特征提取模塊換成特征金字塔網絡，將底層特征圖和高層特征圖中的信息累加，但多次的上采樣和下采樣操作使得深層網絡對目標的定位信息存在誤差。

CFPN-RPN：在FPN-RPN模型的基礎上引入通道注意力機制，對不同通道賦予不同權重以增強有意義通道的權重，減少無意義或噪聲通道的影響，提高編碼器對麥穗特征提取的性能。該實驗結果與FPN-RPN對比可驗證通道注意力機制的有效性。

SFPN-RPN：在FPN-RPN模型的基礎上引入空間注意力機制，提升解碼器對特征圖空間信息的利用能力，從而增強解碼器生成特征圖的空間位置信息的準確性。與FPN-RPN相比，該實驗結果可驗證空間注意力機制的有效性。

CSFPN-RPN：將通道注意力機制和空間注意力機制同時融入FPN的編碼器和解碼器中，使網絡模型具有更強的語義信息提取能力和位置信息保留能力。將該實驗結果與CFPN-RPN及SFPN-RPN對比可以體現(xiàn)出通道注意力機制和空間注意力機制聯(lián)合后模型性能的優(yōu)越性。

FPN-WRPN：對FPN-RPN模型中的RPN進行修改，將空間分辨率較小的特征圖與空間分辨率較大的特征圖加權融合，以對麥穗目標較小的特征生成更精確的待檢測框。與FPN-RPN的實驗結果相比，可體現(xiàn)WRPN的性能。

CSFPN-WRPN：將通道注意力機制和空間注意力機制同時融入FPN的編碼器和解碼器中，并在FPN中引入加權機制，以同時提升對有遮擋的麥穗和小目標麥穗的檢測效果。對比其他實驗結果，可體現(xiàn)綜合改進的性能。

4 實驗結果與分析

首先利用實地采集的麥穗圖像數(shù)據集進行訓練和測試。對于每幅測試圖像，卷積神經網絡返回檢測到的麥穗位置及其相應的類別得分。根據3.3節(jié)中定義的檢測精確度、召回率和平均精度等指標來衡量模型的性能。

為鑒別不同特征提取網絡對麥穗識別精度的影響，首先分別比較了Faster R-CNN、FPN-RPN以及本文提出的CSFPN-RPN這3種方法的檢測性能，實驗結果如表2所示。Faster R-CNN在不斷下采樣的過程中發(fā)生了信息丟失，因此對麥穗的檢測效果并不理想。FPN-RPN結合上下文信息，獲得信息更加豐富的特征圖，相對于Faster R-CNN來說顯著提升了檢測效果，但其精確度只達到了66.38%。本文建立的CSFPN-RPN利用通道和空間注意力機制有選擇地增強圖像的語義信息和位置信息，濾除無用的噪聲信息，測試結果明顯優(yōu)于FPN-RPN和Faster R-CNN，其檢測精確度為67.70%，召回率為90.19%，平均精度為85.98%。考慮到各種光照條件、陰影效果、自遮擋等與野外成像相關的影響，測試結果較優(yōu)。為了量化分析CSFPN-RPN中引入的通道注意力機制和空間注意力機制對網絡性能的影響，分別對CFPN-RPN(FPN-RPN中引入通道注意力機制CAM)和SFPN-RPN(FPN-RPN中引入空間注意力機制SAM)進行了實驗，檢測結果如表2所示。由該實驗結果可知，單獨引入通道注意力機制或空間注意力機制，模型的性能有一定的提升；而將兩者結合起來，分別添加到FPN-RPN的編碼區(qū)和解碼區(qū)，所建立的CSFPN-RPN的檢測性能更佳。

表2 不同模型的檢測結果比較Tab.2 Comparison of detection results of different models %

圖6為利用不同特征提取方法得到的部分結果。由于Faster R-CNN所利用的特征不足，所以只將大部分獨立且無遮擋的麥穗檢測出來，如圖6a所示。FPN將高層的強語義信息與低層的強位置信息相融合，利用全局信息優(yōu)化網絡性能，檢測到了更多的目標，如圖6b中紅色橢圓框所示(FPN-RPN能夠正確檢測出，F(xiàn)aster R-CNN沒有檢測出)。但其在融合過程中混入了大量無意義的噪聲信息，從而導致漏檢(如未檢測出圖6c中粉色菱形框所示的麥穗)和誤判(如圖6b最下面一幅圖中黑色橢圓框所示)現(xiàn)象，尤其是對有遮擋麥穗的檢測效果依然不理想。而本文建立的CSFPN有選擇地增強了高層特征的強語義信息和低層特征的強位置信息，有效消除了噪聲信息的干擾，顯著提高了網絡對有遮擋麥穗的鑒別能力，由圖6c可以看出，利用CSFPN作為特征提取網絡對遮擋麥穗的檢測效果有顯著提升。

以上在Faster R-CNN框架下，基于改進的CSFPN特征提取方法比原始的FPN對遮擋麥穗的檢測效果更加理想，但仍很難成功檢測出圖像中的較小麥穗。這是由于原網絡中的RPN對于輸入圖像中的較小目標很難生成精確的待檢測框。為此，本文提出WRPN，對原始RPN輸入進行加權處理，將信息更加全面的特征圖送入該模塊。為了驗證該方法的有效性，在相同的數(shù)據集上進行實驗，分別在FPN和CSFPN的基礎上添加WRPN網絡，并與近期提出的YOLO v4進行了比較。不同網絡的精確度、召回率和平均精度如表2所示，部分測試結果如圖6所示。由實驗結果可知，在FPN的基礎上添加WRPN網絡，盡管召回率和平均精度沒有明顯變化，但精確度明顯提高；而在CSFPN的基礎上添加WRPN網絡，在提高精確度的同時，也明顯提高了平均精度，并且提升了對較小目標麥穗的檢測效果(圖6e所示，橘色框區(qū)域為其他方法未檢測出的較小麥穗)。為了更直觀地顯示出不同模型在麥穗檢測上的精確度和召回率，給出了以上不同網絡模型的P-R曲線，如圖7所示。由圖7可見，基于CSFPN提取特征與WRPN生成待檢測框相結合的模型的P-R曲線與坐標軸所圍區(qū)域的面積大于其他模型，這也體現(xiàn)了本文方法的優(yōu)越性。

利用同組模型對第2組公開的ACID麥穗圖像數(shù)據集進行模型訓練和測試。訓練時將不同物候時期的訓練集圖像放在一起進行訓練，測試時對不同物候時期的測試圖像分類考慮。不同模型對不同物候時期麥穗圖像的檢測精確度如圖8所示。由圖8可以看出，處于灌漿期的麥穗檢測精確度是3個時期中最高的，這是因為訓練集中灌漿期的小麥圖像最多，并且灌漿期的麥穗較大，編碼器對其進行特征提取時更容易獲取麥穗的位置信息和語義信息。而對處于嫩芽期的麥穗，訓練集中圖像數(shù)量有限且麥穗較小，同時麥穗顏色與嫩綠葉片顏色相近，因此對其進行特征提取時，獲取較小麥穗目標的精確位置信息及語義信息有一定的難度。與嫩芽期麥穗相似，成熟期的麥穗與同期的黃色葉片顏色一致，這給精確提取麥穗的信息增加了難度，因此精確度也略低。從該檢測結果中可以看出，本文方法對復雜大田環(huán)境下的麥穗檢測同樣有效，這進一步驗證了其優(yōu)越性。

為了進一步驗證麥穗遮擋對模型性能的影響，對不同遮擋程度的圖像分別進行了測試。首先將實地拍攝數(shù)據集中選出的20幅測試圖像進行劃分，其中8幅為麥穗輕微遮擋(少量麥穗粘連和葉片遮擋)，余下12幅為麥穗嚴重遮擋(大量麥穗粘連和葉片遮擋)，如圖9所示。然后分別利用FPN-RPN和CSFPN-WRPN等模型進行測試，測試結果如表3所示。

由表3可知，對于同一算法，輕微遮擋狀態(tài)下的麥穗檢測性能均明顯優(yōu)于嚴重遮擋情形。在FPN-RPN基礎上單獨引入通道注意力機制或空間注意力機制，對于兩種不同遮擋情形下麥穗檢測的精確度和平均精度都有一定的提升，但效果不明顯。將兩者融合后組成的CSFPN-RPN對于輕微遮擋和嚴重遮擋情形下的麥穗檢測精確度分別提高了4.48、2.15個百分點；而改進的FPN-WRPN對于這兩種情形的精確度分別提高了10.97、10.05個百分點；但CSFPN-RPN和FPN-WRPN的召回率和平均精度變化都不明顯。CSFPN-WRPN的目標檢測性能明顯強于FPN-RPN。對于輕微遮擋情形，CSFPN-WRPN的檢測精確度和平均精度分別提升了13.11、5.44個百分點，優(yōu)勢比較明顯；而嚴重遮擋狀態(tài)下精確度提升較明顯，達到10.58個百分點，但召回率和平均精度僅提升了0.59、2.17個百分點，還需要進一步優(yōu)化。

5 結論

(1)針對有遮擋麥穗難以檢測的問題，提出了一種基于注意力機制特征金字塔網絡的麥穗檢測方法。在Faster R-CNN基礎上，將原始特征提取網絡替換為特征金字塔網絡，并引入通道注意力機制和空間注意力機制。改進后的CSFPN-RPN算法有效提高了對遮擋麥穗的檢測效果，使得麥穗識別精確度有了明顯提升。

(2)在改進的特征提取網絡基礎上，設計了一種加權區(qū)域建議網絡，為難以檢測的較小麥穗生成更精確的檢測框。CSFPN-WRPN對于實地采集的麥穗圖像的檢測精確度、召回率和平均精度分別達到了80.53%、87.12%、88.53%。同時，公開ACID麥穗圖像數(shù)據集上不同物候時期的麥穗檢測結果進一步驗證了本文方法的有效性。