摘要 針對(duì)我國(guó)農(nóng)作物發(fā)育期人工觀測(cè)效率低、識(shí)別準(zhǔn)確率不高等問題，提出一種基于I_CBAM-DenseNet模型的小麥發(fā)育期識(shí)別方法.該方法以密集連接卷積網(wǎng)絡(luò)（DenseNet）為主干提取網(wǎng)絡(luò)，融入卷積塊注意模塊CBAM.先將CBAM中的空間注意力模塊（SAM）與通道注意力模塊（CAM）由傳統(tǒng)的串聯(lián)連接改為并行連接，并將改進(jìn)的CBAM（I_CBAM）插入到DenseNet最后一個(gè)密集網(wǎng)絡(luò)中，構(gòu)建一種I_CBAM-DenseNet模型，再選取小麥7個(gè)重要發(fā)育時(shí)期進(jìn)行自動(dòng)識(shí)別.為最大化提取小麥的特征信息，將超綠特征（ExG）因子和最大類間方差法（Otsu）相結(jié)合對(duì)采集到的小麥圖像進(jìn)行分割處理.對(duì)比分析了I_CBAM-DenseNet、AlexNet、ResNet 、DenseNet、CBAM-DenseNet以及VGG等模型的準(zhǔn)確率和損失值的變化.結(jié)果表明，采取基于I_CBAM-DenseNet的卷積神經(jīng)網(wǎng)絡(luò)建立的模型，準(zhǔn)確率達(dá)到99.64%，高于對(duì)比模型.

關(guān)鍵詞 小麥;發(fā)育期;DenseNet;卷積塊注意模塊（CBAM）

中圖分類號(hào)TP391.4

文獻(xiàn)標(biāo)志碼A

0 引言

近年來，在“智慧農(nóng)業(yè)化”政策推動(dòng)下，我國(guó)農(nóng)業(yè)領(lǐng)域信息化和智能化技術(shù)得到快速發(fā)展.小麥生產(chǎn)在我國(guó)糧食生產(chǎn)中的地位舉足輕重^[1].小麥的發(fā)育期識(shí)別技術(shù)指的是在小麥整個(gè)生長(zhǎng)過程中，對(duì)小麥生長(zhǎng)期進(jìn)行準(zhǔn)確預(yù)測(cè)^[2]，以此來幫助作物種植者對(duì)小麥進(jìn)行合理及時(shí)地農(nóng)藥噴灑，并且做出相應(yīng)的施肥和灌溉作業(yè).這不僅有利于提高小麥的產(chǎn)量，還可為農(nóng)作物產(chǎn)量評(píng)估提供重要的參考價(jià)值^[3].因此，對(duì)小麥發(fā)育期進(jìn)行預(yù)測(cè)具有十分重要的意義.

傳統(tǒng)的農(nóng)作物觀測(cè)方式大多是采用人工觀測(cè)，農(nóng)業(yè)專家需要不間斷地去田地里觀測(cè)作物長(zhǎng)勢(shì)，根據(jù)個(gè)人的主觀性以及經(jīng)驗(yàn)來判定作物具體處于哪個(gè)時(shí)期，從而判斷是否需要施肥和灌溉作業(yè).人工觀測(cè)小麥發(fā)育期不僅效率低，而且耗時(shí)費(fèi)力^[4].目前，機(jī)器學(xué)習(xí)技術(shù)逐步走向成熟，在圖像分割、圖像識(shí)別領(lǐng)域應(yīng)用廣泛.Priya等^[5]和安國(guó)平等^[6]使用支持向量機(jī)（Support Vector Machine，SVM）模型對(duì)植物葉片進(jìn)行分類，取得較好的分割效果;徐慧智等^[7]針對(duì)傳統(tǒng)交通標(biāo)志識(shí)別準(zhǔn)確率低的問題，提出一種將ResNet和遷移學(xué)習(xí)結(jié)合的模型，該方法對(duì)交通標(biāo)志識(shí)別具有較高的準(zhǔn)確率;廖強(qiáng)等^[8]提出一種新的ResNet50模型，該方法通過對(duì)ResNet50設(shè)計(jì)全新的全連接層，對(duì)數(shù)據(jù)集采用數(shù)據(jù)增強(qiáng)技術(shù)^[9]，從而提高人臉表情識(shí)別準(zhǔn)確率;牛群峰等^[10]和陳永衛(wèi)等^[11]分別針對(duì)人工分揀效率低和種類識(shí)別準(zhǔn)確率不高的問題，提出優(yōu)化的VGG神經(jīng)網(wǎng)絡(luò)，從而提高了分類識(shí)別的精度.以上方法雖然較傳統(tǒng)分類模型準(zhǔn)確率有所提高，但是只適用于數(shù)據(jù)集不多，且環(huán)境比較單一的情況，無法廣泛適用于農(nóng)作物生長(zhǎng)周期的所有圖像分類任務(wù)中.

近年來，壓縮激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Network，SENet）^[12]、卷積塊注意模塊（Convolutional Block Attention Module，CBAM）^[13]、高效通道注意力（Efficient Channel Attention，ECA）^[14]等注意力機(jī)制由于增加了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來增強(qiáng)學(xué)習(xí)能力而得到廣泛關(guān)注.Wang 等^[15]提出一種新型的VGG型基礎(chǔ)網(wǎng)絡(luò)（VSBN）作為骨干網(wǎng)絡(luò)，引入CBAM，模型的靈敏度、精度、F1均在95%以上;Wang等^[16]提出一個(gè)新的并行混合注意模塊（I_CBAM），能較好地實(shí)現(xiàn)對(duì)病蟲害的細(xì)粒度分類.但是，上述方法在預(yù)處理圖像時(shí)操作較為復(fù)雜，僅適用于少量植物病蟲害識(shí)別領(lǐng)域.

針對(duì)我國(guó)農(nóng)作物發(fā)育期人工觀測(cè)效率低、傳統(tǒng)分類模型識(shí)別準(zhǔn)確率低，且無法應(yīng)用于環(huán)境復(fù)雜的農(nóng)作物發(fā)育期圖像分類等問題，本文提出一種以DenseNet為主干提取網(wǎng)絡(luò)，融入卷積塊注意模塊CBAM的方法.首先將CBAM中的空間注意力模塊（Spatial Attention Module，SAM）與通道注意力模塊（Channel Attention Module，CAM）由傳統(tǒng)的串聯(lián)改為并行，其次將改進(jìn)的CBAM（I_CBAM）插入到DenseNet最后一個(gè)密集網(wǎng)絡(luò)中，構(gòu)建一種I_CBAM-DenseNet模型.該模型不僅可以提高小麥發(fā)育期的分類準(zhǔn)確率，而且實(shí)現(xiàn)了低成本、高效率，為農(nóng)業(yè)觀測(cè)者以及研究者在小麥生產(chǎn)實(shí)踐中提供重要的參考價(jià)值.

1 材料與方法

1.1 數(shù)據(jù)集來源

本研究使用的數(shù)據(jù)集均來源于河南鄭州的小麥試驗(yàn)基地.該地區(qū)主要為西高東低的平原，總面積約為22 km².該研究區(qū)域冬小麥產(chǎn)量高，是中國(guó)優(yōu)質(zhì)冬小麥生產(chǎn)中心之一.為了在室外自然光線下拍攝清晰圖像，本文使用了尼康COOLPIX B700數(shù)碼相機(jī)的自動(dòng)模式，最高ISO限制為1 600，拍攝的最低快門速度為1/30 s，高架攝像頭設(shè)定每天早上08：00以及下午15：00自動(dòng)采集，攝像頭采用等距離定點(diǎn)（設(shè)置離地2.5 m）拍攝小麥圖像，并實(shí)時(shí)傳輸至電腦端的數(shù)據(jù)服務(wù)器進(jìn)行保存.本研究選擇2019—2022年期間小麥圖像20 058張，包含拔節(jié)期、播種期、成熟期、抽穗期、出苗期、返青期、分蘗期、開花期、起身期、乳熟期、三葉期、越冬期、孕穗期13個(gè)發(fā)育期.為了減少模型參數(shù)的數(shù)量，將像素調(diào)整為224×224，所有圖像數(shù)據(jù)均保存為JPG格式.為了凸顯本文算法的有效性，選取小麥發(fā)育較為重要的出苗期、三葉期、分蘗期、孕穗期、抽穗期、開花期以及成熟期，并對(duì)這7個(gè)發(fā)育期進(jìn)行重點(diǎn)研究.7個(gè)發(fā)育期的小麥圖像對(duì)比如圖1所示.

1.2 圖像預(yù)處理

1.2.1 數(shù)據(jù)篩選

在提供的小麥數(shù)據(jù)集中存在大量無效照片，比如部分照片存在過度曝光、對(duì)比度過高以及圖像差異不明顯等問題，所以，需要采取手動(dòng)和自動(dòng)（代碼實(shí)現(xiàn)）結(jié)合的方式對(duì)無效圖像進(jìn)行刪除，并對(duì)過度曝光的照片進(jìn)行處理調(diào)節(jié)，最后得出高質(zhì)量的小麥圖像數(shù)據(jù)集.

1.2.2 數(shù)據(jù)增強(qiáng)

由于經(jīng)過篩選后的數(shù)據(jù)集數(shù)量不多，在訓(xùn)練模型時(shí)可能會(huì)導(dǎo)致模型過擬合和泛化能力較差^[17]，因此，本研究使用翻轉(zhuǎn)圖像、亮度及顏色增強(qiáng)3種數(shù)據(jù)增強(qiáng)技術(shù)^[18]來補(bǔ)充數(shù)據(jù)集.數(shù)據(jù)增強(qiáng)效果如圖2所示.

數(shù)據(jù)集增加后共有小麥圖像數(shù)據(jù)集4 812張，其中，訓(xùn)練集3 368張，驗(yàn)證集962張，測(cè)試集482張.增強(qiáng)前后小麥各發(fā)育期圖像數(shù)量如表1所示.

1.3 數(shù)據(jù)集劃分

經(jīng)過數(shù)據(jù)增強(qiáng)處理后，將小麥7個(gè)發(fā)育期的照片打亂，按照7∶2∶1的比例劃分訓(xùn)練集、驗(yàn)證集及測(cè)試集，其中，訓(xùn)練集和驗(yàn)證集用來訓(xùn)練及選擇模型，測(cè)試集用來評(píng)估模型的性能.各時(shí)期圖像數(shù)據(jù)劃分如表2所示.

1.4 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)算法處理平臺(tái)為高性能計(jì)算機(jī)，模型訓(xùn)練與測(cè)試的軟件環(huán)境為Windows11系統(tǒng)，選擇Python3.9編程語言，CPU為Intel i9，GPU為RTX3090，加速庫(kù)CUDA10，深度學(xué)習(xí)框架為Pytorch1.10.模型訓(xùn)練的初始學(xué)習(xí)率（Learning_rate）為0.000 1，批處理（Batch size）大小為32，迭代次數(shù)（Epochs）為60.

2 小麥發(fā)育期識(shí)別模型

2.1 DenseNet 模型

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中圖像識(shí)別的重要組成部分^[19].卷積層是提取圖像特征的卷積神經(jīng)網(wǎng)絡(luò)的核心，具有優(yōu)異性能的卷積層可以極大地提高模型的效率.理論上，可以通過增加模型中卷積層的數(shù)量來提取更多的特征.然而，在實(shí)踐中，隨著網(wǎng)絡(luò)深度的增加，會(huì)出現(xiàn)消失梯度和退化問題.DenseNet具有特征共享和任意層間互連的特點(diǎn)^[20].它通過密集連接重用特征圖，利用不同層的特征圖來減少層之間的相互依賴性，通過不同長(zhǎng)度的快捷連接提供緊湊和差異化的輸入特征，并有效減少深度網(wǎng)絡(luò)中難以優(yōu)化的梯度消失問題.最終的預(yù)測(cè)是使用來自所有層的特征，可以以較小的模型和計(jì)算工作量在標(biāo)準(zhǔn)數(shù)據(jù)集上獲得更好的性能和模型魯棒性^[21].圖3為DenseNet模型的結(jié)構(gòu).

DenseNet的基本結(jié)構(gòu)由密集塊（Dense Block）、過渡層（Transition Layer）、卷積層和全連接層組成.密集單元輸入與之前密集單元的所有輸出進(jìn)行拼接合并，生成的新特征也需要傳遞到后續(xù)密集單元，從而使密集塊的淺層特征得到重復(fù)利用和有效利用，可以在一定程度上減少梯度消失，并且可以用少量的卷積核來生成大量的特征.過渡層是相鄰密集塊之間的結(jié)構(gòu)，由1×1卷積和2×2平均池化層組成，壓縮密集塊輸入和所有提取的特征信息，降低特征圖的大小和維數(shù)，可以有效地減少密集塊參數(shù)的數(shù)量，防止網(wǎng)絡(luò)過擬合^[22].完全連接的層是分類預(yù)測(cè)層，它通過整合網(wǎng)絡(luò)特征中的類別特征信息來減少特征位置對(duì)分類的影響，并在加權(quán)后對(duì)特征信息進(jìn)行分類.

綜上所述，DenseNet的特點(diǎn)就是所謂的密集連接，它使每一層的輸入都能成為前面所有層輸出的級(jí)聯(lián).通過這種方式，DenseNet中的每一層都能享受“密集”的特征重用，因?yàn)檩斎氆@得了所有先前層所學(xué)習(xí)的信息.DenseNet中第l層（1≤l）的輸出可以寫成：

yl=Hl（xl）=Hl（［y0，yl，…，yl－2，yl－1］）.（1）

其中：Hl（·）是一種非線性轉(zhuǎn)化函數(shù)，包含卷積、激活函數(shù)以及批歸一化的3部分;［y0，y1，…，yl－1］ 表示密集連接的效果，該連接將前l(fā)－1層的輸出連接在某個(gè)維度上.

同時(shí)，對(duì)模型設(shè)計(jì)過程中模型性能與計(jì)算時(shí)間之間的最優(yōu)關(guān)系進(jìn)行了權(quán)衡.系統(tǒng)加載模型后，通過計(jì)算模型在測(cè)試數(shù)據(jù)集上的推理速度，得出模型預(yù)測(cè)單組圖像只需要0.031 2 s左右，可以滿足實(shí)際項(xiàng)目要求.

2.2 基于卷積的注意力模塊

由于數(shù)據(jù)集中小麥圖像的特征點(diǎn)不明顯，導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練的時(shí)候可能會(huì)提取無用的特征，影響網(wǎng)絡(luò)模型的性能.本文在DenseNet模型基礎(chǔ)上引入卷積塊注意模塊（CBAM）^[23]，包括兩個(gè)子模塊：通道注意力模塊（CAM）和空間注意力模塊（SAM）.兩個(gè)模塊具有不同的功能，SAM可以提取輸入圖像的主要特征信息，CAM可以根據(jù)每個(gè)特征通道的重要性設(shè)置權(quán)重.CBAM模塊結(jié)構(gòu)如圖4所示.

在通道注意力模塊中，將輸入的圖像分別應(yīng)用平均池化和最大池化，輸出的特征圖通過只有一個(gè)隱藏層的多層感知器（Multi Layer Perceptron，MLP）來生成通道注意力圖.再通過元素相加計(jì)算通道注意力子模塊.計(jì)算公式如下：

MC（F）=σ（MLP（AvgPool（F））+" MLP（MaxPool（F）））.（2）

其中：σ是sigmoid函數(shù);MLP為多層感知器;AvgPool（F）和MaxPool（F）分別表示平均池化和最大池化;MC（F）為通道注意力模塊.

與通道注意力不同，空間注意力子模塊為了找到目標(biāo)位置的信息，其沿通道軸同時(shí)進(jìn)行平均池化和最大池化過程，并通過卷積層生成空間注意圖.計(jì)算公式如下：

MS（F′）=σ（f（［AvgPool（F′），MaxPool（F′）］））.（3）

其中：F為輸入特征圖;f為7×7卷積運(yùn)算; AvgPool（F′）和MaxPool（F′）分別表示平均池化和最大池化;MS（F′）是空間注意力模塊.

2.3 基于注意力機(jī)制的DenseNet小麥識(shí)別模型

研究表明，注意力機(jī)制引入CNN算法中，能夠使網(wǎng)絡(luò)模型得到優(yōu)化.為了提高小麥發(fā)育期分類識(shí)別的準(zhǔn)確率，本文以DenseNet為主干提取網(wǎng)絡(luò)，將CBAM引入該網(wǎng)絡(luò)模型.一方面，在該模型中，無論通道注意力在空間注意力之前（通道→空間，即CBAM），或是空間注意力在通道注意力之前（空間→通道，即反向CBAM），排在后面的權(quán)重將由排在前面的特征圖生成.在某種程度上，排在后面的注意特征的輸入受到排在前面的注意機(jī)制的影響，這會(huì)產(chǎn)生干擾，使模型不穩(wěn)定.另一方面，串聯(lián)插入只允許模型先考慮一個(gè)維度，然后再考慮另一個(gè)維度，這可能會(huì)導(dǎo)致模型無法充分利用輸入數(shù)據(jù)中的信息.為此，本文通過將原來CBAM中通道注意力模塊和空間注意力模塊串聯(lián)方式改為并行連接方式來改進(jìn)CBAM，命名為I_CBAM.這是因?yàn)椴⑿胁迦朐试S CBAM 模塊同時(shí)考慮通道和空間維度上的特征.這意味著兩個(gè)注意力模塊都能直接學(xué)習(xí)原始輸入的特征圖，而不用關(guān)注空間注意力和通道注意力的順序，從而更好地捕獲輸入數(shù)據(jù)中的特征.I_CBAM計(jì)算公式如下：

F′2=MC（F2）F2MS（F2）.（4）

其中：是特征圖加權(quán)乘法運(yùn)算符號(hào);F′2為輸出的特征圖.

將改進(jìn)的CBAM注意力模塊添加到DenseNet模型中最后一個(gè)Dense Block之后，對(duì)DenseNet網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，從而構(gòu)建出一個(gè)新的模型I_CBAM-DenseNet，整體結(jié)構(gòu)如圖5所示.

識(shí)別模型由DenseNet和改進(jìn)的CBAM構(gòu)成，具體的工作流程如下：首先輸入的小麥圖像是三通道的，其像素大小為224×224，圖像格式是RGB.本文使用7×7和3×3的卷積核對(duì)小麥圖像進(jìn)行初步的特征提取以及降維處理，得到64通道且圖像尺寸大小為56×56的特征圖F1.為了使小麥圖像在處理過程中的特征信息更加顯著，本文使用4個(gè)Dense Block及3個(gè)Transition Layer模塊組成的網(wǎng)絡(luò).其中，Dense Block中Denselayer數(shù)量分別設(shè)置為6、12、24、16.為了對(duì)特征點(diǎn)進(jìn)行提取，Denselayer選擇1×1和3×3的卷積核且增長(zhǎng)率設(shè)置為32.Transition Layer放在2個(gè)Dense Block中間.Transition Layer有個(gè)參數(shù)reduction（范圍是0到1），本文設(shè)置為0.5，這樣傳給下一個(gè)Dense Block時(shí)，channel數(shù)量就會(huì)減少一半.經(jīng)過上述過程處理，特征圖的尺寸逐步變?yōu)?8×28、14×14和7×7.

經(jīng)過大量的實(shí)驗(yàn)驗(yàn)證，本文將改進(jìn)后的CBAM插入到第4個(gè)Dense Block之后可以明顯提高模型對(duì)小麥圖像的識(shí)別準(zhǔn)確率.改進(jìn)的CBAM由CAM和SAM并聯(lián)構(gòu)成.在CAM部分，通過DenseNet特征提取網(wǎng)絡(luò)輸出的小麥發(fā)育期圖像F2（7×7×256），在其寬度和高度上進(jìn)行最大池化和平均池化，可以得出2個(gè)1×1×256的小麥特征圖像，經(jīng)過一個(gè)2層的神經(jīng)網(wǎng)絡(luò)可以得到2個(gè)1×1×256小麥特征圖.然后將這2個(gè)小麥特征向量相乘進(jìn)行加和操作，通過激活函數(shù)sigmoid得到通道注意力權(quán)重MC.在SAM部分，將DenseNet特征提取網(wǎng)絡(luò)輸出的小麥發(fā)育期圖像F2（7×7×256），在其通道上進(jìn)行最大池化和平均池化，可以得出2個(gè)7×7×1的小麥特征圖像.本文選用3×3的卷積核對(duì)小麥特征通道數(shù)進(jìn)行降維，通過激活函數(shù)sigmoid得到通道注意力權(quán)重MS.由于本文將CAM模塊和SAM模塊采用并行連接的方式，所以將小麥特征圖F2與MC、MS相乘得到的特征，即為通過I_CBAM模塊增強(qiáng)后的小麥特征F′2.

2.4 評(píng)價(jià)指標(biāo)

為了更好地比較模型的分類能力，本實(shí)驗(yàn)使用損失值（Loss）、準(zhǔn)確率（Accuracy，A）、召回率（Recall，R）、精確率（Precision，P）以及F1-Score作為評(píng)價(jià)指標(biāo)衡量模型的性能^[24].模型分類評(píng)價(jià)指標(biāo)計(jì)算如式（5）—（8）所示.

P=TPTP+FP×100%，（5）

R=TPTP+FN×100%，（6）

A=TP+TNTP+TN+FP+FN×100%，（7）

F1-Score=2×P×RP+R×100%.（8）

式中：TP為分類正確的小麥樣本數(shù)量;FP為分類錯(cuò)誤的小麥樣本數(shù)量;TN為分類正確的非本類小麥樣本數(shù)量;FN為表示未被正確分類的小麥樣本數(shù)量.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)過程

1）數(shù)據(jù)收集：在田地周邊超過2 m位置架設(shè)攝像頭，攝像頭拍攝的小麥圖像定時(shí)傳輸至電腦端的數(shù)據(jù)服務(wù)器進(jìn)行保存.

2）發(fā)育期分類：按照麥類作物各發(fā)育期特征將采集的圖像進(jìn)行發(fā)育期分類，本文選取小麥7個(gè)重要發(fā)育期即出苗期、三葉期、分蘗期、孕穗期、抽穗期、開花期以及成熟期.小麥發(fā)育期判定標(biāo)準(zhǔn)如表3所示.

3）篩選圖像：將不清晰、有遮擋的照片進(jìn)行手工刪除，并進(jìn)行發(fā)育期分類.為了更好地證明模型的魯棒性，本文使用翻轉(zhuǎn)圖像、亮度增強(qiáng)，以及顏色增強(qiáng)方式擴(kuò)充小麥數(shù)據(jù)集.按照7∶2∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.最后，對(duì)圖像進(jìn)行預(yù)處理，包括灰度化、歸一化操作，以及像素去均值化.為了方便結(jié)果比較分析，將圖像格式化，統(tǒng)一轉(zhuǎn)換像素為224×224.

4）分割圖像：將小麥圖像分別進(jìn)行灰度化處理（圖6）和分割處理（圖7），消除農(nóng)作物背景干擾信息，最大化提取農(nóng)作物生育期的特征信息.采用超綠特征（ExG）因子和最大類間方差算法（Otsu）分割圖像，原始圖像經(jīng)灰度化和分割處理后的準(zhǔn)確率對(duì)比結(jié)果如圖8所示.

5）模型驗(yàn)證：將I_CBAM-DenseNet分別與 DenseNet^[26]、CBAM-DenseNet^[27]、AlexNet^[28]、ResNet^[29]以及VGG^[30] 5種常見的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類識(shí)別比較，以驗(yàn)證本文模型對(duì)小麥各發(fā)育期圖像識(shí)別的性能.迭代次數(shù)設(shè)置為60，批處理大小設(shè)置為32.訓(xùn)練時(shí)將損失值和準(zhǔn)確率進(jìn)行保存.

3.2 嵌入注意力模塊前后準(zhǔn)確率比較

如圖9所示，在DenseNet網(wǎng)絡(luò)模型中添加不同的注意力機(jī)制，準(zhǔn)確率明顯提升.通過比較原始模型DenseNet、CBAM-DenseNet以及I_CBAM-DenseNet準(zhǔn)確率及損失值可知，本文I_CBAM-densene收斂速度最快、準(zhǔn)確率更高.

3.3 基于I_CBAM-DenseNet小麥發(fā)育期結(jié)果分析

為了進(jìn)一步驗(yàn)證模型的泛化能力及其魯棒性，采用測(cè)試數(shù)據(jù)集對(duì)I_CBAM-DenseNet進(jìn)行性能評(píng)估.首先使用混淆矩陣更加直觀地了解各模型對(duì)小麥發(fā)育期的分類情況.圖10顯示了該模型在測(cè)試集上的混淆矩陣.混淆矩陣的每一行代表小麥的真實(shí)發(fā)育期^[25]，每行中的數(shù)據(jù)表示該類別的小麥實(shí)例數(shù)量;混淆矩陣的每一列代表小麥的預(yù)測(cè)發(fā)育期，每列中的數(shù)值表示小麥發(fā)育期類別的預(yù)測(cè)數(shù)量.由圖10可知：小麥出苗期有1張被識(shí)別成三葉期;三葉期有1張被識(shí)別成抽穗期;孕穗期有1張被識(shí)別成分蘗期;抽穗期有2張被識(shí)別成開花期;成熟期有1張被識(shí)別成抽穗期.經(jīng)分析，是因?yàn)橄噜彽陌l(fā)育期特征差異不大導(dǎo)致了誤判.

根據(jù)式（5）—（8）計(jì)算本文所提出I_CBAM-DenseNet模型在測(cè)試集上的各評(píng)價(jià)指標(biāo)，結(jié)果如表4所示.該模型對(duì)7個(gè)小麥發(fā)育期的分類識(shí)別準(zhǔn)確率均高于99.17%，精確率均高于96.77%，召回率均高于96.61%，F(xiàn)1得分均高于98.07%.因此，I_CBAM-DenseNet模型可以高精度地識(shí)別出小麥的每個(gè)發(fā)育期.

3.4 不同模型識(shí)別結(jié)果對(duì)比

為了更直觀全面地展示本文提出模型的高精度性，在各模型訓(xùn)練過程中，對(duì)DenseNet、CBAM-DenseNet、 I_CBAM-DenseNet 、AlexNet、ResNet以及VGG 6個(gè)模型測(cè)試集的準(zhǔn)確率及損失值進(jìn)行保存，得到其變化曲線分別如圖11和圖12所示.

從如圖11可以看出，隨著訓(xùn)練次數(shù)的不斷增加，其他5個(gè)模型的曲線波動(dòng)很大，表明這些模型的擬合度不高.但是本文提出的I_CBAM-DenseNet模型沒有明顯波動(dòng)，在擬合方面表現(xiàn)良好.另外，6個(gè)模型在驗(yàn)證集上損失值呈下降趨勢(shì)（圖12），盡管部分驗(yàn)證階段的損失率沒有下降而是上升，但是總體損失值呈下降狀態(tài)并迅速收斂，在收斂后，DenseNet的損失值均在0.086上下浮動(dòng).此外迭代次數(shù)在22左右時(shí)，I_CBAM-DenseNet模型的損失值一直處于最低，比其他5個(gè)模型更加穩(wěn)定.隨著迭代次數(shù)的不斷增加，準(zhǔn)確率也不斷提高，當(dāng)?shù)螖?shù)在20左右時(shí)，模型在解空間中非常接近局部最優(yōu)解，訓(xùn)練精度也隨之收斂.通過對(duì)測(cè)試數(shù)據(jù)集上各種模型的全面比較可知，本文提出的I_CBAM-DenseNet能夠準(zhǔn)確識(shí)別小麥的發(fā)育期.

將訓(xùn)練好的模型分別在相同的測(cè)試集上測(cè)試，根據(jù)不同模型對(duì)小麥圖像的分類結(jié)果將各模型的準(zhǔn)確率、召回率、精確率以及每輪運(yùn)行的時(shí)間進(jìn)行統(tǒng)計(jì)計(jì)算，各模型對(duì)小麥7個(gè)發(fā)育期識(shí)別結(jié)果如表5所示.

由表5可知，I_CBAM-DenseNet模型準(zhǔn)確率達(dá)到99.64%，比DenseNet 、AlexNet、ResNet、VGG以及CBAM-DenseNet 分別提高2.39、3.08、2.57、4.88、0.65個(gè)百分點(diǎn)，其召回率以及精確率也比對(duì)比模型高，表明本文模型泛化性能較好.

4 總結(jié)

本文提出一種基于I_CBAM-DenseNet模型的小麥發(fā)育期圖像自動(dòng)識(shí)別方法，以解決我國(guó)農(nóng)作物發(fā)育期人工觀測(cè)效率低、識(shí)別準(zhǔn)確率低等問題.為了驗(yàn)證模型泛化能力，對(duì)數(shù)據(jù)集采取了數(shù)據(jù)增強(qiáng)技術(shù);為了消除小麥圖像與背景干擾的影響，采用超綠特征（ExG）因子和最大類間方差算法（Otsu）分割圖像.在DenseNet卷積神經(jīng)網(wǎng)絡(luò)中融合注意力模塊CBAM對(duì)模型進(jìn)行改進(jìn)優(yōu)化.采用I_CBAM-DenseNet網(wǎng)絡(luò)模型對(duì)小麥發(fā)育期進(jìn)行訓(xùn)練識(shí)別，同時(shí)對(duì)比分析DenseNet 、AlexNet、ResNet、 VGG以及CBAM-DenseNet模型的性能.結(jié)果如下：

1） I_CBAM-DenseNet模型對(duì)小麥發(fā)育期識(shí)別的準(zhǔn)確率為99.64%，比DenseNet 、AlexNet、ResNet、VGG以及CBAM-DenseNet分別提高2.39、3.08、2.57、4.88和0.65個(gè)百分點(diǎn)，其召回率以及精確率也比對(duì)比模型更高.

2）從識(shí)別結(jié)果中可以發(fā)現(xiàn)，臨近發(fā)育期的小麥圖像無突變特征，導(dǎo)致識(shí)別錯(cuò)誤，后期需要對(duì)特征不明顯的時(shí)期進(jìn)行進(jìn)一步研究.

3）為了充分發(fā)揮該模型在分類速度和準(zhǔn)確性方面的優(yōu)勢(shì)，可以將其部署到手機(jī)、電腦等便攜式電子終端上，以實(shí)現(xiàn)未來對(duì)拍攝的照片進(jìn)行快速及時(shí)分類.

4）后續(xù)將收集更多的數(shù)據(jù)，并根據(jù)小麥的特征優(yōu)化模型算法，將模型移植到其他作物發(fā)育期識(shí)別，以此來驗(yàn)證該模型的性能.

參考文獻(xiàn)References

［1］鄭玲.小麥生物量田間快速測(cè)量方法研究[D].楊凌：西北農(nóng)林科技大學(xué)，2015

ZHENG Ling.Research on the fast detection method of wheat biomass infield[D].Yangling：Northwest A amp; F University，2015

[2] 徐建鵬，王杰，徐祥，等.基于RAdam卷積神經(jīng)網(wǎng)絡(luò)的水稻生育期圖像識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（8）：143-150

XU Jianpeng，WANG Jie，XU Xiang，et al.Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J].Transactions of the Chinese Society of Agricultural Engineering，2021，37（8）：143-150

[3] 陸佳嵐，王凈，馬成，等.長(zhǎng)江流域中稻產(chǎn)量和品質(zhì)性狀差異與其生育期氣象因子的相關(guān)性[J].江蘇農(nóng)業(yè)學(xué)報(bào)，2020，36（6）：1361-1372

LU Jialan，WANG Jing，MA Cheng，et al.Correlation between the differences in yield and quality traits among various types of middle rice and meteorological factors during growth period in the Yangtze River Basin[J].Jiangsu Journal of Agricultural Sciences，2020，36（6）：1361-1372

[4] 李要中，劉鈞，馬尚昌.基于AM335X的農(nóng)作物氣象自動(dòng)觀測(cè)系統(tǒng)設(shè)計(jì)[J].氣象科技，2017，45（5）：818-824

LI Yaozhong，LIU Jun，MA Shangchang.Design of AM335X-based automatic crop-meteorological observation system[J].Meteorological Science and Technology，2017，45（5）：818-824

[5] Priya C A，Balasaravanan T，Thanamani A S.An efficient leaf recognition algorithm for plant classification using support vector machine[C]//International Conference on Pattern Recognition，Informatics and Medical Engineering （PRIME-2012）.March 21-23，2012，Salem，India.IEEE，2012：428-432

[6] 安國(guó)平，姜長(zhǎng)生，吳慶憲.基于PCNN和SVM的圖像識(shí)別方法研究[J].電光與控制，2008，15（10）：42-46

AN Guoping，JIANG Changsheng，WU Qingxian.Study on an image recognition method based on PCNN and SVM[J].Electronics Optics amp; Control，2008，15（10）：42-46

[7] 徐慧智，閆卓遠(yuǎn)，常夢(mèng)瑩.一種結(jié)合ResNet和遷移學(xué)習(xí)的交通標(biāo)志識(shí)別方法[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2023，37（3）：264-273

XU Huizhi，YAN Zhuoyuan，CHANG Mengying.A traffic sign recognition method based on ResNet and transfer learning[J].Journal of Chongqing University of Technology （Natural Science），2023，37（3）：264-273

[8] 廖強(qiáng)，王宇.基于遷移學(xué)習(xí)ResNet50的表情識(shí)別[J].中國(guó)科技信息，2023（9）：89-92

LIAO Qiang，WANG Yu.Expression recognition based on transfer learning ResNet50[J].China Science and Technology Information，2023（9）：89-92

[9] 張超群，易云恒，周文娟，等.基于深度學(xué)習(xí)與數(shù)據(jù)增強(qiáng)技術(shù)的小樣本巖石分類[J].科學(xué)技術(shù)與工程，2022，22（33）：14786-14794

ZHANG Chaoqun，YI Yunheng，ZHOU Wenjuan，et al.Small rock samples classification based on deep learning and data enhancement technologies[J].Science Technology and Engineering，2022，22（33）：14786-14794

[10] 牛群峰，袁強(qiáng)，靳毅，等.基于改進(jìn)VGG16卷積神經(jīng)網(wǎng)絡(luò)的煙絲類型識(shí)別[J].國(guó)外電子測(cè)量技術(shù)，2022，41（9）：149-154

NIU Qunfeng，YUAN Qiang，JIN Yi，et al.Identification of tobacco strands types based on improved VGG16 convolutional neural network[J].Foreign Electronic Measurement Technology，2022，41（9）：149-154

[11] 陳永衛(wèi)，韓俊英，任希同.基于改進(jìn)型VGG的蘋果果實(shí)品種識(shí)別[J].軟件，2022，43（5）：32-37

CHEN Yongwei，HAN Junying，REN Xitong.Variety identification of apple fruit based on improved VGG[J].Computer Engineering amp; Software，2022，43（5）：32-37

[12] Hu J，Shen L，Sun G.Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：7132-7141

[13] Woo S，Park J，Lee J Y，et al.CBAM：convolutional block attention module[C]//European Conference on Computer Vision.Cham：Springer，2018：3-19

[14] 李孟浩，袁三男.改進(jìn)YOLOv5s的交通標(biāo)識(shí)檢測(cè)算法[J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，16（1）：11-19

LI Menghao，YUAN Sannan.Traffic sign detection based on improved YOLOv5s[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2024，16（1）：11-19

[15] Wang S H，F(xiàn)ernandes S L，Zhu Z Q，et al.AVNC：attention-based VGG-style network for COVID-19 diagnosis by CBAM[J].IEEE Sensors Journal，2022，22（18）：17431-17438

[16] Wang M，Wu Z，Zhou Z.Fine-grained identification research of crop pests and diseases based on improved CBAM via attention[J].Trans Chin Soc Agric Mach，2021，52：239-247

[17] 孔建磊，金學(xué)波，陶治，等.基于多流高斯概率融合網(wǎng)絡(luò)的病蟲害細(xì)粒度識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2020，36（13）：148-157

KONG Jianlei，JIN Xuebo，TAO Zhi，et al.Fine-grained recognition of diseases and pests based on multi-stream Gaussian probability fusion network[J].Transactions of the Chinese Society of Agricultural Engineering，2020，36（13）：148-157

[18] 莊建軍，徐子恒，張若愚.基于改進(jìn)的YOLOv5模型和射線法的車輛違停檢測(cè)[J/OL].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版）：1-12[2023-06-29].https：//doi.org/10.13878/j.cnki.jnuist.20230402001

ZHUANG Jianjun，XU Ziheng，ZHANG Ruoyu.Vehicle violation detection based on improved YOLOv5 model and radiometric method[J/OL].Journal of Nanjing University of Information Science amp; Technology（Natural Science Edition）：1-12[2023-06-29].https：//doi.org/10.13878/j.cnki.jnuist.20230402001

[19] Yu D W，Yang J E，Zhang Y，et al.Additive DenseNet：dense connections based on simple addition operations[J].Journal of Intelligent amp; Fuzzy Systems，2021，40（3）：5015-5025

[20] 張蕓德.基于深度特征學(xué)習(xí)和多級(jí)SVM的玉米生長(zhǎng)期識(shí)別研究[D].武漢：華中師范大學(xué)，2018

ZHANG Yunde.Research on corn growth stage identification based on depth feature learning and multi-level SVM[D].Wuhan：Central China Normal University，2018

[21] Zhou T，Ye X Y，Lu H L，et al.Dense convolutional network and its application in medical image analysis[J].BioMed Research International，2022，2022：2384830

[22] 王善平.基于生長(zhǎng)期識(shí)別與路徑規(guī)劃的噴桿噴霧機(jī)精準(zhǔn)施藥決策系統(tǒng)研制[D].泰安：山東農(nóng)業(yè)大學(xué)，2021

WANG Shanping.Development of precision spraying decision system for boom sprayer based on growth identification and path planning[D].Taian：Shandong Agricultural University，2021

[23] 王圓，祝俊輝，周賢勇，等.基于改進(jìn)ResNet模型的番茄葉片病蟲害識(shí)別[J/OL].激光雜志：1-6[2023-06-29].http：//kns.cnki.net/kcms/detail/50.1085.TN.20230726.0907.002.html

WANG Yuan，ZHUJunhui，ZHOU Xianyong，et al.Tomato leaf pest identification based on improved ResNet model[J/OL].Laser Journal：1-6[2023-06-29].http：//kns.cnki.net/kcms/detail/50.1085.TN.20230726.0907.002.html

[24] 扶蘭蘭，黃昊，王恒，等.基于Swin Transformer模型的玉米生長(zhǎng)期分類[J].農(nóng)業(yè)工程學(xué)報(bào)，2022，38（14）：191-200

FU Lanlan，HUANG Hao，WANG Heng，et al.Classification of maize growth stages using the Swin Transformer model[J].Transactions of the Chinese Society of Agricultural Engineering，2022，38（14）：191-200

[25] 許美賢，鄭琰，李炎舉，等.基于PSO-BP神經(jīng)網(wǎng)絡(luò)與PSO-SVM的抗乳腺癌藥物性質(zhì)預(yù)測(cè)[J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，15（1）：51-65

XU Meixian，ZHENG Yan，LI Yanju，et al.Prediction of properties of anti-breast cancer drugs based on PSO-BP neural network and PSO-SVM[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2023，15（1）：51-65

[26] 莊黎波，李勇，劉強(qiáng)，等.基于改進(jìn)Densenet的番茄病害識(shí)別[J].浙江農(nóng)業(yè)科學(xué)，2023，64（8）：1939-1944

ZHUANG Libo，LI Yong，LIU Qiang，et al.Tomato disease identification based on improved Densenet[J].Journal of Zhejiang Agricultural Sciences，2023，64（8）：1939-1944

[27] 申志凱.基于CBAM-DenseNet網(wǎng)絡(luò)的支氣管內(nèi)膜結(jié)核輔助診斷研究[D].南昌：南昌大學(xué)，2022

SHEN" Zhikai.Research on auxiliary diagnosis of endobronchial tuberculosis based on CBAM-DenseNet network[D].Nanchang：Nanchang University，2022

[28] 宮妍，位沖沖，夏明磊.基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的工件識(shí)別技術(shù)[J].哈爾濱商業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，39（3）：294-302

GONG Yan，WEIChongchong，XIA Minglei.Workpiece recognition technology based on improved convolution neural network[J].Journal of Harbin University of Commerce （Natural Sciences Edition），2023，39（3）：294-302

[29] 劉擁民，胡魁，聶佳偉，等.基于MSDB-ResNet的水稻病蟲害識(shí)別[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2023，44（6）：978-985

LIU Yongmin，HU Kui，NIE Jiawei，et al.Rice pest identification based on MSDB-ResNet[J].Journal of South China Agricultural University，2023，44（6）：978-985

[30] 孫孟研，王佳，馬睿，等.基于注意力機(jī)制的輕量化VGG玉米籽粒圖像識(shí)別模型[J/OL].中國(guó)糧油學(xué)報(bào)：1-12[2023-07-06].https：//doi.org/10.20048/j.cnki.issn.1003-0174.000226

SUN Mengyan，WANG Jia，MA Rui，et al.Image recognition model of light VGG maize kernel based on attention mechanism[J/OL].Journal of the Chinese Cereals and Oils Association：1-12[2023-07-06].https：//doi.org/10.20048/j.cnki.issn.1003-0174.000226

Recognition of wheat development stage based on I_CBAM-DenseNet model

FU Jingzhi^1，2，3 MA Yue^1，2，3 HONG Guan⁴ LIU Yunping^{1，2，3} WU Wenyu¹ DING Mingming^1，4 YIN Zefan¹

1School of Automation，Nanjing University of Informantion Science amp; Technology，Nanjing 210044，China

2Collaborative Innovation Center of Atmospheric Environment and Equipment Technology，Nanjing University of Informantion Science amp; Technology，Nanjing 210044，China

3Jiangsu Key Laboratory of Big Data Analysis Technology （B-DAT） ，Nanjing University of Informantion Science amp; Technology，Nanjing 210044，China

4China Meteorologicl Adiministration Meteorological Observation Centre，Beijing 100081，China

Abstract To address the low efficiency and accuracy of manual observation in recognition of crop development stages，a recognition approach based on I_CBAM-DenseNet model is proposed.The approach utilizes a densely connected convolutional network （DenseNet） as the backbone extraction network and incorporates a Convolutional Block Attention Module （CBAM）.The Spatial Attention Module （SAM） and Channel Attention Module （CAM） in CBAM are modified from traditional serial connection to parallel connection，and the Improved CBAM （I_CBAM） is inserted into the last dense block of DenseNet to construct the I_CBAM-DenseNet model.Seven important development periods of wheat are selected for automatic identification.To maximize wheat feature extraction，the Excess Green （ExG） feature factor and the maximum inter-class variance method of Otsu are combined to segment the acquired wheat images.The accuracy and loss values of models including I_CBAM-DenseNet，AlexNet，ResNet，DenseNet，CBAM-DenseNet and VGG are compared and analyzed.The results show that the proposed I_CBAM-DenseNet model outperforms other models with a high accuracy of 99.64%.

Key words wheat;development stage;DenseNet;convolutional block attention module（CBAM）

資助項(xiàng)目國(guó)家自然科學(xué)基金 （51305210）;江蘇省自然科學(xué)基金 （BK20150924）

作者簡(jiǎn)介付景枝，女，博士，副教授，研究方向?yàn)闄C(jī)器人技術(shù)、系統(tǒng)優(yōu)化.jennyfjz＠163.com