牛思琪, 馬 睿, 許曉琳, 梁 敖, 穆春華, 許金普, 馬德新,2

(青島農(nóng)業(yè)大學(xué)動(dòng)漫與傳媒學(xué)院1,青島 266109)

(青島農(nóng)業(yè)大學(xué)智慧農(nóng)業(yè)研究院2,青島 266109)

(山東省農(nóng)業(yè)科學(xué)院玉米研究所3,濟(jì)南 250100)

玉米(ZeamaysL.)是世界上分布最廣的作物之一,具有較高的營養(yǎng)價(jià)值和經(jīng)濟(jì)價(jià)值,是我國的主要糧食作物,也是我國畜牧業(yè)主要的飼料來源。不同的地域環(huán)境對(duì)于適宜種植的玉米品種不同,傳統(tǒng)的種子品種檢驗(yàn)的方法如色譜分析技術(shù)、卡尺測(cè)量等,均存在著耗時(shí)長等問題,而且由于其外形方面存在的差異較小,所以憑借肉眼很難對(duì)其進(jìn)行快速準(zhǔn)確的識(shí)別。

計(jì)算機(jī)視覺技術(shù)能夠在不破壞玉米種子的前提下對(duì)種子品種進(jìn)行檢測(cè)識(shí)別,具有無損、快速、實(shí)時(shí)等特點(diǎn)。周鴻達(dá)等[1]為了快速檢測(cè)玉米等級(jí),選取4種等級(jí)的玉米種子,利用BP神經(jīng)網(wǎng)絡(luò)對(duì)其分類,總體識(shí)別率在90%以上。程洪等[2]選取了3個(gè)玉米品種作為實(shí)驗(yàn)對(duì)象,利用支持向量機(jī)(SVM)算法對(duì)其訓(xùn)練,準(zhǔn)確率達(dá)到了92.3%。

現(xiàn)階段,在機(jī)器學(xué)習(xí)中應(yīng)用最普遍的深度學(xué)習(xí)技術(shù)是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[3]。被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)等方面[4]。自2012年以來,CNN模型開始出現(xiàn),如AlexNet[5]、VGGNet[6]、GoogLeNet[7]、ResNet[8]、DenseNet[9]、MobileNet[10]、ShuffleNet[11]等。Huang[12]將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遷移學(xué)習(xí)引入玉米種子的質(zhì)量分類,同時(shí)與機(jī)器學(xué)習(xí)算法進(jìn)行了比較。結(jié)果表明,深度學(xué)習(xí)算法明顯優(yōu)于機(jī)器學(xué)習(xí)算法,GoogLeNet準(zhǔn)確率為95%,SURF+SVM的準(zhǔn)確率為79.2%。Xu等[13]提出了基于ResNet改進(jìn)的新模型(P-ResNet),為玉米種子分類提供了一種方法,選取5個(gè)品種的玉米種子作為實(shí)驗(yàn)對(duì)象,準(zhǔn)確率達(dá)到99.70%。Javanmardi等[14]提出使用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取特征,再利用人工神經(jīng)網(wǎng)絡(luò)(ANN)對(duì)提取的特征進(jìn)行分類。使用CNN-ANN對(duì)玉米種子進(jìn)行分類識(shí)別準(zhǔn)確率達(dá)到98.1%。

近年來,輕量級(jí)網(wǎng)絡(luò)發(fā)展迅速,不僅具有計(jì)算量少、準(zhǔn)確率高的特點(diǎn),而且廣泛適用于移動(dòng)設(shè)備。Shahi等[15]提出了一種基于MobileNetV2的新型注意力卷積模塊來對(duì)水果進(jìn)行分類,在3個(gè)數(shù)據(jù)集上分別達(dá)到了95.75%、96.74%和96.23%的穩(wěn)定分類精度。葉名煬等[16]針對(duì)傳統(tǒng)玉米病害的問題,提出一種基于遷移學(xué)習(xí)和MobileNetV2模型的識(shí)別方法,來識(shí)別玉米病害中常見的3類,分別是灰斑病、銹病、大斑病,同時(shí)對(duì)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)LeNet,實(shí)驗(yàn)結(jié)果表明,在Kaggle數(shù)據(jù)集上MobileNetV2的平均識(shí)別率達(dá)到96.94%,較LeNet高出1.37%。易才鍵等[17]為實(shí)現(xiàn)智能垃圾分類,提出一種輕量型的生活垃圾圖像分類模型DG-MobileNetV2。該模型以輕量級(jí)網(wǎng)絡(luò)MobileNetV2為基礎(chǔ),通過引入雙尺度深度卷積模塊、通道混洗技術(shù)、調(diào)整寬度因子等手段來壓縮模型。實(shí)驗(yàn)表明,該分類模型在某公司發(fā)布的生活垃圾分類數(shù)據(jù)集上的分類準(zhǔn)確率達(dá)到90.58%,具有良好的分類效果。

隨著深度學(xué)習(xí)的發(fā)展,許多研究者通過引入注意力機(jī)制來提高網(wǎng)絡(luò)的性能。Zhang等[18]為了準(zhǔn)確識(shí)別魚群的攝食行為,使用MobileNetV2提取魚群圖像特征,并建立了基于SENet(擠壓和激勵(lì)網(wǎng)絡(luò))的特征加權(quán)網(wǎng)絡(luò),所提出的方法在真實(shí)魚群圖像上進(jìn)行了測(cè)試,獲得了97.76%的準(zhǔn)確率。Selvraju等[19]提出了一種基于MobileNetV2藥品圖像識(shí)別分類的模型,在具有殘差邊的瓶頸結(jié)構(gòu)中添加CBAM,提高訓(xùn)練效率以及減少模型復(fù)雜度,實(shí)驗(yàn)結(jié)果表明:該模型對(duì)實(shí)驗(yàn)的95種藥品的圖像識(shí)別分類的準(zhǔn)確率,達(dá)到89%,較改進(jìn)前提高了5%。

本研究在輕量化模型MobileNetV2的基礎(chǔ)上,構(gòu)建一個(gè)新型注意力模塊E_CBAM,提出了E_CBAM_MobileNetV2模型,解決了CBAM串行連接2種模塊相互影響的問題。采集了9種玉米種子圖像共2 792張建立了玉米種子識(shí)別的數(shù)據(jù)集。在本研究構(gòu)建的數(shù)據(jù)集的基礎(chǔ)上,進(jìn)行了大量實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,所提出的E_CBAM_MobileNetV2模型能夠有效地對(duì)玉米種子進(jìn)行分類,且明顯優(yōu)于MobileNetV2模型。本研究為玉米種子的高效、便捷、快速識(shí)別提供了參考。

1 數(shù)據(jù)集構(gòu)建

1.1 數(shù)據(jù)來源及獲取

研究共選取9種玉米種子2 792粒,且玉米種子籽粒飽滿未破損,分別是AOYU116、JINGNIAN1、ZHENGDAN958、KENUO58、TIEYAN、XJH、YUNYU、16DX531、BT506。詳細(xì)品種名稱、數(shù)量及材料產(chǎn)地見表1。

表1 實(shí)驗(yàn)材料

在實(shí)驗(yàn)室自然光照的條件下,將玉米種子放置在以黑色植絨布為背景搭建的工作臺(tái)上,每次放置16粒種子,采用80D型數(shù)碼相機(jī)進(jìn)行拍攝。

1.2 圖像預(yù)處理

由于研究要對(duì)單粒玉米種子進(jìn)行識(shí)別,因此需要對(duì)多粒圖像進(jìn)行分割。如圖1所示,通過Python和OpenCV對(duì)多粒玉米種子圖像進(jìn)行區(qū)域分割。首先對(duì)圖像預(yù)處理,通過二值化提取圖像信息,采用雙邊濾波加填充進(jìn)行降噪,然后通過腐蝕膨脹去除邊緣顆粒。最后,通過輪廓檢測(cè)算法提取單粒玉米種子的形態(tài)輪廓,再通過畫框?qū)⑵浞指畛鰜怼?/p>

圖1 玉米籽粒部分分割過程

1.3 數(shù)據(jù)集的劃分與增強(qiáng)

為了保證數(shù)據(jù)的獨(dú)立性,避免某張圖片擴(kuò)充之后同時(shí)在訓(xùn)練集和測(cè)試集出現(xiàn),從而生成虛假的準(zhǔn)確度,將每類玉米種子圖像按照7∶2∶1隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集,即訓(xùn)練集圖像共1 959張,驗(yàn)證集圖像共558張,測(cè)試集圖像共275張。

為了進(jìn)一步提高模型的魯棒性和泛化能力,通過人為擴(kuò)大訓(xùn)練圖像數(shù)量,對(duì)已采集的數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。主要包括采用旋轉(zhuǎn)、水平翻轉(zhuǎn)、位置平移、錯(cuò)切變換、放縮等操作。

2 實(shí)驗(yàn)方法

2.1 改進(jìn)注意力機(jī)制(E_CBAM)

注意力機(jī)制是模擬人類視覺的一種機(jī)制,即關(guān)注重要特征,抑制不必要的特征。CBAM(Convolutional Block Attention Module)是一種輕量化的卷積注意力模塊。將CBAM引入卷積神經(jīng)網(wǎng)絡(luò)中能夠較大幅度的提高模型的性能,而且引入它帶來的參數(shù)量和運(yùn)算量非常的小,可以嵌入到大部分的卷積神經(jīng)網(wǎng)絡(luò)。

特征圖的不同維度所攜帶的信息不同,通道維度側(cè)重于特征抽象的表達(dá),而空間維度則更側(cè)重于物體的位置信息,CBAM融合了通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)。這2個(gè)子模塊以串行的方式組合在一起,序列化的在通道維度和空間維度上產(chǎn)生注意力特征圖信息。利用通道間的特征關(guān)系生成通道注意圖,進(jìn)而連接到空間注意力得到最具信息量的特征圖。整體結(jié)構(gòu)如圖2所示。

圖2 CBAM結(jié)構(gòu)圖

假設(shè)中間特征映射F作為輸入,先得到通道注意映射Mc,再經(jīng)過空間注意力模塊得到空間注意映射Ms,最終進(jìn)行加權(quán)得到特征F′。其公式為:

(1)

式中:Mc(F)為F經(jīng)過通道注意力的輸出權(quán)值;Ms(F′)為F′經(jīng)過空間注意力的輸出權(quán)值;?為特征圖加權(quán)乘法運(yùn)算符號(hào)。

CBAM雖然將相對(duì)重要的通道注意力模塊放在前面,但是仍在一定程度上影響排在后面的空間注意力模塊所學(xué)習(xí)到的特征。因此,為使2種注意力模塊都直接輸入原始的特征,研究對(duì)CBAM進(jìn)行改進(jìn),由“串行”改為“并行”連接,從而得到無需關(guān)注空間注意力和通道注意力順序的注意力機(jī)制,即E_CBAM。整體結(jié)構(gòu)如圖3所示。

圖3 E-CBAM結(jié)構(gòu)圖

E_CBAM先由輸入特征圖F分別經(jīng)過通道注意力和空間注意力得到相應(yīng)權(quán)值,最后將權(quán)值直接與原始輸入特征圖F加權(quán)得到輸出特征圖F′。其公式為:

F′=Mc(F)?Ms(F)?F

(2)

式中:Ms(F)為F經(jīng)過通道注意力的輸出權(quán)值。

2.2 E_CBAM_MobileNetV2模型結(jié)構(gòu)

MobileNetV2中添加了InvertedResiduals和LinearBottlenecks,具有較少的網(wǎng)絡(luò)參數(shù)數(shù)量和更低的運(yùn)算成本,延續(xù)了在MobileNetV1的深度可分離卷積操作,其所做的創(chuàng)新是用大量倒殘差塊和線性瓶頸層對(duì)圖像的特征進(jìn)行提取,實(shí)驗(yàn)證明,使用線性層是至關(guān)重要的,可以有效防止非線性破壞特征信息。

為了提高M(jìn)obileNetV2模型在玉米種子品種識(shí)別方面的性能,將MobileNetV2與本研究提出的E_CBAM模塊結(jié)合,構(gòu)建了E_CBAM_MobileNetV2模型,具體結(jié)構(gòu)網(wǎng)絡(luò)如圖4所示。

圖4 E_CBAM_MobileNetV2模型結(jié)構(gòu)圖

2.3 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的訓(xùn)練與測(cè)試環(huán)境相同,均為Windows11操作系統(tǒng),使用基于Tensorflow為后端運(yùn)行的Keras深度學(xué)習(xí)框架,來實(shí)現(xiàn)整個(gè)模型訓(xùn)練與測(cè)試過程,實(shí)驗(yàn)過程中的超參數(shù)如表2所示。

表2 實(shí)驗(yàn)詳細(xì)超參數(shù)

2.4 模型性能評(píng)價(jià)指標(biāo)

對(duì)于玉米種子分類問題,評(píng)估指標(biāo)決定了模型的好壞。選用混淆矩陣作為性能的評(píng)估指標(biāo),通常有4個(gè)指標(biāo)包括真陽性(TP)、真陰性(TN)、假陽性(FP)和假陰性(FN)。通過指標(biāo)可以展現(xiàn)出樣本中的真實(shí)類別和預(yù)測(cè)的類別?；诨煜仃?可以得到更高級(jí)的分類指標(biāo):準(zhǔn)確率(Accuracy),精確率(Precision),召回率(Recall)、F1-score。如表3所示。

表3 模型性能評(píng)價(jià)指標(biāo)

3 結(jié)果與討論

3.1 不同網(wǎng)絡(luò)模型對(duì)比

選取MobileNetV2、SqueezeNet、ResNet50、DenseNet、ShuffleNetV2共5種卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,其準(zhǔn)確率如表4所示。從實(shí)驗(yàn)結(jié)果來看,MobileNetV2的實(shí)驗(yàn)效果最好,準(zhǔn)確率為92.73%,是5種網(wǎng)絡(luò)中最高的,較SqueezeNet、ResNet50、DenseNet121、ShuffleNetV2分別高出2.91%、17.09%、1.46%、10.91%。

表4 不同網(wǎng)絡(luò)模型對(duì)比實(shí)驗(yàn)

3.2 MobileNetV2加入不同注意力模塊對(duì)比

為了提高模型的準(zhǔn)確率,選擇合適的注意力模塊,向MobileNetV2網(wǎng)絡(luò)模型中加入不同注意力進(jìn)行比較,分別是Channel attention、Spatial attention、CBAM、R_CBAM、E_CBAM,實(shí)驗(yàn)結(jié)果如表5所示。將添加不同注意力模塊后的MobileNetV2網(wǎng)絡(luò)模型與未加注意力的MobileNetV2網(wǎng)絡(luò)模型進(jìn)行對(duì)比,可以看出,無論添加空間注意力或通道注意力,還是將其串行或并行,其準(zhǔn)確率均高于未加注意力的MobileNetV2網(wǎng)絡(luò)模型。

表5 MobileNetV2加入不同注意力模塊對(duì)比實(shí)驗(yàn)

從規(guī)模和參數(shù)量上看,Spatial attention最小,這是因?yàn)镾patial attention只保存1個(gè)7×7的卷積核,因此準(zhǔn)確率也是提升最少的。而含有Channel attention模塊的規(guī)模和參數(shù)量較大,但準(zhǔn)確率較高,這是由于Channel attention存在全連接層能夠處理平均池化和最大池化的結(jié)果。

從準(zhǔn)確率來看,CBAM注意力的效果并不是很好,因?yàn)槭恰按小边B接,后面的空間注意力學(xué)習(xí)到的是的通道注意力處理過的特征圖。同為“串行”連接的將空間注意力放在前面,結(jié)果表明R_CBAM的準(zhǔn)確率略高一些。但表現(xiàn)最好的還是研究提出的“并行”混合注意力模塊E_CBAM,在模型大小和參數(shù)量相同的情況下,準(zhǔn)確率比CBAM、R_CBAM分別高出了2.18%、0.73%。

3.3 E_CBAM_MobileNetV2使用不同壓縮比對(duì)比

由于注意力模塊E_CBAM的加入,會(huì)增加模型的復(fù)雜度、消耗更多的計(jì)算時(shí)間,且通過實(shí)驗(yàn)可知,注意力模塊E_CBAM中的大部分參數(shù)來自Channelattention。因此,為保證MobileNetV2的輕量化優(yōu)勢(shì),對(duì)E_CBAM的Channel attention的壓縮比(2、4、8、16、32)進(jìn)行了調(diào)參實(shí)驗(yàn),結(jié)果如圖5所示,從準(zhǔn)確率來看當(dāng)壓縮比為4時(shí)訓(xùn)練集準(zhǔn)確率明顯更高,而且收斂也更快。

圖5 E_CBAM_MobileNetV2使用不同壓縮比準(zhǔn)確率對(duì)比

從表6中也可以看到,當(dāng)壓縮比為4時(shí),準(zhǔn)確率為98.18%,盡管模型的規(guī)模相比之前壓縮比為2時(shí)有所減小,但模型的準(zhǔn)確率卻反而有所提升。而當(dāng)壓縮比8、16、32時(shí),雖然規(guī)模減小,但準(zhǔn)確率也明顯下降遠(yuǎn)不如壓縮比為4時(shí)。因此,使用4作為E_CBAM中Channel attention全連接層的壓縮比是較好的選擇。

表6 E_CBAM_MobileNetV2使用不同壓縮比對(duì)比結(jié)果

3.4 E_CBAM_MobileNetV2對(duì)品種鑒定分析結(jié)果

如圖6所示,使用混淆矩陣對(duì)研究提出的E_CBAM_MobileNetV2模型進(jìn)行可視化性能評(píng)估。

圖6 6 E_CBAM_MobileNetV2混淆矩陣結(jié)果

從混淆矩陣中可以看出,在XHJ品種識(shí)別上產(chǎn)生4個(gè)錯(cuò)誤識(shí)別,均被識(shí)別成TIEYAN;ZHENGDAN958產(chǎn)生1個(gè)錯(cuò)誤識(shí)別,被識(shí)別成XHJ。這主要是因?yàn)樗鼈冊(cè)谔卣魃洗嬖谝恍┲丿B。例如,XHJ和TIEYAN雖然在顏色和光澤上有略微不同,但其籽粒的紋理以及頂部形狀是極其相近的。XHJ和ZHENGDAN958在尖端部分的凹陷有略微的不同,但外形極其相似,籽粒飽滿均為金黃色,且表面光滑有光澤感。

此外,混淆矩陣中描述的性能指標(biāo)如表7所示,包括準(zhǔn)確率、精確率、召回率、F1-score。

表7 E_CBAM_MobileNetV2性能評(píng)估結(jié)果

研究提出的E_CBAM_MobileNetV2模型在測(cè)試集上對(duì)單品種的識(shí)別效果非常突出,所有單品種的準(zhǔn)確率均高于98.55%。除TIEYAN、XJH和ZHENGDAN958這3類玉米種子外,其余品種的準(zhǔn)確率、準(zhǔn)確率、召回率、F1-score均達(dá)到100%?；煜仃嚭头诸惤Y(jié)果均證明了E_CBAM_MobileNetV2模型具有良好的性能。

3.5 玉米種子品種識(shí)別可視化(Grad-CAM)

近年來,深度學(xué)習(xí)已經(jīng)廣泛運(yùn)用在計(jì)算機(jī)視覺領(lǐng)域。然而,這種“黑盒”模型缺乏可解釋性。因此,通過可解釋性的工作來可視化卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部具有重要意義。

對(duì)此實(shí)驗(yàn)引入梯度加權(quán)類激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)可視化分析方法,采用梯度的全局平均來計(jì)算權(quán)重,并將各通道特征圖以權(quán)重進(jìn)行疊加,生成激活熱力圖。通過激活熱力圖來體現(xiàn)分類最依賴的特征位置,激活熱力圖的像素顏色強(qiáng)度對(duì)應(yīng)特征的相關(guān)程度。當(dāng)像素顏色更趨近于暖色時(shí),它特征的激活強(qiáng)度越大,表明對(duì)分類結(jié)果的影響程度越高,反之,當(dāng)像素顏色更趨近于冷色時(shí),其特征的激活強(qiáng)度越小,表明對(duì)分類結(jié)果的影響程度越低。因此,通過激活熱力圖可直觀反映CNN判斷玉米種類的依據(jù)。圖7為MobileNetV2、CBAM_MobileNetV2、E_CBAM_MobileNetV2的熱力圖對(duì)比。

圖7 MobileNetV2及嵌入CBAM、E_CBAM注意力模塊后的激活熱力圖對(duì)比

如圖7所示,在識(shí)別玉米種子品種過程中,MobileNetV2、CBAM_MobileNetV2、E_CBAM_MobileNetV2關(guān)注的區(qū)域都有所不同,MobileNetV2較為關(guān)注中上部區(qū)域、對(duì)尖端部分和邊緣部分關(guān)注較少,加入CBAM的MobileNetV2過于關(guān)注了尖端部分,對(duì)于種子中間部分的關(guān)注則有所減少,而引入E_CBAM的MobileNetV2則關(guān)注了種子的大部分的區(qū)域,尤其是關(guān)注了較難區(qū)分的紋理部分,這也是區(qū)分外形相似種子的關(guān)鍵。通過激活熱力圖充分肯定了E_CBAM_MobileNetV2在識(shí)別玉米種子品種方面的能力。

4 結(jié)論

為實(shí)現(xiàn)玉米種子品種的準(zhǔn)確、高效、快速的鑒別,將注意力機(jī)制CBAM引入輕量化模型MobileNetV2,對(duì)CBAM的串行方式進(jìn)行改進(jìn),構(gòu)建新型注意力模塊E_CBAM,并通過對(duì)比,選出了效果最佳的壓縮比為4,提出了E_CBAM_MobileNetV2模型。選取了9類玉米種子作為數(shù)據(jù)集,進(jìn)行了大量實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,E_CBAM_MobileNetV2模型能夠快速、準(zhǔn)確識(shí)別玉米種子類別,較MobileNetV2模型相比準(zhǔn)確率提高了5.45%,且各指標(biāo)均優(yōu)于SqueezeNet、ResNet50、DenseNet、ShuffleNetV2等模型。