摘要：為探索及時(shí)、準(zhǔn)確識(shí)別危害棉花葉片病蟲害的方法，做好防護(hù)和治理工作。針對(duì)自然環(huán)境下棉花葉片圖像受復(fù)雜背景影響導(dǎo)致分類精度降低以及模型參數(shù)量大使其不便于移動(dòng)端部署的問題，提出了一種基于知識(shí)蒸餾的棉花病蟲害識(shí)別模型ESSKNet。首先構(gòu)建了包含8種類別的棉花病蟲害圖像數(shù)據(jù)集，其次通過在ShuffleNet v2模型引入SK-Attention自適應(yīng)調(diào)整卷積核的大小關(guān)注棉花葉片不同尺寸大小的病斑信息并降低棉花病蟲害圖像復(fù)雜背景對(duì)模型的影響，將卷積核大小從3×3調(diào)整為5×5使神經(jīng)網(wǎng)絡(luò)更好地捕捉圖像中的上下文信息和長程依賴關(guān)系。然后選取EfficientNet v2模型作為教師模型，ESSKNet模型作為學(xué)生模型，使用MGD方法進(jìn)行知識(shí)蒸餾。試驗(yàn)結(jié)果表明，改進(jìn)后的模型對(duì)棉花病蟲害的識(shí)別準(zhǔn)確率達(dá)96.06%，并且該模型參數(shù)量僅有EfficientNet v2的6.6%。該模型能有效識(shí)別棉花病蟲害且更便于部署在移動(dòng)設(shè)備上，以實(shí)現(xiàn)對(duì)棉花病蟲害圖像實(shí)時(shí)、精確地識(shí)別。

關(guān)鍵詞：棉花病蟲害；ESSKNet；知識(shí)蒸餾；圖像分類；SK-Attention；ShuffleNet v2

中圖分類號(hào)：TP391.41  文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2024）15-0222-10

收稿日期：2023-08-07

基金項(xiàng)目：新疆維吾爾自治區(qū)高校基本科研業(yè)務(wù)費(fèi)科研項(xiàng)目（編號(hào)：XJEDU2022J009）；中央引導(dǎo)地方科技發(fā)展專項(xiàng)（編號(hào)：ZYYD2022B12）。

作者簡介：戴 碩（2000—），男，安徽亳州人，碩士研究生，主要從事計(jì)算機(jī)視覺方向研究。E-mail：2402874453@qq.com。

通信作者：白 濤，碩士，副教授，主要從事農(nóng)業(yè)大數(shù)據(jù)、數(shù)據(jù)挖掘研究。E-mail：bt@xjau.edu.cn。

棉花是世界上最主要的經(jīng)濟(jì)作物之一，也是天然纖維的來源。棉花病蟲害是造成棉花減產(chǎn)和棉花品質(zhì)下降的主要原因。據(jù)統(tǒng)計(jì)，植棉國家每年因棉花病害造成的損失約占棉花產(chǎn)量的15%～20%，有些年份甚至高達(dá)50%［1］。棉花病蟲害的精準(zhǔn)識(shí)別和及時(shí)采取科學(xué)的防治措施，對(duì)促進(jìn)棉花產(chǎn)業(yè)的健康發(fā)展至關(guān)重要。在農(nóng)業(yè)作物病蟲害識(shí)別方面，傳統(tǒng)的機(jī)器學(xué)習(xí)方法［2-6］，例如支持向量機(jī)（SVM）等需要手動(dòng)提取有效的特征［7］，對(duì)于棉花病害這種類型較多、形態(tài)復(fù)雜且不同生長期表現(xiàn)不同的情況，該類方法對(duì)于特征的提取比較困難。此外，傳統(tǒng)的機(jī)器學(xué)習(xí)方法對(duì)于數(shù)據(jù)集中噪聲、不完整等問題的處理能力較弱，容易出現(xiàn)過擬合或欠擬合現(xiàn)象，導(dǎo)致分類效果不理想［8］。

近年來，隨著計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了良好的表現(xiàn)并得到廣泛的應(yīng)用，如AlexNet［9］、ResNet［10］、GoogleNet［11］等。研究人員將卷積神經(jīng)網(wǎng)絡(luò)用于植物病害圖像識(shí)別，使植物病害圖像識(shí)別的準(zhǔn)確率大幅提升。例如，Li等使用ResNet18識(shí)別和分類蘋果葉片病害，取得了98.5%的準(zhǔn)確率［12］；王哲豪等提出基于MobileNet v2和遷移學(xué)習(xí)的番茄病害研究方法，準(zhǔn)確率達(dá)到93.67%［13］；Vypirailenko等使用DenseNet和遷移學(xué)習(xí)方法來識(shí)別雜草并識(shí)別其增長階段，取得了71.81%的top1-accuracy和93.45%的top3-accuracy［14］。為了提高卷積神經(jīng)網(wǎng)絡(luò)的分類性能，研究人員使用多個(gè)小卷積核串聯(lián)代替大卷積核來達(dá)到提升感受野、減少參數(shù)量的目的［15］。然而，Ding等在研究中證明了使用大的卷積核而不是一堆小卷積核是一個(gè)更強(qiáng)大的范式，與小核卷積神經(jīng)網(wǎng)絡(luò)（CNN）相比，大核CNN具有更大的有效感受野和更高的形狀偏向而不是紋理偏向［16］。在其提出的模型RepLKNet中，首次使用了31×31大小的超大卷積核，在ImageNet數(shù)據(jù)集的下游任務(wù)上取得了與Swin Transformer相當(dāng)或更高的結(jié)果，而且延遲更低；Zeaiean等評(píng)估多數(shù)濾波器的核大小對(duì)提高遙感圖像分類準(zhǔn)確性的影響，發(fā)現(xiàn)通過將內(nèi)核大小從 3×3增加到5×5和7×7，整體的精度和Kappa系數(shù)均有提高［17］。

雖然目前利用CNN識(shí)別農(nóng)作物病害取得了一些成果，但傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通過加深網(wǎng)絡(luò)的層數(shù)、增加卷積核的個(gè)數(shù)和提高卷積核尺寸來提高網(wǎng)絡(luò)的性能，模型的參數(shù)量和計(jì)算復(fù)雜度會(huì)急劇增加，不利于模型在移動(dòng)端的部署。知識(shí)蒸餾技術(shù)是利用大型復(fù)雜模型的知識(shí)，提高小型模型的性能和效率［18］，以達(dá)到減少模型參數(shù)量、提高模型速度和節(jié)省計(jì)算資源等目的。例如，Yu等提出了一種基于知識(shí)蒸餾的分類模型，對(duì)大豆葉片的不同形態(tài)進(jìn)行分類，在3 200張大豆葉片圖像數(shù)據(jù)集上，總分類精度為0.956［19］；Kurup等利用膠囊網(wǎng)絡(luò)和知識(shí)蒸餾方法進(jìn)行植物病害分類任務(wù)。將復(fù)雜的膠囊網(wǎng)絡(luò)的知識(shí)遷移到簡化的模型上，通過最小化模型之間的距離來傳遞知識(shí)，從而提高植物病害分類的性能［20］。利用知識(shí)蒸餾來提升卷積神經(jīng)網(wǎng)絡(luò)分類性能已經(jīng)有很多研究，但是將其應(yīng)用在棉花病蟲害識(shí)別領(lǐng)域的研究卻相當(dāng)少。

上述方法在處理簡單環(huán)境下葉片病蟲害的分類方面取得了相對(duì)成功，然而在自然環(huán)境中，受到棉花葉片密度高、葉片重疊、光照不均勻、背景復(fù)雜等諸多干擾，圖像背景通常包含類似葉片和病斑的元素，使得模型難以對(duì)葉片病蟲害進(jìn)行精準(zhǔn)分類。為了更加充分地利用深層特征，研究人員通過運(yùn)用注意力機(jī)制來降低復(fù)雜背景的影響并選擇那些對(duì)目標(biāo)最為關(guān)鍵的信息［21］。Peng等構(gòu)建了RiceDRA-Net深度殘留網(wǎng)絡(luò)模型，通過引入Res-Attention模塊用于復(fù)雜背景的水稻葉片病害檢測(cè)，在測(cè)試集上的識(shí)別準(zhǔn)確率達(dá)到了97.86%［22］。Yang等通過在YOLO v4中引入空間和通道注意力模型的CBAM克服田間環(huán)境中的噪聲，實(shí)現(xiàn)對(duì)不同密度分布的小麥穗的準(zhǔn)確檢測(cè)和計(jì)數(shù)，平均準(zhǔn)確率達(dá)到了94%［23］；鮑浩等在卷積模型中引入注意力機(jī)制，增強(qiáng)了模型對(duì)病害區(qū)域的關(guān)注，同時(shí)降低了背景噪聲的干擾，對(duì)田間拍攝的豆葉病害圖像識(shí)別性能均達(dá)到99%以上［24］。

面對(duì)復(fù)雜自然環(huán)境下棉花葉片病蟲害的識(shí)別，現(xiàn)有的模型往往識(shí)別效果不佳。為了讓模型能夠在實(shí)際場(chǎng)景中得到部署和應(yīng)用。本研究提出了一種基于知識(shí)蒸餾及改進(jìn)ShuffleNet v2的棉花病蟲害識(shí)別方法，首先在ShuffleNet v2模型中引入 SK-Attention模塊降低復(fù)雜背景干擾的同時(shí)提取不同尺度的葉片病斑特征，其次將模型結(jié)構(gòu)中的卷積核大小從3×3調(diào)整為5×5以充分利用大感受野來提取葉片病斑特征信息，最后使用EfficientNet v2作為教師模型對(duì)改進(jìn)后的模型進(jìn)行知識(shí)蒸餾，在保證模型輕量化的同時(shí)，進(jìn)一步提高棉花病蟲害的分類準(zhǔn)確率。

1 材料與方法

1.1 數(shù)據(jù)集構(gòu)建

棉花病蟲害的出現(xiàn)與生態(tài)氣候、土壤環(huán)境以及年份等諸多因素有關(guān)，圖像數(shù)據(jù)難以從自然環(huán)境中采集。針對(duì)棉花病蟲害圖像數(shù)據(jù)少的問題。本試驗(yàn)從Kaggle數(shù)據(jù)平臺(tái)的Cotton plant disease公開數(shù)據(jù)集獲取了棉蚜蟲、棉鈴蟲、棉花莖枯病、棉花白粉病、棉花葉斑病和健康葉片各600張圖片，為了補(bǔ)充模型的病害檢測(cè)能力，從cotton leaf disease dataset公開數(shù)據(jù)集獲取了418張棉花曲葉病和419張棉花鐮刀型枯萎病圖片，最終獲得棉花病蟲害圖像共計(jì)4 437張，共8類病蟲害圖像數(shù)據(jù)。本試驗(yàn)將圖片的尺寸統(tǒng)一轉(zhuǎn)換成224×224×3像素。各類別棉花葉片病害樣本圖片如圖1所示。數(shù)據(jù)集按照8 ∶2的比例劃分為訓(xùn)練集和測(cè)試集。棉花病蟲害數(shù)據(jù)集中的圖像類別和數(shù)量見表1。

1.2 知識(shí)蒸餾

Hinton等引入軟目標(biāo)（即帶有參數(shù)T的類概率）并提出了知識(shí)蒸餾概念。它是通過將一個(gè)復(fù)雜的模型的知識(shí)（如特征，預(yù)測(cè)結(jié)果等）傳遞給一個(gè)簡單的模型，以提高簡單模型的性能和泛化能力［25］。目前常見的知識(shí)蒸餾方法有3種：self-distillation［26］（St）、masked generative distillation［27］（MGD）和attention transfer［28］（AT）。Self-distillation的學(xué)生模型和教師模型都來自同一個(gè)訓(xùn)練過程中的不同時(shí)間戳的快照，將教師網(wǎng)絡(luò)的輸出引導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練；MGD主要利用遮蓋掩碼技術(shù)進(jìn)行有針對(duì)性的知識(shí)蒸餾；AT利用教師模型和學(xué)生模型在相同的特征層上進(jìn)行比較，從而引導(dǎo)學(xué)生模型學(xué)習(xí)類似于教師模型的特征表示。上述這些方法都可以提高學(xué)生模型的泛化能力和魯棒性，提高其精度。本研究使用的MGD是一種適用于分類、檢測(cè)和分割的生成式知識(shí)蒸餾方法，它通過將教師模型的生成器和判別器信息傳遞給學(xué)生模型，來提高學(xué)生模型的性能。MGD知識(shí)蒸餾方法的整體框架見圖2。MGD知識(shí)蒸餾的步驟如下：首先使用Tl∈RC×H×W和 Sl∈RC×H×W 分別表示教師和學(xué)生的第l個(gè)特征圖，并設(shè)置第l個(gè)隨機(jī)掩碼來覆蓋學(xué)生的第l個(gè)特征，表達(dá)式為

M1i，j=0 if Rli，j<λ

1，其他。（1）

式中：Rli，j是（0，1）的隨機(jī)數(shù)；i和j分別是特征圖的水平坐標(biāo)和垂直坐標(biāo)；λ表示掩碼比率。使用掩碼覆蓋的特征圖嘗試生成教師特征圖的計(jì)算方法為

G［falign（Sl）·Ml］→Tl；（2）

G（F）=Wl2{ReLU［Wl1（F）］}。（3）

式中：G為包含2個(gè)卷積層的投影儀層Wl1和Wl2和1個(gè)激活層ReLU。Wl1和Wl2為3×3的卷積層。蒸餾過程中MGD的蒸餾損失表示為

Ldis（S，T）=∑Ll=1∑Ck=1∑Hi=1∑Wj=1{Tlk，i，j-G［falign（Slk，i，j）Mli，j］}2。（4）

式中：L是蒸餾層的總和；C、H、W表示特征圖的形狀；S和T分別表示學(xué)生和教師的特征?？倱p失為

Lall=Loriginal+α·Ldis。（5）

式中：Loriginal是任務(wù)中模型的原始損失；α是平衡損失的超參數(shù)。在本試驗(yàn)中，超參數(shù)γ和α分別設(shè)置為默認(rèn)值0.15和0.000 07。

1.3 ShuffleNet v2模型

ShuffleNet v2模型是由曠視科技團(tuán)隊(duì)提出的一種輕量高效的卷積神經(jīng)網(wǎng)絡(luò)模型［29］。它在保證模型準(zhǔn)確率的前提下，極大地減少了模型的復(fù)雜度和

計(jì)算量。ShuffleNet v2模型結(jié)構(gòu)見圖3。ShuffleNet v2的基本模塊是由2個(gè)連續(xù)的操作組成的，分別是逐通道分組卷積和通道混洗。逐通道分組卷積將輸入特征圖按通道數(shù)進(jìn)行分組，對(duì)每組進(jìn)行逐點(diǎn)卷積、3×3的深度可分離卷積和逐點(diǎn)卷積操作，每次卷積操作后使用批量歸一化（BN）加快模型收斂速度，在每次逐點(diǎn)卷積后使用ReLU激活函數(shù)增加非線性特征，然后將各組結(jié)果拼接起來，得到輸出特征圖。通道混洗（channel shuffle）則是通過將特征圖在通道維度上進(jìn)行分組、重排、拼接等操作，實(shí)現(xiàn)了通道之間信息的交流和組合。ShuffleNet v2中的下采樣模塊采用了分組卷積的思想，將輸入特征圖分為若干組，然后對(duì)每組進(jìn)行逐通道的卷積操作，在通道維度上拼接起來得到輸出特征圖。這樣，在不增加計(jì)算量的前提下，可以將特征圖尺寸減半。同時(shí)，由于采用了分組卷積，參數(shù)量也大大降低，從而進(jìn)一步減小了計(jì)算量和內(nèi)存占用。

1.4 SK-Attention注意力機(jī)制

為了改善在復(fù)雜場(chǎng)景下識(shí)別棉花病害的準(zhǔn)確率，關(guān)注輸入數(shù)據(jù)中不同尺寸大小的病斑信息，并在一定程度上降低計(jì)算復(fù)雜度，在模型的下采樣單元中添加了SK-Attention注意力機(jī)制。注意力機(jī)制可以通過對(duì)輸入信息的關(guān)注和聚焦，提高信息處理的效率和準(zhǔn)確性。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的大小決定了感受野的大小，而不同大小的感受野對(duì)不同尺寸的目標(biāo)有不同的效果。SK注意力機(jī)制允許每個(gè)神經(jīng)元根據(jù)輸入信息的多尺度自適應(yīng)地調(diào)整其感受野（卷積核）的大?。?0］。

SK注意力機(jī)制的結(jié)構(gòu)見圖4。主要包括Split、Fuse和Select。Split部分分別使用3×3的普通卷積和3×3的空洞卷積對(duì)輸入的特征圖進(jìn)行卷積操作，得到U1和U2 2個(gè)不同的特征圖。Fuse部分將U1和U2 2個(gè)特征圖使用element-wise summation方法進(jìn)行融合，將融合后的特征圖U經(jīng)過全局平均池化層和全連接層，實(shí)現(xiàn)對(duì)通道信息的提取。Select部分使用Softmax函數(shù)歸一化計(jì)算每個(gè)通道的權(quán)重分?jǐn)?shù)，并加權(quán)處理在對(duì)應(yīng)的通道上，最后將經(jīng)過加權(quán)處理后的新特征圖進(jìn)行融合，得到最終的特征圖，經(jīng)過信息通道的提取和篩選，輸出圖像相較于輸入圖像融合了更多關(guān)鍵信息，并加強(qiáng)了這些關(guān)鍵信息在圖像中的表現(xiàn)。

1.5 ESSKNet網(wǎng)絡(luò)模型

盡管ShuffleNet v2在輕量級(jí)圖像分類任務(wù)上已經(jīng)取得了很好的結(jié)果，但仍然有提高準(zhǔn)確性的余地。且ShuffleNet v2模型本身較小，可以考慮在增加一定的模型參數(shù)量的情況下提高準(zhǔn)確性。為了滿足準(zhǔn)確識(shí)別棉花病蟲害的需要，本研究提出了一種基于知識(shí)蒸餾及改進(jìn)ShuffleNet v2的棉花病蟲害識(shí)別模型ESSKNet。

ESSKNet模型的基本單元見圖5，與原模型相比，改進(jìn)后的基本單元使用5×5的深度可分離卷積

替換了3×3深度可分離卷積，相比于3×3卷積，使用5×5卷積可以有效擴(kuò)大感受野，在卷積層中，卷積核的大小可以決定神經(jīng)元的感受野大小，5×5的卷積感受野明顯高于常規(guī)3×3卷積。使用5×5卷積相比傳統(tǒng)卷積使用了更大的卷積核，能夠覆蓋更大的區(qū)域，從而獲取更多的上下文信息，提高特征的表達(dá)能力。其次，使用5×5卷積可以增加網(wǎng)絡(luò)的非線性能力，因?yàn)樗軌虿蹲礁蠛透鼜?fù)雜的特征模式，并對(duì)它們進(jìn)行更強(qiáng)的非線性變換。這樣可以讓網(wǎng)絡(luò)更好地適應(yīng)訓(xùn)練數(shù)據(jù)的復(fù)雜性，提升模型的泛化性能。ESSKNet網(wǎng)絡(luò)模型還在下采樣模塊中添加了SK-Attention通道注意力機(jī)制，SK注意力機(jī)制在學(xué)習(xí)通道注意力信息時(shí)，能夠使用不同尺寸的卷積核對(duì)輸入特征圖進(jìn)行提取特征，來選擇融合不同感受野的特征圖信息，并根據(jù)各自通道的重要度來自適應(yīng)地調(diào)整特征圖中每個(gè)通道的權(quán)重，以提高模型的性能。最后使用EfficientNet v2作為教師模型對(duì)改進(jìn)后的模型進(jìn)行MGD知識(shí)蒸餾。ESSKNet網(wǎng)絡(luò)模型的具體結(jié)構(gòu)見圖6。

2 結(jié)果與分析

2.1 試驗(yàn)環(huán)境與參數(shù)設(shè)置

本研究試驗(yàn)的試驗(yàn)環(huán)境為Windows10系統(tǒng)，運(yùn)行內(nèi)存為32GB，CPU為Intel XeonE5-2620 v4 @ 2.10 GHz 2.10 GHz處理器，GPU是具有 12 GB 專用顯存的NVIDIA TITAN V，使用Pytorch 1.7.1深度學(xué)習(xí)框架。具體參數(shù)見表2。

2.2 評(píng)價(jià)指標(biāo)

本研究采用Accuracy、Kappa系數(shù)、F1micro、F1macro作為評(píng)價(jià)指標(biāo)用于衡量模型對(duì)數(shù)據(jù)分類的準(zhǔn)確性和性能，其中Accuracy為分類正確的樣本數(shù)占總樣本數(shù)的比例；Kappa系數(shù)是一種衡量分類精度的指標(biāo)，取值范圍為［-1，1］，其值越高，則代表模型實(shí)現(xiàn)的分類準(zhǔn)確度越高［31］。F1micro和F1macro是基于精確度和召回率來計(jì)算的，其中F1micro用于表示模型對(duì)所有標(biāo)簽進(jìn)行分類時(shí)的綜合表現(xiàn)，F(xiàn)1macro用于評(píng)估模型對(duì)每個(gè)標(biāo)簽的預(yù)測(cè)能力。不同評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

Accuracy=TP+FNTP+TN+FP+FN；（6）

Kappa=P0-Pc1-Pc；（7）

F1micro=2×Precisionmicro×RecallmicroPrecisionmicro+Recallmicro；（8）

F1macro=2×Precisionmacro×RecallmacroPrecisionmacro+Recallmacro。（9）

式中：TP（true positive）代表將正類預(yù)測(cè)為正類的樣本數(shù)； TN（true negative）代表將負(fù)類預(yù)測(cè)為負(fù)類的樣本數(shù)；FP（false positive）代表將負(fù)類預(yù)測(cè)為正類的樣本數(shù)；FN（false negative）代表將正類預(yù)測(cè)為負(fù)類的樣本數(shù)，也稱為“假陰性”；P0 是分類器實(shí)際預(yù)測(cè)準(zhǔn)確的概率；Pc是模型根據(jù)分布情況所能預(yù)測(cè)的準(zhǔn)確率。如果Pc=1，則Kappa系數(shù)=1，表示分類器的表現(xiàn)完全一致，即Kappa系數(shù)取最大值；如果Pc=0，則Kappa系數(shù)=-1，表示分類器的表現(xiàn)完全相反，即Kappa系數(shù)取最小值。Precisionmacro表示精確率的宏平均值；Recallmacro表示召回率的宏平均值。宏平均值是指在每個(gè)類別上分別計(jì)算指標(biāo)的平均值?？梢酝ㄟ^混淆矩陣來計(jì)算每個(gè)類別的精確率和召回率。Recallmicro指的是所有正例樣本中，被分類器正確預(yù)測(cè)為正例的樣本比例；Precisionmicro指的是所有被分類器預(yù)測(cè)為正例的樣本中，屬于正例的樣本比例。

2.3 模型對(duì)比試驗(yàn)

為了驗(yàn)證本研究所提的ESSKNet模型相較于其他分類網(wǎng)絡(luò)模型的優(yōu)勢(shì)，本研究分別選取EfficientNet v2、RepGhostNet、ShuffleNet v2、ResNet50和Resnest101在自建棉花病蟲害數(shù)據(jù)集上進(jìn)行試驗(yàn)，在訓(xùn)練超參數(shù)相同的情況下，模型識(shí)別準(zhǔn)確率的試驗(yàn)結(jié)果見表3。圖7是各模型在測(cè)試集上的準(zhǔn)確率變化曲線。

通過試驗(yàn)結(jié)果可以看出，EfficientNet v2的性能在各項(xiàng)指標(biāo)上都表現(xiàn)最優(yōu)，因此本研究使用其作為教師模型進(jìn)行知識(shí)蒸餾。其次，通過使用知識(shí)蒸餾方法訓(xùn)練的ESSKNet模型在準(zhǔn)確率上僅比教師模型EfficientNet v2低了1.47百分點(diǎn)，且參數(shù)量和浮點(diǎn)計(jì)算量只有EfficientNet v2的6.6%和5.3%，進(jìn)一步說明了該方法的有效性。ESSKNet模型性能指標(biāo)接近ResNet50，但參數(shù)量和浮點(diǎn)計(jì)算量分別只有ResNet50的15.7%和33.1%。該模型相較于其他對(duì)比模型，在識(shí)別準(zhǔn)確率、參數(shù)量和浮點(diǎn)計(jì)算量方面更加均衡，能夠有效地識(shí)別棉花病蟲害，且更加適合移動(dòng)端的部署，進(jìn)行棉花病蟲害監(jiān)測(cè)任務(wù)。

2.4 知識(shí)蒸餾方法對(duì)比試驗(yàn)

為了測(cè)試不同知識(shí)蒸餾方法對(duì)模型識(shí)別準(zhǔn)確率的影響，將不使用知識(shí)蒸餾的改進(jìn)ShuffleNet v2模型作為基線模型baseline，與分別使用AT、Soft Target和MGD 3種知識(shí)蒸餾方法進(jìn)行對(duì)比，試驗(yàn)結(jié)果見表4。

通過試驗(yàn)結(jié)果可以看出，3種蒸餾方法均對(duì)模型準(zhǔn)確率有一定的提高。其中使用MGD方法進(jìn)行知識(shí)蒸餾得到的模型與其他蒸餾方法對(duì)比，在所有指標(biāo)上都表現(xiàn)最優(yōu)。MGD蒸餾方法通過masked feature獲得了部分的特征圖，然后再生成新的特征圖去模仿教師網(wǎng)絡(luò)的特征圖，相比原始的特征模仿，增大了網(wǎng)絡(luò)學(xué)習(xí)的難度，從而迫使學(xué)生網(wǎng)絡(luò)去學(xué)習(xí)一個(gè)更優(yōu)秀的特征表示。因此，本研究使用MGD知識(shí)蒸餾方法來訓(xùn)練改進(jìn)后的網(wǎng)絡(luò)。

2.5 消融試驗(yàn)

為了驗(yàn)證模型改進(jìn)方法的有效性，以及使用知識(shí)蒸餾方法（kd）、增加SK-Attention（sk）和將卷積核大小調(diào)整為5×5（k5）的改進(jìn)方法對(duì)ShuffleNet v2模型性能提升的效果，本研究將使用不同模塊的網(wǎng)絡(luò)在棉花病蟲害圖像數(shù)據(jù)集上進(jìn)行試驗(yàn)。以ShuffleNet v2模型為基礎(chǔ)，每組試驗(yàn)依次增加上述改進(jìn)方法，以驗(yàn)證模型改進(jìn)方法對(duì)最終模型的影響。其中“√”表示引入該種改進(jìn)方法，試驗(yàn)結(jié)果見表5。

從表5中可以看出，在下采樣單元中添加SK-Attention注意力機(jī)制，模型的準(zhǔn)確率提高了0.11百分點(diǎn)，雖然模型的參數(shù)量增加了2.341 M，但該方法依舊對(duì)模型整體識(shí)別精度有所提升。在ShuffleNet v2的基礎(chǔ)上將卷積核調(diào)整為5×5，模型的準(zhǔn)確率提高了0.11百分點(diǎn)，Kappa系數(shù)提高了1.23百分點(diǎn)。在添加SK注意力機(jī)制的基礎(chǔ)上，使用卷積核大小為5×5的卷積代替?zhèn)鹘y(tǒng)卷積，模型的準(zhǔn)確率繼續(xù)提高了0.34百分點(diǎn)。將改進(jìn)的模型使用MGD方法知識(shí)蒸餾后得到的模型準(zhǔn)確率繼續(xù)提高了1.91百分點(diǎn)，Kappa系數(shù)提升了2.19百分點(diǎn)，且模型的參數(shù)量不發(fā)生變化。綜合SK注意力機(jī)制、替換卷積核大小為5×5的卷積和MGD知識(shí)蒸餾的改進(jìn)，最終ESSKNet模型的準(zhǔn)確率為96.06%，Kappa系數(shù)為95.49%，相較于ShuffleNet v2在準(zhǔn)確率和Kappa上分別提升了2.36百分點(diǎn)和2.71百分點(diǎn)。SK-Attention通過引入可變形卷積來捕捉不同的空間關(guān)系，使模型能更好地適應(yīng)不同尺寸的棉花病斑信息，提高模型的泛化能力。在引入SK注意力機(jī)制的基礎(chǔ)上，將卷積核的大小由3×3調(diào)整到了5×5，卷積核涵蓋更大的感受野，可以讓神經(jīng)網(wǎng)絡(luò)更好地捕捉圖像中的上下文信息和長程依賴關(guān)系。針對(duì)棉花病蟲害病斑分布不同，特征不一等特點(diǎn)，本研究的改進(jìn)模型可以更好地學(xué)習(xí)到全局信息，從而提升了模型的分類效果。

2.6 不同類別的評(píng)價(jià)結(jié)果

為了更全面地評(píng)估本研究所提出的ESSKNet網(wǎng)絡(luò)相較于其他網(wǎng)絡(luò)模型對(duì)不同類別棉花病蟲害圖像的識(shí)別性能，在相同的試驗(yàn)條件下將測(cè)試集數(shù)據(jù)輸入模型進(jìn)行分類，表6以精確度、召回率、F1分?jǐn)?shù)和準(zhǔn)確率為評(píng)價(jià)指標(biāo)，6種模型對(duì)不同種類棉花病蟲害圖像的識(shí)別結(jié)果，圖8是ESSKNet模型對(duì)不同類別棉花病蟲害識(shí)別準(zhǔn)確率的混淆矩陣圖。

由表6可知，ESSKNet對(duì)8類棉花病蟲害圖像的識(shí)別精確度均在93%以上，優(yōu)于RepGhostNet和ShuffleNet v2模型。其中，ESSKNet對(duì)棉花枯萎病、棉花葉斑病、白粉病、棉花曲葉病和健康5種類別的識(shí)別效果較好，4項(xiàng)指標(biāo)均達(dá)到了95%以上，對(duì)棉花莖枯病的識(shí)別效果較差，其精確度為93.22%，召回率為91.67%，F(xiàn)1分?jǐn)?shù)為92.44%，準(zhǔn)確率為91.67%，4個(gè)指標(biāo)均為所有類別中最低。通過綜合其他模型對(duì)棉花莖枯病的識(shí)別結(jié)果可以看出，棉花莖枯病在所有模型的識(shí)別結(jié)果中均為最低，這可能是由于棉花莖枯病的生育期、生態(tài)環(huán)境、病原菌致病力不同等導(dǎo)致的，表現(xiàn)出不同的病癥。所有模型識(shí)別棉花葉斑病都表現(xiàn)很好，這與其圖片的特征較為明顯和穩(wěn)定有關(guān)，容易被計(jì)算機(jī)視覺領(lǐng)域中的算法所捕捉。但在某些病害中，各項(xiàng)指標(biāo)之間存在較大差異，例如，白粉病類別的準(zhǔn)確率較高，但召回率相對(duì)較低，說明在該種病害的分類中，模型對(duì)負(fù)例的區(qū)分能力更強(qiáng)?？偟膩砜?，該模型在測(cè)試集上的平均準(zhǔn)確率達(dá)到了96.72%，能有效地識(shí)別出不同棉花病蟲害種類。

3 討論與結(jié)論

棉花病蟲害會(huì)直接影響棉花的產(chǎn)量和質(zhì)量，通過深度學(xué)習(xí)方法對(duì)棉花病蟲害進(jìn)行及時(shí)、準(zhǔn)確地識(shí)別能夠幫助農(nóng)民采取合適的防治措施，提高診斷的準(zhǔn)確性和效率。棉花病蟲害形態(tài)復(fù)雜，不同的病蟲害在棉花上的表現(xiàn)也有所不同，同時(shí)由于光照、角度等因素的影響，使得棉花病蟲害圖像的特征提取比較困難。

本研究使用EfficientNet v2作為教師模型進(jìn)行知識(shí)蒸餾，在ShuffleNet v2模型的基礎(chǔ)上采用5×5卷積替換了常規(guī)卷積、在下采樣單元中添加SK注意力機(jī)制并進(jìn)行了多組對(duì)比試驗(yàn)。通過分析各種改進(jìn)模塊，發(fā)現(xiàn)使用知識(shí)蒸餾方法可以通過分類效果好但是參數(shù)量較大的模型將學(xué)習(xí)到的特征信息傳遞給輕量模型，從而提高輕量模型的識(shí)別準(zhǔn)確率。對(duì)于處理具有復(fù)雜背景的棉花圖像來說，注意力機(jī)制可以使模型減少無關(guān)背景的影響，關(guān)注圖像中最相關(guān)的部分，可以增強(qiáng)模型的表征能力，SK注意力機(jī)制通過輸入信息的多尺度自適應(yīng)地調(diào)整其感受野，在下采樣單元中添加SK注意力機(jī)制，使模型在下采樣時(shí)給關(guān)鍵信息分配更多的權(quán)重，從而使模型對(duì)特征圖的重要性進(jìn)行選取，最終達(dá)到更好的目標(biāo)分類效果。將3×3改為5×5卷積可以使模型獲得更大的感受野，便于捕捉到更多細(xì)節(jié)信息和圖像特征，有助于模型識(shí)別更復(fù)雜、更抽象的圖像模式。

針對(duì)棉花葉片病蟲害的識(shí)別，以8種常見的棉花葉片病蟲害圖像作為研究對(duì)象，通過公開數(shù)據(jù)集中的圖像數(shù)據(jù)構(gòu)建了8類棉花葉片病蟲害圖像數(shù)據(jù)集。在ShuffleNet v2模型的基礎(chǔ)上，添加通道注意力機(jī)制SK-Attention并將模塊中的3×3卷積核調(diào)整為5×5的卷積核。最后選取EfficientNet v2模型使用MGD方法進(jìn)行知識(shí)蒸餾，為了驗(yàn)證本研究所提的各種優(yōu)化方法的有效性，本研究通過消融試驗(yàn)進(jìn)一步說明了各種優(yōu)化方法對(duì)模型性能的提高具有促進(jìn)作用。

本研究結(jié)論如下：（1）針對(duì)固定大小的卷積核對(duì)葉片大小不同病斑識(shí)別時(shí)分類準(zhǔn)確率低的問題，采用通道注意力機(jī)制SK-Attention可以提高網(wǎng)絡(luò)的特征提取能力，降低圖像中自然環(huán)境噪聲的影響。將模塊中的3×3卷積核調(diào)整為5×5的卷積核使神經(jīng)網(wǎng)絡(luò)更好地捕捉棉花病蟲害病斑圖像具有形狀偏向的上下文信息和長程依賴關(guān)系。（2）通過選取EfficientNet v2模型作為教師模型，ESSKNet模型作為學(xué)生模型，使用MGD方法進(jìn)行知識(shí)蒸餾，可以有效提高模型的識(shí)別精度。（3）本研究提出的棉花病蟲害識(shí)別模型ESSKNet準(zhǔn)確率達(dá)到96.06%，與原始ShuffleNet v2模型對(duì)比，準(zhǔn)確率提高了2.36百分點(diǎn)，Kappa系數(shù)提高了2.71百分點(diǎn)，參數(shù)量和浮點(diǎn)計(jì)算量只有EfficientNet v2的6.6%和5.3%，更加便于部署，可以實(shí)現(xiàn)快速、精準(zhǔn)的棉花病害監(jiān)測(cè)，為智慧棉田的建設(shè)提供支持。

參考文獻(xiàn)：

［1］張樹珍. 棉花主要病害與防治措施［J］. 現(xiàn)代農(nóng)業(yè)科技，2017（7）：116-119.

［2］張紅濤，朱 洋，譚 聯(lián)，等. 基于FA-SVM技術(shù)的煙草早期病害識(shí)別［J］. 河南農(nóng)業(yè)科學(xué)，2020，49（8）：156-161.

［3］牛 沖，牛昱光，李 寒，等. 基于圖像灰度直方圖特征的草莓病蟲害識(shí)別［J］. 江蘇農(nóng)業(yè)科學(xué)，2017，45（4）：169-172.

［4］馬慧琴，黃文江，景元書，等. 基于AdaBoost模型和mRMR算法的小麥白粉病遙感監(jiān)測(cè)［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33（5）：162-169.

［5］張 莉，紀(jì)銘陽，胡宗玉，等. 基于隨機(jī)森林和邏輯回歸分類模型的煙葉精選品控指標(biāo)篩選［J］. 江蘇農(nóng)業(yè)科學(xué)，2020，48（3）：214-217.

［6］任 杰，柳 毅，金 鑫，等. 基于數(shù)據(jù)挖掘的蔬菜圖片病害自動(dòng)分類［J］. 北京師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2006，42（6）：592-596.

［7］王燕妮，賀 莉. 基于多分類SVM的石榴葉片病害檢測(cè)方法［J］. 計(jì)算機(jī)測(cè)量與控制，2020，28（9）：191-195.

［8］Sugathan A，Sruthi S，Shamsudeen F M. A comparative study to detect rice plant disease using convolutional neural network （CNN） and support vector machine （SVM）［J］. Journal of Food，Agriculture & Environment，2020（2）：18.

［9］Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［10］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

［11］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston：IEEE，2015：1-9.

［12］Li X，Rai L. Apple leaf disease identification and classification using ResNet models［C］//2020 IEEE 3rd International Conference on Electronic Information and Communication Technology （ICEICT）.Shenzhen：IEEE，2020：738-742.

［13］王哲豪，范麗麗，何 前. 基于MobileNet v2和遷移學(xué)習(xí)的番茄病害識(shí)別［J］. 江蘇農(nóng)業(yè)科學(xué)，2023，51（9）：215-221.

［14］Vypirailenko D，Kiseleva E，Shadrin D，et al. Deep learning techniques for enhancement of weeds growth classification［C］//2021 IEEE International Instrumentation and Measurement Technology Conference （I2MTC）.Glasgow：IEEE，2021：1-6.

［15］Nawaz M，Nazir T，Khan M A，et al. Plant disease classification using VGG-19 based faster-RCNN［C］//Singh M，Tyagi V，Gupta P，et al. International Conference on Advances in Computing and Data Sciences.Cham：Springer，2023：277-289.

［16］Ding X H，Zhang X Y，Han J G，et al. Scaling up your kernels to 31×31：revisiting large kernel design in CNNs［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans：IEEE，2022：11953-11965.

［17］Zeaiean Firrozabadi P，Hasani Moghaddam H. Evaluate the impact of Majority filter kernel size on increasing the accuracy of remotely sensed images［J］. Geography and Human Relationships，2018，1（2）：806-817.

［18］Yim J，Joo D，Bae J，et al. A gift from knowledge distillation：fast optimization，network minimization and transfer learning［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：7130-7138.

［19］Yu X，F(xiàn)u L R，Dai B S，et al. Soybean leaf morphology classification based on FPN-SSD and knowledge distillation［J］. Journal of Northeast Agricultural University，2020，27（4）：9-17.

［20］Kurup R V，Anupama M A，Vinayakumar R，et al. Capsule network for plant disease and plant species classification［C］//Smys S，Tavares J，Balas V，et al. International conference on computational vision and bio inspired computing.Cham：Springer，2020：413-421.

［21］Li Y H，Pan Y W，Yao T，et al. Learning click-based deep structure-preserving embeddings with visual attention［J］. ACM Transactions on Multimedia Computing，Communications，and Applications，2019，15（3）：1-19.

［22］Peng J L，Wang Y，Jiang P，et al. RiceDRA-net：precise identification of rice leaf diseases with complex backgrounds using a res-attention mechanism［J］. Applied Sciences，2023，13（8）：4928.

［23］Yang B H，Gao Z W，Gao Y，et al. Rapid detection and counting of wheat ears in the field using YOLO v4 with attention module［J］. Agronomy，2021，11（6）：1202.

［24］鮑 浩，張 艷. 基于注意力機(jī)制與改進(jìn)殘差模塊的豆葉病害識(shí)別［J］. 江蘇農(nóng)業(yè)科學(xué)，2023，51（16）：187-194.

［25］Shorten C，Khoshgoftaar T M. A survey on image data augmentation for deep learning［J］. Journal of Big Data，2019，6（1）：60.

［26］Zhang L F，Bao C L，Ma K S. Self-distillation：towards efficient and compact neural networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（8）：4388-4403.

［27］Yang Z D，Li Z，Shao M Q，et al. Masked generative distillation［M］. Cham：Springer Nature Switzerland，2022：53-69.

［28］Chen P G，Liu S，Zhao H S，et al. Distilling knowledge via knowledge review［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville：IEEE，2021：5006-5015.

［29］Ma N N，Zhang X Y，Zheng H T，et al. ShuffleNet v2：practical guidelines for efficient CNN architecture design［C］//Computer Vision - ECCV 2018：15th European Conference，Munich：ACM，2018：122-138.

［30］Li X，Wang W，Hu X，et al. Selective kernel networks［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. California：IEEE，2019：510-519.

［31］McHugh M L. Interrater reliability：the kappa statistic［J］. Biochemia Medica，2012，22（3）：276-282.