收稿日期：2023-11-29

基金項目：國家自然科學(xué)基金項目（61773360）;2019年重慶市人工智能+智慧農(nóng)業(yè)學(xué)科群開放基金項目（ZNNYKFA201901）

作者簡介：蘇 航（1996-），男，陜西渭南人，碩士研究生，研究方向為智能制造、農(nóng)業(yè)信息化研究、圖像處理等。（E-mail）935659856@qq.com

通訊作者：孫丙宇，（E-mail）bysun@iim.ac.cn

摘要： 針對現(xiàn)有植物病害識別模型存在響應(yīng)速度慢、參數(shù)量多、計算機(jī)內(nèi)存資源消耗大等問題，本研究提出了一種輕量化神經(jīng)網(wǎng)絡(luò)模型，該模型由特征提取層、特征增強(qiáng)層和分類器組成。為了減小模型大小并提高網(wǎng)絡(luò)響應(yīng)速度，在特征提取層中使用深度可分離卷積進(jìn)行特征提取。為了防止網(wǎng)絡(luò)傳播過程中的梯度消失并增強(qiáng)病害像素特征融合，在特征提取層中引入了大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊。此外，在特征增強(qiáng)層集成了輕量級卷積塊注意力模塊（CBAM）注意力機(jī)制，以捕捉植物病害相關(guān)圖像中像素之間的關(guān)系，增強(qiáng)關(guān)鍵信息的提取。最后，采用剪枝技術(shù)剔除模型中冗余特征信息，從而再次減少模型參數(shù)量，形成最終的輕量級網(wǎng)絡(luò)模型Cut-MobileNet。為驗證該模型的先進(jìn)性，將其與輕量化模型（MobileNet V2、SqueezeNet、GoogLeNet）和非輕量化模型（Vision Transformer、AlexNet）進(jìn)行性能對比，研究結(jié)果表明，Cut-MobileNet在浮點運算量、準(zhǔn)確率、單張圖片推理時間、參數(shù)量、F1值和模型大小等性能指標(biāo)上都取得了較優(yōu)的效果。

關(guān)鍵詞： 模型剪枝;卷積塊注意力模塊（CBAM）注意力機(jī)制;大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊;植物病害;輕量化網(wǎng)絡(luò)

中圖分類號： S608 文獻(xiàn)標(biāo)識碼： A 文章編號： 1000-4440（2024）08-1389-11

Plant disease recognition method based on lightweight model with attention mechanism

SU Hang1，2，3， CHEN Xuhao1，2， SHOU Derong1， ZHANG Chaoyang1， XU Biao3， SUN Bingyu2

（1.School of Mechanical Engineering， Chongqing Three Gorges University， Chongqing 404100， China;2.Institute of Intelligent Machines， Hefei Institutes of Physical Science， Chinese Academy of Sciences， Hefei 230000， China;3.China Academy of Engineering Physics， Chengdu 610000， China）

Abstract： In light of the issues associated with slow response speed， numerous parameters， and high computational memory requirements in existing plant disease recognition models， we proposed a lightweight neural network model. The model consisted of feature extraction layer， feature enhancement layer， and classifier. To reduce model size and increase network response speed， we utilized deep separable convolution in the feature extraction layer. To prevent gradient disappearance during network propagation and enhance the fusion of disease pixel features， we introduced the inverted residual block convolution kernel structure （IRBCKS） module into the feature extraction layer. Furthermore， we integrated a lightweight convolutional block attention module （CBAM） attention mechanism into the feature enhancement layer to capture the relationships between pixels in plant disease-related images and enhance key information extraction. Finally， we employed a pruning technique to eliminate redundant feature information from the base model， thereby reducing the number of model parameters once again， yielding this lightweight network model， Cut-MobileNet. In order to verify the progressiveness of this model， it was compared with lightweight models （MobileNet V2， SqueezeNet， GoogLeNet） and non-lightweigh models （Vision Transformer， AlexNet）. The results show that better results have been achieved by Cut-MobileNet in floating-point operation， accuracy， single image inference time， parameter count， F1 value， and model size.

Key words： model pruning;convolutional block attention module （CBAM） attention mechanism;inverted residual block convolution kernel structure （IRBCKS） module;plant diseases;lightweight networks

作物在生產(chǎn)過程中易受到病蟲害的影響[1]，特別是一些病毒、真菌、細(xì)菌、霉菌的感染會導(dǎo)致農(nóng)產(chǎn)品產(chǎn)量和質(zhì)量降低。在作物生長過程中，病害的及早發(fā)現(xiàn)至關(guān)重要，及時對病害進(jìn)行精準(zhǔn)判別再實施救治，可以大大減少作物生產(chǎn)損失。目前植物病害診斷方法主要是通過人們的經(jīng)驗對病害種類做出識別，然而，在生產(chǎn)實踐過程中，憑借經(jīng)驗對病害種類做出分類會耗費更多的人力和物力資源，由于病害種類繁多，癥狀相似，即使是有經(jīng)驗的農(nóng)民或?qū)＜乙部赡軣o法正確識別病害[2]，這也帶來了效率和可靠性的問題，所以人工判別不適用于對大規(guī)模種植區(qū)域內(nèi)的植物病害識別[3]。

隨著科技的不斷發(fā)展，人工智能（AI）視覺技術(shù)已經(jīng)逐漸應(yīng)用到農(nóng)業(yè)生產(chǎn)中。早期人們利用支持向量機(jī)法[4-5]、隨機(jī)森林法[6]、K-均值法[7]等機(jī)器學(xué)習(xí)算法進(jìn)行植物病害的分類[8]，然而，這些方法的構(gòu)建過程相當(dāng)繁瑣，且泛化能力差。近年來，深度學(xué)習(xí)似乎引領(lǐng)著計算機(jī)視覺領(lǐng)域的研究[9]。

自2012年AlexNet網(wǎng)絡(luò)[10]在ImageNet[11]上成功驗證了深度學(xué)習(xí)方法的可行性后，深度學(xué)習(xí)領(lǐng)域便迅速發(fā)展起來。Jia等[12]使用Keras/Tensorboard框架搭建了VGG16深度學(xué)習(xí)網(wǎng)絡(luò)模型，對番茄病蟲害進(jìn)行了分類，研究結(jié)果表明，該模型對番茄病蟲害分類的準(zhǔn)確率為89.00%。Yadav等[13]改進(jìn)了 ResNet18模型，在原始模型內(nèi)添加了SE（Squeeze-and-Excitation）模塊[14]和修改了層結(jié)構(gòu)，試驗結(jié)果顯示，改進(jìn)后的模型平均準(zhǔn)確率為99.63%，比原始模型的準(zhǔn)確率提高了0.53%，取得了相當(dāng)高的準(zhǔn)確率。Yang等[15]和Szegedy等[16]設(shè)計了1個22層的深度學(xué)習(xí)網(wǎng)絡(luò)GoogLeNet，GoogLeNet網(wǎng)絡(luò)提出了Inception的網(wǎng)絡(luò)架構(gòu)，提高了計算資源利用率，相應(yīng)地增加了網(wǎng)絡(luò)的深度和寬度。然而，這些模型在復(fù)雜環(huán)境中仍然存在特征提取不充分、植物病害識別準(zhǔn)確率較低、推理速度較慢等問題。

綜上，本研究擬提出一種輕量化的植物病害識別模型Cut-MobileNet，該模型可以在短時間內(nèi)對植物病害精準(zhǔn)識別，可部署于資源有限的移動端，農(nóng)戶可利用該模型高效診斷病害，提高種植的效率和效益。

1 材料與方法

1.1 數(shù)據(jù)集的建立

本研究數(shù)據(jù)集源自Kaggle競賽公開數(shù)據(jù)集，根據(jù)試驗要求收集了4種作物的數(shù)據(jù)，包括番茄、芒果、小麥和蘋果，共32種病害，由于Kaggle公開數(shù)據(jù)集中存在部分病害分類錯誤的問題，研究開始前進(jìn)行了篩選，經(jīng)篩選后的數(shù)據(jù)集圖像總計7 274張，其中80%的數(shù)據(jù)被劃分為訓(xùn)練集，20%的數(shù)據(jù)被劃分為驗證集。模型在訓(xùn)練過程中，數(shù)據(jù)集圖片調(diào)整為224×224像素的大小。

1.2 數(shù)據(jù)預(yù)處理

圖像預(yù)處理的方法一般有圖像白化、圖像縮放、圖像裁剪、圖像翻轉(zhuǎn)、圖像旋轉(zhuǎn)、圖像仿射、圖像加噪以及調(diào)整圖像亮度、色度、飽和度等方式，在本模型訓(xùn)練過程中采用的是隨機(jī)圖像明暗度的調(diào)整、圖像大小縮放、裁剪與反轉(zhuǎn)、添加高斯噪聲、添加遮擋的圖像處理方式。圖1是以番茄葉片樣本為例展示的圖像預(yù)處理的方法。

1.3 試驗環(huán)境

本研究使用Windows 11操作系統(tǒng)，計算平臺環(huán)境：中央處理器（CPU）型號為12th Gen Intel（R）Core（TM） i7-12700F 2.10 GHz，圖形處理器（GPU）型號為NVIDIA GeForce RTX 3060 Ti，隨機(jī)存取存儲器（RAM）容量為16 GB，cuda GPU加速模型CUDA版本為11.3，深度學(xué)習(xí)框架為pytorch1.10，編程語言為python3.8。本模型訓(xùn)練參數(shù)：Learning rate設(shè)置為0.000 1，優(yōu)化器為Adam、Batch，數(shù)量為32，epoch為600，稀疏因子為0.000 1。

1.4 Cut-MobileNet模型構(gòu)建

本研究提出的模型結(jié)構(gòu)如圖2所示，先根據(jù)輕量化構(gòu)建方法得到1個準(zhǔn)確率較高、參數(shù)量較少的神經(jīng)網(wǎng)絡(luò)模型MobieNet-Cbase，然后再對該模型進(jìn)行剪枝處理，得到最終的輕量化模型Cut-MobileNet，以上2種模型結(jié)構(gòu)相同，唯一不同之處在于通道數(shù)。

CBRCBR表示雙重卷積、批量歸一化和激活操作;CBAM表示卷積塊注意力模塊。

模型的主干結(jié)構(gòu)由3個主要部分組成：特征提取層、特征增強(qiáng)層和分類器。

模型層結(jié)構(gòu)及層操作如表1所示。首先，在第一個特征提取層（CBRCBR）中，主要任務(wù)是提取葉片區(qū)域的顏色信息。這一步操作可以獲取葉片的基本顏色特征，為后續(xù)處理提供基礎(chǔ)數(shù)據(jù)。其次，在首個特征增強(qiáng)層中，引入大卷積核倒置殘差結(jié)構(gòu)（IRBCKS）模塊[17]。該模塊有助于加強(qiáng)網(wǎng)絡(luò)對病害區(qū)域的關(guān)注度，同時防止在傳播過程中梯度消失的問題。通過這一層的處理，模型能夠更好地識別和區(qū)分健康與病變的葉片區(qū)域。再次，在特征增強(qiáng)層的基礎(chǔ)上，再次引入一個特征提取層，以提取淺層過濾后的高維信息。這一步操作有助于豐富模型的視覺特征信息，提升模型的識別能力。接著，引入一個輕量化的卷積塊注意力模塊（CBAM）注意力機(jī)制作為一個特征增強(qiáng)層[18-19]。該機(jī)制能夠增強(qiáng)高級特征的提取能力，進(jìn)一步提升模型對葉片病害區(qū)域的識別精度。為了使網(wǎng)絡(luò)能夠提取更多的高維信息，在網(wǎng)絡(luò)深層再次引入了1個特征提取層、1個特征增強(qiáng)層和1個特征提取層。這些額外的層次有助于網(wǎng)絡(luò)更深入地分析和提取葉片圖像中的復(fù)雜特征。最后，將全連接層作為分類器，將前面處理得到的特征輸入并轉(zhuǎn)化為最終的分類結(jié)果。全連接層根據(jù)前面步驟得到的特征信息，對葉片圖像進(jìn)行分類判斷，從而得到最終的輸出結(jié)果。通過上述流程，該模型能夠有效地對葉片圖像進(jìn)行特征提取、病害識別和分類，為農(nóng)業(yè)智能化提供有力的支持。

1.4.1 嵌入大卷積核倒置殘差結(jié)構(gòu)和深度可分離卷積 卷積核大小對模型性能尤其是分割、檢測等下游任務(wù)至關(guān)重要[20]。Cut-MobileNet模型的殘差網(wǎng)絡(luò)改進(jìn)了傳統(tǒng)3×3的卷積核，采用了大卷積核倒置殘差結(jié)構(gòu) （IRBCKS），如圖3所示，先用1×1的卷積核對輸入特征圖升維卷積，其次用11×11的卷積核提取特征，再用1×1的卷積核降維，最后，將得到的特征圖再與輸入特征圖融合。11×11的大卷積核擁有比3×3卷積核更大的感受野，與疊加5個3×3的小卷積核相比，同等感受野的條件下，結(jié)果準(zhǔn)確率更高。

IRBCKS使用了深度可分離卷積方法，同等輸出條件下，深度可分離卷積方法大大減少了參數(shù)量。使用標(biāo)準(zhǔn)卷積核時參數(shù)量（Nstd）計算公式：

Nstd=DK×DK×M×N（1）

使用深度可分離卷積時參數(shù)量（Ndwise）計算公式：

Ndwise=DK×DK×M×1+M×N（2）

公式（1）和公式（2）中，DK為卷積核大小，M代表輸入通道數(shù)，N為輸出通道數(shù)。

H表示圖像高度;W表示圖像寬度;C表示通道數(shù)。

1.4.2 CBAM注意力機(jī)制 模型在神經(jīng)網(wǎng)絡(luò)的倒數(shù)第1個和倒數(shù)第3個卷積層后分別添加了CBAM注意力機(jī)制模塊，在淺層網(wǎng)絡(luò)傳播過程中獲取的都是一些低維特征，故只在網(wǎng)絡(luò)深層添加注意力機(jī)制，加強(qiáng)模型對高維特征的關(guān)注。該機(jī)制能夠自適應(yīng)地學(xué)習(xí)圖像的通道和空間關(guān)系，更好地捕捉圖像的關(guān)鍵特征，從而提高模型的性能。

CBAM注意力機(jī)制有2個主要步驟，即先對特征圖進(jìn)行通道注意力加權(quán)，再考慮特征圖空間信息關(guān)系，如圖4和圖5所示。具體流程如下：

首先，對輸入特征圖F進(jìn)行全局最大池化和全局平均池化后生成2個1×1×9fb0662c446db25f102847993809b2b6C（C為通道數(shù)）的特征圖。然后，將這2個特征圖輸入到神經(jīng)網(wǎng)絡(luò)（MLP）中，對MLP神經(jīng)網(wǎng)絡(luò)輸出的特征圖進(jìn)行融合和激活操作，得到通道注意力特征。最后，將通道注意力特征和輸入特征相乘得到空間注意力機(jī)制模塊所需要的輸入特征F′。該輸入特征經(jīng)過最大池化后再進(jìn)行平均池化操作得到的2個特征圖，其維度大小為H×W×1（H為圖像高度；W為圖像寬度），再經(jīng)過Concat拼接方法將2個同維度、同尺寸的特征圖拼接，之后通過7×7的卷積核卷積得到通道數(shù)為1的特征圖，進(jìn)而再經(jīng)過1個激活函數(shù)得到輸出特征圖，最后將輸出特征與輸入特征相乘變回C×H×W大小的維度。

通道注意力公式：

Mc（F）=σ{MLP[AvgPool（F）]+MLP[MaxPool（F）]}（3）

式中，F(xiàn)表示原始特征圖，Mc表示通道注意力機(jī)制輸出特征，MLP表示權(quán)值共享神經(jīng)網(wǎng)絡(luò)，AvgPool表示平均池化，MaxPool表示最大池化，σ表示倍率因子。

空間注意力公式：

Ms（F）=σ{f7×7[AvgPool（F）;MaxPool（F）]}（4）

式中，F(xiàn)表示原始特征圖，Ms表示空間注意力機(jī)制輸出特征，f7×7表示7×7的卷積操作，AvgPool表示平均池化，MaxPool表示最大池化，σ表示倍率因子。

1.4.3 模型剪枝與批量歸一化 Cut-MobileNet模型采用了批量歸一化（BN）層剪枝策略，如圖6所示，即根據(jù)BN層正則化后的γ系數(shù)的相對大小進(jìn)行局部剪枝，將γ系數(shù)相對較小的通道去除，達(dá)到模型壓縮的目的[21]。當(dāng)γ系數(shù)大于1時，輸出的參數(shù)縮放到較大的范圍，則表示輕度歸一化，當(dāng)γ系數(shù)小于1時，輸出的參數(shù)縮放到較小的范圍，則表示過度歸一化。一般情況下，網(wǎng)絡(luò)在訓(xùn)練完之后，γ的數(shù)值很少分布在0附近，難以劃分冗余通道。為了有效去除網(wǎng)絡(luò)冗余通道，在BN層網(wǎng)絡(luò)中引入稀疏因子λ進(jìn)行訓(xùn)練，使得BN層變得稀疏。公式（5）是網(wǎng)絡(luò)模型的目標(biāo)函數(shù)，在目標(biāo)函數(shù)中添加正則項可以使模型更加稀疏，提高系數(shù)γ的稀疏性。經(jīng)過稀疏后的模型γ數(shù)值分布會有向0靠近的趨勢，選擇合適的稀疏速率，就可對通道剪枝。

公式（6）是卷積神經(jīng)網(wǎng)絡(luò)的常規(guī)損失函數(shù)，目標(biāo)函數(shù)和常規(guī)損失函數(shù)的區(qū)別是增加了第二項，第二項為正則項，用來懲罰模型中的權(quán)重，抑制模型的復(fù)雜性。

L=∑（x，y）l[f（x，W），y]+λ∑γ∈Γg（γ）（5）

L=∑（x，y）l[f（x，W），y]（6）

公式（5）和公式（6）中，（x，y）是訓(xùn)練的輸入坐標(biāo)，W是網(wǎng)絡(luò)中的參數(shù)，λ是稀疏因子，γ是權(quán)重系數(shù)， Γ是一個集合，包含所有正則項的參數(shù)。

上述目標(biāo)函數(shù)和常規(guī)損失函數(shù)的區(qū)別是增加了第二項，第二項為正則項，用來懲罰模型中的權(quán)重，抑制模型的復(fù)雜性，在目標(biāo)函數(shù)中添加正則項可以使模型更加稀疏，提高系數(shù)γ的稀疏性。經(jīng)過稀疏后的模型γ數(shù)值分布會有向0靠近的趨勢，選擇合適的稀疏速率，就可對通道剪枝。

i表示層數(shù);C表示通道數(shù)。

具體剪枝流程如圖7所示，首先對稀疏化訓(xùn)練后的模型中所有BN層的權(quán)重進(jìn)行統(tǒng)計排序，指定保留BN層數(shù)量，以此設(shè)定權(quán)重閾值，剪去低于閾值的冗余通道。剪枝后的模型，對其進(jìn)行訓(xùn)練和微調(diào)，使其達(dá)到較高的精度。本研究使用循環(huán)迭代法對模型剪枝，即訓(xùn)練、剪枝、微調(diào)循環(huán)，直到獲得最優(yōu)的模型為止，該方法避免了大規(guī)模剪枝對模型的破壞，同時使得模型性能逐漸趨于最優(yōu)。

2 結(jié)果與分析

2.1 評價指標(biāo)

本研究中模型的評價指標(biāo)有精確率（Precision）、召回率（Recall）、F1值、準(zhǔn)確率（Accuracy）、模型參數(shù)量、模型大?。▋?nèi)存占用）、浮點運算量（FLOPs）、每秒傳輸幀數(shù)（FPS）。

準(zhǔn)確率：預(yù)測正確的樣本占總樣本的百分比：

Accuracy=TP+TNTP+TN+FP（7）

式中，TP代表真陽性：被模型預(yù)測為正類的正樣本;TN代表真陰性：被模型預(yù)測為負(fù)類的負(fù)樣本;FP代表假陽性：被模型預(yù)測為正類的負(fù)樣本。

召回率：實際為正的樣本中被預(yù)測為正樣本的概率：

Recall=TPTP+FN（8）

式中，F(xiàn)N代表假陰性：被模型預(yù)測為負(fù)類的正樣本。

精確率：所有預(yù)測為正的樣本中實際為正樣本的概率：

Precision=TPTP+FP（9）

F1值即F1_Score：精確率和召回率的調(diào)和平均值：

F1_Score=2×Precision×RecallPrecision+Recall（10）

浮點運算量（FLOPs）衡量算法的復(fù)雜度：

FLOPs=2HW（CinK2+1）Cout（11）

FLOPs=（2I-1）O（12）

每秒傳輸幀數(shù)（FPS）：

FPS=1inference（13）

模型參數(shù)量計算方法參考公式（1）和公式（2）;公式（11）為卷積層FLOPs的計算公式，其中H為圖像高度，W為圖像寬度，Cin為輸入通道數(shù)，Cout為輸出通道數(shù)，K2為卷積核大小;公式（12）為全連接層FLOPs的計算公式，其中I為輸入維度，O為輸出維度;公式（13）中，inference表示單張圖片推理時間。

2.2 初步形成輕量化模型與剪枝結(jié)果

首先，以輕量化結(jié)構(gòu)思想為基礎(chǔ)，初步構(gòu)建了輕量化模型MobieNet-Cbase，訓(xùn)練后模型性能如表2所示，識別準(zhǔn)確率為92.8%，具有較高的識別精度，模型參數(shù)量為5.3 M，通道數(shù)為1 376，較為輕量化，因此可以將此模型作為預(yù)剪枝的基礎(chǔ)網(wǎng)絡(luò)。

其次，根據(jù)BN層的權(quán)重分布來設(shè)定閾值，對稀疏訓(xùn)練后的MobieNet-Cbase進(jìn)行通道剪枝，模型首次剪枝后，得到通道數(shù)為1 018的MobieNet-Cbase1th模型，模型進(jìn)行微調(diào)后的準(zhǔn)確率為94.1%，比MobieNet-Cbase模型的準(zhǔn)確率有微小的提升，參數(shù)量減少了19%，模型大小也降低。模型接下來的2次剪枝方法和首次相同，第2次和第3次剪枝微調(diào)訓(xùn)練后的模型分別為MobieNet-Cbase2th、MobieNet-Cbase3th，其準(zhǔn)確率均為94.0%，模型參數(shù)量分別為4.0 M和2.8 M。在準(zhǔn)確率幾乎不降低的情況下，模型的參數(shù)量明顯減少。模型在進(jìn)行第4次剪枝微調(diào)后的準(zhǔn)確率降低0.2個百分點，參數(shù)量也隨之減少了0.6 M，最后一次剪枝模型為MobieNet-Cbase5th，相比于MobieNet-Cbase1th，其參數(shù)量明顯減少，但識別準(zhǔn)確率減少2.0個百分點。

綜上分析，將模型第4次剪枝得到的Cut-MobileNet作為最終模型，其參數(shù)量僅為MobieNet-Cbase的41.5%，準(zhǔn)確率相比于MobieNet-Cbase提高了1.0個百分點。

2.2.1 對比試驗 為了評估Cut-MobileNet的性能表現(xiàn)，采用準(zhǔn)確率、模型大小、浮點運算量、精確率、召回率、參數(shù)量等指標(biāo)進(jìn)行評估。由表3可知，Cut-MobileNet與非輕量化的AlexNet 、Vision Transformer相比，準(zhǔn)確率分別提高了7.3個百分點和0.6個百分點，其F1值也分別提高了7.3個百分點和0.5個百分點，相較于輕量化的GoogLeNet和SqueezeNet，Cut-MobileNet的識別準(zhǔn)確率和 F1得分上表現(xiàn)更優(yōu)，且具有更少的參數(shù)量和更小的模型大小。盡管Cut-MobileNet相比于MobileNet V2的參數(shù)量稍高一些，但其準(zhǔn)確率相較于MobileNet V2有了明顯提升。本研究所提的方法在工程應(yīng)用中具有更高的價值。

綜上所述，Cut-MobileNet在識別性能、模型大小和推理速度等方面表現(xiàn)良好，滿足快速準(zhǔn)確識別病害的要求，在模型的識別準(zhǔn)確度和計算復(fù)雜度上達(dá)到了相應(yīng)的平衡，滿足嵌入到資源有限的移動設(shè)備的要求。

2.2.2 混淆矩陣對比 為了直觀地驗證本模型的有效性，可以通過混淆矩陣可視化查看模型的分類輸出，如圖8和圖9所示，橫軸數(shù)字表示病害類別及其真實標(biāo)簽，縱軸數(shù)字表示病害類別及其預(yù)測標(biāo)簽，當(dāng)模型預(yù)測為正的正樣本越多，則表明模型的識別準(zhǔn)確率越高，顏色的深淺則代表了模型對某類病害分類效果的優(yōu)劣。病害類別及其數(shù)字標(biāo)簽如表4所示，從列舉的Cut-MobileNet和MobileNet V2的混淆矩陣可知，病害種類7顏色最深，代表7的分類效果最好，分類準(zhǔn)確率最高。MobileNet V2在病害種類1中效果最差，而使用Cut-MobileNet后這種現(xiàn)象得以改善。本研究構(gòu)建的Cut-MobileNet模型通過改變網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合模型剪枝技術(shù)，在植物病害分類識別上具有顯著優(yōu)勢。

3 討論

在植物病害識別的領(lǐng)域中，深度學(xué)習(xí)方法為我們提供了新的解決方案[22-25]。然而，現(xiàn)有深度學(xué)習(xí)模型存在參數(shù)龐大、推理速度慢或識別準(zhǔn)確率不高等問題，導(dǎo)致其難以在存儲和計算資源有限的設(shè)備上應(yīng)用。目前，雖然MobileNet V2、GoogLeNet、SqueezeNet等輕量化模型在參數(shù)量和推理速度上有所優(yōu)化，但其識別準(zhǔn)確率相對較低;而AlexNet、Vision Transformer的參數(shù)量大，同樣不適用于植物病害識別領(lǐng)域。輕量化模型架構(gòu)與模型剪枝方法相結(jié)合，為我們提供了一種全新的解決思路。這種方法能夠更好地平衡模型參數(shù)量、推理速度和識別準(zhǔn)確率之間的關(guān)系。當(dāng)前，眾多研究聚焦于輕量化模型在移動端部署的優(yōu)化，其中主流且實用的方法包括：輕量化模型架構(gòu)協(xié)同蒸餾、知識蒸餾協(xié)同模型剪枝、參數(shù)共享和量化等[26-27]。這些方法為植物病害的輕量化模型精準(zhǔn)識別提供了有效的思路。

本研究通過試驗對比了3個輕量化模型（MobileNet V2、GoogLeNet、SqueezeNet）和2個非輕量化（Vision Transforme、AlexNet）模型，結(jié)果表明，本研究提出的模型在大多數(shù)性能指標(biāo)上均優(yōu)于對比試驗中的模型。這進(jìn)一步驗證了本研究所采用的模型構(gòu)建方法的優(yōu)越性和先進(jìn)性。

4 結(jié)論

針對現(xiàn)有植物病害分類模型存在的病害分類準(zhǔn)確率與模型大小不平衡的問題，本研究提出了一種基于輕量化結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型Cut-MobileNet。

Cut-MobileNet較好地平衡了病害分類準(zhǔn)確率和模型大小之間的關(guān)系，相比于MobileNet V2、GoogLeNet、SqueezeNet等輕量化模型，該模型在植物病害識別任務(wù)中具有更高的識別準(zhǔn)確率和更小的模型參數(shù)量，相比于Vision Transforme、AlexNet等非輕量化模型，該模型在識別準(zhǔn)確率提升的同時大大減少了模型參數(shù)量。

本研究基于模型剪枝方法使模型瘦身，去除模型冗余通道，使得模型參數(shù)量和計算量明顯減少，加快了植物病害分類模型的響應(yīng)速度，使其能夠應(yīng)用到資源有限的移動端設(shè)備。

參考文獻(xiàn)：

[1] TIAN H K， WANG T H， LIU Y D， et al. Computer vision technology in agricultural automation —a review[J]. Information Processing in Agriculture，2020，7（1）：1-19.

[2] 劉擁民，劉翰林，石婷婷，等. 一種優(yōu)化的Swin Transformer番茄葉片病害識別方法[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報，2023，28（4）：80-90.

[3] 馬 麗，周巧黎，趙麗亞，等. 基于深度學(xué)習(xí)的番茄葉片病害分類識別研究[J]. 中國農(nóng)機(jī)化學(xué)報，2023，44（7）：187-193.

[4] 牛學(xué)德，高丙朋，南新元，等. 基于改進(jìn)DenseNet卷積神經(jīng)網(wǎng)絡(luò)的番茄葉片病害檢測[J]. 江蘇農(nóng)業(yè)學(xué)報，2022，38（1）：129-134.

[5] YAZDIAN H， SALMANI-DEHAGHI N， ALIJANIAN M. A spatially promoted SVM model for GRACE downscaling： using ground and satellite-based datasets[J]. Journal of Hydrology，2023，626：130214.

[6] KHALIFA F， ABDELKADER H， ELSAID A. An analysis of ensemble pruning methods under the explanation of Random Forest[J]. Information Systems，2024，120：102310.

[7] GUAN X， TERADA Y. Sparse kernel K-means for high-dimensional data[J]. Pattern Recognition，2023，144：109873.

[8] 崔兆億，耿秀麗. 基于隨機(jī)森林和量子粒子群優(yōu)化的SVM算法[J]. 計算機(jī)集成制造系統(tǒng)，2023，29（9）：2929-2936.

[9] 湯文亮，黃梓鋒. 基于知識蒸餾的輕量級番茄葉部病害識別模型[J]. 江蘇農(nóng)業(yè)學(xué)報，2021，37（3）：570-578.

[10]ABADE A， FERREIRA P， DE BARROS VIDAL F. Plant diseases recognition on images using convolutional neural networks： a systematic review[J]. Computers and Electronics in Agriculture，2021，185：106125.

[11]SMIRNOV E， TIMOSHENKO D， ANDRIANOV S. Comparison of regularization methods for imageNet classification with deep convolutional neural networks[J]. AASRI Procedia，2014，6：89-94.

[12]JIA S J， JIA P Y， HU S P， et al. Automatic detection of tomato diseases and pests based on leaf images：2017 Chinese automation congress （CAC）[C]. Jinan：IEEE， 2017.

[13]YADAV D， JALAL A， GARLAPATI D， et al. Deep learning-based ResNeXt model in phycological studies for future[J]. Algal Research，2020，50：102018.

[14]KHAN M， UDDIN M， PARVEZ M， et al. A squeeze and excitation ResNeXt-based deep learning model for Bangla handwritten compound character recognition[J]. Journal of King Saud University-Computer and Information Sciences，2022，34（6）：3356-3364.

[15]YANG L， YU X Y， ZHANG S P， et al. GoogLeNet based on residual network and attention mechanism identification of rice leaf diseases[J]. Computers and Electronics in Agriculture，2023，204：107543.

[16]SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions[C]//IEEE. 2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，MA，USA，2015：1-9.

[17]RAZA M， NOSHEEN A， YASMIN H， et al. Application of aquatic plants alone as well as in combination for phytoremediation of household and industrial wastewater[J]. Journal of King Saud University-Science，2023，35（7）：102805.

[18]LU Q， YE W X， YIN L F. ResDenIncepNet-CBAM with principal component analysis for wind turbine blade cracking fault prediction with only short time scale SCADA data[J]. Measurement，2023，212：112696.

[19]CHEN L J， YAO H D， FU J Y， et al. The classification and localization of crack using lightweight convolutional neural network with CBAM[J]. Engineering Structures，2023，275：115291.

[20]LAU K， PO L， REHMAN Y. Large separable kernel attention： rethinking the large kernel attention design in CNN[J]. Expert Systems with Applications，2023，236：121352.

[21]楊佳昊，左昊軒，黃祺成，等. 基于YOLO v5s的作物葉片病害檢測模型輕量化方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報，2023，54（增刊1）：222-229.

[22]陳智超，汪國強(qiáng)，李 飛，等. 基于Bi-LSTM與多尺度神經(jīng)網(wǎng)絡(luò)模型的番茄病害識別[J]. 江蘇農(nóng)業(yè)科學(xué)，2023，51（15）：194-203.

[23]曹 林，周 凱，申 鑫，等. 智慧林業(yè)發(fā)展現(xiàn)狀與展望[J]. 南京林業(yè)大學(xué)學(xué)報（自然科學(xué)版），2022，46（6）：83-95.

[24]張會敏，謝澤奇. 基于知識圖譜與深度學(xué)習(xí)的黃瓜葉部病害識別方法[J]. 江蘇農(nóng)業(yè)科學(xué)， 2023，51（15）：173-178.

[25]鮑 彤，羅 瑞，郭 婷，等. 基于BERT字向量和TextCNN的農(nóng)業(yè)問句分類模型分析[J]. 南方農(nóng)業(yè)學(xué)報，2022，53（7）：2068-2076.

[26]劉媛媛，王定坤，鄔 雷，等. 基于知識蒸餾和模型剪枝的輕量化模型植物病害識別[J]. 浙江農(nóng)業(yè)學(xué)報，2023，35（9）：2250-2264.

[27]邵仁榮，劉宇昂，張 偉，等. 深度學(xué)習(xí)中知識蒸餾研究綜述[J]. 計算機(jī)學(xué)報，2022，45（8）：1638-1673.

（責(zé)任編輯：陳海霞）