帖 軍，隆娟娟，鄭 祿，牛 悅，宋衍霖

(1.中南民族大學(xué) 計算機科學(xué)學(xué)院，湖北 武漢 430074; 2.湖北省制造企業(yè)智能管理工程技術(shù)研究中心，湖北 武漢 430074)

番茄是蔬菜的重要品種，消費量巨大，但番茄葉片病害的種類繁多，會降低番茄的產(chǎn)量和質(zhì)量，給種植者帶來巨大經(jīng)濟損失[1-2]。傳統(tǒng)番茄病害防治主要依靠專業(yè)農(nóng)業(yè)植保技術(shù)人員或經(jīng)驗豐富的番茄種植人員，通過人工診斷病害種類，具有較強的主觀性，且耗時耗力。因此需要一種準確、快速且高效的方法來自動識別番茄病害，從而滿足番茄的現(xiàn)代化種植需求[3]。

隨著機器學(xué)習(xí)在農(nóng)業(yè)領(lǐng)域的應(yīng)用，科研工作者針對番茄葉片病害識別進行了深入研究[4]。Xie等[5]在番茄早疫病的研究中利用番茄圖像紋理特征，取得88.46%的準確率；柴阿麗等[6]采用逐步判別與貝葉斯判別結(jié)合的方法實現(xiàn)特征參數(shù)的選擇，并利用主成分分析與費歇爾判別結(jié)合的方法構(gòu)建識別模型，識別率為98.32%；劉君等[7]融合CNN多卷積特征與HOG算法，將CNN抽取番茄葉部病害的淺層特征與抽取的HOG特征合并，并利用SVM分類器對6種病害番茄和健康番茄進行分類，識別率為92.49%。番茄葉片病害的機器識別方法通常是手動標記番茄病害特征，但不同病害特征在不同場景下表現(xiàn)不一，同種病害在不同發(fā)病階段表現(xiàn)的病癥差異明顯，以及受光照和復(fù)雜背景等噪聲干擾，使得特征提取十分困難。

相較于傳統(tǒng)機器學(xué)習(xí)方法，基于深度學(xué)習(xí)的病害識別方法沒有復(fù)雜的圖像預(yù)處理和特征提取操作，而是通過引入卷積層、池化層、全連接層等操作，自動提取圖像特征，并在現(xiàn)有研究中取得一定進展[8]。Thangaraj等[9]通過分析現(xiàn)有應(yīng)用于番茄病害識別任務(wù)的傳統(tǒng)圖像處理、機器學(xué)習(xí)和深度學(xué)習(xí)方法，總結(jié)發(fā)現(xiàn)深度學(xué)習(xí)方法在性能表現(xiàn)上要優(yōu)于傳統(tǒng)圖像處理和機器學(xué)習(xí)方法；Jia等[10]采用VGG16提取圖像特征，并結(jié)合SVM分類器檢測番茄葉片，平均識別準確率為89%；Tm等[11]采用簡單卷積神經(jīng)網(wǎng)絡(luò)LeNet對10種番茄病害進行識別，平均識別準確率為95%；Kaur等[12]提出基于DAG-ResNet模型，并采用ECOC對PlantVillage數(shù)據(jù)集的7種番茄病害進行分類，取得了98.8%的準確率；Gonzalez-Huitron等[13]對4種輕量級模型結(jié)合遷移學(xué)習(xí)在Plantvillage數(shù)據(jù)集上進行訓(xùn)練分析，在性能上取得不錯的效果，并開發(fā)可應(yīng)用于PC、Raspberry Pi 4或移動端的GUI設(shè)備；郭小清等[14]針對番茄病害在不同發(fā)病階段表征不一的問題，提出基于改進AlexNet的識別模型，通過移除AlexNet局部響應(yīng)的歸一化層，修改其全連接層，并設(shè)置不同大小的卷積核增強病斑特征的提取能力，在PlantVillage數(shù)據(jù)集上平均識別率為92.7%;湯文亮等[15]基于條件卷積和通道注意力機制自定義模型，并利用知識蒸餾法進行輕量化，在PlantVillage數(shù)據(jù)集上平均識別準確率為97.7%；張寧等[16]采用InceptionV3結(jié)合多尺度卷積和注意力機制模塊，并結(jié)合遷移學(xué)習(xí)在PlantVillage數(shù)據(jù)集的5種番茄病害上平均識別準確率為98.4%。以上研究證明將深度學(xué)習(xí)應(yīng)用于番茄葉片病害識別的可行性和有效性，但依舊存在一些不足，比如模型識別準確率還有進一步提升的空間，訓(xùn)練參數(shù)較多限制了模型部署與實際應(yīng)用等。

注意力機制是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個重要概念，它可以幫助網(wǎng)絡(luò)獲取興趣區(qū)域，減少對非重要信息的關(guān)注度，從而提高網(wǎng)絡(luò)識別效果[17-18]，目前在自然語言處理[19-20]與圖像分割[21]領(lǐng)域已取得較大進展。Fu等[22]和Hu等[23]將注意力機制融合到VGG模型并應(yīng)用到圖像分類任務(wù)中，取得不錯的效果。本文將注意力機制應(yīng)用到番茄葉片病害識別，對輕量級網(wǎng)絡(luò)EfficientNet進行改進，引入SKNet替換SENet，SKNet是對SENet的進一步改進，可以根據(jù)輸入信息的多尺度自適應(yīng)調(diào)節(jié)感受野的大小，在提高番茄葉片病害圖像特征的提取能力的同時更有效地利用參數(shù)。

1 番茄葉片病害識別模型

1.1 EfficientNet網(wǎng)絡(luò)模型

模型擴展是提高網(wǎng)絡(luò)效果的重要方法。ResNet[24]通過增加網(wǎng)絡(luò)層數(shù)將ResNet18擴展到ResNet200，GPipe通過將卷積網(wǎng)絡(luò)的baseline擴展4倍，在ImageNet上準確率達84.3%。傳統(tǒng)的模型縮放通過增加網(wǎng)絡(luò)深度、寬度以及輸入圖像分辨率來進行訓(xùn)練。這些方法雖然可以提高準確性，但需要長時間的手動調(diào)優(yōu)，并會產(chǎn)生次優(yōu)性能。2019年，谷歌提出一種新的縮放模型EfficientNet[25]，通過設(shè)置復(fù)合縮放系數(shù)來平衡網(wǎng)絡(luò)的寬度、深度和分辨率，從而在擴展網(wǎng)絡(luò)維度時可以獲得更好的模型性能。復(fù)合比例系數(shù)的計算如式(1)所示：

(1)

式中：d、w、r為縮放網(wǎng)絡(luò)的深度、寬度和分辨率；α、β、γ為對應(yīng)縮放基數(shù)；φ為復(fù)合縮放系數(shù)。在約束條件下，首先取φ=1，通過網(wǎng)格搜索可以確定α=1.2，β=1.1，γ=1.15，即基準模型EfficientNet-B0。接著固定α、β、γ，對φ取不同的值實現(xiàn)基準模型縮放，即可獲得EfficientNet-B1到B7。

1.2 SKNet網(wǎng)絡(luò)

在構(gòu)建傳統(tǒng)CNN時，一般在同一層只采用一種卷積核，對于特定任務(wù)特定模型，卷積核大小是確定的，每層網(wǎng)絡(luò)中神經(jīng)元的感受野大小是相同的，但忽略了多個卷積核的作用。Li等[26]在CVPR2019上提出選擇性卷積核機制SKNet，其采用一種非線性的方法融合來自不同核的特征，根據(jù)輸入的不同尺寸信息自適應(yīng)調(diào)整感受野大小，由3個操作組成：Split、Fuse和Select。Split操作生成具有各種卷積核大小的多個路徑；Fuse操作融合來自不同通道的信息，從而獲得一個全局及可理解性的表示用于進行權(quán)重選擇；Select操作根據(jù)選擇圈子聚合不同大小的卷積核的特征映射。選擇性卷積核機制SKNet結(jié)構(gòu)如圖1所示。

圖1 選擇性卷積核機制結(jié)構(gòu)

1.3 基于SK-EfficientNet的識別模型

EfficientNet網(wǎng)絡(luò)利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索[27](neural architecture search，NAS)基準模型EfficientNet-B0，并對網(wǎng)絡(luò)深度、寬度以及分辨率進行復(fù)合縮放，對于ImageNet歷史上的各種網(wǎng)絡(luò)而言，EfficientNet在速度、精度上實現(xiàn)碾壓的效果。SKNet是針對卷積核的注意力機制研究，使用多分支卷積網(wǎng)絡(luò)[28]、組卷積[29]、空洞卷積[30]以及注意力機制，對不同圖像使用不同的卷積核權(quán)重，從而動態(tài)調(diào)整感受野大小，相比SENet通道注意力機制具有更強的特征提取能力，也能夠更加有效地利用參數(shù)。受兩者特性啟發(fā)，本文提出基于SK-EfficientNet的識別模型，針對EfficientNet的核心模塊移動翻轉(zhuǎn)瓶頸卷積(mobile inverted bottleneck convolution，MBConv)進行改進，MBConv模塊由普通卷積、深度可分離卷積(包含BN和Swish)、SE(squeeze-and-excitation)模塊、Droupout層構(gòu)成，如圖2所示。

圖2 原始MBConv模塊

本文將MBConv模塊中SENet替換為SKNet，在1×1卷積后分別進行3×3深度可分離卷積和dilation為2的3×3空洞卷積，對輸入特征進行不同卷積核大小的完整卷積操作，得到2個新的特征圖，接著，對兩者的輸出特征進行求和融合，獲得全局特征，再通過全局平均池化來獲得全局信息Sc，如式(2)所示。

(2)

式中：Fgp表示全局平均池化；Uc表示Split融合后得到的新的特征圖；H×W為特征圖Uc的分辨率；i和j代表UC在H和W上不同的通道圖。

在全局平均池化層后通過2個全連接層得到不同卷積核所占權(quán)重比Z，如式(3)所示。

Z=Ffc(s)=δ(B(Ws))，

(3)

式中：δ表示ReLU函數(shù)；B表示批正則化處理BN；Ffc表示全連接層；Ws表示通道s的權(quán)重。

在通道方向進行Softmax操作，回歸出通道和卷積核之間的權(quán)重信息，最后將Droupout失活函數(shù)得到的特征圖與原始特征圖進行融合,形成最終的SK-MBConv模塊，如圖3所示。

圖3 改進后SK-MBConv模塊

由此改進后的SK-EfficientNet網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，由16個改進SK-MBConv模塊、2個卷積層、1個全局平均池化層和1個全連接層構(gòu)成。圖中不同顏色代表了不同階段，首先利用3×3卷積核對輸入的224×224×3的圖像進行升維操作，得到維度為112×112×32的特征圖，接著對特征圖進行不同維度的SK-MBConv，當出現(xiàn)相同的SK-MBConv時，進行連接失活和輸入的跳躍連接；最后經(jīng)過1×1逐點卷積恢復(fù)原通道，并使用全連接層進行分類。

圖4 SK-EfficientNet識別模型

2 實驗結(jié)果與分析

2.1 實驗環(huán)境與參數(shù)設(shè)置

為確保訓(xùn)練的可靠性，本文采用十折交叉驗證法進行實驗，將數(shù)據(jù)集隨機劃分10份，其中8份訓(xùn)練集、1份驗證集以及1份測試集，循環(huán)10次。實驗采用的系統(tǒng)平臺為64位CentOS，深度學(xué)習(xí)框架為Pytorch，編程語言為Python；計算機處理器Intel(R)Xeon(R)CPU E5-2630 v4@2.20 GHz，內(nèi)存64 GiB，硬盤1 TiB，并采用Tesla P40 GPU加速圖像處理。

在模型訓(xùn)練過程中，采用批量訓(xùn)練的方法將訓(xùn)練集與驗證集分為多個批次(batch)，其中訓(xùn)練批次設(shè)置為16，驗證批次為8，共迭代70輪。同時采用隨機梯度下降優(yōu)化算法(stochastic gradient descent，SGD)對模型進行優(yōu)化，設(shè)置學(xué)習(xí)率為0.001，正則化系數(shù)為0.000 5，防止出現(xiàn)過擬合。

2.2 實驗數(shù)據(jù)來源

本文所用數(shù)據(jù)集來源于PlantVillage數(shù)據(jù)集和Dataset of Tomato Leaves數(shù)據(jù)集，其中PlantVillage數(shù)據(jù)集收錄了大量的植物病蟲害圖像，本文選取番茄葉片圖像，共10個類別，包含9種病害和健康葉片，共18 160張。Dataset of Tomato Leaves數(shù)據(jù)集為Mendeley Data中的自然場景番茄葉片圖像，由單葉片、多葉片、單背景和復(fù)雜背景組成，共6個類別，5種病害和健康葉片，圖像總數(shù)622張。圖5和圖6分別給出了2個數(shù)據(jù)集的示例樣本。

圖5 PlantVillage番茄葉片病害示例

圖6 Dataset of Tomato Leaves番茄葉片病害示例

2.3 實驗數(shù)據(jù)預(yù)處理

數(shù)據(jù)樣本分布不均勻和自然場景樣本過少會對模型的識別性能產(chǎn)生影響，故本文采用數(shù)據(jù)增強的方法對2.2節(jié)介紹的2類數(shù)據(jù)樣本進行擴充，模擬真實農(nóng)業(yè)場景，以提高適應(yīng)性。采用的數(shù)據(jù)增強方法有：1)隨機裁剪，對圖像隨機選擇像素位置和方向進行裁剪；2)旋轉(zhuǎn)，對圖像沿著順時針方向隨機旋轉(zhuǎn)90°、180°和270°；3)顏色增亮，通過更改色調(diào)(H)、飽和度(S)、亮度(V)，改變亮度V與飽和度S的分量，讓色調(diào)H保持不變，從而達到增亮的效果；4)高斯模糊添噪，在實際應(yīng)用中圖像的清晰度各不相同，通過給圖像添加高斯噪聲與椒鹽噪聲來模擬真實場景。2類數(shù)據(jù)集部分病害增強預(yù)處理效果如圖7所示，最后把數(shù)據(jù)集圖像的大小設(shè)為256×256。經(jīng)過預(yù)處理以后，得到PlantVillage圖像樣本共31 117張，Dataset of Tomato Leaves圖像樣本共6 526張，作為最終實驗的番茄病害樣本數(shù)據(jù)集，2類數(shù)據(jù)集圖像增強前后對比如圖8所示。

圖7 數(shù)據(jù)增強預(yù)處理效果

圖8 數(shù)據(jù)增強前后對比

2.4 PlantVillage數(shù)據(jù)集下實驗結(jié)果與分析

為驗證改進后EfficientNet模型性能優(yōu)勢，針對單一環(huán)境下的PlantVillage番茄葉片病害圖像數(shù)據(jù)集，訓(xùn)練多個模型進行對比實驗，包括ResNet50、MobileNet、InceptionV3以及原始EfficientNet模型。評價參數(shù)采用平均識別準確率、模型參數(shù)和單張識別時間，每個模型訓(xùn)練10次取其平均值，計算得到對比實驗結(jié)果如表1所示，不同模型訓(xùn)練準確率對比如圖9所示。改進后模型的平均識別準確率為99.64%，高于ResNet50、MobileNet和InceptionV3，相比原始EfficientNet模型提高0.23個百分點。改進后模型參數(shù)僅需3.83 MiB，對內(nèi)存需求明顯低于ResNet50和InceptionV3，相比MobileNet和原始EfficientNet更加輕量化，體現(xiàn)出改進后模型提高了番茄病害識別率，降低了模型參數(shù)內(nèi)存的需求。在時間消耗方面，改進后EfficientNet模型測試單張圖片的平均耗時為1.08 s，優(yōu)于ResNet50、InceptionV3和原始EfficientNet模型，MobileNet雖然耗時稍低一些，但其平均識別準確率比本文改進的模型要低1.42個百分點。在番茄葉片病害的實際應(yīng)用中，識別準確率是比識別速度更為重要的性能指標，因此本文改進的模型針對番茄葉片病害識別問題具有一定的性能優(yōu)勢。

圖9 不同模型訓(xùn)練過程中識別準確率的變化

表1 不同模型對比實驗結(jié)果

為進一步比較各模型的性能，采用Softmax交叉熵損失函數(shù)來分析，繪制不同模型的損失函數(shù)，對比結(jié)果如圖10所示。由圖10可以發(fā)現(xiàn)本文改進的模型在對比模型中訓(xùn)練損失最小，收斂速度最快，在迭代次數(shù)超過30次后，損失值趨于平穩(wěn)。驗證了改進后的模型能夠更好地應(yīng)用于實際場景下番茄葉片病害識別工作。

圖10 不同模型訓(xùn)練過程中損失值的變化

作為分類模型評價指標之一，混淆矩陣可直觀表示各類別誤分為其他類別的比重。行列交叉的數(shù)值是該類別被預(yù)測為對應(yīng)列標簽的概率，對角線處的數(shù)值是該類別被預(yù)測準確的概率，對角線的顏色越深代表模型識別效果越好。本文對測試集在SK-EfficientNet模型上的混淆矩陣進行可視化，如圖11所示。由圖11可以看出，本文改進的模型在測試集上也取得了不錯的識別效果，對于番茄大部分病害都能完全被識別正確，晚疫病的誤識別率比其他稍高，但平均識別準確率能達到99%以上。由此可知本文改進的模型具有較好的魯棒性，可以為番茄葉片病害識別提供參考。

圖11 SK-EfficientNet識別番茄病害的混淆矩陣

為了進一步驗證番茄圖像數(shù)據(jù)集在EfficientNet-B0到B7的分類效果，本文分別構(gòu)建SK-EfficientNet-B0到B7分類模型，計算得到對比實驗結(jié)果如表2所示。從表2可以看出，由于目前實驗計算機計算能力有限，SK-EfficientNet-B6、B7模型訓(xùn)練受到了限制，SK-EfficientNet-B2表現(xiàn)出了更好的精度優(yōu)勢。

表2 不同EfficientNet對比實驗結(jié)果

此外，為更好地分析改進后網(wǎng)絡(luò)對圖像特征表達的過程，將各SK-MBConv模塊卷積層輸出的特征圖進行可視化，為便于可視化，只列出前3個SK-MBConv。由圖12可以發(fā)現(xiàn)，隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)特征提取層關(guān)注的圖像特征越來越抽象，特征的紋理性也逐漸被更高級的語義性所代替；本文改進的網(wǎng)絡(luò)從過程上能夠獲得較為豐富的邊緣信息，從結(jié)果上可以取得較高的識別精度，適用于番茄葉片病害識別問題。

圖12 部分SK-MBconv可視化卷積特征圖

2.5 Dataset of Tomato Leaves數(shù)據(jù)集下實驗結(jié)果與分析

為驗證本文提出的模型在自然場景下的識別效果，針對自然環(huán)境下的Dataset of Tomato Leaves數(shù)據(jù)集，再次訓(xùn)練模型進行實驗對比，結(jié)果如表3所示。相比ResNet50、MobileNet、InceptionV3網(wǎng)絡(luò)，本文改進的網(wǎng)絡(luò)在識別精度上有很大提升，改進后的模型平均識別率為93.28%，相比原始模型提升3.81個百分點，單張圖像識別耗時也明顯降低。

表3 自然場景下不同模型對比實驗結(jié)果

為驗證本文改進的模型在自然場景下的魯棒性，選取測試集中帶有復(fù)雜背景的細菌性斑點病和多葉片黃化曲葉病，觀察改進模塊SK-MBConv不同網(wǎng)絡(luò)層對病害所關(guān)注的特征信息，對特征熱力圖進行可視化。由圖13可以發(fā)現(xiàn)，隨著網(wǎng)絡(luò)層數(shù)的增加，提取的病害特征越來越清晰，受復(fù)雜背景等干擾信息的影響越來越小。由此可以說明本文改進的模型具有較強的特征提取能力，在一定程度可以去除復(fù)雜背景等干擾信息的影響，增強模型的魯棒性。

圖13 SK-MBConv不同層熱力圖

3 結(jié)論

本研究針對目前大部分番茄病害識別模型識別精度不夠高，所需參數(shù)多的問題，提出一種基于SK-EfficientNet的番茄病害識別模型，通過將SKNet網(wǎng)絡(luò)融入EfficientNet核心模塊MBConv，并設(shè)置多組對比實驗，分析模型識別率和所需參數(shù)，最后將該模型應(yīng)用于自然場景，得到如下結(jié)論：

1)SKNet相比SENet，其優(yōu)越性在于可以使卷積核根據(jù)輸入特征的多尺度信息自適應(yīng)選擇感受野的大小，提高對圖像特征的提取能力，具備更高的分類性能，也更有效地利用了參數(shù)。實驗結(jié)果證明在單一環(huán)境下基于SK-EfficientNet模型平均識別率達到99.64%，模型參數(shù)僅需3.83 MiB，優(yōu)于其他模型。

2)在目前實驗室計算機計算能力的限制下，SK-EfficientNet-B2取得了最好的識別效果，平均識別準確率99.88%。

3)本文模型在自然場景下的應(yīng)用優(yōu)勢更為突出，平均識別率達93.28%，相比原模型高出3.81個百分點，能夠為自然場景番茄葉片病害識別提供參考。但目前識別精度仍不高，有進一步提升的空間，后續(xù)工作將針對自然場景繼續(xù)改進模型。