牟文芊,董萌萍,孫文杰,楊曉霞*,王秀美

基于SENet和深度可分離卷積膠囊網(wǎng)絡的茶樹葉部病害圖像識別

牟文芊1,董萌萍1,孫文杰1,楊曉霞1*,王秀美1

山東農(nóng)業(yè)大學信息科學與工程學院, 山東 泰安 271018

茶樹是重要的經(jīng)濟作物，葉部病害的發(fā)生直接影響其產(chǎn)量和質(zhì)量。針對膠囊網(wǎng)絡在茶樹葉部病害圖像識別中識別率低和參數(shù)量大的問題，提出了一種基于SENet和深度可分離卷積膠囊網(wǎng)絡的茶樹葉部病害圖像識別算法。首先，由于尚無茶樹葉部病害圖像標準數(shù)據(jù)集，構(gòu)建了茶樹葉部病害圖像數(shù)據(jù)集。其次，在膠囊網(wǎng)絡中引入深度可分離卷積，并在深度可分離卷積層后加入SENet。實驗結(jié)果表明，提出算法的識別準確率為94.20%，相同條件下優(yōu)于其它模型。

膠囊網(wǎng)絡; 壓縮激發(fā)網(wǎng)絡; 深度可分離卷積; 茶樹葉部病害

中國是茶樹種植大國，也是茶園面積增速最快的國家。茶樹葉部病害識別與防治可以有效地提高茶葉的產(chǎn)量和質(zhì)量。目前，茶樹葉部病害識別主要依靠人工，專業(yè)性強，費時費力，且當茶樹葉部病害特征不夠明顯時，人工識別易判斷錯誤。

深度學習作為人工智能的核心技術(shù)，具有圖像和語音識別速度快和準確率高的優(yōu)勢。近年來，廣泛應用于農(nóng)作物病蟲害識別并取得了較大進展。Mohanty等[1]分析了PlantVillage數(shù)據(jù)庫中的54306幅植物葉子圖像，共14種作物和26種作物病害，利用GoogLeNet結(jié)構(gòu)，對80%的彩色圖像進行遷移學習訓練，達到了較高的準確率。Ramcharan等[2]應用學習遷移訓練卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）對木薯3種病害和2種害蟲進行識別，利用Inception V3模型，測試精度高。張善文等[3]針對黃瓜的病害識別設(shè)計了基于LeNet的11層深度卷積神經(jīng)網(wǎng)絡。相較于傳統(tǒng)的圖像識別方法，該方法具有更高的準確率，更快的識別速度，但是需要大量的訓練時間。Oppenheim等[4]利用CNN成功的應用于馬鈴薯病害的圖像識別。Zhao等[5]以棉花葉部病害圖像為研究對象，利用遷移學習和數(shù)據(jù)增強技術(shù)，實現(xiàn)了棉花葉部病害圖像準確分類。劉闐宇等[6]則利用目標檢測算法Faster-RCNN對田間復雜背景下的病害葉部圖像進行了分類識別。

2017年，Hu等[7]提出了壓縮激發(fā)網(wǎng)絡（Squeeze-and-Excitation Networks，SENet），并獲得了ImageNet圖像識別大賽冠軍。Zhang等[8]提出了多特征加權(quán)DenseNet模型用于圖像分類，分類效果明顯。劉學平等[9]提出了改進的YOLO V3算法，利用和粒子群進行錨框的計算，同時在shorcut層中引入SENet，復雜背景下查準率和查全率較高。黃揚[10]在Faster RCNN的特征提取模塊中加入SE模塊，提高了網(wǎng)絡的準確性。劉琳琳等[11]提出了SENet多路CNN模型，使用堆疊多路卷積和SENet，對轉(zhuǎn)移的淋巴結(jié)檢測準確率較高。Chollet等[12]提出了Xception，其將深度可分離卷積代替了Inception模塊，提高了參數(shù)利用率。楊可軍等[13]在VGGNet中融合了深度可分離卷積，提高了檢測速度。針對車型實時識別能力不足的問題，郭融等[14]提出了基于深度可分離卷積的SSD目標檢測算法，用于車型識別，并取得了較好識別效果。

卷積神經(jīng)網(wǎng)絡的特點是局部權(quán)值共享，且避免了特征提取的過程。但其無法精確的獲取空間關(guān)系，池化層只有最大的神經(jīng)元被傳到下一層，導致了大量信息的丟失。2017年，Hinton等[15]提出了膠囊網(wǎng)絡，將膠囊定義為神經(jīng)元的組合，學習特定目標并輸出向量，當目標有微小的變化時，膠囊會對輸出的向量進行調(diào)整。

本文以茶樹葉部病害圖像為研究對象，將深度可分離卷積和SENet引入膠囊網(wǎng)絡，提出了一種茶樹葉部病害圖像識別算法，實驗結(jié)果表明，該算法提高了茶樹葉部病害圖像的識別率。

1 方法

1.1 膠囊網(wǎng)絡

膠囊網(wǎng)絡的輸入輸出都是向量，并且利用向量的長度表示目標的存在，方向表示目標的特征，主要包含卷積層、主膠囊層和類別膠囊層，其中主膠囊層將卷積層提取的特征圖轉(zhuǎn)換為向量膠囊，然后通過動態(tài)路由與類別膠囊層，最后輸出結(jié)果。

膠囊網(wǎng)絡利用動態(tài)路由將特征圖中的關(guān)鍵特征組合在一起，在動態(tài)路由中，高層膠囊和低層膠囊是全連接的，其中每個底層膠囊連接到高層膠囊的概率c如公式（1）所示，其中b是膠囊到的先驗概率。

高層膠囊的輸出v如公式（2）所示，其中s為低層膠囊的輸入。

膠囊的輸入由公式（4）計算得到。

1.2 SENet

CNN的核心是卷積核，其本質(zhì)是空間信息和特征維度信息的聚合體，可以捕獲圖像的全局特征，提高網(wǎng)絡的表示能力。目前，多數(shù)CNN都是從空間維度上來提高網(wǎng)絡的性能，而SENet則是采用重新標定的方法，對特征通道之間的關(guān)系進行顯式建模，學習每個通道的權(quán)重，依照權(quán)重對有用的特征進行提升，抑制權(quán)值不高的特征。

SENet主要包括三個步驟，首先是壓縮操作，利用全局平均池化，將二維的特征通道變成一個實數(shù)。其次是激發(fā)操作，通過參數(shù)來為每個通道生成權(quán)重。最后是重標定操作，將激發(fā)操作得到的權(quán)重加權(quán)到先前的特征上。

1.3 深度可分離卷積

深度可分離卷積主要由深度卷積和1*1逐點卷積組成，對輸入圖像的每一個通道獨立進行空間逐層卷積，再進行逐點卷積，與傳統(tǒng)卷積層相比，減少了參數(shù)數(shù)量，在參數(shù)量相同的前提下，采用深度可分離卷積的網(wǎng)絡層數(shù)可以更深。

假設(shè)輸入特征圖的大小為H*W*C，樣本數(shù)為N，其中H和W分別為特征圖的高和寬，C為輸入特征圖的通道數(shù)，深度卷積是指將H*W*C*N的特征圖分為C組，然后每一組分別做卷積，則可以得到每個通道的空間特征。該運算只對輸入特征圖的每個通道進行獨立卷積運算，沒有充分利用不同通道在相同空間位置上的特征信息，而點卷積則對H*W*C*N的輸入進行1*1卷積操作，得到每個點的特征。卷積層的結(jié)構(gòu)如圖1（a）所示，深度可分離卷積結(jié)構(gòu)如圖1（b）所示。

圖 1 卷積層和深度可分離卷積結(jié)構(gòu)對比

1.4 本文提出的算法

膠囊網(wǎng)絡的第一層是卷積層，卷積核大小為9*9，步長為1，通道數(shù)為256。膠囊網(wǎng)絡存在參數(shù)多、計算量大和卷積核單一等問題，本文使用參數(shù)量和計算復雜度低的深度可分離卷積替代標準卷積操作。SENet結(jié)構(gòu)簡單，具備一定的靈活性，能夠嵌入到現(xiàn)有的網(wǎng)絡中，擴大了特征圖對全局信息的感知范圍。本文基于上述特點改進了膠囊網(wǎng)絡，將第一層的卷積層替換為深度可分離卷積，并在其后引入SENet，主要用于處理卷積的特征，改進后的卷積層如圖2所示。

SENet的壓縮操作主要是通過全局平均池化來獲得全局特征，接著是兩個全連接層去構(gòu)建通道之間的相關(guān)性，其主要是先根據(jù)壓縮比降低特征維度，本文中的設(shè)置為4，經(jīng)過ReLU激活函數(shù)后，再通過一個全連接層回到原來的維度，使得輸入輸出特征擁有同樣數(shù)目的權(quán)重。兩個全連接層可以更好地擬合通道之間相關(guān)性，并且可以減少參數(shù)量和計算量。最后將通過Sigmoid函數(shù)學到的各通道的值乘上原始特征，使得模型對各個通道的特征更有辨別能力。

圖 2 改進的卷積層

圖 3 膠囊網(wǎng)絡的解碼器

第二層是主膠囊層，卷積核的尺寸是9*9，步長為2，通道數(shù)為256，其將特征圖轉(zhuǎn)化為長度為8的膠囊6*6*32個；最后一層類別膠囊層是主膠囊層通過動態(tài)路由得到的長度為16的膠囊。

訓練過程中，正確分類膠囊的激活向量會被用于重建輸入圖像，輸入到一個三層的全連接層組成的解碼器，模擬像素強度，膠囊網(wǎng)絡的解碼器結(jié)構(gòu)如圖3所示。

1.5 損失函數(shù)

膠囊網(wǎng)絡使用實例化向量長度來表示膠囊的實體是否存在，當圖像中存在病害時，表示病害種類的膠囊則具有實例化向量，每個病害種類膠囊使用不同的邊緣損失L，如公式（6）所示。

2 數(shù)據(jù)集的構(gòu)建

2.1 數(shù)據(jù)的獲取

本文以茶樹常見的葉部病害為研究對象，在山東省泰安市茶溪谷、泰頂青茶園等多個茶園內(nèi)進行人工采摘病葉，分別采集了白星病、輪斑病、芽枯病、機械損傷和炭疽病5類病害圖像進行實驗。為減少背景的干擾，均采用單一背景的圖像，拍攝圖像格式為JPEG。采集的茶葉病害原始圖像數(shù)量為15000張，每類3000張。

2.2 數(shù)據(jù)預處理

為了防止出現(xiàn)過擬合的情況，提高算法的泛化能力，網(wǎng)絡需要大量的數(shù)據(jù)。首先，固定圖像的輸入維度，將圖像的尺寸統(tǒng)一轉(zhuǎn)換為128*128*3，然后才能輸入網(wǎng)絡進行訓練。本文采用數(shù)據(jù)預處理的方式主要包括調(diào)整亮度和對比度、添加噪聲和高斯模糊，其中調(diào)整圖像的對比度設(shè)置為3，亮度設(shè)置為50，高斯模糊是為每一個像素取周邊像素的平均值，將其半徑值設(shè)置為0.1。預處理后茶樹葉部病害圖像數(shù)據(jù)集的數(shù)量為40000張，平均每類8000張，降低了過擬合的風險。預處理前后的茶樹葉部病害圖像樣本如表1所示。

表 1 預處理前后的茶樹葉部病害圖像

3 結(jié)果與分析

3.1 實驗環(huán)境

本文實驗軟硬件環(huán)境參數(shù)設(shè)置如表2所示。

表 2 軟硬件環(huán)境參數(shù)

3.2 結(jié)果分析

本文使用Adam算法優(yōu)化網(wǎng)絡，在訓練中自適應調(diào)整學習率，并根據(jù)茶葉病害訓練圖像進行權(quán)重的更新，直到找到最優(yōu)結(jié)果。學習率代表網(wǎng)絡權(quán)重更新的速度，當設(shè)置過大時，最終的識別結(jié)果不準確，設(shè)置過小時則會增加訓練時長。該實驗的epoch設(shè)置為100，訓練集中的圖像在一個epoch內(nèi)會進行一次完整訓練，將批處理樣本設(shè)置為100，訓練過程如圖4所示。由圖4可知，本文提出算法的損失曲線在將近第40個epoch時趨近于收斂，同時準確率曲線在該點時也逐漸達到收斂。

3.2.1 不同學習率對實驗結(jié)果的影響對于學習率，采用對數(shù)標尺選取0.001、0.0001和0.00001，學習率衰減因子設(shè)置為0.9，通過反復實驗進行了最優(yōu)的調(diào)整，不同學習率在茶樹葉部病害驗證集上的識別結(jié)果如圖5所示，由圖5可知，當學習率設(shè)置為0.001時，本文提出的算法在茶樹葉部病害圖像上的識別準確率最高。

圖 4 訓練過程損失值和準確率曲線

圖 5 不同學習率的識別準確率

圖 6 不同學習率的損失函數(shù)變化曲線

本文提出的算法在不同學習率下?lián)p失函數(shù)收斂曲線如圖6所示，損失值一開始呈現(xiàn)快速下降的趨勢，當學習率最小為0.00001時，模型收斂速度較慢，但損失值達到了最低，并且在迭代至40次時開始趨向于收斂，算法達到最優(yōu)。

3.2.2 消融實驗本文以膠囊網(wǎng)絡為基礎(chǔ)，將本文提出的算法與膠囊網(wǎng)絡、基于SENet的膠囊網(wǎng)絡和基于深度可分離卷積的膠囊網(wǎng)絡在茶樹葉部病害圖像上的識別結(jié)果進行了比較，表3是上述算法識別結(jié)果的比較。由表3可知，膠囊網(wǎng)絡的準確率89.91%，在膠囊網(wǎng)絡中引入SENet和深度可分離卷積，準確率提高3.61%和2.09%，本文提出算法的準確率提高了4.29%，精確率和召回率均得到了提高，在膠囊網(wǎng)絡中引入深度可分離卷積后F1值略有提高，引入SENet后F1值得到了大幅度提高。

表 3 茶樹葉部病害圖像數(shù)據(jù)集上的消融實驗的識別結(jié)果比較

表 4 混淆矩陣

3.2.3 不同算法在茶樹葉部病害圖像上的識別結(jié)果為了更好的比較不同算法對識別結(jié)果的影響，將所有的超參數(shù)進行了統(tǒng)一化。本文提出的算法在茶樹葉部病害圖像測試集上的混淆矩陣如表4所示，每類病害圖像的數(shù)量為500張。由表4可知，除機械損傷外，其它4種病害的識別效果較好，其中少量的茶芽枯病和茶輪斑病被識別成機械損傷，主要的原因是機械損傷的葉片具有其它2種病害的特征，內(nèi)部特征具有一定的相似性。

為了驗證本文提出算法在茶樹葉部病害圖像數(shù)據(jù)集上的有效性，與膠囊網(wǎng)絡、CNN、VGG16和Inception V3進行了比較，實驗結(jié)果如表5所示。由表5可知，CNN在茶樹葉部病害圖像上識別效果最差，準確率僅為87.75%。本文提出的算法的識別準確率最高，主要原因是SENet結(jié)構(gòu)增強了特征圖的感受野，通過特征圖的權(quán)重來提升有用的特征并且抑制了無用的特征，從而使得算法學習的信息更加全面。膠囊網(wǎng)絡準確率高于CNN的主要原因是其具備更好地擬合特征的能力。

表 5 不同算法在茶樹葉部病害圖像數(shù)據(jù)集上的識別準確率

4 結(jié)論

本文提出了一種基于SENet和深度可分離卷積膠囊網(wǎng)絡的茶樹葉部病害圖像識別算法，針對膠囊網(wǎng)絡參數(shù)量大的問題，將卷積層替換為深度可分離卷積，并在卷積層后增加了SENet，一種特征重標定策略，學習自動獲取到每個特征通道的權(quán)重，然后根據(jù)權(quán)重提升有用的特征并抑制對當前任務用處不大的特征。對比實驗結(jié)果表明，本文提出的算法識別效果較好。

[1]Mohanty SP, Hughes DP, Salathe M. Using deep learning for image-based plant disease detection [J]. Frontiers in Plant Science, 2016,7:1419

[2]Ramcharan A, Baranowski K, Mccloskey P. Deep learning for image-based cassava disease detection [J]. Frontiers in Plant Science, 2017,8:1852

[3]張善文,謝澤奇,張晴晴.卷積神經(jīng)網(wǎng)絡在黃瓜葉部病害識別中的應用[J].江蘇農(nóng)業(yè)學報,2018,34(1):56-61

[4]Oppenheim D, Shani G, Erlich O. Using deep learning for image-based potato tuber disease detection [J]. Phytopathology, 2019,109(6):807-822

[5]Zhao LX, Hou FD, Lyu ZC,. Image recognition of cotton leaf diseases and pests based on transfer learning [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020,36(7):184-191

[6]劉闐宇,馮全,楊森.基于卷積神經(jīng)網(wǎng)絡的葡萄葉片病害檢測方法[J].東北農(nóng)業(yè)大學學報,2018,49(3):73-83

[7]Hu J, Shen L, Sun G. Squeeze-and-Excitation Networks [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018:7132-7141

[8]Zhang K, Guo YR, Wang XS,. Multiple feature reweight Dense Net for image classification [J]. IEEE Access, 2019,7:9872-9880

[9]劉學平,李玙乾,劉勵,等.嵌入SENet結(jié)構(gòu)的改進YOLOV3目標識別算法[J].計算機工程,2019,45(11):243-248

[10]黃揚.基于SEnet的小樣本MRI頸椎病變檢測方法研究[D].長春:吉林大學,2020

[11]劉琳琳,葉強,何靈敏.基于SENet多路網(wǎng)絡的乳腺癌轉(zhuǎn)移檢測[J/OL].計算機工程與應用.https://kns.cnki.net/kcms/detail/11.2127.tp.20201025.1347.002.html

[12]Chollft F. Xception: Seep Learning with Depthwise Separable Convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2017

[13]楊可軍,楊建旭,陳思寶,等.基于深度可分離卷積及SVD輸電線路缺陷檢測[J].智慧電力,2020,48(10):64-69,77

[14]郭融,王芳,劉偉.改進深度可分離卷積的SSD車型識別[J/OL].重慶大學學報.http://kns.cnki.net/kcms/detail/50.1044.N.20200428.1019.002.html

[15]Sabour S, Frosst N, Hinton GE. Dynamic routing between capsules[C]//Neural Information Processing Systems. California, USA: NIPS Proceeding, 2017:3856-3866

Image Recognition for Tea Leaf Disease Based on Improved Capsule Network and SENet

MU Wen-qian1, DONG Meng-ping1, SUN Wen-jie1, YANG Xiao-xia1*, WANG Xiu-mei1

271018,

Tea is an important economic crop, its leaf diseases will directly affect the yield and quality of tea. Aiming at the problems of low recognition and large parameters of Capsule Network in the recognition of tea leaf disease images, this paper proposes an improved Capsule Network with SENet and depthwise separable convolution. Firstly, as there is no standard image dataset for tea leaf diseases, dataset of tea leaf diseases was constructed. Secondly, depthwise separable convolution was introduced into Capsule Network. Then, SENet was added after depthwise separable convolution layer. The experimental results show that the improved method can achieve a accuracy of 94.20% in the identification of tea leaf disease images, and its performance is better than other models under the same conditions.

Capsule Network; squeeze-and-excitation networks; depthwise separable convolution; tea leaf disease images

TP391.4

A

1000-2324(2021)01-0023-06

10.3969/j.issn.1000-2324.2021.01.005

2020-02-24

2020-05--13

牟文芊(2001-),女,本科生,主要從事人工智能的研究. E-mail:mwq_bella@163.com

Author for correspondence. E-mail:yangxx@sdau.edu.cn