劉曉鋒,高麗梅

基于改進(jìn)空間殘差收縮網(wǎng)絡(luò)模型的農(nóng)作物病蟲害識別

劉曉鋒1,高麗梅2*

1. 天津職業(yè)技術(shù)師范大學(xué)汽車與交通學(xué)院, 天津 300222 2. 天津市交通科學(xué)研究院, 天津 300074

為了提高農(nóng)作物病蟲害識別的精度，本文將3D-CNN和2D-CNN與空間殘差網(wǎng)絡(luò)相結(jié)合，軟閾值化作為非線性層嵌入空間殘差網(wǎng)絡(luò)以消除病蟲害圖像不重要的圖像特征，提出一種基于空間殘差收縮網(wǎng)絡(luò)的農(nóng)作物病蟲害識別模型。與3D-CNN和ResNet相比，基于空間殘差收縮網(wǎng)絡(luò)的農(nóng)作物病蟲害識別模型具有更高的精度和魯棒性，總體分類精度為99.41%，增強(qiáng)了圖像特征與病蟲害類別的關(guān)系，可以識別多種農(nóng)作物病蟲害圖像。

空間殘差收縮網(wǎng)絡(luò); 農(nóng)作物病蟲害; 圖像識別

病蟲害問題對農(nóng)作物的產(chǎn)量、質(zhì)量影響很大，對農(nóng)作物病蟲害進(jìn)行高精度的識別，并采取相關(guān)措施予以治理，對發(fā)展農(nóng)業(yè)生產(chǎn)具有重要的現(xiàn)實(shí)意義。傳統(tǒng)的病蟲害圖像處理算法存在泛化能力差，特征提取效率低，精度不高等問題。隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)方法的出現(xiàn)與發(fā)展，神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和貝葉斯等方法已應(yīng)用于農(nóng)作物病蟲害識別分類研究。傳統(tǒng)的機(jī)器學(xué)習(xí)算法主要適合于小樣本分類識別，然而，農(nóng)作物病蟲害圖像識別往往需要大量的數(shù)據(jù)，考慮不同的農(nóng)作物生長場景和相關(guān)因素的影響。深度學(xué)習(xí)算法可以基于大數(shù)據(jù)樣本，自動提取圖像特征，利用圖像特征信息，進(jìn)行目標(biāo)檢測與分類。近年來，很多研究將深度學(xué)習(xí)算法應(yīng)用于農(nóng)作物病蟲害識別并取得了較好的效果，例如宋余慶等[1]提出了多層次增強(qiáng)高效空間金字塔卷積深度學(xué)習(xí)模型，通過融合不同層次的特征信息，10種農(nóng)作物的61種病蟲害識別精度最高達(dá)到了88.4%。孫俊等[2]提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的植物葉片病蟲害識別模型，將批歸一化與全局池化引入CNN模型，結(jié)果表明改進(jìn)的CNN模型具有較高的識別準(zhǔn)確率和較強(qiáng)的魯棒性。胡志偉等[3]結(jié)合注意力機(jī)制和殘差，構(gòu)建了新的卷積神經(jīng)網(wǎng)絡(luò)，對5種番茄病害進(jìn)行識別，平均識別準(zhǔn)確率為88.2%。

深度殘差網(wǎng)絡(luò)作為CNN的一個新穎的變種網(wǎng)絡(luò)，采用了恒等路徑來優(yōu)化參數(shù)。在深度殘差網(wǎng)絡(luò)中，梯度不僅逐層地反向傳播，而且通過恒等路徑直接傳遞到前面的網(wǎng)絡(luò)層。由于其出色的參數(shù)優(yōu)化能力，近幾年深度殘差網(wǎng)絡(luò)多被應(yīng)用于故障診斷。2020年Zhao MH等[4]提出了一種新型深度學(xué)習(xí)模型-深度殘差收縮網(wǎng)絡(luò)，提高了從強(qiáng)噪聲信號中學(xué)習(xí)特征的能力，并取得了較高的故障診斷準(zhǔn)確率。

為提高農(nóng)業(yè)病蟲害識別的精度，本文提出一種基于改進(jìn)空間殘差收縮網(wǎng)絡(luò)的農(nóng)作物病蟲害識別模型，并將卷積層從一般的2D卷積層改為3D卷積層與2D卷積層的組合。模型包括卷積層、改進(jìn)的線性單元激活函數(shù)、批處理標(biāo)準(zhǔn)化、全局均值池化等。卷積層包含3個3D-CNN和1個2D-CNN，3D-CNN與2D-CNN混合模型降低網(wǎng)絡(luò)的復(fù)雜性，不僅有效地減少了混合噪聲，而且提取農(nóng)作物病蟲害特征，提高識別分類的精度。

1 實(shí)驗(yàn)方法

1.1 空間殘差網(wǎng)絡(luò)模型

空間殘差網(wǎng)絡(luò)是對近年來常用的深度殘差網(wǎng)絡(luò)模型的改進(jìn)。本文網(wǎng)絡(luò)的卷積層采用3D卷積層和2D卷積層的組合，對深度殘差網(wǎng)絡(luò)進(jìn)行了進(jìn)一步的修改。網(wǎng)絡(luò)采用兩層殘差學(xué)習(xí)單元，網(wǎng)絡(luò)輸入為大小為11×11×5的連續(xù)立方數(shù)據(jù)塊，隨后用大小為9×9×3的卷積核對每個立方體數(shù)據(jù)進(jìn)行卷積，采用3D卷積層可以同時采集時間與空間上的信息。如圖1所示，空間殘差網(wǎng)絡(luò)結(jié)構(gòu)使用了9×9×3、7×7×3、5×5×3的3D卷積層和3×3的2D卷積層，同時使用兩層殘差學(xué)習(xí)單元，包括輸出8個特征圖和16個特征圖的3D殘差單元、輸出32個特征圖和64個特征圖的2D殘差單元。網(wǎng)絡(luò)輸出端包括一個全局的均值池化層、256個神經(jīng)元全連接層(Fully connected layers，F(xiàn)C)，采用Softmax函數(shù)進(jìn)行分類。為了避免過擬合現(xiàn)象，模型采用了包括BN(Batch normalization)[5]、Dropout[6]和激活函數(shù)[7,8]在內(nèi)的正則化策略。

圖 1 空間殘差網(wǎng)絡(luò)結(jié)構(gòu)

1.2 空間殘差收縮網(wǎng)絡(luò)模型

空間殘差收縮網(wǎng)絡(luò)(Spatial residual shrinkage network, SRSN)則是將軟閾值化與空間殘差網(wǎng)絡(luò)相結(jié)合。在許多信號降噪算法中，軟閾值化通常被作為重要的一步。軟閾值化是將閾值低于某個特定值的信號設(shè)置為0。傳統(tǒng)的閾值設(shè)置由領(lǐng)域內(nèi)專家進(jìn)行調(diào)試獲得，這種方法沒有學(xué)習(xí)能力、效率較低。因此，深度學(xué)習(xí)提供了解決此問題的新方法，將軟閾值化與深度殘差網(wǎng)絡(luò)相結(jié)合，進(jìn)行自動學(xué)習(xí)和調(diào)整，消除噪聲信息，建立圖像特征識別效果好的深度殘差收縮網(wǎng)絡(luò)。作為對深度殘差網(wǎng)絡(luò)的改進(jìn)，深度殘差收縮網(wǎng)絡(luò)將軟閾值(非線性變換層)插入到殘差學(xué)習(xí)單元中，轉(zhuǎn)換公式為[9]：

式(1)中，x為輸入特征，y為圖像輸出特征，τ為正數(shù)閾值。圖像特征計(jì)算后，如特征絕對值小于τ時，將該特征取值為0，絕對值大于正數(shù)閾值的圖像特征則向中心收縮。本文將軟閾值化與上述空間殘差網(wǎng)絡(luò)進(jìn)行結(jié)合，形成空間殘差收縮網(wǎng)絡(luò)模型，如圖2所示。

該模塊中，將圖2的殘差學(xué)習(xí)單元輸出的絕對值，進(jìn)行全局平均池化(Global average pooling，GAP)，得到與上一層卷積核數(shù)量相同的空間向量，再將向量輸入到兩層全連接網(wǎng)絡(luò)當(dāng)中，使用Sigmoid函數(shù)，對縮放參數(shù)進(jìn)行歸一化，正數(shù)閾值的計(jì)算方法為：τ=ɑ×avg{g,} (2)

其中，τ為特征圖第個通道的閾值，、為特征圖的寬度、高度。特征圖閾值等于縮放參數(shù)乘以的平均值，當(dāng)該閾值大于特征的最大絕對值時，將軟閾值的輸出設(shè)置為0。通過嵌入收縮網(wǎng)絡(luò)，空間殘差網(wǎng)絡(luò)的殘差模塊運(yùn)用非線性變換，學(xué)習(xí)判別圖像特征，消除噪聲信息，實(shí)現(xiàn)端到端的學(xué)習(xí)。

2 基于SRSN模型的病蟲害識別

2.1 算法流程

本研究采用空間殘差收縮網(wǎng)絡(luò)深度學(xué)習(xí)方法，開展農(nóng)作物病蟲害的圖像分類研究。首先，輸入農(nóng)作物病蟲害圖像數(shù)據(jù)集，對農(nóng)作物病蟲害圖像數(shù)據(jù)進(jìn)行重采樣預(yù)處理(避免樣本不平衡所帶來的過擬合等問題)；然后，運(yùn)用構(gòu)建的SRSN模型對農(nóng)作物病蟲害圖像進(jìn)行訓(xùn)練，提取農(nóng)作物病蟲害圖像的多層次圖像信息特征；最后，運(yùn)用Softmax函數(shù)識別農(nóng)作物圖像的病蟲害種類。基于SRSN模型的病蟲害識別流程如圖3所示。

圖3 基于SRSN模型的病蟲害識別流程圖

2.2 數(shù)據(jù)預(yù)處理

農(nóng)作物病蟲害數(shù)據(jù)集中的病蟲害種類較多，并且樣本種類分布不均勻，有的種類多則幾千幅圖像，少則幾乎沒有，存在較為嚴(yán)重的樣本不平衡問題[10]。為了解決樣本不平衡問題，本研究對農(nóng)作物病蟲害數(shù)據(jù)集進(jìn)行樣本重采樣處理，剔除樣本數(shù)量過少的病蟲害樣本類別，對部分樣本數(shù)量較少的類別進(jìn)行升采樣[1]，農(nóng)作物病蟲害數(shù)據(jù)集重采樣預(yù)處理算法如圖4所示。

圖 4 重采樣預(yù)處理

3 實(shí)驗(yàn)結(jié)果與分析

本文的實(shí)驗(yàn)環(huán)境配置如下：操作系統(tǒng)為Win10、Inter core i5-1135G7處理器、16 G內(nèi)存、NVIDIA MX330-2G，硬盤500 G，采用TensorFlow深度學(xué)習(xí)平臺進(jìn)行實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)

Plant Village數(shù)據(jù)庫(www.plantvillage.org)是面向所有用戶開放的數(shù)據(jù)庫[11]，該數(shù)據(jù)主要用來進(jìn)行農(nóng)作物病蟲害診斷，數(shù)據(jù)庫中有54303張農(nóng)作物葉片圖像數(shù)據(jù)，包含14種農(nóng)作物共38個類別的患病葉片與健康葉片，Plant Village數(shù)據(jù)集中的部分葉片如圖5所示。選取其中14個類別的圖像進(jìn)行擴(kuò)充，合計(jì)18432張進(jìn)行訓(xùn)練、測試驗(yàn)證。

圖 5 部分Plant Village葉片圖

3.2 分類結(jié)果與分析

3.2.1 空間維度對分類結(jié)果的影響在空間殘差收縮網(wǎng)絡(luò)網(wǎng)絡(luò)中，輸入圖像尺寸的大小往往也會影響最后的分類精度。尺寸過大導(dǎo)致卷積參數(shù)量過大，增加計(jì)算的復(fù)雜度。尺寸過小，可提取的特征量不足而導(dǎo)致分類結(jié)果較差。分類指標(biāo)采用Kappa系數(shù)、總體分類精度OA，以及平均分類精度AA[12]，不同空間維數(shù)大小的分類精度和訓(xùn)練時間如表1所示。由表1可知，隨著空間維度大小的增加，SRSN模型的各分類精度指標(biāo)和訓(xùn)練時間會相應(yīng)的增加，并且隨著空間維度大小的增加，SRSN模型的參數(shù)量也會增加，使得SRSN模型的訓(xùn)練時間不斷增加。綜合考慮參數(shù)量以及計(jì)算復(fù)雜度，本研究選取11×11的輸入尺寸。

表 1 不同空間維度大小的分類結(jié)果

3.2.2 不同模型分類結(jié)果對比本文采用的方法是對深度殘差網(wǎng)絡(luò)模型（ResNet）的改進(jìn)，所以將本文的實(shí)驗(yàn)結(jié)果分別與CNN模型[13]、ResNet模型[14]進(jìn)行對比。CNN方法使用的是目前已有的3D-CNN方法，ResNet則是利用殘差結(jié)構(gòu)的3D-CNN結(jié)合2D-CNN，參數(shù)設(shè)置與本文一致。數(shù)據(jù)集的初始測試集、訓(xùn)練集按40%、60%的比例劃分，訓(xùn)練集主要用于建立SRSN模型，測試集主要用于驗(yàn)證SRSN模型的效果，另外將占總樣本60%的訓(xùn)練集再按照70%、30%的比例分為為訓(xùn)練集、驗(yàn)證集。由表2可知，本文方法在OA、AA和Kappa系數(shù)上均高于其他兩種方法，總體分類精度達(dá)到了99.41 %。

表 2 不同方法的分類精度

3.2.3 魯棒性對比分析為了評價模型的魯棒性，選擇每個農(nóng)作物病蟲害類別的查準(zhǔn)率(precision)、查全率(recall)以及查準(zhǔn)率和查全率加權(quán)平均分?jǐn)?shù)(1i)3個評價指標(biāo)[15]來衡量不同方法之間的魯棒性優(yōu)劣。

公式(3)～公式(5)中，n表示類別預(yù)測為第類的樣本數(shù)量，n表示類別預(yù)測為第類的樣本數(shù)量，n表示樣本類別的總數(shù)量。

本文方法與ResNet模型和3D-CNN模型的魯棒性對比分析結(jié)果如表3所示。

表3 不同方法的魯棒性分析結(jié)果

由表3可知，本文方法的平均查準(zhǔn)率、平均查全率和加權(quán)平均分?jǐn)?shù)分別為97.62%、98.37%和97.99%，優(yōu)于3D-CNN的59.54%、61.12%和60.32%以及ResNet模型的95.96%、96.26%和96.11%。通過對比分析可知，本文方法的農(nóng)作物病蟲害識別方法性能最好，對圖像處理具有較好的魯棒性，其原因主要在于本文采用了全局池化的方法，增強(qiáng)了圖像特征與病蟲害類別的關(guān)系。

4 結(jié)論

本文提出了基于深度學(xué)習(xí)的空間殘差收縮網(wǎng)絡(luò)模型，進(jìn)行作物病蟲害圖像識別，總體分類精度達(dá)到99.41%，與3D-CNN和ResNet相比，本文方法的魯棒性更好。本文提出的模型，經(jīng)過深度學(xué)習(xí)訓(xùn)練以后，無需提取農(nóng)作物圖像病蟲害的特定特征，易于使用，可為農(nóng)作物的病蟲害識別與預(yù)防，提供積極的技術(shù)支撐。

[1] 宋余慶,謝熹,劉哲,等.基于多層EESP深度學(xué)習(xí)模型的農(nóng)作物病蟲害識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2020,51(8):196-202

[2] 孫俊,譚文軍,毛罕平,等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識別[J].農(nóng)業(yè)工程學(xué)報,2017,33(19):209-215

[3] 胡志偉,楊華,黃濟(jì)民,等.基于注意力殘差機(jī)制的細(xì)粒度番茄病害識別[J].華南農(nóng)業(yè)大學(xué)學(xué)報,2019,40(6):124-132

[4] Zhao MH, Zhong SS, Fu XY,. Deep residual shrinkage networks for fault diagnosis [J]. IEEE Transactions on Industrial Informatics, 2020,16(7):4681-4690

[5] Loffe S, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift [C]. Proceedings of the 32ndInternational Conference on Machine Learning, 2015: 448-456.

[6] Srivastava N, Hinton G, Krizhevsky A,. Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014,15(1):1929-1958

[7] Zuo Z, Shuai B, Wang G,. Learning contextual dependence with convolutional hierarchical recurrent neural networks [J]. IEEE Transactions on Image Processing, 2016,25(7):2983-2996

[8] Zhong ZL, Li J, Luo ZM,. Spectral-spatial residual network for hyperspectral image classification: a 3-D deep learning framework [J]. IEEE Transactions on Geoscience and Remote Sensing, 2018,56(2):847-858

[9] Lecun Y, Bottou L, Bengio Y,. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998,86(11):2278-2324

[10] 曹鵬.不均衡數(shù)據(jù)分類方法的研究[D].沈陽:東北大學(xué),2014

[11] Plant Village數(shù)據(jù)集[EB/OL].https://tensorflow.google.cn/datasets/catalog/plant_village.2021-12-15

[12] 李冠東,張春菊,高飛,等.雙卷積池化結(jié)構(gòu)的3D-CNN高光譜遙感影像分類方法[J].中國圖象圖形學(xué)報,2019,24(4):639-654

[13] Roy S, Krishna G, Dubey S,. HybridSN: exploring 3-D-2-D CNN feature hierarchy for hyperspectral image classification [J]. IEEE Geoscience and Remote Sensing Letters, 2020,17(2):277-281

[14] Lei HJ, Tao H, Huang WF,Cross-modal transfer learning for HEp-2 cell classification based on deep residual network [C]. Proceedings of the 2017 IEEE International Symposium on Multimedia, 2017:465-468

[15] 陳娟,陳良勇,王生生,等.基于改進(jìn)殘差網(wǎng)絡(luò)的園林害蟲圖像識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2019,50(5):187-196

The Recognition for Crop Pests and Diseases Based on the Improved Residual Shrinkage Network

LIU Xiao-feng1, GAO Li-mei2*

1.300222,2.300074,

In order to improve the precision of crop pests and diseases recognition, 3D-CNN and 2D-CNN are combined with spatial residual shrinkage network (SRSN). As a non-linear layer embedded in SRSN, soft thresholding is used to eliminate the unimportant image features of crop pests and diseases. Compared with 3D-CNN and ResNet, the proposed SRSN model has higher accuracy and robustness, and the overall recognition accuracy is 99.41%. Moreover, the proposed model enhances the relationship between image features and crop pests and diseases recognition, which can be used to recognize different crop pests and diseases for images.

Spatial residual shrinkage network; crop pests and diseases; image recognition

S126

A

1000-2324(2022)02-0259-06

10.3969/j.issn.1000-2324.2022.02.012

2021-08-12

2021-09-24

劉曉鋒(1981-),男,博士,副教授,研究方向:智能信息處理、農(nóng)業(yè)信息工程. E-mail:335351859@qq.com

Author for correspondence. E-mail:gaolimei022@163.com