孫穎異1，李 健1，時(shí) 天2，孫中波34

(1.吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春 130117；2.吉林大學(xué)通信工程學(xué)院，長(zhǎng)春 130025；3.長(zhǎng)春工業(yè)大學(xué)電氣與電子工程學(xué)院，長(zhǎng)春 130012；4.吉林大學(xué)，教育部仿生工程重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130025)

植物病害問(wèn)題與人類的日常生活密切相關(guān)，雖然使用農(nóng)藥能夠有效控制植物病蟲害，但是，由于病蟲害種類繁多，僅僅依靠人工肉眼觀察及經(jīng)驗(yàn)判斷容易產(chǎn)生錯(cuò)誤診斷，導(dǎo)致植物病蟲害得不到快速及時(shí)治療。隨著計(jì)算機(jī)技術(shù)和人工智能算法的不斷發(fā)展與進(jìn)步，關(guān)于植物葉片病害的智能識(shí)別技術(shù)也取得了長(zhǎng)足進(jìn)步，但是，目前提出智能算法出現(xiàn)訓(xùn)練收斂時(shí)間長(zhǎng)，模型參數(shù)規(guī)模巨大等問(wèn)題，這給植物病蟲害的快速且精準(zhǔn)診斷帶來(lái)了隱患。

深度學(xué)習(xí)(Deep Learning,DL)是機(jī)器學(xué)習(xí)理論中的一個(gè)新的研究領(lǐng)域，其目的在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)[1]。它在圖片識(shí)別、聲音識(shí)別、自然語(yǔ)言處理等方面取得了較大成功。相比常規(guī)方法，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)方法直接由數(shù)據(jù)本身驅(qū)動(dòng)特征及表達(dá)關(guān)系的自我學(xué)習(xí)，對(duì)圖像具有極強(qiáng)的數(shù)據(jù)表征能力[2-6]。CNN 靈活運(yùn)動(dòng)于手寫字符識(shí)別、人臉識(shí)別、行為識(shí)別以及農(nóng)作物識(shí)別等方面，并且獲得了較好的效果。越來(lái)越多的研究表明，CNN 運(yùn)用于植物葉片識(shí)別領(lǐng)域，并證明了植物葉片圖像識(shí)別上的有效性，同時(shí)也表明 CNN 在圖像識(shí)別中克服了傳統(tǒng)方法的不足[7-12]。

本試驗(yàn)以玉米、葡萄、櫻桃等12種植物葉片為研究對(duì)象，提出了一種基于殘差 AlexNet 卷積神經(jīng)網(wǎng)絡(luò)的植物葉片識(shí)別模型，并引入兩種不同的全局池化層，通過(guò)殘差連接和全連接層將得到的特征直接輸入到 Softmax 分類器中，實(shí)現(xiàn)了兼顧速度的同時(shí)提高了識(shí)別精度。

1 試驗(yàn)數(shù)據(jù)

PlantVillage工程(www.plantvillage.org)給出大量的植物葉片信息，包含了各種各樣植物葉片的圖像數(shù)據(jù)。本試驗(yàn)以PlantVillage工程提供的植物葉片數(shù)據(jù)集作為試驗(yàn)數(shù)據(jù)，它包含12類不同品種的植物葉片，共計(jì)9 568張不同種類植物葉片圖像，如圖1所示。

通過(guò)統(tǒng)計(jì)樣本總數(shù)以及各類別樣本分布情況，發(fā)現(xiàn)樣本數(shù)目從32到2 090不等，分布不均勻，利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，將導(dǎo)致訓(xùn)練后的識(shí)別模型對(duì)各類植物葉片的識(shí)別出現(xiàn)偏差。為了保證數(shù)據(jù)的平衡性，將對(duì)樣本較少的植物葉片圖片進(jìn)行增強(qiáng)處理，采用如水平或垂直翻轉(zhuǎn)，隨機(jī)旋轉(zhuǎn)或縮放技術(shù)等。經(jīng)過(guò)數(shù)據(jù)處理后，數(shù)據(jù)集最終擴(kuò)充至15 068張圖片，隨機(jī)抽取80%的植物葉片圖片作為訓(xùn)練集，剩余20%的植物葉片圖片作為測(cè)試集，數(shù)據(jù)集中所有圖片的大小尺寸均為像素。

2 植物葉片識(shí)別模型構(gòu)建

CNN包含了卷積層、池化層和全連接層等，可用于逐層提取植物葉片圖像特征。采用卷積神經(jīng)網(wǎng)絡(luò)用于植物葉片的識(shí)別具有以下幾個(gè)優(yōu)勢(shì)[13]：

注：1為蘋果；2為藍(lán)莓；3為櫻桃；4為玉米；5為葡萄；6為桃子；7為甜椒；8為馬鈴薯；9為山梅；10為黃豆；11為草莓；12為西紅柿。圖1 各種不同植物葉片

1) 局域感受野：局域感受野是指卷積神經(jīng)網(wǎng)絡(luò)上每一層輸出特征圖的像素點(diǎn)在圖像或上層特征圖中映射區(qū)域的大小。通過(guò)局域感受野，可以提取植物葉片圖像的初級(jí)特征，比如葉片的角度、平滑度等。

2) 權(quán)值共享：對(duì)于大量的植物葉片數(shù)據(jù)集而言，網(wǎng)絡(luò)的結(jié)構(gòu)規(guī)模大、復(fù)雜等因素會(huì)影響訓(xùn)練效率，而權(quán)值共享能夠極大地減少網(wǎng)絡(luò)的參數(shù)總量，減少網(wǎng)絡(luò)的復(fù)雜性，使得網(wǎng)絡(luò)訓(xùn)練變得切實(shí)可行。

AlexNet卷積神經(jīng)網(wǎng)絡(luò)作為一種常見的網(wǎng)絡(luò)，包含了輸入層、卷積層、池化層、全連接層和Softmax分類器，并使用ReLU激活函數(shù)，提供圖像識(shí)別能力[14]。因此本研究在AlexNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，提出了基于殘差的AlexNet卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提高圖像識(shí)別的能力。

2.1 批歸一化算法

本研究采用批歸一化算法。首先，計(jì)算每個(gè)批量的k個(gè)植物葉片樣本的均值和方差，

其中，μ和σ分別為每個(gè)批量植物葉片樣本的均值和方差，對(duì)植物葉片樣本進(jìn)行歸一化處理，

2.2 全局池化

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通常在全連接層前面加一層池化層，然而，如果設(shè)置的神經(jīng)元過(guò)多，全連接層參數(shù)占模型總參數(shù)的比重較大，從而，將會(huì)影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間。因此，本研究采用全局池化的思想，將卷積層的每個(gè)特征圖融合為一個(gè)特征值，使特征值維數(shù)等于最后一層卷積層的特征圖數(shù)目。假設(shè)最后一層卷積層的特征圖大小為m·n，那么全局最大池化和全局平均池化分別為

圖2 Alexnet卷積神經(jīng)網(wǎng)絡(luò)框架

2.3 基于ResNet的Alexnet卷積神經(jīng)網(wǎng)絡(luò)

為了構(gòu)建計(jì)算準(zhǔn)確率高和收斂速度快神經(jīng)網(wǎng)絡(luò)模型，本文提出一類改進(jìn)的Alexnet卷積神經(jīng)網(wǎng)絡(luò)模型，該模型采用批歸一化與全局最大池化算法，具體算法框架見圖2。普通的直連卷積神經(jīng)網(wǎng)絡(luò)和ResNet卷積神經(jīng)網(wǎng)絡(luò)的最大區(qū)別在于，ResNet有很多旁路的支線將輸入直接連到后面的層，使得后面的層可以直接學(xué)習(xí)殘差。傳統(tǒng)的卷積層或全連接層在信息傳遞時(shí)，或多或少會(huì)存在信息丟失、損耗等問(wèn)題，因此，植物葉片信息會(huì)丟失或者損耗，降低了算法的識(shí)別效率[15]。然而，ResNet在某種程度上解決了這個(gè)問(wèn)題，通過(guò)直接將輸入信息繞道傳導(dǎo)至輸出層，從而，確保不同植物葉片信息的完整性，整個(gè)網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的兩個(gè)環(huán)節(jié)，簡(jiǎn)化學(xué)習(xí)目標(biāo)和難度，提升學(xué)習(xí)速率，進(jìn)而提高不同植物葉片識(shí)別準(zhǔn)確率。

由于不同尺寸的卷積核提取低層特征能力不同，因此，本文考慮卷積層1的不同卷積核尺寸，分別為7×7dpi，9×9dpi，11×11dpi，為了保證全局池化后的特征圖大小為1×1dpi，全局池化層應(yīng)使用13×13dpi大小的池化尺寸。傳統(tǒng)的AlexNet采用的激活函數(shù)為修正線性單元激活函數(shù)(rectified linear units,Relu)，該網(wǎng)絡(luò)在反向傳播時(shí)能夠防止梯度彌散的問(wèn)題，加速卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。He等人提出PRelu激活函數(shù)作為改進(jìn)的Relu激活函數(shù)，將Relu函數(shù)的負(fù)軸斜率從0改為可變參數(shù)a，在模型訓(xùn)練上取得了較好的結(jié)果，式(1)與式(2)分別為Relu激活函數(shù)和PRelu激活函數(shù)a>0其中為可變斜率。

本文提出的基于殘差連接的AlexNet卷積神經(jīng)網(wǎng)絡(luò)將選用PRelu激活函數(shù)，觀察不同卷積核尺寸對(duì)模型識(shí)別準(zhǔn)確率的影響。模型的全局池化算法采用全局最大池化和全局平均池化，用于比較不同池化類型對(duì)模型識(shí)別性能的影響。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)環(huán)境為Windows 10 64位系統(tǒng)，采用Matlab R 2019 a的Deep Learning Toolbox[15-16]，搭載Intel?CoreTMi 5-6500 CPU@3.20 GHzx 4處理器，12 GB內(nèi)存，并采用NVIDIA GeForce 1050 Ti顯卡加速圖像處理。

3.2 不同實(shí)驗(yàn)參數(shù)下的殘差alexnet網(wǎng)絡(luò)的實(shí)驗(yàn)分析

采用批量訓(xùn)練的方式將訓(xùn)練樣本和驗(yàn)證樣本分為多個(gè)批次，每個(gè)批量訓(xùn)練32張圖片，即 MiniBatchSize 設(shè)為32。遍歷一次訓(xùn)練樣本中所有圖片記為一個(gè)輪次(epoch)，每個(gè)輪次迭代301次，共20輪次，也即是總計(jì)6 020次迭代，每迭代十次進(jìn)行一次驗(yàn)證。設(shè)置初始學(xué)習(xí)率0.001，為防止過(guò)擬合，正則化系數(shù)設(shè)置為0.005。實(shí)驗(yàn)結(jié)果如圖3和圖4所示，其中，卷積核尺寸分別采用，11×11，9×9，7×7，紅色曲線采用 maxpooling 的全局池化，對(duì)應(yīng)模型1,模型2,模型3，青色曲線采用 averagepooling 的全局池化，對(duì)應(yīng)模型4,模型5,模型6，藍(lán)色曲線為原始的 AlexNet 神經(jīng)網(wǎng)絡(luò)模型,對(duì)應(yīng)模型0。

從圖3、圖4可看出，經(jīng)過(guò)14個(gè)輪次后，所有模型的準(zhǔn)確率均達(dá)到95%以上，并且，從收斂速度上看，采用 averagepooling 全局池化的模型要快于 maxpooling全局池化的模型，這是因?yàn)?averagepooling 全局池化的模型是對(duì)整張?zhí)卣鲌D所有值求平均，充分利用了每一張?zhí)卣鲌D的所有信息，便于提取關(guān)鍵特征。然而，當(dāng)輪次足夠大時(shí)，采用 maxpooling全局池化的模型效果要好于傳統(tǒng)的AlexNet神經(jīng)網(wǎng)絡(luò)和 averagepooling全局池化的模型，說(shuō)明 maxpooling 全局池化同樣適用于圖像的識(shí)別。為了能清晰顯示出卷積神經(jīng)網(wǎng)絡(luò)中的信息，標(biāo)記可視化的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的激活區(qū)域。

圖5 卷積神經(jīng)網(wǎng)絡(luò)的激活區(qū)域可視化

圖3 模型驗(yàn)證的準(zhǔn)確率與輪次關(guān)系

圖4 模型驗(yàn)證的損失度與輪次關(guān)系

圖5表明，模型2和模型3的激活區(qū)域可視化清晰明顯，對(duì)細(xì)粒度特征響應(yīng)充分，提取的紋理信息更豐富。為了進(jìn)一步驗(yàn)證模型改進(jìn)的效果，表1給出了改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)的測(cè)試準(zhǔn)確率。

從表1可以看出，模型1，模型2，模型3采用的是 maxpooling 全局池化，模型4，模型5，模型6采用的是 averagepooling 全局池化，采用 maxpooling 全局池化的模型準(zhǔn)確率高于AlexNet 和 averagepooling 全局池化的模型，并且卷積核尺寸選取為9×9時(shí)效果最好，而采用averagepooling全局池化的模型識(shí)別的準(zhǔn)確率也略高與傳統(tǒng)的AlexNet全局池化模型，這是因?yàn)楦倪M(jìn)的模型采用全局池化的思想，增強(qiáng)特征圖與類別的關(guān)系，充分利用植物葉片特征圖的信息，因此，識(shí)別性能要比原始模型好。

表1 模型參數(shù)設(shè)置與測(cè)試的準(zhǔn)確率

4 結(jié) 論

本文提出了基于殘差A(yù)lexNet卷積神經(jīng)網(wǎng)絡(luò)并用于多種植物葉片的識(shí)別，在傳統(tǒng)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，對(duì)中間的3層卷積層進(jìn)行殘差連接，解決了傳統(tǒng)的卷積層或全連接層在信息傳遞時(shí)，或多或少會(huì)存在信息丟失、損耗等問(wèn)題，同時(shí)，采用批歸一化與全局池化算法，不僅增強(qiáng)了特征圖與類別的聯(lián)系，也防止了過(guò)擬合。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)的AlexNet模型在植物葉片識(shí)別上具有較高的準(zhǔn)確性和識(shí)別效率，能夠?yàn)楹罄m(xù)植物病害問(wèn)題識(shí)別實(shí)際應(yīng)用研究提供理論參考。