楊國亮，許 楠，康樂樂，龔 曼，洪志陽

(江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

基于參數(shù)指數(shù)非線性殘差神經(jīng)網(wǎng)絡(luò)的臍橙病變?nèi)~片識(shí)別

楊國亮，許 楠*，康樂樂，龔 曼，洪志陽

(江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

摘 要：提出一種參數(shù)指數(shù)非線性(PENL)函數(shù)來改進(jìn)殘差網(wǎng)絡(luò)，利用深度學(xué)習(xí)的新方法識(shí)別臍橙葉面病變，減少了整流線性損失，提升了訓(xùn)練效果。以臍橙葉面圖像為樣本，進(jìn)行CNN訓(xùn)練，以區(qū)分出病變、缺素、正常及非此類物種4種類型，實(shí)現(xiàn)了對(duì)于臍橙疾病檢測(cè)迅速且方便應(yīng)用的分類模型，相比于傳統(tǒng)植物病變識(shí)別方法具有極大的優(yōu)勢(shì)，最終識(shí)別準(zhǔn)確率達(dá)到了97.18%～98.86%。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；臍橙；病變識(shí)別；深度學(xué)習(xí)；殘差

贛南地區(qū)為我國最大臍橙產(chǎn)區(qū)，臍橙也是贛南地區(qū)最大的農(nóng)業(yè)特色支柱產(chǎn)業(yè)，但頻發(fā)的柑橘疾病對(duì)于該產(chǎn)業(yè)產(chǎn)生了巨大的沖擊。由于某些疾病特征在初期無法被人肉眼分辨，而專業(yè)檢測(cè)普及不夠且成本較高，這導(dǎo)致疾病預(yù)防困難極大，發(fā)現(xiàn)時(shí)已經(jīng)無法挽救，損失嚴(yán)重[1]。這表明確實(shí)需要一種方便且成本低廉的檢測(cè)系統(tǒng)來預(yù)測(cè)臍橙可能的疾病，使得農(nóng)戶在發(fā)現(xiàn)異常且肉眼不能區(qū)分時(shí)借助該系統(tǒng)識(shí)別病變。目前，人工經(jīng)驗(yàn)觀察和田間病理檢測(cè)仍是臍橙疾病識(shí)別的主要手段。

計(jì)算機(jī)視覺的進(jìn)步為植物病變識(shí)別提供了新思路，并延伸了農(nóng)業(yè)領(lǐng)域的計(jì)算機(jī)視覺應(yīng)用市場(chǎng)。出現(xiàn)了諸多利用諸如人工神經(jīng)網(wǎng)絡(luò)[2]等機(jī)器視覺技術(shù)識(shí)別和分類植物病變的手段。數(shù)字圖像處理技術(shù)在病變識(shí)別領(lǐng)域顯示了極大的潛力，將數(shù)字圖像處理技術(shù)與其他技術(shù)的結(jié)合可以更好地支持特征提取。

在植物疾病識(shí)別領(lǐng)域，一些學(xué)者做了大量研究工作。濮永仙[3]利用圖像分割提取煙草葉面病害區(qū)域，結(jié)合雙編碼遺傳算法和支持向量機(jī)識(shí)別病害，達(dá)到較好效果；李修華等[4]采用紅邊近紅外光譜技術(shù)建立果樹葉疾病分類模型，分類準(zhǔn)確率達(dá)到90%；馬淏等[5]利用可見近紅外光譜技術(shù)建立黃龍病費(fèi)舍爾線性判別模型，模型分類精度在90%以上；Barbedo等[6]建立了關(guān)于植物疾病記載及交流的網(wǎng)站，并建立了相應(yīng)病菌圖像庫；Sladojevic等[7]采用了與本文相似的深度學(xué)習(xí)方法進(jìn)行植物的分類與疾病檢測(cè)，分類準(zhǔn)確率達(dá)到了96.3%；Sankaran等[8]利用近紅外光譜與熱成像相結(jié)合的方式識(shí)別柑橘疾病，分類精度為87%；梅慧蘭等[9]利用5類不同柑橘葉面高光譜圖像建立了精度為96.4%的偏最小二乘判別模型；在此基礎(chǔ)上，孫旭東等[10]又結(jié)合了峰值比判別法，最終分類精度為96.3%。雖然國內(nèi)外學(xué)者對(duì)植物病變識(shí)別做了諸多研究工作，但應(yīng)用深度學(xué)習(xí)這種算法實(shí)踐的仍然寥寥無幾，Sladojevic等[7]的深度學(xué)習(xí)檢測(cè)研究雖然利用了新方法，但其數(shù)據(jù)來自不同物種的15類，缺乏專用性；數(shù)據(jù)來源為網(wǎng)絡(luò)搜索，所有樣本類別均人視覺可辨，缺乏公信度；且其應(yīng)用網(wǎng)絡(luò)為初期的CaffeNet，無法與目前更為深層的新生網(wǎng)絡(luò)相匹配，盡管如此其準(zhǔn)確率仍然較高。本文采用更深層的深度學(xué)習(xí)算法訓(xùn)練分類模型以實(shí)現(xiàn)病變識(shí)別，提出了參數(shù)指數(shù)非線性單元(parameter index non-linear unit)，修正和緩解殘差網(wǎng)絡(luò)激活層的缺陷，提高優(yōu)化能力，以達(dá)到精確識(shí)別的目的。

1 基本原理

深度學(xué)習(xí)的主要思想是利用人的大腦神經(jīng)網(wǎng)絡(luò)原理，建造虛擬的數(shù)學(xué)神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，代替人手工提取的低級(jí)特征而獲得目標(biāo)樣本的細(xì)微高級(jí)特征，從而進(jìn)行分類識(shí)別或檢測(cè)。在1998年出現(xiàn)的Lenet被認(rèn)為是現(xiàn)代深度學(xué)習(xí)的開始，到2012年，首次出現(xiàn)了深層的卷積神經(jīng)網(wǎng)絡(luò)Alexnet，它突破性地采用了當(dāng)時(shí)最新的防止過擬合的算法“退出(Dropout)”[11]，并且網(wǎng)絡(luò)并行結(jié)構(gòu)被首次應(yīng)用，從而實(shí)現(xiàn)多GPU的運(yùn)行，在圖像處理領(lǐng)域效果明顯，由此催生了深度學(xué)習(xí)的研究熱潮。當(dāng)然，現(xiàn)代計(jì)算機(jī)硬件的飛速發(fā)展和大數(shù)據(jù)庫的不斷開發(fā)也給了深度學(xué)習(xí)發(fā)展極大的支持。

ILSVRC2016比賽結(jié)果顯示，場(chǎng)景分類(scene classification)的TOP5錯(cuò)誤率已經(jīng)降低至0.090 1，在1000類的分類任務(wù)中能夠達(dá)到如此精度可見深度學(xué)習(xí)圖像分類已經(jīng)足夠成熟去應(yīng)用。本文利用深度學(xué)習(xí)框架Caffe[12]來實(shí)現(xiàn)訓(xùn)練殘差網(wǎng)絡(luò)分類模型，并利用模型識(shí)別病變。

1.1 CNN(卷積神經(jīng)網(wǎng)絡(luò))實(shí)現(xiàn)

CNN的先進(jìn)是指他們具有的對(duì)圖像高級(jí)特征豐富的學(xué)習(xí)能力，而不是在其他圖像分類方法中使用的人工提取的低級(jí)特征[13]。在CNN中，隱層中的卷積核將圖像分割成“特征圖”。通過不斷的分割計(jì)算得到共享的權(quán)重與偏置，從而達(dá)到學(xué)習(xí)的效果。特征圖中的神經(jīng)元搜索相同的特征，這些神經(jīng)元獨(dú)立連接到下層中不同的神經(jīng)元?；旧希@些特征圖是在圖像上應(yīng)用卷積的結(jié)果，而其特征信息被用來更新權(quán)值。公式(1)和公式(2)描述了CNN中最主要的卷積層和下采采樣層的構(gòu)建公式。

圖1 傳統(tǒng)機(jī)器學(xué)習(xí)(上)與深度學(xué)習(xí)(下)的對(duì)比Fig.1 Comparison of traditional machine learning(top) and deep learning(below)

(1)

其中：oij為第i層的第j個(gè)特征圖；oij(x，y)為oij中的元素；tanh()為雙曲正切函數(shù)；bij為特征圖oij的偏置；Kij為與oij相連的上一層的特征圖符號(hào)集合；wijk為oij和o(i-1)j的卷積核；Ri為該層卷積核的行數(shù)；Ci為該層卷積核的列數(shù)。

(2)

其中：采樣區(qū)域大小為l1×l2，gij表示oij增益系數(shù)；Ni表示第i個(gè)卷積層采用N×N的卷積核。

CNN的訓(xùn)練過程分為前向傳播和反向傳播，而前向傳播負(fù)責(zé)信息傳遞，反向傳播負(fù)責(zé)參數(shù)更新。公式(3)和公式(4)、(5)分別表示了前向傳播與反向傳播的基本原理。

Oi=Fn(Fn-1(…F2(F1(Xiw(1)+b(1))w(2)+b(2))…)w(n)+b(n))。

(3)

其中：w(n)表示第n層的權(quán)值；b(n)表示第n層的偏置；Fn()是第n層的激活函數(shù)。

(4)

(5)

其中：Ei是第i個(gè)樣本的誤差；oik是第i個(gè)樣本輸出層第k個(gè)神經(jīng)元的輸出；Tik是第i個(gè)樣本輸出層第k個(gè)神經(jīng)元的期望輸出。

1.2 殘差網(wǎng)絡(luò)(ResNet)

殘差網(wǎng)絡(luò)(ResNet)是在2015年由He等[14]提出的一種新的深度學(xué)習(xí)網(wǎng)絡(luò)，最深可達(dá)到152層卷積。為了解決深層網(wǎng)絡(luò)過擬合的問題，該作者提出了“殘差(residual)”結(jié)構(gòu)來解決梯度消失的問題，如圖2。

該作者利用圖像處理中的殘差向量編碼原理通過重新定義某一層輸入，將一個(gè)問題分解成多個(gè)尺度直接的殘差問題，能夠很好地起到優(yōu)化訓(xùn)練的效果。即為了解決本層輸入由于上一層卷積所產(chǎn)生的信息損失而由旁邊的專門通道將前層的輸入直接傳遞，避免了卷積損失。在Caffe中靠元素連接層(eltwise)實(shí)現(xiàn)優(yōu)化的鏈接問題。

圖2 Residual結(jié)構(gòu)示意圖Fig.2 Residual structure diagram

這些資料表明，殘差網(wǎng)絡(luò)具有強(qiáng)大的泛化能力。本文由于數(shù)據(jù)量較小，為了避免高度深層CNN的過擬合，采用20層的ResNet來進(jìn)行訓(xùn)練。所采用的20層ResNet包括20個(gè)卷積層，19個(gè)非線性層(激活函數(shù))，9個(gè)元素連接層，1個(gè)池化層和1個(gè)全連接層。如圖3顯示了ResNet20簡(jiǎn)單結(jié)構(gòu)圖，圖中采用了本文的激活函數(shù)PENLU。

2 參數(shù)指數(shù)非線性函數(shù)

2.1 激活函數(shù)

圖3 采用的改進(jìn)后的ResNet20結(jié)構(gòu)Fig.3 Improved ResNet20 structure

激活函數(shù)是為了解決神經(jīng)網(wǎng)絡(luò)中線性模型表達(dá)能力不夠從而加入非線性因素的函數(shù)，通過該函數(shù)把特征保留，去除一些數(shù)據(jù)中的冗余，并最終映射出來。神經(jīng)網(wǎng)絡(luò)的激活函數(shù)包括從早期的線性函數(shù)(linear function)、閾值函數(shù)(threshold function)，到后來的S形函數(shù)(sigmoid function)、雙極S形函數(shù)、雙曲正切函數(shù)，再到現(xiàn)在常用的ReLU(rectified linear units)函數(shù)[15]，應(yīng)用一定的數(shù)理學(xué)原理達(dá)到自身所能起到的效果。作為應(yīng)用最廣泛的ReLU函數(shù)，它節(jié)省了計(jì)算量，能夠避免反向傳播時(shí)的信息丟失，并且能夠造成網(wǎng)絡(luò)的稀疏性[18]。而它也衍生了諸如PReLU(parametric rectified linear unit)[16]、LReLU(leaky rectied linear unit)[17]等激活函數(shù)。而后為了解決ReLU系列函數(shù)負(fù)半軸部分線性導(dǎo)致的缺陷，由Clevert等[17]提出了參數(shù)指數(shù)線性單元(exponential linear units，ELU)作為激活函數(shù)，它融合了S形函數(shù)和ReLU，具有左側(cè)不為零的軟飽和特性。它的線性部分如同ReLU一樣能夠緩解梯度消失，而左側(cè)不為零的軟飽和能夠讓ELU對(duì)輸入變化或噪聲更魯棒。

公式(6)、(7)、(8)分別為函數(shù)ReLU、PReLU和ELU的數(shù)學(xué)表達(dá)式。

f(x)=max(0，x)。

(6)

可見，ReLU在x<0時(shí)硬飽和。由于x>0時(shí)導(dǎo)數(shù)恒為1，從而保證ReLU在圖像信息為正值時(shí)保持梯度不衰減，進(jìn)而緩解梯度消失問題。

(7)

PReLU中負(fù)部分的參數(shù)α是可學(xué)習(xí)而非固定的，訓(xùn)練時(shí)只需給他一個(gè)初始值，之后可根據(jù)訓(xùn)練的深入而不斷的進(jìn)行參數(shù)修正。與ReLU相比，PReLU中引入了額外的參數(shù)，不必?fù)?dān)心過擬合，且收斂速度更快。

(8)

類似于PReLU，ELU的參數(shù)α起到同樣的效果，但是其負(fù)部分調(diào)整為非線性，具有左側(cè)不為零軟飽和特性，它的總體輸出均值接近于零，所以收斂速度更快。

2.2 參數(shù)指數(shù)非線性單元(PENLU)

初始的激活函數(shù)如S形函數(shù)、雙曲正切函數(shù)等均具有右側(cè)飽和特性，這導(dǎo)致了梯度消失的問題一直得不到解決，使得神經(jīng)網(wǎng)絡(luò)幾十年停滯不前。ReLU系列函數(shù)的出現(xiàn)解決這一問題，而ELU的出現(xiàn)又調(diào)整了ReLU的負(fù)部缺陷。但是整流線性函數(shù)(ReLU)和指數(shù)線性函數(shù)(ELU)兩種類型的激活函數(shù)之間仍然存在著無法彌合的缺陷。對(duì)于負(fù)部分，ReLU或PReLU能夠表示線性函數(shù)族，而不是非線性函數(shù)族，ELU能夠表示非線性函數(shù)族，而不是線性函數(shù)族。這些明顯的缺陷在某種程度上破壞了使用特定激活功能的那些網(wǎng)絡(luò)結(jié)構(gòu)的代表性能力。文獻(xiàn)[19]指出，使用ELU的批次歸一化(BN)可能會(huì)損害分類準(zhǔn)確性，而ResNet特有的殘差結(jié)構(gòu)使其需要進(jìn)行批次歸一化處理，所以傳統(tǒng)的激活函數(shù)在訓(xùn)練時(shí)很可能達(dá)不到最好的分類效果。對(duì)于正部分，由于ReLU正部導(dǎo)數(shù)恒定為1，這導(dǎo)致了梯度的不衰減，解決了梯度的消失。另外，隨著訓(xùn)練的推進(jìn)，總會(huì)有部分神經(jīng)元落入到ReLU具有的硬飽和區(qū)，使得這部分神經(jīng)元喪失學(xué)習(xí)能力，導(dǎo)致該部分神經(jīng)元權(quán)重?zé)o法更新，這種現(xiàn)象被稱為“神經(jīng)元死亡”[20]。該現(xiàn)象的經(jīng)常出現(xiàn)使得初始學(xué)習(xí)率設(shè)置必須異常小心，設(shè)置偏大則會(huì)導(dǎo)致過多的“神經(jīng)元死亡”。

為了解決以上問題，本文提出一種新的多參數(shù)的具有學(xué)習(xí)能力的激活函數(shù)——參數(shù)指數(shù)非線性單元(parametric exponential non-linear units，PENLU)，它具有PReLU和ELU的雙重優(yōu)點(diǎn)，且有效緩解了ReLU系列函數(shù)所導(dǎo)致的神經(jīng)元死亡現(xiàn)象。可以使得深層網(wǎng)絡(luò)具有更好的分類性和收斂性，能夠帶來更好的泛化性能。

研究發(fā)現(xiàn)，ELU(exponential linear unit)與LReLU性能一致，而與PReLU差距較大[20]。由PReLU引入可更新參數(shù)的啟發(fā)，保留參數(shù)α不變，但是為了更好地與ELU的融合，引入?yún)?shù)β使之能夠進(jìn)一步控制ELU的函數(shù)形狀。這種調(diào)整也保留了緩解神經(jīng)元死亡的特性。得到公式(9)。

(9)

α和β為正則化參數(shù)。α，β固定為1時(shí)，退化為ELU；β固定為很小的值時(shí)，近似為PReLU；當(dāng)α=0時(shí)，該函數(shù)等價(jià)于ReLU。

為了解決正部分不可調(diào)節(jié)參數(shù)的缺陷，本文引入?yún)?shù)η來使線性正部分調(diào)節(jié)為非線性，且參數(shù)的變化可以調(diào)節(jié)至線性狀況。這種調(diào)節(jié)使得函數(shù)正部分既能使梯度不會(huì)無止盡衰減，又可以增加收斂速度。最終得到PENLU的表達(dá)式，如公式(10)。

(10)

當(dāng)η=1時(shí)，函數(shù)正部分退化為線性x。η的減小控制正部分梯度增長(zhǎng)的放緩，只要參數(shù)η非大幅減小，理論上不會(huì)導(dǎo)致不能收斂。

圖4中可見，PENLU正負(fù)均調(diào)節(jié)為非線性，且不對(duì)稱，它與S形和正切函數(shù)最大的區(qū)別是它不會(huì)趨于某一值而趨于右飽和，只是梯度逐漸減小。而左側(cè)軟飽和特性也保留了ELU的優(yōu)點(diǎn)。其函數(shù)參數(shù)α、β、η更新規(guī)則遵循反向隨機(jī)梯度下降算法(SGD)，如公式(11)，式中各參數(shù)的偏導(dǎo)數(shù)即代表梯度。

(11)

類似于卷積層，隨著訓(xùn)練的不斷推進(jìn)，通過SGD規(guī)則不斷更新3個(gè)參數(shù)的值。PENLU引入的多參數(shù)，使得它比其前身更加靈活可變，PENLU可以在ReLU和ELU之間自適應(yīng)的更新參數(shù)α、β、η，調(diào)節(jié)其函數(shù)形狀。由于參數(shù)的可調(diào)節(jié)，所以ReLU和ELU系列均可視為PENLU的特殊情況。

PENLU的優(yōu)勢(shì)在于同時(shí)具備ReLU、PReLU和ELU的優(yōu)點(diǎn)，具有左側(cè)軟飽和但右側(cè)不飽和且參數(shù)可調(diào)的性質(zhì)，且保留了緩解神經(jīng)元死亡的功能。

圖4 四種激活函數(shù)圖像Fig.4 Four activation function images

本文將PENLU應(yīng)用到殘差網(wǎng)絡(luò)中，以取代原本不具備學(xué)習(xí)能力的ReLU激活函數(shù)。第3節(jié)闡述了驗(yàn)證PENLU函數(shù)效果的具體實(shí)驗(yàn)過程，并對(duì)相關(guān)實(shí)驗(yàn)結(jié)果做了分析，以證明該函數(shù)在一定條件下確實(shí)具有較強(qiáng)的優(yōu)化能力。值得注意的是，本文僅針對(duì)PENLU在20層以上的深層神經(jīng)網(wǎng)絡(luò)中的作用進(jìn)行分析驗(yàn)證。

3 實(shí)驗(yàn)過程及模型測(cè)試

本模型的訓(xùn)練需要GPU的加速計(jì)算功能，需要電腦配置NVIDIA GeForce GTX 1080型顯卡，基于Ubuntu14.04操作系統(tǒng)實(shí)驗(yàn)，并安裝配置由BVLC[21]開發(fā)的深度學(xué)習(xí)框架Caffe，Caffe框架適用于研究實(shí)驗(yàn)和行業(yè)部署。 該框架的底層核心由C++語言開發(fā)，并提供命令行、Python和MATLAB接口，且Caffe與cuDNN庫的集成加速了Caffe模型的訓(xùn)練。

本次實(shí)驗(yàn)數(shù)據(jù)來源為贛州地區(qū)中年臍橙樹木，在與種植戶的廣泛溝通和考察后，利用像素為1300萬的redmi3s相機(jī)在同一實(shí)驗(yàn)田中選擇不同患病樹木的葉子、不同正常樹木的葉子以及不同正常樹木上因缺素泛黃的葉子摘下后在相同的背景下拍攝采集樣本。最終去除掉不合格圖片樣本后，選擇帶黃化病樹葉、因缺素泛黃樹葉、正常嫩黃色新葉各960片，以每種樹葉800片作為訓(xùn)練樣本，150片作為驗(yàn)證樣本，10片用作模型效果測(cè)試；采集性狀與臍橙樹葉類似的蘋果、香梨等其他葉片400片，以其中330片作為訓(xùn)練樣本，60片作為驗(yàn)證樣本，10片用作模型效果測(cè)試。

圖5 正常嫩黃新葉(左)、缺素泛黃葉(中)和患病變黃葉(右)Fig.5 Normal new leaf(left)，nutrient deficient leaves(middle) and diseased leaves(right)

在拍攝過程為了避免周圍環(huán)境的影響，提高分類效果，需保持拍攝背景統(tǒng)一，拍攝焦距盡量均勻，使葉面占據(jù)圖片中央位置，且占據(jù)整個(gè)圖像面積的50%以上。拍攝過程全部在背陰面，角度為正面，以檢驗(yàn)該系統(tǒng)對(duì)于光照不足下的圖像分類效果。將訓(xùn)練集和驗(yàn)證集的所有有效圖片縮放為統(tǒng)一大小256×256像素，將每一類圖片重新按規(guī)律命名并且制作標(biāo)簽文件。最后制作對(duì)應(yīng)的均值文件及Caffe框架可用的LMDB(lightning memory-mapped database)文件備用。

本文根據(jù)具體要求進(jìn)行了多次對(duì)比實(shí)驗(yàn)，分別為原始ResNet、改進(jìn)ResNet(選用PENLU并采用不同參數(shù)初始值)、選用PReLU和ELU做激活函數(shù)的ResNet。在保持參數(shù)η不變的情況下，經(jīng)過實(shí)驗(yàn)得到當(dāng)α=0.25，β=1時(shí)能夠達(dá)到最好的分類效果，所以實(shí)驗(yàn)僅對(duì)參數(shù)η進(jìn)行具體分析。以參數(shù)η的初始值為變量進(jìn)行多次試驗(yàn)，得到相應(yīng)精度的分類模型。

3.1 實(shí)驗(yàn)過程及其結(jié)果

實(shí)驗(yàn)一：原始?xì)埐罹W(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)。首先改原始ResNet最后輸出通道為4。在優(yōu)化求解文件中，設(shè)置每批次輸入10張訓(xùn)練圖片，分273次將所有訓(xùn)練樣本全部輸入，該程序運(yùn)行30000次的迭代運(yùn)算，每遍歷迭代運(yùn)算一次后使用驗(yàn)證集驗(yàn)證一次，每500次迭代運(yùn)算之后進(jìn)行一次結(jié)果的輸出顯示，每10000次迭代運(yùn)算之后進(jìn)行一次學(xué)習(xí)率的衰減改變并且打印一次快照模型。初始學(xué)習(xí)率為0.01，學(xué)習(xí)率衰減策略使用“多步數(shù)(multistep)”方式。訓(xùn)練后得到了需要的模型，且輸出準(zhǔn)確率為97.18%。

實(shí)驗(yàn)二：進(jìn)行PENLU網(wǎng)絡(luò)實(shí)驗(yàn)。將PENLU在Caffe上實(shí)現(xiàn)的相關(guān)代碼存入對(duì)應(yīng)文件，然后對(duì)Caffe重新編譯使之能夠具有實(shí)現(xiàn)PENLU函數(shù)計(jì)算的能力(所需代碼已上傳至github)。將原始ResNet中ReLU層替換為PENLU后，優(yōu)化求解文件設(shè)置沿用實(shí)驗(yàn)一并保持不變。將網(wǎng)絡(luò)結(jié)構(gòu)文件中參數(shù)η初始值在一定范圍按規(guī)律設(shè)置不同值，進(jìn)行多次試驗(yàn)，試驗(yàn)數(shù)據(jù)結(jié)果如表1所示。

實(shí)驗(yàn)三：PReLU和ELU激活函數(shù)實(shí)驗(yàn)。本實(shí)驗(yàn)沿用實(shí)驗(yàn)一的具體設(shè)置，只將激活函數(shù)分別修改為PReLU和ELU進(jìn)行實(shí)驗(yàn)，結(jié)果表明，ReLU、PReLU、ELU與PENLU的最優(yōu)準(zhǔn)確率分別為97.18%、96.86%、93.96%和98.82%。

表1 初始參數(shù)η不同值下的訓(xùn)練結(jié)果

結(jié)果顯示，PENLU相對(duì)于其他3種激活函數(shù)在精度上具有無可比擬的優(yōu)勢(shì)。另外，當(dāng)η減小一定幅度后，訓(xùn)練深度較大時(shí)，有助于學(xué)習(xí)效果的提升。當(dāng)η減小幅度較大時(shí)，訓(xùn)練精度會(huì)迅速下降，最終出現(xiàn)不能學(xué)習(xí)或?qū)W習(xí)效果極差。除此之外，為了顯示非線性函數(shù)的優(yōu)越性，補(bǔ)充了另外一組對(duì)比實(shí)驗(yàn)，將原始ResNet的初始學(xué)習(xí)率提高一個(gè)量級(jí)，即至0.1，發(fā)現(xiàn)神經(jīng)元死亡現(xiàn)象嚴(yán)重導(dǎo)致不能訓(xùn)練，而將參數(shù)初始值設(shè)定為η=0.7的改進(jìn)ResNet初始學(xué)習(xí)率提高一個(gè)量級(jí)到0.1，發(fā)現(xiàn)訓(xùn)練精度仍能達(dá)到81%。

由實(shí)驗(yàn)結(jié)果對(duì)比證明，在激活函數(shù)PENLU參數(shù)初始值α=0.25，β=1不變的情況下，合理設(shè)置η參數(shù)初始值能夠有效提高網(wǎng)絡(luò)學(xué)習(xí)狀況。最終當(dāng)η=0.85時(shí)結(jié)果最優(yōu)，相比于原始ResNet提高約1.5%。需要注意的是，PENLU緩解了神經(jīng)元死亡，提高了訓(xùn)練效果，擴(kuò)大了初始學(xué)習(xí)率的設(shè)置范圍，但是其參數(shù)初始值需要根據(jù)不同情況進(jìn)行相應(yīng)的調(diào)整。如圖6、7分別為原始ResNet、PReLU-ResNet、ELU-ResNet與PENLU-ResNet(η=0.85)輸出準(zhǔn)確率曲線和驗(yàn)證損失部分對(duì)比曲線。

圖6、7中結(jié)果顯示，PENLU精度最高而ELU最差。不但證明了PENLU較其他3種激活函數(shù)具有優(yōu)勢(shì)，而且證實(shí)了ELU在有BN時(shí)效果較差。

3.2 模型有效性測(cè)試

圖6 輸出驗(yàn)證準(zhǔn)確率對(duì)比Fig.6 Comparison of output validation accuracy

為了檢驗(yàn)?zāi)Ｐ偷膶?shí)際應(yīng)用有效水平，利用40張測(cè)試圖片對(duì)最終經(jīng)過改進(jìn)的殘差網(wǎng)絡(luò)訓(xùn)練得出的精度最高的模型進(jìn)行測(cè)試。制定的評(píng)判標(biāo)準(zhǔn)為：測(cè)試分類概率達(dá)到80%以上即將該圖片判歸為那一類。為此，修改和創(chuàng)建了相關(guān)工具和代碼后可以單張或批量進(jìn)行測(cè)試。經(jīng)過模型測(cè)試，最終測(cè)試效果準(zhǔn)確度達(dá)到了100%，無一張圖片判別錯(cuò)誤。為了觀察模型收斂更新情況，輸出其權(quán)值圖如圖8。

圖7 驗(yàn)證損失變化Fig.7 Verification of loss change

圖8中每張右下角標(biāo)注了為哪一卷積層得出的權(quán)值可視圖?？梢钥闯銎渌袡?quán)值非常平滑、美觀，說明網(wǎng)絡(luò)收斂效果很好。

圖9中每一個(gè)小方塊顯示了對(duì)應(yīng)特定濾波器的相應(yīng)特征圖。本文輸出了灰度特征圖像，通過觀察每層的響應(yīng)特征圖，可以判斷模型的結(jié)構(gòu)設(shè)計(jì)(如每層通道數(shù))是否合理，如果大量的響應(yīng)特征圖都重復(fù)出現(xiàn)或者全為接近0的值，則可以通過減少通道數(shù)目以提高網(wǎng)絡(luò)效率。從響應(yīng)特征圖中看出特征非常均衡，說明濾波器通道數(shù)設(shè)置的很合理。

圖8 卷積層1、8、15的權(quán)重可視化Fig.8 Visualization of convolution layer 1，8，15 weight

圖9 患病測(cè)試葉面圖像經(jīng)過卷積層1、8、15時(shí)輸出的特征圖Fig.9 Output map of foliage image after convolution layer 1，8，and 15

4 結(jié)論

事實(shí)證明，深度學(xué)習(xí)應(yīng)用于農(nóng)業(yè)計(jì)算機(jī)識(shí)別檢測(cè)的潛力巨大。本文提出了參數(shù)指數(shù)非線性單元改進(jìn)殘差網(wǎng)絡(luò)，利用深度學(xué)習(xí)框架作為實(shí)驗(yàn)工具，以地方產(chǎn)業(yè)臍橙病變圖像為樣本，經(jīng)過改進(jìn)殘差網(wǎng)絡(luò)(ResNet)的訓(xùn)練得到模型，最終模型檢測(cè)結(jié)果達(dá)到100%，輸出模型準(zhǔn)確率達(dá)到98.86%。所實(shí)現(xiàn)的結(jié)果相比于其他相關(guān)技術(shù)具有明顯優(yōu)勢(shì)。

本研究首先證明了本文所提出的參數(shù)指數(shù)非線性函數(shù)在一定條件下能夠提高深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度；其次，該方法能夠以極低的成本達(dá)到較高準(zhǔn)確率的檢測(cè)，并為今后植物病害檢測(cè)技術(shù)提供了一個(gè)新的思路，特別是對(duì)贛南地區(qū)臍橙病變識(shí)別提供了一個(gè)嶄新的檢測(cè)方法，對(duì)今后臍橙產(chǎn)業(yè)的技術(shù)研究起到促進(jìn)作用。今后，本團(tuán)隊(duì)將繼續(xù)進(jìn)行參數(shù)指數(shù)非線性函數(shù)(PENLU)在深度學(xué)習(xí)相關(guān)領(lǐng)域的優(yōu)化和植物病變識(shí)別方面的研究，力求調(diào)整參數(shù)指數(shù)非線性函數(shù)在神經(jīng)網(wǎng)絡(luò)中達(dá)到最優(yōu)并著力將本次研究的成果轉(zhuǎn)化為實(shí)際應(yīng)用，開發(fā)相關(guān)植物疾病檢測(cè)的移動(dòng)端應(yīng)用軟件，豐富植物疾病圖像庫，使該方法能夠作為植物病變識(shí)別的現(xiàn)實(shí)手段。

：

[1] 馬小煥.贛南臍橙產(chǎn)業(yè)發(fā)展現(xiàn)狀分析及展望[J].綠色科技，2015(11):147-148.

MA X H.Status and prospect of Gannan navel orange industry[J].JournalofGreenScienceandTechnology，2015(11):147-148.(in Chinese)

[2] 畢立恒.基于葉片圖像算法的植物種類識(shí)別方法研究[J].浙江農(nóng)業(yè)學(xué)報(bào)，2017，29(12):2042-2148.

BI L H.Plant species recognition based on leaf image algorithm[J].ActaAgriculturaeZhejiangensis，2017，29(12):2142-2148.(in Chinese with English abstract)

[3] 濮永仙.基于病斑特征融合的煙草病害圖像檢索方法[J].河南農(nóng)業(yè)科學(xué)，2015，44(2):71-76.

PU Y X.Image searching method of tobacco disease based on disease spot feature fusion[J].JournalofHenanAgriculturalSciences，2015，44(2):71-76.(in Chinese with English abstract)

[4] 李修華，李民贊，LEE W S，等.柑桔黃龍病的可見近紅外光譜特征[J].光譜學(xué)與光譜分析，2014，34(6):1553-1559.

LI X H，LI M Z，LEE W S，et al.Visible-NIR spectral feature of citrus greening disease[J].SpectroscopyandSpectralAnalysis，2014，34(6):1553-1559.(in Chinese with English abstract)

[5] 馬淏，吉海彥，LEE W S.基于Vis-NIR光譜的柑橘葉片黃龍病檢測(cè)及其光譜特性研究[J].光譜學(xué)與光譜分析，2014，34(10):2713-2718.

MA H，JI H Y，LEE W S.Detection of citrus greening based on Vis-NIR spectroscopy and spectral feature analysis[J].SpectroscopyandSpectralAnalysis，2014，34(10):2713-2718.(in Chinese with English abstract)

[6] BARBEDO J G A.A review on the main challenges in automatic plant disease identification based on visible range images[J].BiosystemsEngineering，2016，144:52-60.

[7] SLADOJEVIC S，ARSENOVIC M，ANDERLA A，et al.Deep neural networks based recognition of plant diseases by leaf image classification[J].ComputationalIntelligenceandNeuroscience，2016，6:1-11.

[8] SANKARAN S，MAJA J M，BUCHANON S，et al.Huanglongbing(citrus greening) detection using visible，near infrared and thermal imaging techniques[J].Sensors，2013，13(2):2117-2130.

[9] 梅慧蘭，鄧小玲，洪添勝，等.柑橘黃龍病高光譜早期鑒別及病情分級(jí)[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30(9):140-147.

MEI H L，DENG X L，HONG T S，et al.Early detection and grading of citrus huanglongbing using hyperspectral imaging technique[J].TransactionsoftheChineseSocietyofAgriculturalEngineering，2014，30(9):140-147.(in Chinese with English abstract)

[10] 孫旭東，劉燕德，肖懷春，等.正常、缺素和黃龍病柑桔葉片高光譜成像快速診斷[J].光譜學(xué)與光譜分析，2017，37(2):551-556.

SUN X D，LIU Y D，XIAO H C，et al.Rapid diagnosis of sound，yellow and citrus greening leaves with hyperspectral imaging[J].SpectroscopyandSpectralAnalysis，2017，37(2):551-556.(in Chinese with English abstract)

[11] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors[J].ComputerScience，2012，3(4):212-223.

[12] 趙永科.深度學(xué)習(xí):21天實(shí)戰(zhàn)Caffe[M].北京:電子工業(yè)出版社，2016.

[13] OQUAB M，BOTTOU L，LAPTEV I，et al.Learning and transferring mid-level image representations using convolutional neural networks[C].2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Columbus，OH，USA，2014:1717-1724.

[14] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Las Vegas，NV，USA，2016:770-778.

[15] GLOROT X，BORDES A，BENGIO Y.Deep sparse rectifier neural networks[C].Proceedings of the 14th International Conference on Artificial Intelligence and Statistics(AISTATS)，F(xiàn)ort Lauderdale，USA,2011.

[16] HE K，ZHANG X，REN S，et al.Delving deep into rectifiers:Surpassing human-level performance on imagenet classification[C].2015 IEEE International Conference on Computer Vision(ICCV)，Santiago，Chile，2015:1026-1034.

[17] MAAS L，HANNUN Y，NG A.Rectier nonlinearities improve neural network acoustic models[C].Proceedings of the 30th International Conference on Machine Learning，Atlanta,Georgla,USA,2013:111-120.

[18] CLEVERT D A，UNTERTHINER T，HOCHREITER S.Fast and accurate deep network learning by exponential Linear Units(ELUs)[EB/OL].[2017-05-01].https://arxiv.org/abs/1511.07289.

[19] IOFFE S，SZEGEDY C.Batch normalization:accelerating deep network training by reducing internal covariate shift[C].Proceedings of the 32nd International Conference on International Conference on Machine Learning，Lille，F(xiàn)rance，2015:448-456.

[20] LI Y，F(xiàn)AN C，LI Y，et al.Improving deep neural network with multiple parametric exponential linear units [EB/OL].[2017-04-28].https://arxiv.org/abs/1606.00305.

[21] JIA Y Q，SHELHAMER E，DONAHUE J，et al.Caffe:convolutional architecture for fast feature embedding[C].Proceedings of Tile 22nd ACM Intemational Conference on Muhimedia,New York，USA，2014:675-678.

Identificationofnavelorangelesionsleavesbasedonparametricexponentialnon-linearresidualneuralnetwork

YANG Guoliang，XU Nan*，KANG Lele，GONG Man，HONG Zhiyang

(SchoolofElectricalEngineeringandAutomation，JiangxiUniversityofScienceandTechnology，Ganzhou341000，China)

Abstract:In order to better identify navel orange leaf lesions.The paper proposed a parametric exponential nonlinear function asactivation function to improve the residual network and provided a new method of deep learning to identify lesions of navel orange leaves，which reduced the linear loss of rectification and improves the training effect.In this paper，CNN was used as a training tool，and navel orange leaf images were selected as training samples to discriminate the four types of diseased，deficient，normal and non-species.This new identification method had the great advantage of being convenient to use and more accurate for the identification of traditional plant diseases，and finally reached the accuracy rate of 97.18%-98.86%.

Key words:neural networks;navel orange;disease identification;deep learning;residual

中圖分類號(hào)：S126

A

文章編號(hào)：1004-1524(2018)06-1073-09

收稿日期：2017-08-17

基金項(xiàng)目：國家自然科學(xué)基金(51365017)

作者簡(jiǎn)介：楊國亮(1973—)，男，江西豐城人，博士，教授，主要研究方向?yàn)閳D像處理與模式識(shí)別。E-mail:ygliang30@126.com

，許楠，E-mail:xunan003@126.com

10.3969/j.issn.1004-1524.2018.06.26

(責(zé)任編輯張 韻)