楊晉丹, 楊 濤, 苗 騰， 朱 超, 沈秋采, 彭宇飛, 梅珀彰, 黨雨晴

(沈陽(yáng)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，遼寧 沈陽(yáng) 110161)

草莓白粉病是草莓栽培期間的主要病害之一，在整個(gè)生長(zhǎng)期間均可發(fā)生，嚴(yán)重時(shí)可導(dǎo)致絕產(chǎn)[1]。使用人工方法識(shí)別草莓葉部白粉病已不能滿(mǎn)足草莓工廠化栽培的需求。因此，對(duì)草莓葉部白粉病的自動(dòng)識(shí)別，是實(shí)現(xiàn)草莓工廠化栽培，保證草莓種植者收益的基礎(chǔ)，對(duì)草莓生產(chǎn)具有十分重要的意義?；趫D像的植物病害自動(dòng)識(shí)別主要基于傳統(tǒng)圖像處理技術(shù)與卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)技術(shù)。

基于傳統(tǒng)圖像處理技術(shù)的植物病害識(shí)別主要針對(duì)植物葉部病害，常見(jiàn)植物病害的研究對(duì)象有玉米、黃瓜、水稻、小麥、棉花和草莓等。針對(duì)玉米常見(jiàn)的葉部病害，趙玉霞等[2]、王娜等[3]、張善文等[4]、朱景福等[5]分別利用粗糙集理論、遺傳算法、局部判別映射(LDP)和局部線性嵌入(LLE)算法對(duì)提取的病害特征進(jìn)行約簡(jiǎn)，正確識(shí)別率依次為83.0%、90.0%、94.4%和99.5%。針對(duì)黃瓜常見(jiàn)的葉部病害，謝澤奇等[6]、吳娜等[7]分別利用融合多特征圖切割法和最大類(lèi)間方差閾值法實(shí)現(xiàn)了病斑的分割，對(duì)黃瓜病害的識(shí)別率分別為98.19%、94.26%。針對(duì)水稻常見(jiàn)的葉部病害，劉立波等[8]、管澤鑫等[9]利用灰度共生矩陣和逐步判別分析法進(jìn)行特征提取，再通過(guò)BP神經(jīng)網(wǎng)絡(luò)和貝葉斯判別法進(jìn)行分類(lèi)識(shí)別，正確識(shí)別率分別為95.0%和97.2%。針對(duì)小麥常見(jiàn)的葉部病害，張飛云等[10]利用K-means硬聚類(lèi)算法實(shí)現(xiàn)了彩色圖像的分割，最后運(yùn)用向量化神經(jīng)網(wǎng)絡(luò)分類(lèi)識(shí)別，正確識(shí)別率可達(dá)95.0%以上。針對(duì)棉花常見(jiàn)的葉部病害，Patil等[11]利用全局閾值和自適應(yīng)閾值對(duì)圖像進(jìn)行分割，同時(shí)結(jié)合支持向量機(jī)對(duì)提取的特征進(jìn)行分類(lèi)識(shí)別。針對(duì)草莓蛇眼病害，牛沖[12]利用改進(jìn)的分水嶺圖像分割算法進(jìn)行圖像分割，并通過(guò)支持向量機(jī)對(duì)提取的紋理特征進(jìn)行分類(lèi)識(shí)別，識(shí)別精度可達(dá)92.0%。以上基于傳統(tǒng)圖像處理技術(shù)的病害識(shí)別方法研究取得了一定的成果，但這些方法分割圖像的操作太繁瑣，魯棒性差，特征提取方法不具有普適性，進(jìn)而使得整體方法泛化能力較差。

目前，卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在圖像分類(lèi)[13-15]和目標(biāo)識(shí)別領(lǐng)域[16-18]取得巨大進(jìn)步，使得其在植物病害的識(shí)別上也得到了較廣泛的應(yīng)用。李艷[19]提出了基于Fisher準(zhǔn)則的深度卷積神經(jīng)網(wǎng)絡(luò)算法，實(shí)現(xiàn)了對(duì)馬鈴薯4種病害的識(shí)別，識(shí)別精度為87.04%。劉闐宇等[20]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片檢測(cè)算法，該算法在復(fù)雜背景下對(duì)葡萄葉片的檢測(cè)率為87.2%。Srdjan等[21]利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了13種植物病害的識(shí)別，該模型還具有分辨植物葉片與其周?chē)h(huán)境的能力，最終模型的正確識(shí)別率為96.3%。Mohanty等[22]分別使用AlexNet和GoogLeNet模型訓(xùn)練，對(duì)PlantVillage中14種植物、26種病害以及部分健康植物的圖像進(jìn)行分類(lèi)識(shí)別，識(shí)別精度分別可達(dá)到97.82%和99.35%。以上基于卷積神經(jīng)網(wǎng)絡(luò)的植物病害識(shí)別方法具有無(wú)需對(duì)圖像進(jìn)行分割,識(shí)別種類(lèi)較多,泛化能力較強(qiáng)等優(yōu)點(diǎn)，比基于傳統(tǒng)圖像處理技術(shù)的植物病害識(shí)別方法具有明顯的優(yōu)勢(shì)。因此，本研究提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的草莓葉部白粉病病害的識(shí)別方法，以實(shí)現(xiàn)對(duì)前期與后期2個(gè)階段病害的自動(dòng)識(shí)別，為工廠化草莓栽培中白粉病病害識(shí)別與防治提供科學(xué)方法和依據(jù)。

1 材料與方法

1.1 材料

草莓葉片圖像采集自某草莓種植基地，使用移動(dòng)手持設(shè)備在正常光照下采集。圖像采集時(shí)將黑紙板直接墊于葉片之下，不采摘葉片。草莓葉部白粉病病害在發(fā)病前期葉片正面特征不明顯，葉片背面特征相對(duì)明顯，因此采集圖像時(shí)，既需要采集葉片正面圖像，也需要采集葉片背部圖像。白粉病晚期葉片葉緣卷起并伴有暗色污斑，特征較為明顯，故只采集葉片正面圖像。草莓葉片圖像數(shù)據(jù)庫(kù)共包括5類(lèi)葉片圖像，分別為健康葉片正面、健康葉片背面、白粉病早期葉片正面、白粉病早期葉片背面和白粉病晚期葉片正面(圖1)。

圖1 草莓葉片圖像數(shù)據(jù)庫(kù)部分圖像Fig.1 Example of the strawberry leaf image database

利用Anaconda3將圖像處理為特定的大小(本研究中采用的圖像大小均為 128×128)，并對(duì)其作標(biāo)簽，記為“n_m”。其中n代表圖像所屬的類(lèi)別(1代表健康葉片正面；2代表健康葉片背面；3代表白粉病早期葉片正面；4代表白粉病早期葉片背面；5代表白粉病晚期葉片正面)，m為圖像的編號(hào)，例如0_000101代表該圖像為健康葉片正面的第101幅。

1.2 方法

1.2.1 不同網(wǎng)絡(luò)深度與卷積核尺寸的CNN模型 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要由3部分組成：輸入層、隱層和輸出層。隱層包含卷積層和采樣層，卷積層用于提取特征，采樣層用于特征優(yōu)化選取。本研究從網(wǎng)絡(luò)深度設(shè)計(jì)、卷積核尺寸選擇以及采樣層池化方法選擇入手，設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)對(duì)草莓葉部白粉病病害的識(shí)別。

試驗(yàn)使用的計(jì)算機(jī)CPU為Intel Core i7-7700k，內(nèi)存為32 G，操作系統(tǒng)為 Windows 10，采用的框架為T(mén)ensorflow。在Tensorflow上搭建卷積神經(jīng)網(wǎng)絡(luò)模型，部分參數(shù)設(shè)置：學(xué)習(xí)率0.005、沖量0.9、權(quán)值衰減0.000 5、批處理大小64。

采用正確識(shí)別率P作為結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算公式如下：

(1)

重復(fù)使用較小的卷積核可以減少參數(shù)訓(xùn)練的數(shù)量[23]，增加卷積層和池化層層數(shù)可以加強(qiáng)對(duì)特征值的提取[24]。因此，本研究設(shè)計(jì)了3種卷積神經(jīng)網(wǎng)絡(luò)深度、3類(lèi)卷積核尺寸的9個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型用于草莓葉部白粉病病害的識(shí)別(表1)。

表1 不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型

1.2.2 基于CNN的不同采樣層構(gòu)建方法選擇 采樣層是對(duì)特征的第二次提取，它可以大大降低圖像的維度和分辨率，同時(shí)可以避免出現(xiàn)過(guò)擬合等問(wèn)題。構(gòu)建采樣層的方法有均值池化(Average pooling)、最大值池化(Max pooling)、中間值池化(Median pooling)等。為了充分利用均值池化與最大值池化的優(yōu)勢(shì)以及卷積神經(jīng)網(wǎng)絡(luò)自身學(xué)習(xí)的特性，Lee等[25]提出了混合池化(Mixed max-average pooling)。

(2)

最大值池化：gmax(x)=ximax

(3)

(4)

混合池化：gmix(x)=al·gmax(x)+(1-al)·gavg(x)

(5)

式(5)中al∈[0,1]，是均值池化與最大值池化混合的比例，下標(biāo)l是采樣層所在層數(shù)，混合池化在每層采樣層的混合比例都不相同?；旌媳壤齛l可通過(guò)反向傳播算法由輸出損失函數(shù)E自動(dòng)學(xué)習(xí)獲得：

(6)

(7)

(8)

(9)

根據(jù)以上池化方法，本研究基于均值池化、最大值池化、中間值池化與混合池化設(shè)計(jì)了4種卷積神經(jīng)網(wǎng)絡(luò)模型，并通過(guò)試驗(yàn)選擇一種較優(yōu)的池化方法。

2 結(jié)果與分析

2.1 網(wǎng)絡(luò)深度與卷積核尺寸對(duì)模型識(shí)別率的影響

試驗(yàn)中9個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型卷積層均采用padding補(bǔ)0方式，使圖像經(jīng)過(guò)卷積層時(shí)長(zhǎng)寬不變，只是深度加深；采樣層構(gòu)建方法選擇最常用的最大值池化。草莓葉片圖像數(shù)據(jù)庫(kù)結(jié)構(gòu)為健康葉片正面201幅，健康葉片背面201幅，白粉病早期葉片正面637幅，白粉病早期葉片背面637幅，白粉病晚期葉片891幅，簡(jiǎn)記為 201∶201∶637∶637∶891。

在9種卷積神經(jīng)網(wǎng)絡(luò)模型的識(shí)別率隨迭代次數(shù)的變化曲線(圖2)中，前6種模型初始識(shí)別率較低，在前10次迭代時(shí)識(shí)別率增長(zhǎng)較快，之后漸趨平穩(wěn)；后3種模型初始識(shí)別率較高，在前5次迭代時(shí)識(shí)別率增長(zhǎng)較快，之后漸趨平穩(wěn)。CNN-1、CNN-2與CNN-3的網(wǎng)絡(luò)深度最低，識(shí)別率曲線在最下方；CNN-4、CNN-5與CNN-6的網(wǎng)絡(luò)深度居中，識(shí)別率曲線居中；CNN-7、CNN-8與CNN-9的網(wǎng)絡(luò)深度最高，識(shí)別率曲線在最上方。同時(shí)，在曲線相對(duì)平穩(wěn)后，CNN-9的識(shí)別率曲線在CNN-7和CNN-8的識(shí)別率曲線上方，CNN-6的識(shí)別率曲線在CNN-5和CNN-4的識(shí)別率曲線上方，CNN-3和CNN-1的識(shí)別率曲線在CNN-2的識(shí)別率曲線上方。

CNN-1、CNN-2、CNN-3、CNN-4、CNN-5、CNN-6、CNN-7、CNN-8、CNN-9見(jiàn)表1。圖2 不同結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型的識(shí)別率隨迭代次數(shù)的變化Fig.2 Variation of the recognition rate of CNN with different structures with the number of iterations

據(jù)此，我們可以得到如下結(jié)論：(1)隨著迭代次數(shù)以及網(wǎng)絡(luò)深度的增加，卷積神經(jīng)網(wǎng)絡(luò)的正確識(shí)別率也在逐步提高；(2)同一深度的網(wǎng)絡(luò)，隨著訓(xùn)練次數(shù)的增加，卷積核為5×5,3×3的網(wǎng)絡(luò)模型識(shí)別率較高，其次為卷積核為5×5的網(wǎng)絡(luò)模型，卷積核為3×3的網(wǎng)絡(luò)模型識(shí)別率則不及前兩者；(3)網(wǎng)絡(luò)深度越深，混合卷積核(5×5，3×3)的網(wǎng)絡(luò)模型優(yōu)勢(shì)越明顯。經(jīng)過(guò)5次卷積操作，卷積核為5×5，3×3的模型CNN-9表現(xiàn)最好，識(shí)別率為93.16%。

2.2 采樣層構(gòu)建方法對(duì)識(shí)別效果的影響

為避免草莓樣本數(shù)據(jù)結(jié)構(gòu)不均衡(特征較明顯的白粉病晚期葉片所占比例較大)對(duì)試驗(yàn)結(jié)果的影響，對(duì)健康草莓葉片的圖像庫(kù)進(jìn)行了擴(kuò)充。將草莓葉片圖像庫(kù)結(jié)構(gòu)調(diào)整為 881∶881∶655∶655∶896，用于測(cè)試的圖像庫(kù)結(jié)構(gòu)為 176∶176∶131∶131∶179。

由表2可知，最大值池化與均值池化模型的識(shí)別效果相近，中間值池化與混合池化的識(shí)別效果相近，其中尤以中間值池化的識(shí)別效果最佳，為98.36%。考慮到實(shí)際應(yīng)用中無(wú)需對(duì)健康(或白粉病前期)葉片的正、背面做識(shí)別，因此將此類(lèi)錯(cuò)誤識(shí)別剔除。

表2 不同池化方法對(duì)草莓葉部白粉病病害的識(shí)別

4種采樣層構(gòu)建方法建立的模型對(duì)健康、白粉病早期和白粉病晚期3類(lèi)草莓葉片的識(shí)別效果不相同(表3)。其中，中間值池化與混合池化的總體識(shí)別率較高，分別為98.36%、98.61%。對(duì)于健康草莓葉片，均值池化與混合池化的識(shí)別效果較好，分別為99.15%、99.43%；對(duì)于草莓白粉病早期葉片，中間值池化與混合池化的識(shí)別效果較好，分別為98.85%、96.56%；對(duì)于草莓白粉病晚期葉片，混合池化的識(shí)別效果最好，可達(dá)到100.00%。

權(quán)衡對(duì)各類(lèi)葉片的識(shí)別情況，最終選擇的采樣層構(gòu)建方法為混合池化。最終選擇的卷積神經(jīng)網(wǎng)絡(luò)模型為基于混合池化、經(jīng)過(guò)5次卷積操作且卷積核為5×5，3×3的CNN-9模型，該模型可較好地識(shí)別草莓葉部白粉病病害。

表3 不同池化方法對(duì)草莓葉部白粉病病害的識(shí)別率

2.3 訓(xùn)練集與測(cè)試集比例對(duì)模型識(shí)別率的影響

為確定訓(xùn)練集與測(cè)試集的合適比例，分別以 1∶9、2∶8、3∶7、4∶6、5∶5、6∶4、7∶3、8∶2、9∶1的訓(xùn)練集與測(cè)試集比例進(jìn)行試驗(yàn)。草莓葉片圖像庫(kù)為擴(kuò)充后的圖像庫(kù)，用于測(cè)試的草莓葉片圖像庫(kù)結(jié)構(gòu)見(jiàn)表4。

表4 不同訓(xùn)練集與測(cè)試集比例對(duì)模型識(shí)別率的影響

從卷積神經(jīng)網(wǎng)絡(luò)對(duì)草莓葉部白粉病的識(shí)別試驗(yàn)結(jié)果(表4)中可得到以下結(jié)論：隨著訓(xùn)練集比重的增大，卷積神經(jīng)網(wǎng)絡(luò)模型的正確識(shí)別率呈現(xiàn)升高的趨勢(shì)，尤以8∶2時(shí)的識(shí)別效果最佳。

3 討 論

本研究通過(guò)變換卷積核尺寸,加深網(wǎng)絡(luò)深度以及測(cè)試不同采樣層構(gòu)建方法，進(jìn)一步優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)了對(duì)草莓葉部白粉病病害的較好識(shí)別。試驗(yàn)結(jié)果表明，在訓(xùn)練集與測(cè)試集比例為8∶2的條件下，選取基于混合池化的CNN-9模型，對(duì)草莓健康葉片、白粉病早期葉片和白粉病晚期葉片的正確識(shí)別率分為99.43%、96.56%和100.00%，總體正確識(shí)別率為98.61%。

由于混合池化額外參數(shù)的訓(xùn)練問(wèn)題，基于混合池化的卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)收斂速度慢于采用其他采樣層構(gòu)建方法的卷積神經(jīng)網(wǎng)絡(luò)。在卷積核尺寸相同、網(wǎng)絡(luò)深度一致的前提下，基于混合池化的卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)間大約是其他3種池化方法的2～3倍。除此之外，網(wǎng)絡(luò)深度也是影響卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間的主要因素。因此在實(shí)際應(yīng)用中，如何適當(dāng)?shù)剡x擇采樣層構(gòu)建方法和網(wǎng)絡(luò)深度等是以后我們需要研究的問(wèn)題之一。

參考文獻(xiàn)：

[1] 國(guó)亞文,婁文生,王曉宇. 草莓白粉病發(fā)生特點(diǎn)及防治技術(shù)[J]. 農(nóng)業(yè)與技術(shù),2005(1):127-132.

[2] 趙玉霞,王克如,白中英,等. 貝葉斯方法在玉米葉部病害圖像識(shí)別中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用,2007(5):193-195.

[3] 王 娜,王克如,謝瑞芝,等. 基于Fisher判別分析的玉米葉部病害圖像識(shí)別[J]. 中國(guó)農(nóng)業(yè)科學(xué),2009,42(11):3836-3842.

[4] 張善文,張傳雷. 基于局部判別映射算法的玉米病害識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2014,30(11):167-172.

[5] 朱景福,李 雪. 玉米葉片病害彩色圖像識(shí)別的降維和聚類(lèi)方法[J]. 江蘇農(nóng)業(yè)科學(xué),2016,44(7):350-354.

[6] 謝澤奇,張會(huì)敏,張善文,等. 基于顏色特征和屬性約簡(jiǎn)的黃瓜病害識(shí)別方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào),2015,31(3):526-530.

[7] 吳 娜,李 淼,陳 晟，等. 基于融合多特征圖切割的作物病害圖像自動(dòng)分割[J]. 農(nóng)業(yè)工程學(xué)報(bào),2014,30(17):212-219.

[8] 劉立波,周?chē)?guó)民. 基于多層感知神經(jīng)網(wǎng)絡(luò)的水稻葉瘟病識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2009,25(S2):213-217.

[9] 管澤鑫,唐 健,楊保軍,等. 基于圖像的水稻病害識(shí)別方法研究[J]. 中國(guó)水稻科學(xué),2010,24(5):497-502.

[10] 張飛云. 基于提升小波和學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的小麥病害圖像識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué),2013,41(5):103-106.

[11] PATIL S P, ZAMBRE M R S. Classification of cotton leaf spot disease using support vector, machine[J]. International Journal of Engineering Research & Applications, 2014, 4(5):92-77.

[12] 牛 沖. 基于圖像處理的草莓病害識(shí)別方法研究[D].太原:太原理工大學(xué),2016.

[13] HAMED H A, ELNAZ J H, DOMENEC P. A practical approach for detection and classification of traffic signs using convolutional neural networks[J]. Robotics and Autonomous Systems,2016,84:97-112.

[14] YU S, JIA S, XU C. Convolutional neural networks for hyperspectral image classification[J]. Neurocomputing, 2017, 219: 88-98.

[15] BAI X, SHI B, ZHANG C, et al. Text/non-text image classification in the wild with convolutional neural networks[J]. Pattern Recognition, 2017, 66: 437-446.

[16] SUN J, XIAO Z, XIE Y. Automatic multi-fault recognition in TFDS based on convolutional neural network[J]. Neurocomputing, 2017, 222: 127-136.

[17] 周云成,許童羽,鄭 偉,等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的番茄主要器官分類(lèi)識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2017,33(15):219-226.

[18] 王 璨,武新慧,李志偉.基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征識(shí)別玉米雜草[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(5):144-151.

[19] 李 艷. 基于改進(jìn)CNN的馬鈴薯病害識(shí)別算法[J]. 信息通信,2017(6):46-48.

[20] 劉闐宇,馮 全. 基于卷積神經(jīng)網(wǎng)絡(luò)的葡萄葉片檢測(cè)[J]. 西北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 47 (4):505-512.

[21] SRDJAN S, MARKO A, ANDRAS A, et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience,2016,6:1-11.

[22] MOHANTY S P, HUGHES D P, SALATHé M. Using deep learning for image-based plant disease detection[J]. Frontiers in Plant Science, 2016,7:1-10.

[23] 王 振,高茂庭. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版), 2015(20):61-66.

[24] 常 祥,楊 明. 基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)性能[J]. 重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)),2017,31(3):110-115.

[25] LEE C Y, GALLAGHER P, TU Z. Generalizing pooling functions in CNNs: mixed, gated, and tree[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 863-875.