宋麗娟

1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，西安 710127 2.寧夏大學(xué) 信息工程學(xué)院，銀川 750021

基于區(qū)分深度置信網(wǎng)絡(luò)的病害圖像識(shí)別模型

宋麗娟

1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，西安 710127 2.寧夏大學(xué) 信息工程學(xué)院，銀川 750021

對(duì)枸杞病害進(jìn)行及時(shí)、準(zhǔn)確地檢測(cè)識(shí)別對(duì)于病害的監(jiān)測(cè)、預(yù)測(cè)、預(yù)警、防治和農(nóng)業(yè)信息化、智能化建設(shè)具有重要意義。研究提出了一種基于區(qū)分深度置信網(wǎng)絡(luò)的枸杞病害圖像分類識(shí)別模型。首先，把枸杞葉部病害圖像通過(guò)自動(dòng)裁剪方式獲得包含典型病斑的子圖像，再采用復(fù)雜背景下的圖像分割方法分割病斑區(qū)域，提取病斑圖像的顏色特征、紋理特征和形狀特征共計(jì)147個(gè)，結(jié)合區(qū)分深度置信網(wǎng)絡(luò)和指數(shù)損失函數(shù)建立了病害識(shí)別模型。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)于病害圖像識(shí)別效果較好，與支持向量機(jī)相比，基于區(qū)分深度置信網(wǎng)絡(luò)的病害圖像識(shí)別模型高效地利用了底層圖像特征的高層表示，解決了沒(méi)有足夠標(biāo)注數(shù)據(jù)時(shí)的圖像識(shí)別問(wèn)題。

病害圖像；區(qū)分深度置信網(wǎng)絡(luò)；指數(shù)損失函數(shù)

1 引言

自然圖像的識(shí)別和分類是充分挖掘自然圖像中的底層特征，將不同類別的圖像區(qū)分開(kāi)來(lái)。針對(duì)不同的需求環(huán)境，出現(xiàn)了不同的圖像識(shí)別和分類方法。Li等人提出了一種基于貝葉斯的增量學(xué)習(xí)方法，這種方法只需要很少的訓(xùn)練圖片，在101類圖像分類實(shí)驗(yàn)中取得了很好的結(jié)果[1]。Yu和Wong集成多個(gè)分類器分別利用不同的底層和高層抽象特征對(duì)圖片進(jìn)行分類，設(shè)計(jì)了一系列規(guī)則將多個(gè)分類器的結(jié)果進(jìn)行匯總[2]。Lu等人給出了一個(gè)新的圖像分類表示方式，首先用期望最大方法提取特征，然后用訓(xùn)練自適應(yīng)增強(qiáng)（Adaboost）分類器選擇最有區(qū)分性的特征[3]。范建平等人主要利用概念相關(guān)性來(lái)指導(dǎo)圖像分類器的訓(xùn)練[4]。

在寧夏地區(qū)，枸杞病害不同時(shí)期、同一部位的病癥多變、情況錯(cuò)綜復(fù)雜，客觀上存在很大的識(shí)別、預(yù)警困難，針對(duì)大田環(huán)境、復(fù)雜環(huán)境（葉片的遮擋和重疊、果實(shí)的傾斜和變形、多變的光照因素、雜草和泥土等）下的枸杞圖像，背景信息量巨大，病害復(fù)雜程度高，枸杞病害葉片與健康（無(wú)病害）枸杞葉片之間的灰度差異不大等，如何有效地將病害目標(biāo)和復(fù)雜背景分割開(kāi)來(lái)是極具挑戰(zhàn)的問(wèn)題；而且，枸杞病害的生理信息機(jī)理決定了病害種類的規(guī)律性和穩(wěn)定性，例如，在形態(tài)結(jié)構(gòu)、尺寸大小、顏色紋理上的差異性很大，不存在兩片完全一樣的枸杞葉片；不存在兩塊完全相同的病害區(qū)域，不同的枸杞病害和同一種枸杞病害在不同的發(fā)病時(shí)期上所呈現(xiàn)出來(lái)的病理特征，從顏色、形狀、紋理上也不盡相同，要想達(dá)到最好的病斑分割效果，就需要提取不同的枸杞病害在不同的病理時(shí)期的關(guān)鍵特征。傳統(tǒng)的病害病斑圖像分割多是基于聚類算法的方法[5-7]，對(duì)于復(fù)雜背景下的病害分割分割效果不好。傳統(tǒng)的圖像識(shí)別方法不足以將病斑圖像和復(fù)雜背景進(jìn)行分離，利用病斑圖像的多特征融合，構(gòu)建復(fù)雜背景下的枸杞病害識(shí)別模型，具有重要的理論意義。

本文針對(duì)枸杞葉片病害的5類病斑圖像，研究一種基于區(qū)分深度置信網(wǎng)絡(luò)的枸杞病害圖像識(shí)別和分類算法，高效地利用底層圖像特征的高層表示。

2 病斑圖像的特征提取和優(yōu)化

在田間環(huán)境下采集具有典型癥狀病斑的枸杞葉片病害圖像共計(jì)1 000張，其中65張白粉病圖像、305張灰斑病圖像、290張癭螨病圖像和340張?zhí)烤也D像，獲取的病害圖像的分辨率為3 088×2 056像素。首先，對(duì)原始病害圖像進(jìn)行預(yù)處理，采用自動(dòng)裁剪方法從每一張枸杞病害圖像中裁剪出含有一個(gè)或多個(gè)病斑的子圖像，然后采用復(fù)雜背景下的圖像分割方法，分割效果如圖1所示，得到枸杞葉片病害的5類病斑圖像（包括無(wú)病斑圖像）共計(jì)1 201張，對(duì)所有樣本圖像劃分為訓(xùn)練圖像集和測(cè)試圖像集。

圖1 復(fù)雜背景下的病斑分割

然后，充分挖掘枸杞葉片的5類病斑圖像的特征信息，提取病斑圖像的顏色特征、紋理特征和形狀特征共計(jì)147個(gè)，其中顏色特征總計(jì)36個(gè)，包括R、G、B、H、S、V、L*、a*和b*共9個(gè)顏色分量的灰度圖像的灰度均值m（9個(gè)）、方差σ2（9個(gè)）、標(biāo)準(zhǔn)差 s（9個(gè)）、偏度 S（9個(gè)）、峰度 K（9個(gè)）和熵ER（9個(gè)）；紋理特征總計(jì)99個(gè)，包括R、G、B、H、S、V、L*、a*和b*共9個(gè)顏色分量的灰度圖像的Hu不變矩（63個(gè)）、能量均值（9個(gè)）、慣性矩均值（9個(gè)）、相關(guān)均值（9個(gè)）和熵均值（9個(gè)）；形狀特征總計(jì)12個(gè)，包括偏心率、形狀復(fù)雜性、圓形度、緊密度、矩形度和二值化病斑圖像的Hu不變矩（7個(gè)）。下面給出一幅病斑圖像的灰度均值如表1所示，方差如表2所示，標(biāo)準(zhǔn)差如表3所示，偏度如表4所示，峰度如表5所示，熵如表6所示。

表1 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的均值

表2 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的方差值

表3 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的標(biāo)準(zhǔn)差值

表4 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的偏度值

表5 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的峰度值

表6 RGB、HSV和L*a*b*模型下枸杞病斑區(qū)域和無(wú)病區(qū)域的熵值

為了避免不同特征的取值范圍的差異對(duì)病斑類型識(shí)別的準(zhǔn)確性的影響，需要對(duì)病斑圖像的147個(gè)特征的取值范圍進(jìn)行歸一化操作[8]，使得各特征值均小于1，公式如（1）所示：

其中，Xi為第i個(gè)特征值，Xinormal為第i個(gè)特征的歸一化值，Ximin為訓(xùn)練圖像集中第i個(gè)特征的最小值，Ximax為訓(xùn)練圖像集中第i個(gè)特征的最大值。

對(duì)枸杞葉片病害的5類病斑圖像（無(wú)病斑、白粉病圖像、灰斑病圖像、癭螨病圖像和炭疽病圖像）的147個(gè)特征進(jìn)行歸一化操作后，采用主成分分析PCA方法，把147個(gè)特征映射成50個(gè)綜合特征，用這50個(gè)特征來(lái)反映病斑圖像的信息，最終實(shí)現(xiàn)特征優(yōu)化。

3 區(qū)分深度置信網(wǎng)絡(luò)深層架構(gòu)

3.1 區(qū)分深度置信網(wǎng)絡(luò)

區(qū)分深度置信網(wǎng)絡(luò)（Discriminative Deep Belief Networks，DDBN）是一個(gè)全連接定向的多層神經(jīng)網(wǎng)絡(luò)，如圖2所示。

圖2 區(qū)分深度置信網(wǎng)絡(luò)架構(gòu)

其中，包括一個(gè)輸入層，N個(gè)隱藏層和頂部的一個(gè)類別標(biāo)簽層，輸入層h有D個(gè)單元，等同于數(shù)據(jù)x中特征的個(gè)數(shù)，類別標(biāo)簽層有C個(gè)單元，等同于標(biāo)簽數(shù)據(jù)y中的類別數(shù)。W={ω1,ω2,…,ωN+1}是深層架構(gòu)中需要學(xué)習(xí)的參數(shù)。X是一個(gè)樣本數(shù)據(jù)集，表示為X=[x1,x2,…,xL+U]。其中，L是已標(biāo)注圖像的數(shù)量，U是未標(biāo)注圖像的數(shù)量，D是每個(gè)數(shù)據(jù)的特征個(gè)數(shù)，X的每一列是一個(gè)數(shù)據(jù)x。一個(gè)擁有所有特征的數(shù)據(jù)可以看作是空間RD中的一個(gè)向量，其中第 j個(gè)坐標(biāo)對(duì)應(yīng)第j個(gè)特征。

在區(qū)分深度置信網(wǎng)絡(luò)深層架構(gòu)中，定義能量狀態(tài)(hk-1,hk)為：

hk-1發(fā)生的概率是：

其中Z()

θ是歸一化常數(shù)。

hk和hk-1的條件概率是：

第t個(gè)單元為1的概率是包含hk-1和的邏輯函數(shù)：

第s個(gè)單元為1的概率是包含hk和的邏輯函數(shù)：

其中，邏輯函數(shù)為：

對(duì)隱藏層產(chǎn)生的概率的對(duì)數(shù)相對(duì)于模型參數(shù)ωk進(jìn)行求導(dǎo)，通過(guò)CD方法得到[9]：

最后，對(duì)參數(shù)ωk進(jìn)行調(diào)整：

其中，?是沖量，η是學(xué)習(xí)率。

計(jì)算得到參數(shù)ωk后，隱藏層可以在一個(gè)數(shù)據(jù)x從h0輸入后，通過(guò)公式（11）得到hkt()x。

參數(shù)空間ωN是用服從正態(tài)分布的隨機(jī)數(shù)初始化的。

3.2 損失函數(shù)

為了使用L個(gè)標(biāo)注數(shù)據(jù)來(lái)優(yōu)化參數(shù)空間W，從而使得區(qū)分深度置信網(wǎng)絡(luò)深層架構(gòu)具有更好的區(qū)分能力，即轉(zhuǎn)化為優(yōu)化問(wèn)題：

其中

T為損失函數(shù)，合適的損失函數(shù)可以提高分類器的區(qū)分能力。常見(jiàn)的損失函數(shù)有對(duì)數(shù)損失函數(shù)、合頁(yè)損失函數(shù)[10]和指數(shù)損失函數(shù)。

對(duì)數(shù)損失函數(shù)可以正確地分類數(shù)據(jù)，但是類別之間的分界線距離每個(gè)類別的優(yōu)化目標(biāo)位置很遠(yuǎn)，這樣會(huì)出現(xiàn)過(guò)度優(yōu)化，過(guò)度優(yōu)化會(huì)增加錯(cuò)誤分類點(diǎn)的個(gè)數(shù)。合頁(yè)損失函數(shù)一般在數(shù)據(jù)分類邊界線(x)=(x)比較近時(shí)會(huì)停止優(yōu)化，是SVM的損失函數(shù)，如果有足夠的支持向量，那么則該類優(yōu)化可行。

本文的基于區(qū)分深度置信網(wǎng)絡(luò)的病害圖像識(shí)別分類器采用的是指數(shù)損失函數(shù)，運(yùn)用指數(shù)損失函數(shù)的典型分類器是AdaBoost算法，指數(shù)損失函數(shù)在實(shí)際的數(shù)據(jù)集中表現(xiàn)良好[11]。指數(shù)損失函數(shù)的具體形式如下：

其中，r=hN(xij)yij，不同損失函數(shù)的比較如圖3所示，本文所提出的分類器使用指數(shù)損失函數(shù)。

圖3 損失函數(shù)的比較

4 基于區(qū)分深度置信網(wǎng)絡(luò)的病害識(shí)別算法

針對(duì)沒(méi)有足夠標(biāo)注數(shù)據(jù)時(shí)的枸杞病害識(shí)別問(wèn)題，從病斑圖像提取了顏色特征、紋理特征和形狀特征等底層特征，通過(guò)底層特征的逐層特征變換，得到更加抽象的高層特征，從而發(fā)現(xiàn)更易于分類或預(yù)測(cè)的特征表示。

結(jié)合區(qū)分深度置信網(wǎng)絡(luò)和指數(shù)損失函數(shù)，建立枸杞病害識(shí)別模型。建立的基本過(guò)程分為：第一步，構(gòu)建深層架構(gòu)，L+U個(gè)訓(xùn)練數(shù)據(jù)被用來(lái)尋找N層網(wǎng)絡(luò)的參數(shù)空間{ω1,ω2,…,ωN-1} ；第二步，基于梯度下降方法的監(jiān)督學(xué)習(xí)，利用反向傳播機(jī)制將深層架構(gòu)的參數(shù)空間進(jìn)一步優(yōu)化，使用共軛梯度算法對(duì)深層架構(gòu)進(jìn)行訓(xùn)練。所以，本文研究的是一種半監(jiān)督學(xué)習(xí)方法，有效地將無(wú)監(jiān)督學(xué)習(xí)的抽象能力和監(jiān)督學(xué)習(xí)的區(qū)分能力相結(jié)合。

病害識(shí)別模型訓(xùn)練完成后，當(dāng)輸入一個(gè)新的病斑圖像x，可以根據(jù)該模型的輸出h的值來(lái)判斷x所屬的病斑類別。

4.1 病害識(shí)別算法流程

基于區(qū)分深度置信網(wǎng)絡(luò)的病害圖像識(shí)別算法流程如下所示。

病害圖像識(shí)別算法流程

輸入 樣本圖像集X，類別集Y，隱藏層h，層數(shù)N

每一層的單元個(gè)數(shù)D1,D2,…,DN，

迭代次數(shù)Q

參數(shù)空間W={ω1,ω2,…,ωN}

偏置b,c，沖量?，學(xué)習(xí)率η

已標(biāo)注圖像的個(gè)數(shù)L，未標(biāo)注圖像的個(gè)數(shù)U

輸出 包含訓(xùn)練后參數(shù)空間W的深層架構(gòu)

1.構(gòu)建深層架構(gòu)

for k=1；k〈=N-1 do

for q=1；q〈=Q-1 do

for u=1；u〈=L+U do

計(jì)算非線性正向和反向狀態(tài)：

更新參數(shù)和偏置：

end

end

end

2.基于梯度下降方法的監(jiān)督學(xué)習(xí)

4.2 實(shí)驗(yàn)測(cè)試與分析

通過(guò)前期圖像處理獲得枸杞葉片病害的5類病斑圖像共計(jì)1 201張，其中100張無(wú)病斑圖像、75張白粉病圖像、330張灰斑病圖像、340張癭螨病圖像和356張?zhí)烤也D像，病斑圖像的樣例如圖4所示。

圖4 病斑圖像的樣例

首先，對(duì)每一張病斑圖像提取它的顏色特征、紋理特征和形狀特征共計(jì)147個(gè)，然后通過(guò)特征優(yōu)化得到每一張病斑圖像的50個(gè)主要特征。選擇標(biāo)注圖像數(shù)據(jù)時(shí)，標(biāo)注的個(gè)數(shù)在2～75之間變化，確保每類病斑至少有一個(gè)標(biāo)注數(shù)據(jù)。

實(shí)驗(yàn)中，每張病斑圖像的分辨率是20×20，區(qū)分深度置信網(wǎng)絡(luò)深層架構(gòu)為50-50-50-200-5，表示輸入層的結(jié)點(diǎn)個(gè)數(shù)為50，即輸入每張病斑圖像的50個(gè)特征，輸出層的結(jié)點(diǎn)個(gè)數(shù)為5，即病斑類別為無(wú)病、白粉病、灰斑病、癭螨病和炭疽病5類，三個(gè)隱藏層的結(jié)點(diǎn)個(gè)數(shù)分別為50、50和200。第一階段，訓(xùn)練每一層的迭代次數(shù)為30，學(xué)習(xí)率為0.1，初始沖量為0.5，迭代5次后，沖量變?yōu)?.9；第二階段，使用共軛梯度下降算法，迭代次數(shù)為20，每次迭代中使用3次線性搜索。

使用4.1節(jié)算法輸入新的病斑圖像x，可以根據(jù)該模型DDBN輸出x所屬的病斑類別，該分類器DDBN的分類性能與代表性的KNN、SVM[10]和NN[12]分類器相比較，使用不同數(shù)量的已標(biāo)注圖像來(lái)比較各個(gè)分類器的分類錯(cuò)誤率。已標(biāo)注圖像的個(gè)數(shù)分別設(shè)為5、25、50和75，每類病斑至少有一個(gè)是已標(biāo)注的。比較實(shí)驗(yàn)的結(jié)果如表7所示。

表7 不同分類器在不同數(shù)量的已標(biāo)注圖像的分類錯(cuò)誤率%

在不同數(shù)量的已標(biāo)注圖像的分類器比較實(shí)驗(yàn)中，DDBN的分類結(jié)果總是優(yōu)于其他的分類方法，在沒(méi)有足夠的已標(biāo)注圖像時(shí)表現(xiàn)出了穩(wěn)定的、優(yōu)越的分類性能。本文研究的識(shí)別模型不但表明了深層架構(gòu)在自然圖像識(shí)別任務(wù)中的有效性，也為深層架構(gòu)解決困難的學(xué)習(xí)問(wèn)題理論提供了實(shí)驗(yàn)驗(yàn)證[13-15]。

5 結(jié)論

本文結(jié)合區(qū)分深度置信網(wǎng)絡(luò)和指數(shù)損失函數(shù)建立了病害識(shí)別模型，實(shí)現(xiàn)了枸杞病害圖像的快速的、有效的識(shí)別和分類，首先對(duì)枸杞病害圖像進(jìn)行預(yù)處理，建立“白粉病”、“灰斑病”、“炭疽病”和“癭螨病”四種病害類別的圖像樣本集，然后對(duì)圖像樣本集中各類別圖像的顏色特征、紋理特征和形狀進(jìn)行提取和優(yōu)化，建立區(qū)分深度置信網(wǎng)絡(luò)深層架構(gòu)，利用深層架構(gòu)建立病斑特征與病斑圖像類別之間的映射關(guān)系，本文研究的方法高效地利用了底層圖像特征的高層表示，解決了沒(méi)有足夠的標(biāo)注數(shù)據(jù)時(shí)的圖像識(shí)別問(wèn)題。

[1]Li F，F(xiàn)ergus R，Perona P.Learning generative visual model from few training examples：An incremental Bayesian approach tested on 101 object categories[C]//CVPR Workshop on Generative-Model Based Vision.New York，NY，USA：Elsevier Science Inc，2004：1-9.

[2]Yu Z，Wong H S.Image classification based on the baggingadaboost ensemble[C]//International Conference on Multimedia and Expo.Naples，Italy：IEEE，2008：1481-1484.

[3]Lu F X，Yang X K，Zhang R，et al.Image classification based on pyramid histoshoji tanaka，yuichi iwadate，seiji inokuchi and attractiveness evaluation based on the physical gram of topics[C]//International Conference on Multimedia and Expo.Piscataway，NJ，USA：IEEE，2009：398-401.

[4]Fan Jianping，Shen Yi，Yang Chunlei，et al.Structured max-margin learning for inter-related classifier training and multilabel image annotation[J].IEEE Transactions on Image Processing，2011，20（3）：837-854.

[5]毛罕平，張艷誠(chéng)，胡波.基于模糊C均值聚類的作物病害葉片圖像分割方法研究[J].農(nóng)業(yè)工程學(xué)報(bào)，2008，24（9）：136-140.

[6]Omrani E，Khoshnevisan B，Shamshirband S，et al.Potential of radial basis function based support vector regression for apple disease detection[J].Measurement，2014，55：512-519.

[7]Dubey S R，Jalal A S.Fusing color and texture cues to identify the fruit diseases using images[J].International Journal of Computer Vision and Image Processing，2014，4（2）：52-67.

[8]秦豐，劉東霞，孫炳達(dá)，等.基于圖像處理技術(shù)的四種苜蓿葉部病害的識(shí)別[J].中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2016，21（10）：65-75.

[9]Chen E K，Yang X K，Zha H Y，et al.Learning object classes from image thumbnails through deep neural networks[C]//International Conference on Acoustics，Speech and Signal Processing.Las Vegas，Nevada，USA：IEEE，2008：829-832.

[10]Collobert R，Sinz F，Weston J，et al.Large scale transductive SVMs[J].Journal of Machine Learning Research，2006，7：1687-1712.

[11]Friedman J H，Hastie T，Tibshirani R.Additive logistic statisticalview ofboosting[J].Annals ofStatistics，2000，28：337-407.

[12]Mitchell T M.Machine learning[M].Columbus OH，USA：McGraw-Hill Science/Engineering/Math，1997.

[13]Bengio Y，Lamblin P，Popovici D，et al.Greedy layer-wise training of deep networks[C]//International Conference on NeuralInformation Processing Systems.Canada：NIPS Foundation，2006：153-160.

[14]Weston J，Ratle F，Collobert R.Deep learning via semisupervised embedding[C]//International Conference on Machine Learning.Helsinki，F(xiàn)inland：ACM，2008：1168-1175.

[15]Girshick R，Donahue J，Darrell T，et al.Region-based convolutional networks for accurate object detection and segmentation[J].IEEE Transactions on Pattern Analysisamp;Machine Intelligence，2016，38（1）：142-158.

SONG Lijuan

1.School of Information Science and Technology,Northwest University,Xi’an 710127,China 2.School of Information Engineering,Ningxia University,Yinchuan 750021,China

Recognition model of disease image based on discriminative deep belief networks.Computer Engineering and Applications,2017,53（21）：32-36.

To detect and identify the disease of Chinese Wolfberry in time and accurately is very important on the disease monitor,prediction,early warning，treatment and the construction of agricultural information and intelligence.The deep architecture of disease image classification and identification is proposed based on discriminative deep belief networks.First of all,this paper automatically crops the leaf disease image of Chinese Wolfberry into the sub-image containing typical spots,and then researches segmentation under complex background and the image feature extraction,the features is a total of 147 on color feature,texture feature and shape feature.Disease recognition model is established with discriminative deep belief networks and exponential loss function.Experimental results show that,the method has good effect on image recognition.Compared with the support vector machine,the disease image recognition model based on discriminative deep belief network not only can effectively use the high-level representation of low-level image features but also can solve the problem of data annotation image recognition.

disease image;discriminative deep belief networks;exponential loss function

A

TP391.4

10.3778/j.issn.1002-8331.1707-0506

國(guó)家自然科學(xué)基金（No.61363018）；寧夏高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目（No.NGY2014055，No.NGY2016016）。

宋麗娟（1978—），女，博士生，副教授，研究領(lǐng)域?yàn)閳D像處理與機(jī)器視覺(jué)，E-mail：slj@nxu.edu.cn。

2017-08-01

2017-09-30

1002-8331（2017）21-0032-05