陳從平，鈕嘉煒，丁 坤，姜金濤

(1. 常州大學(xué)機械與軌道交通學(xué)院，江蘇 常州 213164；2. 內(nèi)蒙古智誠物聯(lián)股份有限公司，內(nèi)蒙古 烏蘭察布 012000)

1 引言

馬鈴薯生長過程中出現(xiàn)的各種病害嚴重影響了馬鈴薯的產(chǎn)量和品質(zhì)，在大面積、無人化種植的情況下，需要通過信息化、自動化的手段來識別馬鈴薯生長過程中的病害，以提高馬鈴薯病害診斷的實時性與準確性。

機器視覺是目前用于監(jiān)測作物生長期病害有效的技術(shù)手段之一，其原理主要是通過識別作物葉片病斑特征來對其進行病害診斷。在使用傳統(tǒng)機器學(xué)習(xí)方法識別作物病害方面，范振軍等[1]根據(jù)SIFT(Oriented FAST and Rotated BRIEF)[2]和ORB(Scale Invariant Feature Transform)[3]關(guān)鍵特征點提取病害的ROI區(qū)域，基于支持向量機(SVM)分類器融合紋理和顏色特征實現(xiàn)馬鈴薯病害識別。趙建敏等[4]使用最大類間方差法(OTSU)分割出馬鈴薯葉片中的病斑，再提取病斑顏色、形狀和紋理特征使用SVM分類器完成馬鈴薯病害識別。Mohammadpoor等[5]使用模糊C均值算法突出顯示每片葡萄葉的患病區(qū)域，最后使用SVM判斷葡萄葉片是否患病。在使用深度學(xué)習(xí)方法識別作物病害方面，胡志偉等[6]基于注意力卷積塊和殘差卷積塊提出注意力殘差網(wǎng)絡(luò)ARNet(Attention residual network)，采用44295張圖片訓(xùn)練模型，實現(xiàn)番茄病害的識別。Bin Liu等[7]采集和擴充了107366幅葡萄葉圖像，搭建密集的Inception卷積神經(jīng)網(wǎng)絡(luò)(DICNN)模型，能有效地識別葡萄葉病害。Wan jie等[8]提出了一種基于CNN的稻瘟病診斷系統(tǒng)，該模型在5808張患病圖像的數(shù)據(jù)集上進行了訓(xùn)練，在識別準確度方面實現(xiàn)了令人滿意的性能。

然而，雖然上述研究方法都能夠在一定程度上有效地識別相應(yīng)的病害，但均是以人工采摘出的獨立葉片圖像作為樣本，忽略了作物生長環(huán)境中背景圖像的干擾信息，而實際監(jiān)測應(yīng)該在真實的種植環(huán)境中進行，需要在復(fù)雜的背景下分割出葉片及葉片上的病斑圖像，這給該技術(shù)的實際應(yīng)用帶來了極大的挑戰(zhàn)。

本文以機器視覺在線監(jiān)測馬鈴薯在真實的生長環(huán)境下的病害為研究對象，著重解決馬鈴薯葉片、病斑分割、病斑特征提取、病害類型診斷等關(guān)鍵技術(shù)問題。首先采用深度學(xué)習(xí)方法從復(fù)雜背景中分割出馬鈴薯葉片，經(jīng)自適應(yīng)增強后將葉片補圖轉(zhuǎn)換到HSV顏色空間，通過對補圖的H分量像素值重新賦值實現(xiàn)病斑提??；最后構(gòu)建一維卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)馬鈴薯病害的識別。

2 復(fù)雜背景下馬鈴薯葉片分割

由于實際場景中的馬鈴薯葉片處于復(fù)雜背景下，需要提取豐富的語義信息才能將葉片與背景準確分割。深度學(xué)習(xí)具有強大的語義提取功能，其中基于深度學(xué)習(xí)的DeepLabv3+網(wǎng)絡(luò)采用了空間金字塔池化模塊，能夠在多尺度下獲取馬鈴薯葉片圖像的語義特征信息，提高了分割的準確率[9]，因此本文選擇DeepLabv3+網(wǎng)絡(luò)完成復(fù)雜背景下馬鈴薯葉片的分割。

2.1 數(shù)據(jù)集制作

在實際場景中拍攝600幅含病斑的馬鈴薯葉片圖像，然后通過旋轉(zhuǎn)、平移、亮度調(diào)整等操作將圖像數(shù)量擴充至2000幅，其中1700幅圖像用于訓(xùn)練馬鈴薯葉片分割模型，300幅圖像用于訓(xùn)練和測試馬鈴薯病害識別模型，最后將圖像調(diào)整為224×224分辨率，部分樣本如圖1所示。

圖1 馬鈴薯葉片圖像

2.2 語義分割模型

DeepLabv3+結(jié)構(gòu)如圖2所示，首先圖像在Encoder部分經(jīng)過Xception的特征提取模塊提取特征圖像，再將特征圖像通過空間金字塔池化模塊(ASPP)實現(xiàn)多尺度特征提取，最后使用1×1的卷積完成通道的壓縮。在Decoder模塊中，先將Encoder模塊得到的特征信息通過4倍的上采樣操作，后與Xception提取的特征信息經(jīng)過1×1的卷積降維后進行拼接，再通過3×3的卷積進行特征融合，最后采用4倍上采樣。對搭建的DeepLabv3+網(wǎng)絡(luò)模型進行訓(xùn)練，并用訓(xùn)練好的網(wǎng)絡(luò)對馬鈴薯葉片進行分割，部分結(jié)果如圖3所示，可見獲得了良好的分割效果。

圖2 DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)

圖3 葉片分割

3 病斑提取

馬鈴薯病害類型主要由葉片病斑特征來體現(xiàn)，因而在診斷之前，還需要將病斑從葉片中分割。為提高病斑分割時邊緣的準確性，首先對葉片圖像進行增強，再求其補圖，進一步轉(zhuǎn)換到HSV顏色空間下，最后根據(jù)H分量對其上的病斑進行提取。

3.1 自適應(yīng)對比度增強

由于已分割出來的葉片圖像為RGB彩色圖像，如果純粹的分別對R、G、B三通道分量圖像增強，并直接對增強后的三通道分量圖像合并則會引起圖像色相的變化，其圖像顏色會發(fā)生改變，因此為解決增強后圖像色相發(fā)生變化，首先將葉片圖像由RGB顏色空間轉(zhuǎn)換成HIS顏色空間，而H和S通道分別表示色調(diào)和飽和度不需要對其增強，所以只需對I(亮度)通道分量圖像進行對比度增強。

設(shè)I(i，j)為(2n+1)×(2n+1)像素大小的窗口中心點的像素值，則點(i，j)的2n+1鄰域內(nèi)像素平均值m(i，j)和標準方差σ分別為

(1)

(2)

其中n為非負整數(shù)，k和l表示為在(2n+1)×(2n+1)像素大小的窗口內(nèi)的坐標值。

9月，秋高氣爽,碩果累累。清風(fēng)送來涼爽，天空一片蔚藍。我和夫人應(yīng)中國兵器淮海集團的盛情邀請，前往山西長治，參加他們建廠80周年暨軍民融合論壇等一系列活動。

令μ為I分量圖像的全局像素平均值，β為[0，1]區(qū)間的參數(shù)值，則對I(i，j)增強后的像素值G(i，j)可表示為

(3)

對增強后的I通道分量圖像與H、S通道分量圖像重新合并，再轉(zhuǎn)換合并后的圖像顏色空間，由HIS顏色空間轉(zhuǎn)換為RGB顏色空間，完成葉片圖像的對比度增強。

設(shè)對比度增強后圖像為Q，因為圖像Q是R、G、B三通道圖像，則其任意通道的互補像素值C(i，j)可表示為

C(i，j)=255-Q(i，j)

(4)

圖像Q經(jīng)過式(4)分別求出其R、G、B三通道分量圖像的互補圖像，對求出的各個分量的互補圖像合并，最終得到圖像Q的補圖。

3.2 病斑分割

對自適應(yīng)對比度增強后的葉片圖像求出的補圖進一步的利用顏色空間轉(zhuǎn)換，轉(zhuǎn)換到HSV顏色空間下，然后提取H分量，按式(5)對H分量重新賦值，進而獲得病斑圖像，并經(jīng)形態(tài)學(xué)操作去除病斑周圍可能存在的部分噪點，提取出完整的病斑，其過程和結(jié)果如圖4所示。

(5)

其中H(i，j)表示對某像素點H分量的賦值，H.mean()表示H分量的平均像素值。

圖4 病斑提取過程

4 病斑特征提取

馬鈴薯病害主要為早疫病和晚疫病，其病斑具有豐富的紋理、顏色和形狀特征，其中，在紋理方面，早疫病會出現(xiàn)同心輪紋，而晚疫病沒有類似的輪紋狀紋理，因而該類特征易于用模型來量化描述；在顏色和形狀方面，這兩種病害的病斑均近似為褐色，且都近似于圓形，這兩類特征難以用模型來完備地定義和提取。由于紋理特征屬于人工定義的特征，不能夠完整的描述病斑圖像的表征信息，且人工定義的特征在特征學(xué)習(xí)和識別方面有一定的局限性，而深度學(xué)習(xí)網(wǎng)絡(luò)模型提取的特征信息是人工無法定義的更深層次的抽象特征，因此采用深度學(xué)習(xí)網(wǎng)絡(luò)進一步提取病斑特征。常用于提取特征的深度學(xué)習(xí)網(wǎng)絡(luò)主要有VGG16[10]，ResNet[11]，AlexNet[12]等，其中VGG16在圖像分類和檢測方面都具有良好的效果并且結(jié)構(gòu)簡潔，所以采用VGG16網(wǎng)絡(luò)提取病斑特征，并和紋理特征進行融合。

紋理特征提取方面，通過計算病斑灰度游程矩陣參數(shù)來反映圖像中紋理的粗細、均勻程度和變化情況[13-14]，常用的灰度游程矩陣參數(shù)有11個，即短游程優(yōu)勢、長游程優(yōu)勢、灰度不均勻性、長游程不均勻性、游程百分比、低灰度級游程優(yōu)勢、高灰度級游程優(yōu)勢、短游程低灰度級優(yōu)勢、短游程高灰度級優(yōu)勢、長游程低灰度級優(yōu)勢和長游程高灰度級優(yōu)勢，各個參數(shù)的含義見表1所示。

采用VGG16網(wǎng)絡(luò)實現(xiàn)特征提取，其結(jié)構(gòu)如圖5所示。將VGG16提取出特征向量記為N，并且和特征向量M拼接融合構(gòu)成一維特征向量，記為X，X=[M，N]。

圖5 VGG16網(wǎng)絡(luò)結(jié)構(gòu)

5 病害識別

由于最終融合出的特征向量X屬于一維向量，因此搭建一維卷積神經(jīng)網(wǎng)絡(luò)進行病害識別。一維卷積神經(jīng)網(wǎng)絡(luò)雖然只有一個維度，但仍具備和CNN同樣的優(yōu)點，同時因為一維卷積神經(jīng)網(wǎng)絡(luò)處理的是一維向量，在卷積的過程中不會產(chǎn)生太多的參數(shù)，所以大大減少了計算量[15-16]。搭建如圖6所示的一維卷積神經(jīng)網(wǎng)絡(luò)。

圖6 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

以交叉熵作為損失函數(shù)對馬鈴薯健康葉、早疫病和晚疫病進行分類實驗，每種類型選用70個樣本進行訓(xùn)練，采用隨機梯度下降方法訓(xùn)練模型，學(xué)習(xí)率設(shè)置為0.001，epoch設(shè)置為80，計算每輪epoch的損失并繪制如圖7的損失曲線。

圖7 損失曲線圖

由圖7可知，當(dāng)模型訓(xùn)練到65個epoch時，損失值趨于穩(wěn)定，表明模型已經(jīng)收斂。

訓(xùn)練完成的模型通過計算準確率P、召回率R和F1的值來評價性能，其計算公式分別如下：

(6)

(7)

(8)

其中，F(xiàn)P、TP、FN和TN分別表示假陽性、真陽性、假陰性和真陰性。使用90幅測試樣本輸入模型測試，獲得的混淆矩陣見表2所示，并且通過混淆矩陣計算出每種類型的準確率、召回率以及F1值分別見表3所示。

表2 混淆矩陣

表3 準確率、召回率和F1值

可見在90幅測試樣本中，健康葉、早疫病和晚疫病都具有較好的識別準確率、召回率和F1值，在馬鈴薯病害識別方面達到較高的準確率，表明本文方法能準確有效地識別復(fù)雜背景下的馬鈴薯病害。

6 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的馬鈴薯葉片病害智能識別的方法，面對復(fù)雜的背景通過語義分割網(wǎng)絡(luò)Deeplab V3+分割出馬鈴薯葉片，接著使用自適應(yīng)對比度增強方法增強病斑與葉片間的對比度并求出補圖，然后對補圖進行HSV的顏色空間轉(zhuǎn)換，將H分量的像素值重新賦值實現(xiàn)病斑的提取。在識別方面，融合病班圖像的紋理特征和采用VGG16網(wǎng)絡(luò)獲得的特征，利用搭建的一維卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)病害的識別，在準確率、召回率和F1值上都具有較好的效果。因此本文方法能夠在復(fù)雜背景下準確的識別馬鈴薯病害。在后續(xù)的研究中，可以在葉片分割、特征提取等方面進一步優(yōu)化處理，提高識別準確率。