楊 森 馮 全 張建華 孫 偉 王關(guān)平
(1.甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院, 蘭州 730070; 2.中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所, 北京 100081)
甘肅省是我國(guó)重要的馬鈴薯種植基地。在馬鈴薯生長(zhǎng)期,病害是影響馬鈴薯產(chǎn)量和品質(zhì)的主要因素,為確保馬鈴薯獲得較好的經(jīng)濟(jì)效益和利用價(jià)值,準(zhǔn)確和實(shí)時(shí)識(shí)別病害類型是防止病害蔓延和保障其健康生長(zhǎng)的前提條件[1-2]。傳統(tǒng)的農(nóng)作物病害識(shí)別均由有經(jīng)驗(yàn)的專家進(jìn)行診斷,該類方法效率低、工作強(qiáng)度大,且不能實(shí)時(shí)對(duì)病害做出科學(xué)、準(zhǔn)確的診斷,而機(jī)器視覺技術(shù)能夠?qū)崿F(xiàn)對(duì)病害的快速、準(zhǔn)確診斷[3-4]。文獻(xiàn)[5-8]通過人工采集病害葉片、并在特定光照和簡(jiǎn)單背景下拍攝,進(jìn)而對(duì)農(nóng)作物病害進(jìn)行識(shí)別,該類方法識(shí)別準(zhǔn)確率相對(duì)較高,但由于在人工控制環(huán)境下采集圖像,無法實(shí)現(xiàn)自然條件下病害的自動(dòng)識(shí)別。此外,也有一些研究[9-11]實(shí)現(xiàn)了自然條件下病害的識(shí)別,但需要在復(fù)雜背景中預(yù)先分割出葉片的病害區(qū)域,該類方法對(duì)葉片分割算法要求較高,且分割需要花費(fèi)大量的時(shí)間,無法滿足病害的實(shí)時(shí)診斷。相比傳統(tǒng)學(xué)習(xí)方法,卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面具有更強(qiáng)的表達(dá)能力,VGG、AlexNet和ResNet網(wǎng)絡(luò)在圖像檢測(cè)和分類中取得了較好的效果[12]。BRAHIMI等[13]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)番茄的9種病害進(jìn)行訓(xùn)練,識(shí)別率達(dá)到99.1%。張建華等[14]通過改進(jìn)VGG-16網(wǎng)絡(luò)和優(yōu)化模型結(jié)構(gòu)參數(shù),實(shí)現(xiàn)了對(duì)棉花5種病害的準(zhǔn)確識(shí)別。在病害識(shí)別中,特征提取也是一項(xiàng)關(guān)鍵技術(shù),很多經(jīng)典的病害識(shí)別方法[15-17]主要依據(jù)顏色、紋理和形狀等參數(shù)或各個(gè)參數(shù)的組合進(jìn)行病害識(shí)別,但由于實(shí)際條件下葉片病斑多樣、復(fù)雜,且特征易受光照條件的影響,尤其顏色特征很不穩(wěn)定,使得這類方法的識(shí)別效果不佳。詞袋特征[18-19]是一種抽象的語(yǔ)義特征,對(duì)復(fù)雜圖像描述能力更強(qiáng),在目標(biāo)識(shí)別中取得了較好的效果。秦立峰等[20]提出一種基于詞袋模型和主成分分析(Principal components analysis, PCA)的多維空間融合的黃瓜葉片病害識(shí)別方法,平均識(shí)別率達(dá)90.38%,但需要手動(dòng)裁剪拍攝的病害葉片圖像的病斑部位,無法滿足病害的自動(dòng)診斷識(shí)別。自然條件下獲取的病害葉片病斑相對(duì)較小,背景區(qū)域占比較大,直接在原始圖像上提取特征并聚類生成視覺特征單詞后,缺乏足夠的區(qū)分度,因此,直接采用詞袋法對(duì)病害的識(shí)別效果不佳。
針對(duì)上述病害識(shí)別方法存在背景干擾與病害識(shí)別需預(yù)先分割的問題,本文引入卷積神經(jīng)網(wǎng)絡(luò)對(duì)病害斑塊區(qū)域進(jìn)行檢測(cè),以降低背景對(duì)病害特征信息的干擾;采用尺度不變特征變換(Scale invariant feature transform, SIFT)表觀特征和顏色特征組合的特征提取方法,構(gòu)造表觀特征詞匯字典和顏色特征字典,旨在訓(xùn)練出精度較高的病害識(shí)別模型,以期完成自然環(huán)境下馬鈴薯病害的自動(dòng)識(shí)別。
試驗(yàn)選取馬鈴薯常見的早疫病、晚疫病、炭疽病3種病害葉片和健康葉片圖像進(jìn)行識(shí)別。病害圖像通過2種途徑獲?。孩倮肅annon EOS1200D型數(shù)碼相機(jī)(分辨率為1 080像素×720像素)于甘肅農(nóng)業(yè)大學(xué)農(nóng)作物試驗(yàn)基地進(jìn)行采集,拍攝方式設(shè)置為近拍模式、自動(dòng)白平衡、自動(dòng)調(diào)節(jié)焦距和光圈,相機(jī)垂直拍攝,拍攝高度30~50 cm。分別在晴天和陰天光照條件下拍攝病害葉片圖像,共采集自然條件下的樣本650幅,包含早疫病50幅、晚疫病50幅、炭疽病50幅、健康葉片500幅。深度學(xué)習(xí)的訓(xùn)練需要大量樣本,而大田條件下馬鈴薯病害樣本的收集比較困難,因此對(duì)采集的圖像隨機(jī)旋轉(zhuǎn)0°、90°、180°、270°,使自然條件下采集的圖像增加了4倍。②在公共網(wǎng)站(中國(guó)農(nóng)業(yè)網(wǎng))和Plant Village數(shù)據(jù)庫(kù)上收集3種葉片病害圖像,包含病害樣本2 000幅、健康葉片156幅。利用2種采集方式獲取的病害樣本具有隨機(jī)性,信息更加豐富,且包含不同光照、不同背景、不同生長(zhǎng)時(shí)期的病害圖像,滿足試驗(yàn)要求。圖1為3種病害葉片圖像示例,其中第1行圖像為自然環(huán)境下的病害圖像,背景存在黑色地膜、光斑以及葉片之間相互遮擋的現(xiàn)象;第2行圖像為中國(guó)農(nóng)業(yè)網(wǎng)和Plant Village 數(shù)據(jù)庫(kù)圖像,所有樣本都是單葉片病害圖像,且光照均勻。
圖1 病害圖像和健康葉圖像示例Fig.1 Examples of disease images and healthy leaf images
病斑區(qū)域檢測(cè)的主要任務(wù)是在原始病害葉片圖像中提取出病害目標(biāo),針對(duì)葉片圖像背景復(fù)雜、目標(biāo)分割方法提取病害區(qū)域耗時(shí)長(zhǎng)和精度較低的問題,本文采用目標(biāo)檢測(cè)中性能表現(xiàn)優(yōu)異的Faster R-CNN算法提取病斑區(qū)域。在檢測(cè)的病斑區(qū)域中將會(huì)存在部分病害區(qū)域的漏檢以及非病害區(qū)域的誤檢,但是斑塊中病害區(qū)域與背景的占比顯著提高,在后期病害識(shí)別模型中可以利用斑塊區(qū)域集合來提取特征信息,該特征信息集中包含了病害的相關(guān)信息,一定程度上減少了相似背景的干擾。
1.2.1Faster R-CNN檢測(cè)網(wǎng)絡(luò)框架
Faster R-CNN檢測(cè)網(wǎng)絡(luò)[21-22]主要由卷積神經(jīng)網(wǎng)絡(luò)、生成候選區(qū)域的區(qū)域建議網(wǎng)絡(luò)、感興趣區(qū)域(RoI)池化層和Faster R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)構(gòu)成。馬鈴薯病斑檢測(cè)框架如圖2所示。
圖2 馬鈴薯病斑檢測(cè)框架Fig.2 Potato plaque detection framework
(1)首先對(duì)輸入的任意尺寸病害圖像利用卷積網(wǎng)絡(luò)的卷積層、激活層和池化層自動(dòng)提取圖像的特征圖。
(2)特征圖輸入到候選區(qū)域網(wǎng)絡(luò)(Region proposal network,RPN)后,利用3×3滑動(dòng)窗口生成d維特征向量并輸入到Softmax層和框回歸層。對(duì)于每個(gè)滑動(dòng)窗口的位置可以同時(shí)生成k個(gè)候選框,則在整個(gè)特征圖中可生成 60×40×k個(gè)候選區(qū)域,并在特征圖上利用Softmax分類器逐像素對(duì)k個(gè)候選框預(yù)測(cè)出前景與背景的概率。在框回歸層中,逐像素對(duì)k個(gè)候選區(qū)域擬合出邊框中心坐標(biāo)與寬、高4個(gè)坐標(biāo)信息。
(3)將RPN網(wǎng)絡(luò)生成的候選區(qū)域和卷積網(wǎng)絡(luò)輸出的特征圖輸入到感興趣區(qū)域池化層,遍歷所有的候選區(qū)域,將其坐標(biāo)比例縮小為原來的1/16,通過映射在特征圖上生成一個(gè)相應(yīng)區(qū)域,并將此區(qū)域劃分為7×7的小區(qū)域,對(duì)于每個(gè)小區(qū)域,使用最大值池化方式處理,形成一個(gè)固定尺寸(7×7)的特征圖。
(4)將固定的特征圖輸入全連接層和Softmax后,預(yù)測(cè)出候選框所屬的類別以及回歸出精確的邊框位置。
1.2.2基于遷移學(xué)習(xí)的斑塊區(qū)域檢測(cè)
深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確分類需要具備充分的數(shù)據(jù)集,在自然環(huán)境下獲取完整的馬鈴薯病害數(shù)據(jù)庫(kù)相對(duì)較為困難,直接采用該數(shù)據(jù)集對(duì)初始化的所有網(wǎng)絡(luò)參數(shù)重新訓(xùn)練,將會(huì)出現(xiàn)網(wǎng)絡(luò)不收斂以及模型的過擬合現(xiàn)象,使得檢測(cè)模型的精度嚴(yán)重下降。AlexNet和VGG-16等深度卷積網(wǎng)絡(luò)模型在圖像分類識(shí)別中具有明顯的優(yōu)勢(shì),網(wǎng)絡(luò)模型是由包含100萬幅圖像的ImageNet 數(shù)據(jù)庫(kù)訓(xùn)練得到,通過模型的卷積層能夠提取圖像的深度信息,且模型中擁有大量的權(quán)重參數(shù),本文利用遷移學(xué)習(xí)[23-24]的方法完成對(duì)病斑檢測(cè)模型的訓(xùn)練。利用馬鈴薯病害訓(xùn)練數(shù)據(jù)集微調(diào)AlexNet和VGG-16預(yù)訓(xùn)練分類網(wǎng)絡(luò)的權(quán)重參數(shù),優(yōu)化卷積層參數(shù),可將分類網(wǎng)絡(luò)遷移到Faster R-CNN檢測(cè)網(wǎng)絡(luò)特征提取部分,使得卷積層的權(quán)值得到充分的訓(xùn)練。
檢測(cè)出的斑塊區(qū)域是外接矩形框出的原圖像的子圖像,對(duì)圖像訓(xùn)練集中所有病害圖像的斑塊區(qū)域進(jìn)行檢測(cè)后,組成斑塊訓(xùn)練集
Blob={(Bi,Li)|i=1,2,…,N}
(1)
式中Bi——斑塊訓(xùn)練集中的第i個(gè)斑塊區(qū)域
Li——Bi對(duì)應(yīng)的病害類型標(biāo)簽
N——斑塊區(qū)域數(shù)
Blob——斑塊訓(xùn)練集
病害葉片在顏色上與正常的葉片有很大的差異,且不同類型的病害顏色也不相同,病害識(shí)別時(shí)提取顏色信息作為有效的表觀特征。根據(jù)3種病害葉片圖像的顏色特點(diǎn),以Lab為顏色模型,統(tǒng)計(jì)斑塊區(qū)域a、b分量的顏色信息,構(gòu)建出表觀顏色特征向量。由于檢測(cè)出的病害區(qū)域較小,為了提取出豐富的特征信息,本文采用高密度特征提取方法,主要操作步驟如下:
(1)首先將斑塊訓(xùn)練集Blob中每個(gè)斑塊區(qū)域的RGB彩色圖像轉(zhuǎn)換為L(zhǎng)ab圖像,并將每個(gè)斑塊區(qū)域均勻劃分成m×n個(gè)網(wǎng)格。
(2)在Lab圖像每個(gè)格點(diǎn)上計(jì)算該點(diǎn)的a、b值,獲得該點(diǎn)的二維顏色特征向量,遍歷斑塊區(qū)域中的所有格點(diǎn)生成m×n×2維的特征向量,最終在整個(gè)斑塊訓(xùn)練集中生成m×n×2×N維的表觀顏色特征向量。
顏色特征容易受光照變化、陰影的影響,單一的顏色特征不能滿足病害的識(shí)別精度。SIFT特征具有尺度不變性[25],對(duì)自然條件下圖像的亮度變化以及拍攝角度的旋轉(zhuǎn)具有很好的適應(yīng)性,在檢測(cè)的病害區(qū)域上提取SIFT特征構(gòu)建SIFT特征向量。采用與提取顏色特征相同的高密度特征提取方法,將斑塊區(qū)域轉(zhuǎn)換為灰度圖像后在每個(gè)網(wǎng)格上計(jì)算SIFT特征,通過遍歷所有網(wǎng)格形成m×n維特征,最終在整個(gè)斑塊訓(xùn)練集中生成m×n×N維SIFT特征向量。
利用K-均值聚類算法分別對(duì)兩類表觀特征詞匯表進(jìn)行聚類運(yùn)算,將特征詞匯聚為K個(gè)聚族,選取每個(gè)族的聚類中心構(gòu)成特征字典的視覺單詞,表觀顏色特征字典Wt表示為
Wt={v1,v2,…,vK}
(2)
式中vK——聚類的第K個(gè)表觀顏色視覺單詞
SIFT特征字典Ws表示為
Ws={u1,u2,…,uK}
(3)
式中uK——聚類的第K個(gè)SIFT視覺單詞
將表觀顏色特征字典和SIFT特征字典組合,建立復(fù)合字典Wf,表示為
Wf={v1,v2,…,vK,u1,u2,…,uK}
(4)
最終,建立的復(fù)合字典Wf中有2K個(gè)視覺單詞。
對(duì)病害訓(xùn)練集中檢測(cè)出的病害區(qū)域提取顏色特征和SIFT特征,通過計(jì)算特征點(diǎn)與復(fù)合字典Wf中視覺單詞之間的最近距離,統(tǒng)計(jì)出每個(gè)病害區(qū)域在視覺單詞中出現(xiàn)的頻率,獲得2K維的特征直方圖。對(duì)任意的病害圖像檢測(cè)出所有的斑塊區(qū)域,分別統(tǒng)計(jì)出每一個(gè)斑塊區(qū)域Bi的特征直方圖hi,通過歸一化處理獲得第r幅原始病害圖像的直方圖為
(5)
式中r——訓(xùn)練集中的第r幅原始病害圖像
H——第r幅原始病害圖像的直方圖
每一幅病害圖像在復(fù)合字典映射后,根據(jù)式(5)計(jì)算出訓(xùn)練集中所有病害圖像的直方圖特征,并將該特征數(shù)據(jù)作為分類器訓(xùn)練的輸入特征。為建立識(shí)別精度較高的決策模型,在訓(xùn)練過程中采用多分類器的訓(xùn)練方式,分別采用分類中應(yīng)用廣泛的SVM、隨機(jī)森林和最近鄰分類器進(jìn)行識(shí)別正確率對(duì)比試驗(yàn)。利用設(shè)定的分類器對(duì)3類病害訓(xùn)練集樣本進(jìn)行預(yù)測(cè),其中SVM分類器的識(shí)別正確率為92.15%,隨機(jī)森林分類器識(shí)別正確率為80.26%,最近鄰分類器的識(shí)別正確率為70.53%,試驗(yàn)結(jié)果表明,SVM分類器對(duì)小樣本和非線性病害數(shù)據(jù)的分類優(yōu)勢(shì)明顯,因此本文篩選出精度較高的SVM分類器作為最終的病害識(shí)別模型。
試驗(yàn)基于Caff深度學(xué)習(xí)框架,硬件配置為NVIDIAteslaK20 GPU,搭載InterXeon E5-2683V3@2.00GHz x56處理器,內(nèi)存為64 GB。軟件環(huán)境為Windows 10操作系統(tǒng),并選用Matlab 2018a作為編程環(huán)境。試驗(yàn)主要包括兩部分,分別是馬鈴薯病斑區(qū)域檢測(cè)試驗(yàn)和病害識(shí)別準(zhǔn)確率試驗(yàn),其中病害識(shí)別試驗(yàn)中完成不同K值下病害識(shí)別準(zhǔn)確率試驗(yàn)、不同特征組合下病害識(shí)別準(zhǔn)確率試驗(yàn)、不同光照條件下病害識(shí)別準(zhǔn)確率試驗(yàn)以及不同方法下病害識(shí)別準(zhǔn)確率試驗(yàn)4部分,以此展開對(duì)馬鈴薯病害識(shí)別的研究。
病斑檢測(cè)模型訓(xùn)練集由3類病害樣本構(gòu)成,將病害圖像庫(kù)中的2 048幅圖像作為訓(xùn)練集, 952幅圖像作為測(cè)試集,訓(xùn)練集中的200幅圖像作為驗(yàn)證集,并對(duì)訓(xùn)練集圖像采用人工標(biāo)定的方式制作成PASCAL VOC數(shù)據(jù)集格式。病斑區(qū)域檢測(cè)的準(zhǔn)確性直接影響病害的識(shí)別精度,采用病害平均檢出率和檢測(cè)框平均精度2個(gè)評(píng)價(jià)指標(biāo)評(píng)價(jià)識(shí)別精度。病害平均檢出率主要衡量在整個(gè)病害葉片測(cè)試集中能夠檢測(cè)出目標(biāo)區(qū)域的樣本個(gè)數(shù),但不能判斷檢測(cè)框是否為病斑目標(biāo)。利用檢測(cè)方法在病害葉片上獲得的檢測(cè)框存在非病斑目標(biāo)的檢測(cè)框以及病斑區(qū)域占比較小的檢測(cè)框,檢測(cè)框平均精度主要反映在病害葉片上提取的檢測(cè)框判斷為病斑目標(biāo)的準(zhǔn)確度。病害平均檢出率和檢測(cè)框平均精度計(jì)算公式為
(6)
(7)
式中P1——病害平均檢出率
P2——檢測(cè)框平均精度
TP——檢測(cè)出目標(biāo)區(qū)域的樣本數(shù)
FN——未檢測(cè)出目標(biāo)區(qū)域的樣本數(shù)
T——檢測(cè)框中病害區(qū)域的面積占整個(gè)檢測(cè)框面積的比例大于等于0.5的檢測(cè)框數(shù)
F——病害區(qū)域的面積占整個(gè)檢測(cè)框面積的比例小于0.5的檢測(cè)框數(shù)
采用不同深度的特征提取網(wǎng)絡(luò)訓(xùn)練檢測(cè)模型后,病斑目標(biāo)的檢測(cè)精度存在差異性,為驗(yàn)證特征提取網(wǎng)絡(luò)深度對(duì)檢測(cè)精度的影響,試驗(yàn)選擇AlexNet和VGG-16網(wǎng)絡(luò)對(duì)馬鈴薯病害葉片數(shù)據(jù)集進(jìn)行測(cè)試,不同深度特征提取網(wǎng)絡(luò)的檢測(cè)結(jié)果如表1所示??傮w來看,基于AlexNet網(wǎng)絡(luò)訓(xùn)練的病斑檢測(cè)模型對(duì)3種病害類型的平均檢出率和檢測(cè)框平均精度分別為93.20%和71.90%,而基于VGG-16網(wǎng)絡(luò)訓(xùn)練的病斑檢測(cè)模型其病害平均檢出率和檢測(cè)框平均精度分別為95.06%和84.63%。2種網(wǎng)絡(luò)對(duì)平均檢出率影響不大,而對(duì)于檢測(cè)框平均精度,VGG-16網(wǎng)絡(luò)比AlexNet網(wǎng)絡(luò)提高了12.73個(gè)百分點(diǎn),表明VGG-16網(wǎng)絡(luò)的檢測(cè)精度相對(duì)較高,并且特征網(wǎng)絡(luò)層數(shù)越深,提取圖像的特征信息維度越高,檢測(cè)精度也越高。鑒于VGG-16網(wǎng)絡(luò)的優(yōu)勢(shì),本文對(duì)病斑區(qū)域的檢測(cè)階段采用基于VGG-16特征網(wǎng)絡(luò)的Faster R-CNN算法。
由表1可知,在采用VGG-16特征提取網(wǎng)絡(luò)后,晚疫病的檢測(cè)準(zhǔn)確度高于其他2種病害,其檢測(cè)框平均精度P2達(dá)到90.42%,而早疫病和炭疽病的檢測(cè)框平均精度分別為80.74%和82.72%。根據(jù)統(tǒng)計(jì)結(jié)果可知,晚疫病相比其他兩種病害,P2分別提高了9.68、7.70個(gè)百分點(diǎn),出現(xiàn)這種檢測(cè)差異的主要原因與病斑的分布特征密切相關(guān),晚疫病發(fā)病的位置出現(xiàn)在葉片的邊緣位置,且病斑的面積相對(duì)較大,而其他兩種病害的病斑呈現(xiàn)出分布密集、位置隨機(jī)、形狀多樣和面積較小的特征,這對(duì)收集完整的病害訓(xùn)練樣本增加了困難,使得本文訓(xùn)練的檢測(cè)模型對(duì)于部分病害樣本的檢測(cè)準(zhǔn)確率下降。
表1 基于不同特征提取網(wǎng)絡(luò)的不同病害檢測(cè)的準(zhǔn)確性Tab.1 Detection accuracy of different diseases based on different networks
本文檢測(cè)方法的病斑檢測(cè)效果如圖3、4所示。試驗(yàn)測(cè)試了復(fù)雜自然環(huán)境和特定光照背景(Plant Village數(shù)據(jù)庫(kù))下的病害樣本,其中紅框代表AlexNet特征網(wǎng)絡(luò)的檢測(cè)結(jié)果,綠框代表VGG-16特征網(wǎng)絡(luò)的檢測(cè)結(jié)果。2種光照條件下基于AlexNet特征網(wǎng)絡(luò)檢測(cè)框出現(xiàn)重疊檢測(cè)、非病害目標(biāo)檢測(cè)和漏檢現(xiàn)象較為明顯,而基于VGG-16特征網(wǎng)絡(luò)的檢測(cè)框基本能夠包圍病斑區(qū)域,漏檢的病斑相對(duì)較少。VGG-16特征網(wǎng)絡(luò)在自然環(huán)境下的病斑檢測(cè)結(jié)果如圖4所示,將背景中的地膜、黑色光斑以及泥土誤檢測(cè)為病斑目標(biāo),其誤檢率相對(duì)較高。圖4a所示的早疫病葉片中分布的大病斑區(qū)域能夠完整檢測(cè),但對(duì)于分布的顆粒狀小病斑未能成功識(shí)別??傮w可以看出,葉片中的主要病害區(qū)域能夠基本檢測(cè)出來,且適應(yīng)于不同大小病斑的檢測(cè),但檢測(cè)出的斑塊中存在病害區(qū)域的漏檢以及非病害區(qū)域的誤檢。
圖3 Plant Village數(shù)據(jù)庫(kù)病斑的檢測(cè)結(jié)果Fig.3 Lesion detection results of Plant Village database
圖4 自然條件下病斑的檢測(cè)結(jié)果Fig.4 Test results of disease detection under natural conditions
馬鈴薯病害識(shí)別數(shù)據(jù)集由Plant Village數(shù)據(jù)庫(kù)圖像和試驗(yàn)田拍攝的圖像組成,訓(xùn)練集圖像共2 700幅,測(cè)試集圖像952幅,樣本總數(shù)為3 652幅,其中早疫病圖像1 200幅,晚疫病圖像1 200幅,炭疽病600幅,健康葉片652幅。訓(xùn)練集從整體樣本中隨機(jī)抽取,不同類型的病害圖像數(shù)量比例一致,且與驗(yàn)證集和測(cè)試集互斥。為驗(yàn)證識(shí)別模型的誤差,選取訓(xùn)練集樣本的10%作為驗(yàn)證集,共計(jì)270幅圖像?;贔aster R-CNN檢測(cè)模型,對(duì)部分健康葉片區(qū)域存在目標(biāo)檢測(cè)框,對(duì)訓(xùn)練集中健康葉片通過本文檢測(cè)方法獲得Blob集合,利用式(5)訓(xùn)練出4類標(biāo)簽樣本的識(shí)別模型。
2.2.1K值對(duì)識(shí)別準(zhǔn)確率的影響
復(fù)合字典中視覺單詞K值反映病斑的直方圖空間維數(shù),K值直接影響模型訓(xùn)練精度和識(shí)別速度,為了獲得最優(yōu)的K值,本文對(duì)K值按照低維、中維和高維3個(gè)空間設(shè)置了6個(gè)不同的取值,利用測(cè)試樣本分別在對(duì)應(yīng)取值下進(jìn)行了病害識(shí)別準(zhǔn)確率試驗(yàn)。表2給出不同K值下3種病害和健康葉片的識(shí)別準(zhǔn)確率,由表2可以看出,K=10時(shí),病害的平均識(shí)別準(zhǔn)確率最低,僅為80.47%。隨著K值的逐漸增大,病害的平均識(shí)別準(zhǔn)確率不斷提高,當(dāng)K=50時(shí),平均識(shí)別準(zhǔn)確率達(dá)到最高值90.83%;當(dāng)K達(dá)到100或高維數(shù)500時(shí),病害的平均識(shí)別準(zhǔn)確率與K=50相比最多降低了1.34個(gè)百分點(diǎn),但是平均運(yùn)行時(shí)間最多增加了3.59 s,表明K=50時(shí),病害的平均識(shí)別準(zhǔn)確率達(dá)到了穩(wěn)定狀態(tài),運(yùn)行時(shí)間為1.68 s,耗時(shí)相對(duì)較短,因此本文K取50。
表2 不同K值下病害的識(shí)別準(zhǔn)確率Tab.2 Recognition accuracy of diseases under different K values
2.2.2葉片特征對(duì)識(shí)別準(zhǔn)確率的影響
本試驗(yàn)對(duì)檢測(cè)的病斑區(qū)域提取顏色特征、SIFT特征和2種特征的組合做了對(duì)比試驗(yàn)。試驗(yàn)中K取50,測(cè)試樣本和訓(xùn)練樣本與前文保持一致。表3給出了3種特征下病害的識(shí)別準(zhǔn)確率,通過對(duì)比表中3種病害,單一特征時(shí)病害的識(shí)別準(zhǔn)確率整體較低,采用SIFT+顏色特征組合時(shí)3種病害和健康葉片平均識(shí)別準(zhǔn)確率顯著提高,相比SIFT和顏色特征分別提高了13.37、5.64個(gè)百分點(diǎn)。顏色特征平均識(shí)別準(zhǔn)確率比SIFT特征高7.73個(gè)百分點(diǎn),表明顏色特征更能直觀表達(dá)病害信息,類別之間的區(qū)分度相對(duì)較好。對(duì)于3種病害,采用顏色特征后,早疫病和晚疫病識(shí)別準(zhǔn)確率分別為90.63%和88.41%,比炭疽病高19.16、16.94個(gè)百分點(diǎn),且早疫病識(shí)別準(zhǔn)確率比SIFT+顏色特征組合提高了1.01個(gè)百分點(diǎn),這是由于早疫病相對(duì)其他兩種病害顏色有明顯的差異性,通過顏色特征能夠正確判斷病害類型??傮w來看,在顏色特征中融合SIFT特征后,3種病害識(shí)別準(zhǔn)確率都得到了改善,尤其炭疽病提高顯著,表明在自然環(huán)境下,SIFT特征能夠降低病害亮度信息和拍攝角度旋轉(zhuǎn)變化所引起的識(shí)別誤差。
表3 3種特征下病害的識(shí)別準(zhǔn)確率Tab.3 Recognition accuracy of diseases under three features %
2.2.3光照條件對(duì)識(shí)別準(zhǔn)確率的影響
為驗(yàn)證本文病害識(shí)別方法對(duì)光照變化的適應(yīng)性,本文對(duì)自然環(huán)境和特定光照2種照明條件做了對(duì)比試驗(yàn),病害識(shí)別結(jié)果如表4所示。由表4可知,在復(fù)雜自然環(huán)境下3種病害及健康葉片的平均識(shí)別準(zhǔn)確率為84.16%,比特定光照降低了6.67個(gè)百分點(diǎn),原因是自然光照下病斑的顏色信息失真和病斑區(qū)域誤檢測(cè)增多,對(duì)病害的識(shí)別效果未能達(dá)到最優(yōu)??傮w表明,自然環(huán)境下3種病害的識(shí)別準(zhǔn)確率均不小于80.94%,說明本文方法能夠滿足自然環(huán)境下病害識(shí)別任務(wù),并且對(duì)光照變化具有一定的魯棒性。
表4 2種光照條件下病害的識(shí)別準(zhǔn)確率Tab.4 Recognition accuracy of diseases under two light conditions %
2.2.4不同方法的識(shí)別準(zhǔn)確率對(duì)比
為驗(yàn)證本文方法的有效性,與傳統(tǒng)詞袋法[26]進(jìn)行對(duì)比,試驗(yàn)結(jié)果如表5所示。傳統(tǒng)詞袋法直接在馬鈴薯病害葉片上提取顏色和紋理特征,2種光照條件下病害的平均識(shí)別準(zhǔn)確率分別為58.71%和86.48%,而本文方法平均識(shí)別準(zhǔn)確率分別為84.16%和90.83%,則說明本文方法對(duì)病害的識(shí)別性能優(yōu)于傳統(tǒng)詞袋法。在特定光照下本文方法平均識(shí)別準(zhǔn)確率僅比傳統(tǒng)詞袋法高4.35個(gè)百分點(diǎn),其原因在于該類樣本不同病害類型之間差異性較為明顯,直接從整體葉片提取特征,包含了病害的所有特征信息,并且樣本背景單一,不容易受到光照變化和外界因素的干擾,因而2種方法之間的識(shí)別準(zhǔn)確率相差較小。此外,在自然條件下傳統(tǒng)詞袋法對(duì)病害的平均識(shí)別準(zhǔn)確率只有58.71%,識(shí)別準(zhǔn)確率相對(duì)較低,比本文方法低了25.45個(gè)百分點(diǎn),可見本文方法對(duì)光照變化和復(fù)雜背景干擾具有較好的適應(yīng)性,能夠完成病害的有效識(shí)別,可滿足在自然條件下對(duì)馬鈴薯病害在線識(shí)別的要求。
表5 不同方法識(shí)別準(zhǔn)確率對(duì)比Tab.5 Contrast experiment results of different methods %
(1)對(duì)病斑區(qū)域的準(zhǔn)確檢測(cè)是完成病害識(shí)別的前提,本文提出一種基于Faster R-CNN的病斑檢測(cè)方法,利用遷移學(xué)習(xí)對(duì)病害小樣本進(jìn)行訓(xùn)練,能夠縮短訓(xùn)練時(shí)間,并且提高了模型的檢測(cè)精度。對(duì)AlexNet和VGG-16 2種不同深度的特征提取網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn),其中VGG-16特征提取網(wǎng)絡(luò)的病害平均檢出率為95.06%,檢測(cè)框平均精度為84.63%,病斑檢測(cè)的準(zhǔn)確性優(yōu)于AlexNet網(wǎng)絡(luò),結(jié)果表明,基于VGG-16網(wǎng)絡(luò)的Faster R-CNN算法能夠?qū)崿F(xiàn)對(duì)病斑區(qū)域的快速、準(zhǔn)確檢測(cè),但對(duì)一些較小的病害目標(biāo)存在漏檢測(cè)。
(2)為克服病害類型的多樣性和光照變化對(duì)病害識(shí)別精度的影響,采用顏色特征和SIFT特征組成的混合特征,并通過特征聚類方法構(gòu)建復(fù)合字典,能夠有效降低特征空間維數(shù),提高病害的識(shí)別能力。試驗(yàn)結(jié)果表明,視覺特征單詞量K=50時(shí),對(duì)3種病害的平均識(shí)別準(zhǔn)確率最高,且平均耗時(shí)最短;本文方法在特定光照條件和自然環(huán)境下對(duì)病害的平均識(shí)別準(zhǔn)確率分別為90.83%和84.16%,識(shí)別效果均優(yōu)于傳統(tǒng)詞袋法,表明該方法對(duì)自然環(huán)境下馬鈴薯病害葉片的識(shí)別是可行的。