陳桂芬 趙姍 曹麗英 傅思維 周佳鑫
摘? ?要:大數(shù)據(jù)背景下產(chǎn)生了海量圖像數(shù)據(jù),傳統(tǒng)的圖像識別方法識別玉米植株病害準(zhǔn)確率較低,已遠(yuǎn)遠(yuǎn)不能滿足需求。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)中的常用算法被廣泛用于處理機器視覺問題,能自動識別和提取圖像特征。因此,本研究提出一種基于數(shù)據(jù)增強與遷移學(xué)習(xí)相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)識別玉米植株病害模型。該算法首先通過數(shù)據(jù)增強方法增加數(shù)據(jù),以提高模型的泛化性和準(zhǔn)確率;再構(gòu)建基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型,引入該模型的訓(xùn)練方式,提取病害圖片特征,加速卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,降低網(wǎng)絡(luò)的過擬合程度;最后將該模型運用到從農(nóng)田采集的玉米病害圖片,進行玉米病害的精確識別。識別試驗結(jié)果表明:使用數(shù)據(jù)增強與遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化算法對玉米主要病害(玉米大斑病、小斑病、灰斑病、黑穗病及瘤黑粉?。┑钠骄R別準(zhǔn)確度達(dá)96.6%,和單一的卷積神經(jīng)網(wǎng)絡(luò)相比,精度提高了25.6%,處理每張圖片時間為0.28s,比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)縮短了將近10倍。本算法的精確度和訓(xùn)練速度上比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)有明顯提高,為玉米等農(nóng)作物植株病害的識別提供了新方法。
關(guān)鍵詞:深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);遷移學(xué)習(xí);數(shù)據(jù)增強;玉米病害識別
中圖分類號:S-3? ? ? ? ? ? ? ? ? 文獻標(biāo)志碼:A? ? ? ? ? ? ?文章編號:201812-SA007
陳桂芬,趙? 姍,曹麗英,傅思維,周佳鑫. 基于遷移學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的玉米植株病害識別[J]. 智慧農(nóng)業(yè), 2019, 1(2): 34-44.
Chen G, Zhao S, Cao L, Fu S, Zhou J. Corn plant disease recognition based on migration learning and convolutional neural network [J]. Smart Agriculture, 2019, 1(2): 34-44. (in Chinese with English abstract)
1? 引言
玉米是我國重要的糧食作物之一,發(fā)生病害會造成嚴(yán)重減產(chǎn),因此,玉米病害診治是玉米生產(chǎn)中的重要環(huán)節(jié)。而玉米病害種類繁多,多由真菌、細(xì)菌、病毒引起[1],如果僅靠人肉眼觀察及經(jīng)驗判斷容易發(fā)生誤診,耗時、費力和耗材且玉米病害得不到及時診治,導(dǎo)致玉米生產(chǎn)效率很低。隨著計算機技術(shù)的不斷發(fā)展,利用圖像識別技術(shù)進行病害診斷檢測,己成為農(nóng)作物病害診斷檢測的重要研究方向[2]。
國內(nèi)外學(xué)者在利用圖像識別技術(shù)診斷檢測病害方面開展了部分研究。譚峰等[3]通過計算植株色度值,建立多層BP神經(jīng)網(wǎng)絡(luò)模型,實現(xiàn)了大豆植株的病害識別;田有文等[4]通過提取葡萄病葉的顏色與紋理特征,利用支持向量機(Support Vector Machine,SVM)識別的方法取得了比神經(jīng)網(wǎng)絡(luò)識別更好的效果;王獻鋒等[5]提取植株病斑顏色、形狀、紋理等特征,結(jié)合環(huán)境信息,利用判別分析法,成功識別黃瓜病斑類別;Zhang
等[6]將斑點分割之后再提取病斑的顏色、形狀和紋理特征,然后通過K最近鄰(K-Nearest Neighbor, KNN)分類算法對5種玉米植株進行識別,準(zhǔn)確率達(dá)90.3%;付立思等[7]基于不變矩陣?yán)碚?,對玉米病害圖像進行二值化、圖像歸一化處理,提出一種具有較好逼近能力和較強容錯能力的RBF-BP神經(jīng)網(wǎng)絡(luò)識別系統(tǒng),實現(xiàn)了對玉米病害識別。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,目前興起的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)能夠不依賴特定特征實現(xiàn)圖像識別,在圖像識別領(lǐng)域已經(jīng)得到廣泛應(yīng)用。2012年,著名生物制藥公司默克將深度學(xué)習(xí)應(yīng)用于解決分子藥性預(yù)測問題,從各種分子中提取了極有可能形成藥物的分子,達(dá)到了業(yè)內(nèi)最優(yōu)化成果;Google Brain 的1600多個處理器群建立了具有10億個自主學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型,在搜索關(guān)鍵字、圖片等概念體系實現(xiàn)自動歸納功能,并且識別圖像的精確率相比上一代系統(tǒng)提升一倍多[8]。近年來,農(nóng)業(yè)領(lǐng)域越來越多學(xué)者將CNN運用到植物植株病害識別中,并證明了CNN識別植物植株病害是可行的,如孫俊等[9]使用一種基于改進的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對多種植物葉片病害的識別,平均識別率達(dá)99.56%。
但CNN在處理圖像分類時仍存在過程中數(shù)據(jù)集樣本數(shù)較少、樣本相似度較高,且訓(xùn)練收斂時間長等問題[10,11]。深度學(xué)習(xí)存在表達(dá)能力與缺乏反饋機制的局限性,而數(shù)據(jù)增強和遷移學(xué)習(xí)能夠解決相應(yīng)的問題,因此,本研究提出一種基于數(shù)據(jù)增強與遷移學(xué)習(xí)相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)識別模型方法,選取危害玉米產(chǎn)量的主要五種病害圖片集進行訓(xùn)練與測試,并與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對玉米植株病害識別結(jié)果進行比較分析,結(jié)果表明基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)識別方法較傳統(tǒng)方法識別精度高、速度快,為玉米等農(nóng)作物植株病害的識別提供了新方法。
2? 研究數(shù)據(jù)
本研究所在區(qū)域為國家“863”項目示范基地——吉林省榆樹市弓棚鎮(zhèn)十三號村的玉米農(nóng)用田。榆樹市是吉林省重要的商品糧基地之一,屬長白山前臺地平原區(qū),屬于黑鈣土質(zhì),主產(chǎn)作物是玉米和大豆等,地勢東南高、西北低,東南向西北傾斜,海拔為157~220m;基地處于東經(jīng)126°01′44″~127°05′09″,北緯44°30′57″~45°15′02″,屬東北地區(qū)季風(fēng)性中溫帶半濕潤氣候,年均降水為500~700mm,雨熱同期,日照較長,有利于玉米作物生長。
本試驗數(shù)據(jù)集為大田環(huán)境中通過Nikon COOL PIX5700型數(shù)碼相機拍攝的玉米生長期造成玉米減產(chǎn)的五種主要病害(玉米大斑病、小斑病、灰斑病、黑穗病及瘤黑粉病)的圖像(像素分辨率:2560×1920),以JPG格式傳入計算機。圖像經(jīng)過預(yù)處理,轉(zhuǎn)換成640×480像素分辨率,共計93張。采集的這些病害癥狀集中在玉米葉片和果穗中,且發(fā)病部位與正常葉面有明顯區(qū)別,即正常葉面呈綠色或深綠色,而病灶部位則呈黃褐色或暗褐色,病斑形狀為圓形、橢圓形、矩形或梭形不等[12]。
玉米大斑病主要發(fā)病癥狀:梭型病斑,病斑一般長5~10cm,寬1~2cm,有時可長達(dá)20cm以上,寬可超過3cm,如圖1所示。
玉米小斑病主要發(fā)病癥狀:病斑橢圓形、圓形,大小為(5~10mm)×(3~4mm),病斑密集時常互相連接成片,形成較大枯斑(圖2)。
玉米灰斑病主要發(fā)病癥狀:矩形病斑,病斑大小為(2~4cm)×(1~6mm)[13](圖3)。
玉米黑穗病主要發(fā)病病癥:害果穗,形成“灰包”,病株一般矮小,病果穗短,基部大,頂端尖(圖4)。
玉米瘤黑粉病主要發(fā)病病癥:瘤黑粉病最初時病瘤外表為白色或灰白色薄膜,內(nèi)部幼嫩時為肉質(zhì),白色瘤內(nèi)部為白色,以后瘤內(nèi)充滿黑粉,在外膜破裂后散出(圖5)。
3? 研究理論及方法
3.1? 卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)CNN是一個多層深度網(wǎng)絡(luò),在圖像識別中非常有效,CNN模型中的最低層的輸入數(shù)據(jù)可以是圖像中的一個小區(qū)域;然后,利用卷積運算卷積得到每一層的代表性特征。CNN的深層結(jié)構(gòu)可以層層抽取圖像特征,網(wǎng)絡(luò)自動提取特征替代了傳統(tǒng)的特征提取方法[14]。同時,CNN的權(quán)值共享能夠計算得到圖像平移的不變性質(zhì)。即使圖像被平移和縮放,CNN也能夠處理包含重要特征的觀測數(shù)據(jù)。因此,CNN是圖像識別中非常重要而有效的方法。CNN主要包括一個或者多個卷積層和池化層,卷積層的神經(jīng)元和前一層采用局部連接和權(quán)值共享的方式進行連接,從而大大降低了需要訓(xùn)練的參數(shù)數(shù)量。池化層可以大幅降低輸入維度,降低網(wǎng)絡(luò)復(fù)雜度,使網(wǎng)絡(luò)具有更高的魯棒性[15]。CNN結(jié)構(gòu)如圖6所示。
輸入圖像,通過三個可訓(xùn)練的濾波器和可加偏置進行卷積,卷積后在C1層產(chǎn)生映射圖,然后特征映射圖中每組的四個像素再進行求和、加權(quán)值、加偏置,通過一個Sigmoid函數(shù)(公式1)得到P2層的特征映射圖[16],
(1)
映射圖再進過濾波得到C3層。這個層級結(jié)構(gòu)再和C3一樣產(chǎn)生P4。最終,這些像素值被光柵化,并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò),得到輸出。網(wǎng)絡(luò)的每個計算層由多個特征映射組成,每個特征映射為一個平面,平面上所有神經(jīng)元的權(quán)值相等[17],如公式2所示:
(2)
其中,xi表示輸入,n個輸入信號同時輸入神經(jīng)元j;wij表示輸入信號與神經(jīng)元之連接的權(quán)重值;bj表示偏置值;yj為神經(jīng)元輸出;f (*)為激勵函數(shù)[18]。
在病害識別中,CNN根據(jù)它結(jié)構(gòu)上的特征,盡可能保留重要的參數(shù),除去大量不重要的參數(shù),來提高學(xué)習(xí)效果,使CNN具有一定程度上的平移、放縮和扭曲不變性[19]。
在圖像數(shù)據(jù)通過卷積層之后,通常會使用一個激活層。其目的是給一個在卷積層中剛經(jīng)過線性計算操作的系統(tǒng)引入非線性特征。與雙曲正切和Sigmoid函數(shù)這樣的非線性方程相比,研究者發(fā)現(xiàn)ReLU(Rectification Linear Unit)函數(shù)效果要更好,它對模型收斂有著巨大的加速作用,對梯度消失的問題也有幫助。
ReLU函數(shù)為線性修正函數(shù),作用是保證訓(xùn)練后的網(wǎng)絡(luò)完全具備稀疏性。定義為:
ReLU(x)=max(0,x)? ? ? ? ? (3)
最后池化層通過對不同位置的特征進行聚合統(tǒng)計,計算圖像一個區(qū)域上的某個特定特征的平均值或最大值。
3.2? 改進的卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建
3.2.1? 技術(shù)路線
深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域,它模仿人腦的機制來解釋數(shù)據(jù)。例如圖像、聲音和文本。CNN作為深度學(xué)習(xí)技術(shù)的一個代表,近年來取得了飛速的發(fā)展[20]。CNN的結(jié)構(gòu)組成具有較強的層次相關(guān)性和空間相關(guān)性來滿足在圖像識別分類領(lǐng)域的高要求,最為便捷的優(yōu)勢在于可以自主的提取圖像的特征用來訓(xùn)練學(xué)習(xí)[21]。
為解決模型收斂時間長和樣本相似性大的問題,本研究在傳統(tǒng)CNN的基礎(chǔ)上做了以下兩個方面的改進:1)采用遷移學(xué)習(xí)的訓(xùn)練方式,加速CNN的訓(xùn)練過程,降低網(wǎng)絡(luò)的過擬合程度;2)采用數(shù)據(jù)增強的方法增強模型的泛化性。其技術(shù)路線如圖7所示。
主要過程如下:采用數(shù)據(jù)增強方法中的隨機剪裁、隨機旋轉(zhuǎn)、隨機顏色及明暗的方式來擴充數(shù)據(jù);采用Inception V3模型,保持參數(shù)不變,提取出病害圖像特征;將提取到的圖像特征作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,對網(wǎng)絡(luò)進行訓(xùn)練,最后得到識別結(jié)果。
3.2.2? ?數(shù)據(jù)增強
CNN需要優(yōu)化提高深度學(xué)習(xí)模型泛化能力,最好的辦法是使用更多的數(shù)據(jù)進行訓(xùn)練[22],數(shù)據(jù)增強對對象識別這一類問題是一種特別有效的辦法。因為圖像是高維的,比如100×100像素的圖像,對應(yīng)的是10000維的高維空間。即使模型已經(jīng)使用了卷積和池化技術(shù)對部分平移保持不變,沿訓(xùn)練圖像每個方向平移幾個像素的操作通??梢源蟠蟾纳品夯痆23]。本研究利用隨機剪裁、隨機旋轉(zhuǎn)、隨機顏色和明暗四種方法對數(shù)據(jù)進行轉(zhuǎn)換,獲得了更多的訓(xùn)練樣本。
3.2.3? 遷移學(xué)習(xí)
遷移學(xué)習(xí)是指遷移預(yù)訓(xùn)練的CNN模型到其它數(shù)據(jù)集,并重新學(xué)習(xí)目標(biāo)集特征的方法[24]。遷移學(xué)習(xí)考慮到大部分?jǐn)?shù)據(jù)和任務(wù)具有相關(guān)性,使用其他大批量數(shù)據(jù)訓(xùn)練得到的模型用來訓(xùn)練新數(shù)據(jù)[25],從而減少訓(xùn)練步驟,縮短訓(xùn)練時間,增加數(shù)據(jù)量,這樣降低了過擬合程度。為了訓(xùn)練過后能在目標(biāo)數(shù)據(jù)集上取得良好的分類效果,傳統(tǒng)的機器學(xué)習(xí)方法要求訓(xùn)練集和測試集具有相同的特征空間和數(shù)據(jù)分布,遷移學(xué)習(xí)概念的提出很好地解決了訓(xùn)練樣本缺失所導(dǎo)致的局部最優(yōu)解和過擬合等問題[26]。遷移學(xué)習(xí)流程如圖8所示。
遷移學(xué)習(xí)過程,一般就是要將從源領(lǐng)域(Source Domain)(圖8中任務(wù)A)中學(xué)習(xí)到的東西應(yīng)用到目標(biāo)領(lǐng)域(Target Domain)(圖8中任務(wù)B)上去。
大規(guī)模數(shù)據(jù)集ImageNet上與訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)泛化能力強,可有效進行圖像數(shù)據(jù)集的分類與識別[27]。Inception V3模型通過ImageNet訓(xùn)練,其包含信息可識別1000個種類,Inception V3模型結(jié)構(gòu)如圖9所示[28]:
為了解決標(biāo)注數(shù)據(jù)和訓(xùn)練時間的問題,本研究將ImageNet上訓(xùn)練好的Inception V3模型轉(zhuǎn)移到玉米病害識別的數(shù)據(jù)集上[29]。保留訓(xùn)練好的Inception V3模型中所有卷積層的參數(shù),并利用此訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)提取玉米病害植株圖像特征,再將提取得到的特征向量作為輸入來訓(xùn)練一個新的全連接神經(jīng)網(wǎng)絡(luò),處理病害識別問題。利用Inception model 進行對玉米病害圖像進行處理,其結(jié)構(gòu)如圖10所示。
Inception model將n×n的卷積變?yōu)閚×1和1×n兩個卷積,例如一個3×3的卷積等價于首先執(zhí)行一個1×3的卷積再執(zhí)行3×1的卷積,將卷積層逐步分解開,最后通過池化層。使用該模型可提升計算速度,減少計算成本。
3.3? 玉米病害識別模型訓(xùn)練
3.3.1? 試驗環(huán)境
試驗軟件環(huán)境為Windows 32位系統(tǒng),采用Tensorflow框架進行訓(xùn)練,選用Python作為編程語言。計算機內(nèi)存為16GB,搭載Intel? CoreTM
i7-6700KCPU @4.00 GHz x8處理器。
3.3.2? 試驗參數(shù)設(shè)置
將采集的玉米病害植株圖像劃分為三個部分,其中訓(xùn)練數(shù)據(jù)占80%,驗證數(shù)據(jù)占10%,測試數(shù)據(jù)占10%。本研究采用AlexNet結(jié)構(gòu),設(shè)置初始學(xué)習(xí)率為 0.01,將7×7的卷積分解成為兩個一維的卷積(1×7,7×1),這樣既可以加速模型計算,又可以將1個卷積拆成2個卷積,增加了網(wǎng)絡(luò)的深度和非線性能力。使用RelU作為激勵層以達(dá)到減少運算量和數(shù)據(jù)維度的目的。
4? 結(jié)果與分析
4.1? 玉米植株病變圖像處理結(jié)果
本試驗數(shù)據(jù)采集了玉米常見的大斑病、小斑病、玉米灰斑病、黑穗病和瘤黑粉病等五種病害植株圖像。在深度學(xué)習(xí)中,為避免由于數(shù)據(jù)量小出現(xiàn)過度擬合(Overfitting),通常需要輸入充足的數(shù)據(jù)量。若數(shù)據(jù)量比較小,可以對原有的圖像數(shù)據(jù)進行幾何變換,改變圖像像素的位置并保證特征不變?;谶@一原理,我們使用Python中語義分割任務(wù)對圖片進行增強變換,通過隨機剪裁、隨機旋轉(zhuǎn)、隨機顏色和明暗四種方法對采集的玉米植株病害圖片進行數(shù)據(jù)增強,處理后的圖片如圖11所示。
通過圖11可看出,通過隨機剪裁、隨機旋轉(zhuǎn)、隨機顏色和明暗四種方式,將玉米植株大斑病圖像進行了擴充,可提高模型的魯棒性。
4.2? 數(shù)據(jù)增強對識別準(zhǔn)確率的影響結(jié)果
數(shù)據(jù)增強處理過程如下。
1)導(dǎo)入數(shù)據(jù);
2)通過Inception V3模型進行訓(xùn)練,得到各個圖片的特征向量;
3)建立全連接神經(jīng)網(wǎng)絡(luò),把各個圖片的特征向量作為輸入,使用交叉熵作為優(yōu)化的目標(biāo)函數(shù);
4)觀察目標(biāo)函數(shù)及驗證集準(zhǔn)確率,測試模型穩(wěn)定的迭代周期;
5)根據(jù)穩(wěn)定的模型,獲得測試訓(xùn)練集的準(zhǔn)確率。
本次試驗對比數(shù)據(jù)增強前后的準(zhǔn)確率,分兩次進行模型訓(xùn)練,表1給出了原始的玉米植株病變圖像數(shù)據(jù)集和增強后的玉米植株病變圖像數(shù)據(jù)集并對它們進行性能比較。
由表1可看出,玉米植株病變圖像數(shù)據(jù)集數(shù)據(jù)量從93張增加到4604張,數(shù)據(jù)增強后精度由71%上升到96.6%,試驗結(jié)果表明數(shù)據(jù)增強對玉米植株圖像識別的效果有很重要的影響,這與孫俊等人的研究結(jié)果趨勢一致[2]。
為了達(dá)到比較準(zhǔn)確的效果,本研究分別將兩個模型進行4000次迭代,將改進后的最優(yōu)模型原始的模型進行準(zhǔn)確率的比較,迭代次數(shù)與測試準(zhǔn)確率關(guān)系如圖12所示。
從圖12中可以清楚地看到,2個模型訓(xùn)練迭代4000次后,傳統(tǒng)CNN準(zhǔn)確率在迭代3500次后較為穩(wěn)定,在71%左右,而改進后的CNN模型準(zhǔn)確率在迭代200次后趨于穩(wěn)定,能達(dá)到96%左右,證明了改進后模型在穩(wěn)定性與準(zhǔn)確率上較傳統(tǒng)CNN都有明顯提升。
4.3? 遷移學(xué)習(xí)訓(xùn)練對速度的影響結(jié)果
通過遷移學(xué)習(xí)的方法,首先利用互聯(lián)網(wǎng)上的大型公共圖像數(shù)據(jù)集對深度網(wǎng)絡(luò)進行預(yù)訓(xùn)練,將其在ImageNet上進行預(yù)訓(xùn)練的權(quán)重,遷移至新網(wǎng)絡(luò)對應(yīng)部分使用CNN提取出的特征,在新設(shè)計的網(wǎng)絡(luò)層上進行訓(xùn)練,訓(xùn)練性能達(dá)到最佳時,停止訓(xùn)練。文中將ImageNet上訓(xùn)練好的Inception V3模型轉(zhuǎn)移到玉米植株病害識別的數(shù)據(jù)集上。保留訓(xùn)練好的Inception V3模型中所有卷積層的參數(shù),并利用此訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)提取玉米植株圖像特征,再將提取得到的特征向量作為輸入來訓(xùn)練一個新的全連接神經(jīng)網(wǎng)絡(luò)。試驗結(jié)果如表1所示??闯鰧Ρ葌鹘y(tǒng)深度學(xué)習(xí),通過遷移學(xué)習(xí)使用預(yù)先訓(xùn)練好的參數(shù)權(quán)重,減少了訓(xùn)練時間,提高了玉米植株病害的識別效率,改進模型的處理速率比傳統(tǒng)模型快2.46s/張,速率是之前的將近10倍。
5? 結(jié)論
本研究使用一種改進的卷積神經(jīng)網(wǎng)絡(luò)算法,將數(shù)據(jù)增強與遷移學(xué)習(xí)相結(jié)合,通過隨機剪裁、隨機旋轉(zhuǎn)、隨機顏色和明暗4種數(shù)據(jù)增強方法增加訓(xùn)練數(shù)據(jù)集,采用Inception V3模型進行訓(xùn)練圖片的特征向量,建立以特征向量為輸入,交叉熵為優(yōu)化目標(biāo)函數(shù)的全連接神經(jīng)網(wǎng)絡(luò),提高了模型訓(xùn)練速度,取得了理想的效果。
構(gòu)建了基于數(shù)據(jù)增強與遷移學(xué)習(xí)相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)識別模型,該模型避免了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)分類易陷入局部最優(yōu)解和由于數(shù)據(jù)量小而出現(xiàn)過度擬合的問題,無需人工特征預(yù)選取操作即可讓網(wǎng)絡(luò)自動對玉米植株病變圖像目標(biāo)進行類別特征學(xué)習(xí)并識別。改進的模型在玉米植株病變圖像識別上,準(zhǔn)確率高達(dá)96.6%,且模型識別時間比傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型縮短將近10倍,滿足了玉米植株病害識別的實際應(yīng)用,提高了實驗的魯棒性。
改進的卷積神經(jīng)網(wǎng)絡(luò)不僅可應(yīng)用在玉米等植株病害數(shù)碼圖片的識別上,還可應(yīng)用于遙感影像,尤其是高光譜圖像植株病害的識別中,在農(nóng)業(yè)領(lǐng)域具有廣闊的應(yīng)用前景。
參考文獻
[1]? ?王曉鳴. 六種重要玉米病害病原名稱的厘定[J].中國農(nóng)業(yè)科學(xué), 2018, 51(18): 3497-3507.
Wang X. Collation of scientific names of six maize disease pathogens. [J]. Scientia Agricultura Sinica, 2018, 51(18): 3497-3507.
[2]? ?付立思, 何榮卜, 劉朋維. 一種新的不變矩與神經(jīng)網(wǎng)絡(luò)玉米病害識別系統(tǒng)[J]. 計算機工程與應(yīng)用, 2012, 48(04): 219-221.
Fu L, He R, Liu P. New system about moment invariant and neural network used in maize disease recognition[J]. Computer Engineering and Applications, 2012, 48(04): 219-221.
[3]? ?譚峰, 馬曉丹. 基于葉片的植物病蟲害識別方法[J].農(nóng)機化研究, 2009, 31(06): 41-43.
Tan F, Ma X. The method of recognition of damage by disease and insect based on laminae [J]. Journal of Agricultural Mechanization Research, 2009, 31(06): 41-43.
[4]? ?田有文. 基于紋理特征和支持向量機的葡萄病害的識別[J]. 儀器儀表學(xué)報, 2005(S1): 606-608.
Tian Y. A method of recognizing grape disease based on texture feature and support vector machine[J]. Chinese Journal of Scientific Instrument, 2005(S1): 606-608.
[5]? ?王獻鋒, 張善文, 孔韋韋. 基于自適應(yīng)中心對稱局部二值模式的作物病害識別方法[J]. 廣東農(nóng)業(yè)科學(xué), 2016, 43(09): 140-145.
Wang X, Zhang S, Kong W. Adaptive center-symmetric local binary patterns for crop disease recognition[J]. Guangdong Agricultural Sciences, 2016, 43(09): 140-145.
[6]? ?Zhang S, Shang Y, Wang L. Plant disease recognition based on plant leaf image[J]. Journal of Animal and Plant Sciences, 2015, 25(3): 42-45.
[7]? ?付立思, 何榮卜, 劉朋維. 一種新的不變矩與神經(jīng)網(wǎng)絡(luò)玉米病害識別系統(tǒng)[J]. 計算機工程與應(yīng)用, 2012, 48(04): 219-221.
Fu L, He R, Liu P. New system about moment invariant and neural network used in maize disease recognition[J]. Computer Engineering and Applications, 2012, 48(04): 219-221.
[8]? ?馬宗帥. 基于深度學(xué)習(xí)的心腦血管疾病預(yù)測方法研究[D]. 西安: 西安建筑科技大學(xué), 2015.
Ma Z. Research on cardiovascular disease prediction based on Deep Learning technical[D]. Xi’an: Xi’an University of Architecture and Technology, 2015.
[9]? ?孫俊, 譚文軍, 毛罕平. 基于改進卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識別[J]. 農(nóng)業(yè)工程學(xué)報, 2017, 33(19): 209-215.
Sun J, Tan W, Mao H. Recognition of multiple plant leaf diseases based on? improved convolutional neural network [J]. Transactions of the CSAE, 2017, 33(19): 209-
215.
[10]? 李敬. 基于卷積神經(jīng)網(wǎng)絡(luò)的煙草病害自動識別研究[D]. 泰安: 山東農(nóng)業(yè)大學(xué), 2016.
Li J. Automatci identification research of tobacco disease based on convolutional neural network[D]. Tai'an: Shandong Agricultural University, 2016.
[11]? 鄧立苗, 唐俊, 馬文杰. 基于圖像處理的玉米葉片特征提取與識別系統(tǒng)[J]. 中國農(nóng)機化學(xué)報, 2014, 35(06): 72-75, 79.
Deng L, Tang J, Ma W. Feature extraction and recognition system of maize leaf based on image processing[J]. Journal of Chinese Agricultural Mechanization, 2014, 35(06): 72-75, 79.
[12]? 王振, 高茂庭. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法設(shè)計與實現(xiàn)[J]. 現(xiàn)代計算機(專業(yè)版), 2015(20): 61-66.
Wang Z, Gao M. Design and implementation of image recognition algorithm based on convolutional neural networks [J]. Modern Computer, 2015(20): 61-66.
[13]? 曹麗英, 張曉賢, 傘曉輝, 等. 基于圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)算法的玉米病害診斷方法的研究[J]. 計算機科學(xué), 2012, 39(10): 300-302.
Cao L, Zhang X, San X, et al. Research on maize disease diagnosis method based on image processing technique and BP neural network algorithm[J]. Computer Science, 2012, 39(10): 300-302.
[14]? 羅建華, 李明奇, 鄭澤忠, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的高光譜遙感圖像分類[J]. 西華大學(xué)學(xué)報(自然科學(xué)版), 2017, 36(04): 13-20.
Luo J, Li M, Zheng Z, et al. Hyperspectral remote sensing images classification using a deep convolutional neural network model [J]. Journal of Xihua University(Natural Science Edition), 2017, 36(04): 13-20.
[15]? 石祥濱, 房雪鍵, 張德園, 等. 基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]. 系統(tǒng)仿真學(xué)報, 2016, 28(01): 167-173, 182.
Shi X, Fang X, Zhang D, et al. Image classification based on mixed deep learning model transfer learning [J]. Journal of System Simulation, 2016, 28(01): 167-173, 182.
[16]? 李彥冬, 郝宗波, 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機應(yīng)用, 2016, 36(09): 2508-2515, 2565.
Li Y, Hao, Lei H. Survey of convolutional neural network [J]. Journal of Computer Applications, 2016, 36(09): 2508-2515, 2565.
[17]? 石祥濱, 房雪鍵, 張德園, 等. 基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]. 系統(tǒng)仿真學(xué)報, 2016, 28(01): 167-173, 182.
Shi X, Fang X, Zhang D, et al. Image classification based on mixed deep learning model transfer learning [J]. Journal of System Simulation, 2016, 28(01): 167-173, 182.
[18]? 周飛燕, 金林鵬, 董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機學(xué)報, 2017, 40(06): 1229-1251.
Zhou F, Jin L, Dong J. Review of convolutional neural network [J]. Chinese Journal of Computers, 2017, 40(06): 1229-1251.
[19]? 王振, 高茂庭. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法設(shè)計與實現(xiàn)[J]. 現(xiàn)代計算機(專業(yè)版), 2015(20): 61-66.
Wang Z, Gao M. Design and implementation of image recognition algorithm based on convolutional neural networks [J]. Modern Computer, 2015(20): 61-66.
[20]? 蔣帥. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別[D]. 長春: 吉林大學(xué), 2017.
Jiang S. Image recongnition based on convolution neural networks[D]. Changchun: Jilin University, 2017.
[21]? 張帥, 淮永建. 基于分層卷積深度學(xué)習(xí)系統(tǒng)的植物葉片識別研究[J]. 北京林業(yè)大學(xué)報, 2016, 38(09): 108-115.
Zhang S, Huai Y. Leaf image recognition based on layered convolutions neural network deep learning[J]. Journal of Beijing Forestry University, 2016, 38(09): 108-115.
[22]? 王獻鋒, 張善文, 王震, 等. 基于葉片圖像和環(huán)境信息的黃瓜病害識別方法[J]. 農(nóng)業(yè)工程學(xué)報, 2014, 30(14): 148-153.
Wang X, Zhang S, Wang Z, et al. Recognition of cucumber diseases based on leaf image and environmental information [J]. Transactions of the CSAE 2014, 30(14):
148-153.
[23]? 高友文, 周本君, 胡曉飛. 基于數(shù)據(jù)增強的卷積神經(jīng)網(wǎng)絡(luò)圖像識別研究[J]. 計算機技術(shù)與發(fā)展, 2018(08): 1-6.
Gao Y, Zhou B, Hu X. Research on image recognition of convolution neural network based on data enhancement[J]. Computer Technology and Development, 2018(08): 1-6.
[24]? 褚晶輝, 吳澤蕤, 呂衛(wèi), 等. 基于遷移學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)的乳腺腫瘤診斷系統(tǒng)[J]. 激光與光電子學(xué)進展, 2018, 55(8): 081001, 1-12.
Chu J, Wu Z, Lv W, et al. Breast cancer diagnosis system based on transfer learning and deep convolutional neural networks[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081001, 1-12.
[25]? 米碩, 孫瑞彬, 李欣, 等. 遷移學(xué)習(xí)在卷積神經(jīng)網(wǎng)絡(luò)中的應(yīng)用[J]. 中國新通信, 2018, 20(07): 121.
Mi S, Sun R, Li X, et al. The application of transfer learning in convolution neural network [J]. China New Telecommunications, 2018, 20(07): 121.
[26]? 魯恒, 付蕭, 賀一楠, 等. 基于遷移學(xué)習(xí)的無人機影像耕地信息提取方法[J]. 農(nóng)業(yè)機械學(xué)報, 2015, 46(12): 274-279, 284.
Lu H, Fu X, He Y, et al. Cultivated land information extraction from high resolution UAV images based on transfer learning [J]. Transactions of the CSAM, 2015,
46(12): 274-279, 284.
[27]? Oquab M, Bottou L, Laptev I. Learning and transferring mid-level image representation using convolutional neural network[C]. The 27th IEEE conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014.
[28]? 林宇, 陳曉勇.基于inception v3模型的道路交通標(biāo)志識別研究[J]. 江西科學(xué), 2018, 36(05): 849-852.
Lin Y, Chen X. Inception-v3 for road traffic signs recognition [J]. Jiangxi Science, 2018, 36(05): 849-852.
[29]? 宋光慧. 基于遷移學(xué)習(xí)與深度卷積特征的圖像標(biāo)注方法研究[D]. 杭州: 浙江大學(xué), 2017.
Song G. Image annotation method based on transfer learning and deep convolutional feature[D]. Hangzhou: Zhejiang University, 2017.
Corn plant disease recognition based on migration learning
and convolutional neural network
Guifen Chen*, Shan Zhao, Liying Cao, Siwei Fu, Jiaxin Zhou
(School of Information Technology, Jilin Agricultural University, Changchun, 130118, China)
Abstract: Corn is one of the most important food crops in China, and the occurrence of disease will result in serious yield reduction. Therefore, the diagnosis and treatment of corn disease is an important link in corn production. Under the background of big data, massive image data are generated. The traditional image recognition method has a low accuracy in identifying corn plant diseases, which is far from meeting the needs. With the development of artificial intelligence and deep learning, convolutional neural network, as a common algorithm in deep learning, is widely used to deal with machine vision problems. It can automatically identify and extract image features. However, in image classification, CNN still has problems such as small sample size, high sample similarity and long training convergence time. CNN has the limitations of expression ability and lack of feedback mechanism, and data enhancement and transfer learning can solve the corresponding problems. Therefore, this research proposed an optimization algorithm for corn plant disease recognition based on the convolution neural network recognition model combining data enhancement and transfer learning. Firstly, the algorithm preprocessed the data through the data enhancement method to expand the data set, so as to improve the generalization and accuracy of the model. Then, the CNN model based on transfer learning was constructed. The Inception V3 model was adopted through transfer learning to extract the image characteristics of the disease while keeping the parameters unchanged. In this way, the training process of the convolutional neural network was accelerated and the over-fitting degree of the network was reduced. The extracted image features were used as input of the CNN to train the network, and finally the recognition results were obtained. Finally, the model was applied to the pictures of corn diseases collected from the farmland to accurately identify five kinds of corn diseases. Identification test results showed that using data to enhance the CNN optimization algorithm and the migration study on the average recognition accuracy main diseases of com (spot, southern leaf blight, gray leaf spot, smut, gall smut) reached 96.6%, which compared with single CNN, has greatly improved the precision and identification precision by 25.6% on average. The average processing time of each image was 0.28 s,? shortens nearly 10 times than a single convolution neural network. The experimental results show that the algorithm is more accurate and faster than the traditional CNN, which provides a new method for identification of corn plant diseases.
Key words: deep learning; convolutional neural network; transfer learning; data enhancement; identification of corn disease