張領(lǐng)先 陳運強 李云霞 馬浚誠 杜克明

(1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 北京 100083； 2.中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)環(huán)境與可持續(xù)發(fā)展研究所， 北京 100081)

0 引言

產(chǎn)量預(yù)測是冬小麥生產(chǎn)管理的重要環(huán)節(jié)之一，準(zhǔn)確的產(chǎn)量預(yù)測可以為農(nóng)業(yè)管理決策提供參考[1-2]。單位面積麥穗數(shù)是表征冬小麥產(chǎn)量的常用指標(biāo)之一[3]，快速、準(zhǔn)確地識別麥穗并檢測單位面積穗數(shù)，不僅對估產(chǎn)起著重要的作用，在育種、植物表型分析等方面也有重要意義。傳統(tǒng)的人工計數(shù)方法不僅時效性差，而且主觀性較高，缺乏統(tǒng)一的麥穗計數(shù)標(biāo)準(zhǔn)[3]。

計算機視覺是目前麥穗識別和檢測計數(shù)的主要技術(shù)手段，利用冬小麥RGB圖像，獲取麥穗的顏色[4-6]、紋理[4-5]和形狀[6]特征，通過機器學(xué)習(xí)方法建立麥穗識別分類器，從而實現(xiàn)麥穗識別和檢測計數(shù)。雖然這些方法取得了一定的效果，但需要人為設(shè)置圖像特征，對大田環(huán)境下光照不均勻和復(fù)雜背景等噪聲的魯棒性不足，難以拓展應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)是目前最有效的圖像識別方法[7-8]，在病蟲害識別分類[9-10]、植物器官計數(shù)[11-12]、雜草識別[13-14]、植物識別及物種分類[15-16]、土地覆蓋分類[17]等農(nóng)業(yè)領(lǐng)域均有廣泛的應(yīng)用。KAMILARIS等[18]調(diào)查并比較了40項關(guān)于深度學(xué)習(xí)在農(nóng)業(yè)中應(yīng)用的研究，結(jié)果表明，深度學(xué)習(xí)在圖像識別方面有更高的準(zhǔn)確性，結(jié)果優(yōu)于現(xiàn)有常用的圖像處理技術(shù)。XIONG等[19]提出了一種基于簡單線性迭代聚類(Simple linear iterative clustering，SLIC)超像素分割的Panicle-SEG分割算法，通過構(gòu)建CNN模型進行訓(xùn)練，并結(jié)合熵率超像素最優(yōu)化，實現(xiàn)了大田環(huán)境下水稻稻穗的識別。CNN已在農(nóng)業(yè)領(lǐng)域得到廣泛應(yīng)用，而在冬小麥麥穗檢測計數(shù)上的研究卻鮮有報道。

本研究基于CNN開展冬小麥麥穗檢測計數(shù)系統(tǒng)研究，利用CNN構(gòu)建冬小麥麥穗識別模型，結(jié)合非極大值抑制方法(Non-maximal suppression，NMS)進行單位面積麥穗檢測計數(shù)，使模型具有從復(fù)雜背景中快速檢測麥穗的能力。

1 麥穗檢測計數(shù)系統(tǒng)設(shè)計

1.1 目標(biāo)設(shè)計

基于深度學(xué)習(xí)技術(shù)，結(jié)合冬小麥大田環(huán)境及麥穗圖像特點，以大田環(huán)境下采集的冬小麥圖像為系統(tǒng)輸入，旨在實現(xiàn)麥穗的快速識別和準(zhǔn)確檢測計數(shù)，提高CNN在麥穗識別和檢測計數(shù)中的適用性，從而為冬小麥產(chǎn)量預(yù)測提供參考。

1.2 系統(tǒng)結(jié)構(gòu)功能設(shè)計

根據(jù)設(shè)計目標(biāo)，基于模塊化的思想進行系統(tǒng)功能設(shè)計并將系統(tǒng)劃分為麥穗提取、數(shù)據(jù)集構(gòu)建、麥穗檢測計數(shù)和系統(tǒng)管理4個模塊，各功能模塊的主要功能如圖1所示[20-22]。

麥穗提取模塊的功能主要是對原始冬小麥圖像進行預(yù)處理，并從圖像中分別提取麥穗、葉片和陰影3類標(biāo)簽圖像。數(shù)據(jù)集構(gòu)建模塊的功能主要是對麥穗提取模塊中提取的標(biāo)簽圖像進行數(shù)據(jù)擴充，并將擴充后的數(shù)據(jù)集進行劃分，建立可用于CNN模型訓(xùn)練、驗證和測試的數(shù)據(jù)集。麥穗檢測計數(shù)模塊的功能主要是利用構(gòu)建的CNN模型，實現(xiàn)麥穗識別及麥穗檢測計數(shù)。系統(tǒng)管理模塊主要功能包括系統(tǒng)管理員對用戶相關(guān)信息及登錄權(quán)限進行管理，同時負責(zé)系統(tǒng)的日常事務(wù)管理和維護以及數(shù)據(jù)庫管理，以提高系統(tǒng)的安全性和數(shù)據(jù)的完整性。

1.3 麥穗檢測計數(shù)方法設(shè)計

基于系統(tǒng)結(jié)構(gòu)功能設(shè)計與分析，將麥穗檢測計數(shù)的流程分為麥穗提取、數(shù)據(jù)集構(gòu)建、CNN模型構(gòu)建和麥穗檢測計數(shù)4部分。具體流程如圖2所示。

圖2 麥穗檢測計數(shù)流程圖Fig.2 Flow chart of winter wheat ears detection and counting

1.3.1麥穗提取

不同生長階段的冬小麥麥穗有不同的特征。開花期的麥穗顏色與冬小麥植株顏色差異不大，難以單純利用圖像特征來識別麥穗。除此之外，大田環(huán)境中采集的冬小麥圖像具有植株密度高、重疊多、光照不均和背景復(fù)雜等諸多干擾。為提高網(wǎng)絡(luò)模型的抗干擾能力，保障其識別正確率，根據(jù)大田環(huán)境下采集的冬小麥圖像特點，本研究采用手動分割的方式從冬小麥圖像中提取麥穗、葉片和陰影3類標(biāo)簽圖像，并將標(biāo)簽圖像尺寸調(diào)整為64像素×64像素。為了確保試驗的準(zhǔn)確性和嚴(yán)謹(jǐn)性，只對圖像中包含一個完整采樣區(qū)域的部分進行研究。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Architecture of CNN model

1.3.2麥穗識別模型

一個基本CNN模型由輸入層、卷積層、激活函數(shù)、池化層、全連接層和輸出層組成[23-24]。CNN模型訓(xùn)練時，輸入層中圖像經(jīng)過卷積、池化多次迭代，提取麥穗特征，去噪降參，進行前向傳播，訓(xùn)練分類器。同時，驗證集中的圖像會根據(jù)分類正確率通過反向傳播來調(diào)整CNN模型權(quán)重和偏置參數(shù)，不斷優(yōu)化現(xiàn)有網(wǎng)絡(luò)模型，提高CNN模型識別麥穗正確率。

基于以上分析，本研究建立的CNN模型結(jié)構(gòu)[25]如圖3所示。該結(jié)構(gòu)主要包含5個卷積層、4個池化層以及2個全連接層。卷積層中卷積核大小均為3×3，所有卷積層中卷積核的個數(shù)均為128個，每經(jīng)過一次卷積操作，CNN會有效地提取圖像中的特征，生成128個特征圖。池化層采用2×2的卷積核進行最大池化，實現(xiàn)特征圖的降采樣，卷積核步長設(shè)置為2，即每次移動2個像素。經(jīng)過4個池化層可以大大降低網(wǎng)絡(luò)結(jié)構(gòu)中的權(quán)重參數(shù)，減小計算成本。最后一個池化層之后是2個全連接層，全連接層將所有特征圖矢量化，用一維向量表示整個圖像的特征。在全連接層的前后分別增加了丟棄層(Dropout)，將神經(jīng)網(wǎng)絡(luò)單元按照一定的概率暫時從CNN中丟棄，從而防止過擬合現(xiàn)象，提高模型識別正確率[26]。最后在輸出層中，采用Softmax函數(shù)將特征向量劃分為麥穗、葉片和陰影3類。

1.3.3麥穗計數(shù)方法

NMS在計算機視覺中具有廣泛的應(yīng)用[27-28]，如邊緣檢測、目標(biāo)檢測等。本文采用NMS實現(xiàn)麥穗計數(shù)，能夠有效抑制低概率麥穗檢測窗口，消除鄰域內(nèi)多余的交叉檢測窗口，找到最佳的麥穗檢測位置，實現(xiàn)麥穗準(zhǔn)確計數(shù)。其流程如圖4所示。

針對與大型會計師事務(wù)所的多層次發(fā)展對策，途徑、范圍都是很多的。首先在業(yè)務(wù)種類和數(shù)量上，大型事務(wù)所可以多方位擴展不同類型的業(yè)務(wù)，從傳統(tǒng)的業(yè)務(wù)角度出發(fā)，拓展到各方面的財務(wù)咨詢與財務(wù)顧問工作。當(dāng)然，在此過程中，要根據(jù)審計準(zhǔn)則的相關(guān)要求保證不影響?yīng)毩⑿浴Ｍ瑫r事務(wù)所還可以充分利用自身資源優(yōu)勢建立品牌，甚至把業(yè)務(wù)做到“專而精，大又?！钡木车?。

圖4 基于非極大值抑制的麥穗計數(shù)流程Fig.4 Process of counting for winter wheat ears based on non-maxima suppression

(1)冬小麥圖像預(yù)處理，提取冬小麥圖像中間位置尺寸為1 280像素×1 280像素的區(qū)域，并將其尺寸調(diào)整為640像素×640像素。

(2)采用步長為16像素、尺寸為64像素×64像素的滑動窗口進行圖像采樣，并將采樣圖像輸入到CNN模型進行識別。針對每一個采樣圖像，CNN模型計算其置信度分?jǐn)?shù)p，取值范圍為0～1，表示采樣圖像屬于麥穗的概率。

(3)確定合適的置信度分?jǐn)?shù)p的閾值和重疊面積比率I的閾值，采用NMS進行麥穗計數(shù)。其中，設(shè)定p的閾值是為了移除低概率的麥穗檢測窗口，設(shè)定I閾值可有效移除交叉重疊面積較大的麥穗檢測窗口，保障麥穗計數(shù)的準(zhǔn)確性。對重疊面積比率I的定義為

(1)

式中A、B——相鄰兩個麥穗檢測窗口

min()——最小值函數(shù)

area()——檢測窗口面積函數(shù)

由此計算出本研究中可能的I閾值(完全重疊的不計在內(nèi))分別有0.062 5、0.125、0.187 5、0.25、0.375、0.5、0.562 5和0.75共8個值。將這8個閾值與不同的置信度分?jǐn)?shù)p組成多組不同的試驗組，以確定適用于該麥穗檢測計數(shù)系統(tǒng)的最佳參數(shù)組合。

2 試驗與結(jié)果分析

基于卷積神經(jīng)網(wǎng)絡(luò)的麥穗識別模型由Matlab 2018a編程實現(xiàn)[29]。麥穗檢測系統(tǒng)采用Matlab 2018a與Microsoft Visual C++編程實現(xiàn)。系統(tǒng)試驗的硬件環(huán)境為Intel i5處理器，8 GB內(nèi)存，NVIDIA GeForce GTX 1050Ti(2 GB顯存)。

2.1 麥穗提取

圖5 大田環(huán)境下采集的冬小麥圖像Fig.5 Winter wheat images in field conditions

麥穗提取模塊如圖6所示，圖像導(dǎo)入后，系統(tǒng)采用不同顏色的方框進行麥穗、葉片和陰影3類標(biāo)簽圖像提取。提取的麥穗、葉片和陰影3類圖像可在模塊界面的下方部分顯示。同時，所有提取的3類標(biāo)簽圖像會被保存至預(yù)先設(shè)定好的位置。

圖6 麥穗提取模塊Fig.6 Module of winter wheat ears extraction

2.2 數(shù)據(jù)集構(gòu)建

如圖7所示，由數(shù)據(jù)集構(gòu)建模塊，系統(tǒng)可加載并顯示當(dāng)前麥穗、葉片和陰影3類標(biāo)簽圖像的數(shù)據(jù)量。

圖7 數(shù)據(jù)集構(gòu)建模塊Fig.7 Module of dataset construction

本研究經(jīng)過篩選，剔除了一些質(zhì)量較低的圖像，構(gòu)建了包含麥穗、葉片和陰影3類標(biāo)簽圖像的數(shù)據(jù)集，其中麥穗、葉片和陰影圖像的數(shù)據(jù)量分別為501、514和498。

對于CNN而言，可用于網(wǎng)絡(luò)模型訓(xùn)練的數(shù)據(jù)集越大，網(wǎng)絡(luò)模型的識別效果就越好[30-32]。為擴充輸入數(shù)據(jù)集的數(shù)據(jù)量，提高網(wǎng)絡(luò)模型的識別正確性，參考相關(guān)文獻的數(shù)據(jù)擴充方法，采用色彩抖動、水平和垂直方向翻轉(zhuǎn)，以及90°、180°、270°旋轉(zhuǎn)等方式對數(shù)據(jù)集進行擴充[18,22,31]。通過擴充，原始數(shù)據(jù)集擴充至原來的26倍。數(shù)據(jù)擴充后，系統(tǒng)將數(shù)據(jù)集劃分成訓(xùn)練集、驗證集和測試集。擴充后的數(shù)據(jù)集共包含39 338幅圖像，其中麥穗13 026幅，葉片13 364幅，陰影12 948幅。在數(shù)據(jù)集構(gòu)建面板中，系統(tǒng)顯示了每類圖像的數(shù)據(jù)量及用于訓(xùn)練、驗證和測試的數(shù)據(jù)量。

2.3 CNN模型構(gòu)建

圖8為CNN模型構(gòu)建模塊，該模塊包含模型訓(xùn)練、模型測試和圖像識別3部分。系統(tǒng)采用梯度下降算法對CNN進行訓(xùn)練。

圖8 CNN模型構(gòu)建模塊Fig.8 Module of CNN construction

模型訓(xùn)練完成后，系統(tǒng)調(diào)用測試數(shù)據(jù)集對網(wǎng)絡(luò)模型進行測試，測試結(jié)果會顯示在右側(cè)的測試結(jié)果面板中。為進一步展示麥穗識別分類器的效果，該研究采用混淆矩陣(Confusion matrix)來評價分類器的效果。從混淆矩陣中可以看出，測試數(shù)據(jù)集包含7 868個樣本，麥穗識別分類器正確識別了2 603個麥穗樣本，占總測試數(shù)據(jù)的33.1%；正確識別了2 583個陰影樣本，占總測試數(shù)據(jù)的32.8%；正確識別了2 653個葉片樣本，占總測試數(shù)據(jù)的33.7%。只有1個葉片樣本和1個陰影樣本被誤識別為麥穗，分別占總測試數(shù)據(jù)的比例近乎為零。4個葉片樣本和3個麥穗樣本被誤識別為陰影，分別占總測試數(shù)據(jù)的0.05%和0.04%。8個陰影樣本和12個麥穗樣本被誤識別為葉片，分別占總測試數(shù)據(jù)的0.1%和0.15%。從混淆矩陣中可以看出，該研究識別分類器的正確率為99.6%，麥穗識別正確率為99.9%，陰影識別正確率99.7%，葉片識別正確率為99.3%。從分類器測試的結(jié)果來看，該系統(tǒng)能夠準(zhǔn)確地從復(fù)雜背景中識別出麥穗，正確率滿足實際應(yīng)用的要求。

2.4 麥穗檢測計數(shù)

如圖9所示，系統(tǒng)采用測試后的CNN模型結(jié)合NMS進行麥穗計數(shù)，結(jié)果顯示在麥穗檢測計數(shù)面板中。

圖9 麥穗檢測計數(shù)面板Fig.9 Module of winter wheat ears counting

為了驗證麥穗檢測計數(shù)的正確率，本研究對166幅冬小麥圖像進行系統(tǒng)測試。通過剔除重復(fù)圖像和質(zhì)量較差的圖像后，選擇100幅冬小麥圖像測試系統(tǒng)的正確率。在進行系統(tǒng)測試時，為降低麥穗重疊對計數(shù)正確率造成的影響，通過多次試驗選擇麥穗置信度分?jǐn)?shù)p和重疊面積比率I的閾值，最終將麥穗置信度分?jǐn)?shù)p閾值設(shè)置為0.95，重疊面積比率I閾值設(shè)置為0.1。圖像中麥穗實測數(shù)據(jù)通過人工計數(shù)獲得。由于冬小麥圖像的邊緣區(qū)域存在麥穗不完整的現(xiàn)象，增加了人工計數(shù)的主觀性。為了保證計數(shù)的正確性和試驗的嚴(yán)謹(jǐn)性，本研究制定了統(tǒng)一的麥穗計數(shù)原則，由5位團隊成員分別對每幅圖像中的麥穗進行計數(shù)。針對每幅冬小麥圖像，將5個計數(shù)結(jié)果的平均值作為該圖像的麥穗實測數(shù)據(jù)，以減小人工計數(shù)的主觀性誤差。將系統(tǒng)計數(shù)結(jié)果與實測數(shù)據(jù)進行對比分析，結(jié)果如表1所示。

表1 麥穗計數(shù)結(jié)果Tab.1 Results of winter wheat ears counting 個

從表1中可以看出，針對100幅冬小麥圖像，人工計數(shù)方法獲得的麥穗數(shù)量為3 138，而系統(tǒng)計數(shù)方法共獲得3 121個麥穗。進一步采用回歸分析對系統(tǒng)正確率進行定量分析，采用決定系數(shù)(Coefficient of determination，R2)和歸一化均方根誤差(Normalized root mean square error，NRMSE)進行正確率定量評價，結(jié)果如圖10所示。針對100幅冬小麥圖像，麥穗計數(shù)結(jié)果R2為0.62，NRMSE為11.73%。系統(tǒng)計數(shù)正確率較為理想，可滿足麥穗計數(shù)實際應(yīng)用中的要求。

圖10 麥穗計數(shù)線性擬合結(jié)果Fig.10 Line fitting of winter wheat ears counting results

為進一步評估系統(tǒng)應(yīng)用的效率，對系統(tǒng)測試的耗時進行了統(tǒng)計分析。在本系統(tǒng)硬件條件下，針對100幅冬小麥圖像測試共耗時3 991.24 s，平均耗時為39.91 s。

針對麥穗重疊的問題，該系統(tǒng)通過試驗選取合適的麥穗置信度分?jǐn)?shù)p閾值和重疊面積比率I閾值，在一定程度上降低了麥穗重疊對正確率的影響(圖11a)，針對重疊面積較小的情況，能夠取得良好的計數(shù)效果。而對于麥穗重疊面積較大的情況(圖11b)，系統(tǒng)將進一步對算法進行優(yōu)化，擬采用增加麥穗稈的特征來提高計數(shù)的正確率，即在提取麥穗標(biāo)簽數(shù)據(jù)時，增加部分秸稈圖像，進一步提高麥穗計數(shù)的正確率。

圖11 交叉重疊識別結(jié)果Fig.11 Counting results for ears under occlusion

3 結(jié)論

(1)構(gòu)建了適用于冬小麥麥穗識別的卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了大田環(huán)境下麥穗的快速、準(zhǔn)確識別。模型總體識別正確率為99.6%，其中麥穗識別正確率為99.9%，陰影識別正確率為99.7%，葉片識別正確率為99.3%。

(2)采用NMS方法實現(xiàn)了麥穗計數(shù)。對100幅冬小麥圖像進行麥穗計數(shù)測試的結(jié)果表明，系統(tǒng)計數(shù)的擬合度較好，R2為0.62，歸一化均方根誤差較小，為11.73%。