劉哲, 袁冬根, 王恩

(西北政法大學(xué)軍民融合研究院, 西安 710122)

糧食安全始終是關(guān)系我國(guó)國(guó)民經(jīng)濟(jì)發(fā)展、社會(huì)穩(wěn)定和國(guó)家自立的全局性重大戰(zhàn)略問(wèn)題[1]。保障我國(guó)糧食安全對(duì)實(shí)現(xiàn)全面建設(shè)小康社會(huì)的目標(biāo)、構(gòu)建社會(huì)主義和諧社會(huì)和推進(jìn)社會(huì)主義新農(nóng)村建設(shè)具有十分重要的意義。為保證國(guó)家糧食安全、制定合理的糧食價(jià)格及宏觀調(diào)控政策，需要及時(shí)、準(zhǔn)確地預(yù)測(cè)、估算小麥等農(nóng)作物的預(yù)期產(chǎn)量[2]。

目前，小麥田間測(cè)產(chǎn)方法主要依靠人工測(cè)定單位面積麥穗數(shù)，收獲后稱(chēng)取千粒重，計(jì)算產(chǎn)量估值[3]。該方法費(fèi)時(shí)費(fèi)力，效率低下。隨著機(jī)器視覺(jué)技術(shù)和人工智能的發(fā)展，尤其是深度學(xué)習(xí)技術(shù)的日益進(jìn)步，國(guó)內(nèi)外研究者逐步將圖像處理和人工智能技術(shù)應(yīng)用于農(nóng)作物生長(zhǎng)管理和長(zhǎng)勢(shì)估產(chǎn)中。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)是目前較有效的深度學(xué)習(xí)方法之一，能夠直接以圖像作為輸入，具有識(shí)別準(zhǔn)確率高等優(yōu)點(diǎn)[4-5]，已在小麥的雜草和害蟲(chóng)識(shí)別[6-7]、植物病害和脅迫診斷[8,9]、農(nóng)業(yè)圖像分割[10-12]、產(chǎn)量預(yù)報(bào)[13-14]等多個(gè)領(lǐng)域得到了廣泛應(yīng)用。在小麥長(zhǎng)勢(shì)分析和估產(chǎn)研究方面，張佩等[15]為優(yōu)選出最佳的冬小麥產(chǎn)量結(jié)構(gòu)要素預(yù)報(bào)方法，選擇冬小麥成穗數(shù)、穗粒數(shù)及千粒重為預(yù)報(bào)目標(biāo)，綜合考慮種植品種、密度及地區(qū)等因子，采用多元線(xiàn)性回歸因子分析進(jìn)行建模分析，預(yù)報(bào)精度平均達(dá)85.3%。Li 等[16]利用麥穗圖像中穗頭的顏色和紋理等特征參數(shù)并結(jié)合神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)，其正確率在80%左右。朱婉雪等[17]基于冬小麥返青拔節(jié)期、抽穗灌漿期和成熟期的無(wú)人機(jī)遙感影像數(shù)據(jù)集，采用最小二乘法，構(gòu)建了基于不同植被指數(shù)與冬小麥實(shí)測(cè)產(chǎn)量的9 種線(xiàn)性模型，估產(chǎn)精度的相關(guān)系數(shù)指標(biāo)可達(dá)0.8以上。楊俊等[18]利用無(wú)人機(jī)航拍獲取田間小麥主要生育時(shí)期的RGB 圖像，基于小麥顏色指數(shù)和紋理特征參數(shù)值對(duì)小麥生物量和產(chǎn)量進(jìn)行分析,相關(guān)系數(shù)能達(dá)到0.91。張波等[19]研發(fā)了基于卷積神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測(cè)計(jì)數(shù)系統(tǒng)，其對(duì)麥穗的識(shí)別準(zhǔn)確率高達(dá)99%；Hasan 等[20]訓(xùn)練了4 種R-CNN 模型,對(duì)田間小麥進(jìn)行識(shí)別并估算其產(chǎn)量，準(zhǔn)確率為88%～94%。Cointault等[21]通過(guò)濾波和尋找最大值的方法檢測(cè)計(jì)數(shù)所采集田間麥穗圖像中的麥穗數(shù)，識(shí)別精度達(dá)到了90%。Xiong等[22]提出了一種基于簡(jiǎn)單線(xiàn)性迭代聚類(lèi)(SLIC) 超像素分割的Panicle-SEG算法，通過(guò)構(gòu)建CNN 模型進(jìn)行訓(xùn)練，并結(jié)合熵率超像素最優(yōu)化，實(shí)現(xiàn)了大田環(huán)境下水稻稻穗的識(shí)別。張領(lǐng)先等[23]在大田環(huán)境下提取麥穗、葉片、陰影3類(lèi)標(biāo)簽圖像作為數(shù)據(jù)集，構(gòu)建了冬小麥麥穗識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并采用梯度下降法對(duì)模型進(jìn)行訓(xùn)練，將構(gòu)建的冬小麥麥穗識(shí)別模型與非極大值抑制結(jié)合進(jìn)行麥穗計(jì)數(shù)，總體識(shí)別正確率達(dá)到99.6%。劉哲等[24]提出用改進(jìn)的K-Means算法進(jìn)行大田麥穗計(jì)數(shù)，該算法可以適用于不同光照環(huán)境下的麥穗計(jì)數(shù)，精度可以達(dá)到98%。Fernandez-Gallego等[25]利用高頻濾波器和低頻濾波器去除麥穗圖像中出現(xiàn)的低頻成分和高頻成分，再通過(guò)自適應(yīng)中值濾波器來(lái)濾除麥穗周?chē)脑肼?，最后利用最大值濾波器分割局部峰值并確定圖像中的麥穗數(shù)目，識(shí)別精度達(dá)到90%。李毅念等[26]利用特定裝置使麥穗傾斜的方式獲取小麥穗部圖像，通過(guò)顏色空間轉(zhuǎn)換、去除細(xì)窄處粘連、粘連麥穗判斷、凹點(diǎn)檢測(cè)分割等算法過(guò)程實(shí)現(xiàn)圖像中粘連麥穗的有效分割，在對(duì)田間3 個(gè)品種小麥麥穗數(shù)識(shí)別中，單幅圖像平均識(shí)別精度為91.63%。

綜上所述，運(yùn)用圖像處理技術(shù)對(duì)田間小麥測(cè)產(chǎn)研究主要是通過(guò)圖像分析對(duì)單位面積內(nèi)麥穗進(jìn)行識(shí)別和計(jì)數(shù)，然后通過(guò)多元回歸方法建立數(shù)學(xué)數(shù)學(xué)模型，計(jì)算出單位面積麥穗數(shù)，最后根據(jù)千粒重得出小麥產(chǎn)量。綜上可知，很少有研究通過(guò)圖像分析直接精確獲取每株麥穗上的麥穗數(shù)。改進(jìn)Bayes摳圖算法作為經(jīng)典的摳圖算法，能將前景從背景中精細(xì)分割出來(lái)。因此，本文以田間小麥群體圖像為研究對(duì)象，利用改進(jìn)Bayes摳圖算法將自然生長(zhǎng)條件下的麥穗圖像分割出來(lái)，而后運(yùn)用圖像濾波、二值化、腐蝕等算法分離出麥穗上每個(gè)單獨(dú)的小穗，最后對(duì)小穗形成的連通區(qū)域進(jìn)行標(biāo)記和計(jì)數(shù)，實(shí)現(xiàn)麥穗小穗的精確自動(dòng)計(jì)數(shù)。

1 材料與方法

1.1 圖像獲取

田間麥穗圖像采集自寶雞市農(nóng)業(yè)科學(xué)院實(shí)驗(yàn)基地，位于寶雞市鳳翔縣杏林鎮(zhèn)。拍攝時(shí)間為2018年6月1日至6月5日傍晚時(shí)段，此時(shí)小麥正處于成熟期，生長(zhǎng)態(tài)勢(shì)良好。小麥品種選擇在陜西關(guān)中地區(qū)種植面積較大的西農(nóng)529、西農(nóng)511、西農(nóng)583、陜農(nóng)33，獲取圖像樣本分別為50幅、50幅、60幅、60幅。選用德國(guó)Basler工業(yè)相機(jī)，采用無(wú)線(xiàn)WiFi進(jìn)行傳輸，圖像分辨率為6 000×3 368像素，格式為JPG，拍攝視場(chǎng)大小為0.75 m×0.42 m。原始圖像在小麥自然生長(zhǎng)環(huán)境下拍攝，如圖1所示。

圖1 麥穗原始圖像Fig.1 Primitive image of wheat ear

1.2 圖像算法處理

首先，利用改進(jìn)Bayes算法對(duì)獲取的圖像進(jìn)行摳圖，將麥穗從自然背景中分割出來(lái)；然后對(duì)該圖像進(jìn)行二值化，在此基礎(chǔ)上運(yùn)用腐蝕運(yùn)算進(jìn)行細(xì)化處理，去除麥穗圖像中的麥芒，在對(duì)圖像再進(jìn)行腐蝕運(yùn)算，分離出麥穗上每個(gè)單獨(dú)的麥穗小穗；經(jīng)過(guò)膨脹運(yùn)算、面積濾波、黑洞填充算法處理，每個(gè)單獨(dú)的麥穗小穗形成一個(gè)連通區(qū)域；最后對(duì)連通區(qū)域進(jìn)行標(biāo)記和計(jì)數(shù)，完成麥穗小穗的自動(dòng)計(jì)數(shù)。

1.2.1改進(jìn)的Bayes摳圖算法 圖像摳圖的基本原理是把一幅圖像簡(jiǎn)單劃分為前景圖像和背景圖像，其中感興趣的部分定義為前景圖像，不感興趣的部分定義為背景圖像[31]。根據(jù)用戶(hù)指定的前景圖像信息和背景圖像信息來(lái)計(jì)算兩者之間的邊界圖像信息，通過(guò)計(jì)算把用戶(hù)感興趣的部分摳取出來(lái)。摳圖公式可以用(1)式來(lái)表示。

C=aF+(1-a)B

(1)

式中，a表示掩像，代表該圖像的不透明度，F(xiàn)代表圖像的前景部分，B代表圖像的背景部分。

α值介于0～1之間。當(dāng)α=0時(shí)，C表示背景圖像；當(dāng)α=1時(shí)，C表示前景圖像。一般情況下，前景圖像和背景圖像都是指定的，所以摳圖算法的關(guān)鍵就是確定α值，計(jì)算兩者之間的邊界圖像信息。改進(jìn)的Bayes摳圖算法包括四個(gè)步驟。

①區(qū)域劃分。人工對(duì)原圖像進(jìn)行區(qū)域劃分，分為確定的前景區(qū)域、確定的背景區(qū)域和未知區(qū)域三部分。

②樣本分簇pH。對(duì)于未知區(qū)域的像素點(diǎn)，使用圓形的活動(dòng)窗口由未知區(qū)域邊界的像素點(diǎn)開(kāi)始逐漸向未知區(qū)域中移動(dòng)，對(duì)未知區(qū)域像素進(jìn)行采樣，當(dāng)獲取足夠的已知背景點(diǎn)和前景點(diǎn)后，對(duì)采集到的樣本點(diǎn)進(jìn)行分簇，且假定在顏色空間中這些樣本點(diǎn)服從有向高斯分布。

③顏色估計(jì)。應(yīng)用Bayes框架建立顏色估計(jì)和掩像值α間的計(jì)算模型。運(yùn)用最大后驗(yàn)概率MAP進(jìn)行優(yōu)化求解。在最大后驗(yàn)概率MAP值的估計(jì)中，對(duì)于未知區(qū)域的像素點(diǎn)C，尋找該像素點(diǎn)最有可能的F、B和α的估計(jì)值。這個(gè)問(wèn)題就轉(zhuǎn)化為概率分布P(F,B,α|C)上的優(yōu)化問(wèn)題[32]。

=argmaxL(C|F,B,α)+L(F)+L(B)+L(α)

(2)

(3)

(4)

(5)

(6)

L(B)與L(F)類(lèi)似，把w中的αi替換為1-αi。求解過(guò)程即為迭代過(guò)程，先假設(shè)α確定，對(duì)式(6)右側(cè)求偏導(dǎo)數(shù)，得到六元一次方程組。

(7)

迭代過(guò)程轉(zhuǎn)化為解線(xiàn)形方程組問(wèn)題。

④α值估計(jì)。將式(7)結(jié)果代入式(8)中，得到新的α掩像值。

(8)

1.2.2圖像二值化及迭代極限腐蝕 用改進(jìn)的Bayes摳圖算法將麥穗圖像分為背景和麥穗兩部分，對(duì)于屬于背景部分像素，將其值設(shè)為0，對(duì)于屬于麥穗部分像素，將其值設(shè)為255，從而實(shí)現(xiàn)麥穗圖像的二值化。

用迭代極限腐蝕算法對(duì)二值化麥穗圖像進(jìn)行4鄰域與8鄰域結(jié)構(gòu)元素交替迭代腐蝕。1次迭代極限腐蝕包括1次4鄰域結(jié)構(gòu)元素腐蝕和1次8鄰域結(jié)構(gòu)元素腐蝕，每次腐蝕運(yùn)算相當(dāng)于將二值化圖像腐蝕掉1層。不斷的交替腐蝕會(huì)導(dǎo)致不斷地出現(xiàn)新的連通區(qū)域，但同時(shí)會(huì)導(dǎo)致一些已經(jīng)存在的連通區(qū)域消失，這就會(huì)造成種子點(diǎn)的流失。因此，在得到腐蝕后的圖像中保存消失的連通區(qū)域，即在每次迭代極限腐蝕后，麥穗小穗種子區(qū)域小代替大，有代替無(wú)。該方法以原始二值化圖像為初始圖像，其連通區(qū)域?yàn)槌跏挤N子點(diǎn)，在不斷的迭代腐蝕過(guò)程中，種子點(diǎn)數(shù)目不斷增加或者保持不變。迭代腐蝕運(yùn)算在迭代3次后，基本上能把弱粘連的麥穗小穗分割開(kāi)來(lái)。迭代腐蝕完成后，對(duì)保留下的種子區(qū)域進(jìn)行膨脹運(yùn)算。

1.2.3面積濾波及麥穗小穗計(jì)數(shù) 經(jīng)迭代極限腐蝕和膨脹處理后，麥穗上的麥芒完全被去除，麥穗小穗被基本分割開(kāi)來(lái)。但是，圖中還殘留一些小的區(qū)域，不屬于麥穗小穗部分，需要用面積濾波濾除掉。

(10)

1.3 算法指標(biāo)參數(shù)設(shè)計(jì)

為了驗(yàn)證本文方法的性能，采用決定系數(shù)R2、統(tǒng)計(jì)誤差Pe和統(tǒng)計(jì)精度Pa三個(gè)指標(biāo)參數(shù)對(duì)本文方法進(jìn)行評(píng)價(jià)，計(jì)算公式分別如式(11)～(13)所示。

(11)

(12)

Pa=(1-Pe)×100%

(13)

式中，M是總共要統(tǒng)計(jì)的麥穗數(shù)，i為第i個(gè)麥穗，Yi為本文算法對(duì)第i個(gè)麥穗上麥穗小穗的計(jì)數(shù)結(jié)果，Xi為人工對(duì)第i個(gè)麥穗上麥穗小穗的計(jì)數(shù)結(jié)果。

2 結(jié)果與分析

2.1 圖像處理效果分析

2.1.1摳圖效果 利用改進(jìn)的Bayes摳圖算法對(duì)麥穗圖像進(jìn)行摳圖，去除圖中的背景，只保留麥穗，效果如圖2所示。背景部分像素的顏色值標(biāo)記為:RB=255,GB=0，BB=255。麥穗部分像素的顏色值保持不變。由圖2可以看出，經(jīng)過(guò)摳圖算法處理，能很好將麥穗圖像摳出來(lái)，為下一步麥穗小穗計(jì)數(shù)打下基礎(chǔ)。

2.1.2迭代腐蝕膨脹效果 對(duì)摳圖后的麥穗圖像進(jìn)行二值化處理，觀察圖2第2行可知，絕大多數(shù)情況下麥穗上的小穗處于弱粘連狀態(tài)，即相鄰小穗之間只有幾個(gè)像素粘連。在麥穗頂部，麥穗小穗之間處于強(qiáng)粘連狀態(tài)，即相鄰麥穗小穗之間有很多像素粘連。為了盡可能將處于弱粘連狀態(tài)的麥穗小穗分割出來(lái)，本文利用迭代的極限腐蝕膨脹算法進(jìn)行分割，結(jié)果如圖2第3行所示。經(jīng)過(guò)迭代腐蝕和膨脹，可以將弱連接的麥穗小穗完全分割開(kāi)，但是麥穗頂部屬于強(qiáng)粘連區(qū)域，所以麥穗頂部的小穗不能完全分隔開(kāi)，需要進(jìn)行處理。

圖2 麥穗圖像處理結(jié)果Fig.2 Processing results of wheat ear image

2.1.3面積濾波效果 經(jīng)過(guò)面積濾波后，面積極小的非麥穗小穗連通區(qū)域被濾除，剩下連通區(qū)域即為麥穗小穗，如圖2第4行所示?？梢钥闯觯?jīng)過(guò)面積濾波，圖中遺留小區(qū)域已經(jīng)被濾除掉，只剩下麥穗小穗圖像。利用本文提出的小穗計(jì)數(shù)方法，找出小穗的閉合輪廓，并加以標(biāo)記，如圖2第5行所示，直接可以計(jì)算出小穗數(shù)。

2.2 麥穗小穗計(jì)數(shù)分析

4個(gè)品種田間麥穗圖像中的麥穗小穗數(shù)計(jì)數(shù)預(yù)測(cè)值與實(shí)測(cè)值的相關(guān)關(guān)系如圖3所示，可以看出，圖像預(yù)測(cè)的麥穗小穗數(shù)與實(shí)測(cè)麥穗小穗數(shù)具有極顯著的線(xiàn)性相關(guān)性，所有品種的計(jì)數(shù)預(yù)測(cè)值與實(shí)測(cè)值的決定系數(shù)R2都大于0.86。

圖3 4個(gè)品種小麥圖像預(yù)麥穗小穗數(shù)與實(shí)測(cè)麥穗小穗數(shù)的線(xiàn)性相關(guān)關(guān)系Fig.3 Linear correlation between predicted value and actual value for grain number in images of 4 varieties of wheat

分別從西農(nóng)529、西農(nóng)511、西農(nóng)583、陜農(nóng)33小麥樣本中各選取40個(gè)，進(jìn)行人工實(shí)測(cè)計(jì)數(shù)和本文算法計(jì)數(shù)的統(tǒng)計(jì)分析比較，結(jié)果如表1所示。由表1可以看出，與人工實(shí)測(cè)計(jì)數(shù)相比， 西農(nóng)529統(tǒng)計(jì)誤差是4.92%，統(tǒng)計(jì)精度95.08%；西農(nóng)511統(tǒng)計(jì)誤差是5.33%，統(tǒng)計(jì)精度94.67%；西農(nóng)583統(tǒng)計(jì)誤差5.79%，統(tǒng)計(jì)精度是94.21%，陜農(nóng)33統(tǒng)計(jì)誤差是5.84%，統(tǒng)計(jì)精度是94.16%。對(duì)于4種小麥品種的麥穗小穗計(jì)數(shù)，其平均統(tǒng)計(jì)誤差是5.47%，平均統(tǒng)計(jì)精度是94.53%。

小麥品種Wheat variety人工統(tǒng)計(jì)Manual statistics算法統(tǒng)計(jì)Algorithm statistics統(tǒng)計(jì)誤差Statistical error/%統(tǒng)計(jì)精度Statistical accuracy/%西農(nóng)529 Xinong 5291 3411 2754.9295.08西農(nóng)511 Xinong 5111 3321 2615.3394.67西農(nóng)583 Xinong 5831 3651 2835.7994.21陜農(nóng)33 Shaannong 331 3531 2745.8494.16平均 Average--5.4794.53

2.3 摳圖算法性能分析

在田間生長(zhǎng)環(huán)境下拍攝的麥穗圖像背景非常復(fù)雜，用現(xiàn)有的圖像分割方法很難將麥穗從背景中分割出來(lái)。本文提出基于改進(jìn)Bayes摳圖算法，輔以人工背景標(biāo)記，能快速準(zhǔn)確地將麥穗從背景中分割出來(lái)，不但能分割出一個(gè)麥穗，而且能將同一幅圖上的多個(gè)麥穗分割出來(lái)。實(shí)驗(yàn)統(tǒng)計(jì)，使用聯(lián)想Lenovo 拯救者Y7000(處理器i5-8300H，16 GB內(nèi)存，全固態(tài)硬盤(pán))，對(duì)于大小為1 024×1 024麥穗高清圖像，本文算法分割1個(gè)麥穗大約耗時(shí)0.14 s，對(duì)于分割3個(gè)麥穗大約耗時(shí)0.21 s。

3 討論

本文提出了一種圖像處理方法，針對(duì)獲取自然生長(zhǎng)條件下的麥穗圖像進(jìn)行處理得到麥穗小穗數(shù)的估計(jì)值。該方法最大優(yōu)勢(shì)是非接觸式測(cè)量，不需要采集小麥樣本，在田間直接可以操作獲取測(cè)量參數(shù)，快速便捷。

李毅念等[26]利用自制的兩端開(kāi)口的四棱錐，將小麥樣本斜靠在四棱錐四周，用相機(jī)拍攝麥穗圖片，運(yùn)用圖像處理技術(shù)和線(xiàn)性回歸建立麥穗面積與麥穗小穗數(shù)之間的線(xiàn)性關(guān)系，從而獲取麥穗小穗數(shù)，測(cè)量精度為93.43%，圖像算法估測(cè)的麥穗小穗數(shù)與實(shí)測(cè)麥穗小穗數(shù)具有較好的線(xiàn)性相關(guān)性，其平均決定系數(shù)R2為0.82，而本文平均測(cè)量精度94.53%，R2為0.871，均較高。算法計(jì)數(shù)比人工計(jì)數(shù)的結(jié)果偏小，這是因?yàn)椋孩俦疚乃惴ㄔ谶M(jìn)行迭代極限腐蝕時(shí)，有可能將小的麥穗小穗圖像區(qū)域腐蝕掉，造成計(jì)數(shù)誤差；②在麥穗頂部，麥穗小穗與麥穗小穗之間是強(qiáng)粘連，用本文算法對(duì)處于麥穗頂部的麥穗小穗不能完全分割開(kāi)，往往會(huì)造成少計(jì)數(shù)。