鮑文霞，張婷婷，胡根生，梁 棟

(1.安徽大學 農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應用技術國家地方聯(lián)合工程研究中心，安徽 合肥 230601;2.安徽大學 電子信息工程學院，安徽 合肥 230601)

全球糧食安全取決于3種主要糧食作物(小麥、水稻和玉米)能否實現(xiàn)和保持高產(chǎn)，以及未來產(chǎn)量的提高.小麥作為世界主要農(nóng)作物之一，小麥產(chǎn)量的穩(wěn)定在全球糧食安全中起著至關重要的作用[1].隨著機械化水平的提升，數(shù)字農(nóng)業(yè)被提出和重視，如何快速而準確地得到單位面積麥穗數(shù)的統(tǒng)計值對于大田麥穗產(chǎn)量估計至關重要.

隨著數(shù)字農(nóng)業(yè)的提出和發(fā)展，傳統(tǒng)的數(shù)字圖像處理、深度學習方法等技術在農(nóng)作物識別計數(shù)方面的研究也引起重視.傳統(tǒng)的方法是基于數(shù)字圖像處理對獲取的小麥麥穗圖像的顏色特征和紋理特征實現(xiàn)小麥麥穗計數(shù)方法.如文獻[2]通過顏色空間轉(zhuǎn)換，對比了不同顏色空間下顏色特征和紋理特征的提取，分析出不同的顏色空間對小麥麥穗計數(shù)存在不同的影響；文獻[3]提出只基于小麥麥穗圖像的顏色特征提取實現(xiàn)小麥麥穗計數(shù)；文獻[4-5]提出采用顏色特征的紅-綠歸一化和紋理特征提取相結合來實現(xiàn)散播和條播麥穗識別計數(shù)，分析出在無粘連或者粘連較少的情況下，此方法取得較高的小麥麥穗計數(shù)精確度.深度學習方法在農(nóng)業(yè)方面的應用研究也迅速發(fā)展，在自然場景小麥麥穗計數(shù)方面也有學者提出新方法.如文獻[6]提出了基于多特征提取和雙支持向量機去噪的田間麥穗計數(shù)方法；文獻[7]提出基于堆疊沙漏網(wǎng)絡進行多任務學習，同時獲取小麥麥穗值、小麥麥穗小穗粒值和進行有無麥芒識別；文獻[8-10]分別提出利用不同的深度學習網(wǎng)絡結構實現(xiàn)對自然場景下的小麥麥穗計數(shù)的方法.

根據(jù)麥穗圖像中麥穗信息、葉片信息和土壤背景信息的頻段分布不同的特點，可以采用文獻[11-12]提出的多尺度多方向圖像分解方法獲取不同頻帶信息.論文提出通過NSCT(nonsubsampled contourlet transform)算法[13-17]的多尺度多方向圖像分解獲取小麥麥穗子帶圖像，并結合灰度閾值分割和形態(tài)學處理得到獨立的麥穗信息.利用Find maxima算法[18]思想實現(xiàn)麥穗計數(shù)，通過論文方法實現(xiàn)的計數(shù)總體精確度在95%左右，略高于其他基于顏色特征和紋理特征的自然場景下麥穗計數(shù)方法.

1 麥穗圖像獲取

小麥麥穗圖像數(shù)據(jù)采集地點為郭河鎮(zhèn)和桃溪鎮(zhèn)實驗基地.郭河鎮(zhèn)實驗基地位于北緯31°、東經(jīng)117°的安徽省合肥市廬江縣.桃溪鎮(zhèn)實驗基地位于北緯31°、東經(jīng)116°的安徽省六安市舒城縣.采集時間為2019年5月2～9日9:00—16:00.采集溫度范圍為18～25 ℃，采集濕度范圍為30%～50%.采集設備：相機型號為Canon EOS 600D，分辨率為5 184×3 456.采集方法:①采用40 cm×50 cm的紙箱框架，固定框架位置，利用設備Canon EOS 600D相機垂直角度拍攝；②采用60 cm×60 cm的矩形框架，固定框架位置，利用設備Canon EOS 600D相機垂直角度拍攝.采集12種不同麥穗品種圖像，麥穗品種有：安農(nóng)170號、寧麥24號、黃淮南部小麥、樂麥608號、寧麥9號、揚麥13號、揚麥19號、揚麥22號、揚麥24號、蘇麥188號、皖西麥0638號、生選6號.

圖1為麥穗圖像實驗數(shù)據(jù)采集：(a)為桃溪鎮(zhèn)實驗基地附有小麥品種標記的實驗田圖像；(b)為郭河鎮(zhèn)實驗基地簡介圖像；(c)為實驗基地工作圖；(d)為利用40 cm×50 cm的紙箱框架采集的小麥圖像，其品種為寧麥24號；(e)為利用60 cm×60 cm的矩形框架采集的小麥圖像，其品種為揚麥19號.

2 小麥麥穗計數(shù)

自然場景下麥穗計數(shù)受場景中自然光照不均、小麥葉片遮擋和土壤背景等因素干擾，光照影響主要通過圖像預處理操作減少影響，如何減少小麥葉片遮擋和土壤背景的影響是實現(xiàn)自然場景麥穗準確、高效計數(shù)的主要研究問題.在常用的空間域方法中對自然場景下的麥穗圖像直接通過顏色特征、紋理特征等方法,分別提取存在的葉片信息和土壤背景信息的干擾.由于自然場景下麥穗圖像中的麥穗信息、葉片信息和土壤信息在頻率域中的頻率子帶不同：葉片信息和土壤信息灰度變化相對平坦，集中在低頻區(qū)中；圖像細節(jié)和噪聲等信息集中在高頻區(qū)中；麥穗信息集中在某些頻段子帶中.通過空間域和頻率域圖像處理方法分析，頻率域方法可以更好地實現(xiàn)自然場景下麥穗圖像中麥穗信息的提取.

NSCT算法由非下采樣金字塔和非下采樣方向濾波器組構成.該算法利用濾波器組實現(xiàn)圖像多尺度頻帶分解，利用方向濾波器組實現(xiàn)圖像多方向分解.

2.1 麥穗圖像的多尺度多方向分解

為了實現(xiàn)平移不變性，提出非下采樣金字塔多尺度分解和迭代的非下采樣濾波器組多方向分解，公式為

(1)

其中：c(n)為輸出結果，x(k)為選定的濾波器，h為波帶矩陣，s為樣本矩陣.

非下采樣方向濾波器組, 采用átrous算法的思想, 通過消除上采樣和下采樣操作, 而只對濾波器上采樣得到, 形成了一個由多個雙通道非下采樣方向濾波器組成的樹形結構，把二維頻率平面分割成多個具有方向性的楔形結構.對帶通子帶圖像進行8級非下采樣方向濾波器變換，變換方向子帶8個扇區(qū)依次由坐標軸和22.5，45，67.5，112.5，135，157.5，-157.5，-135，-112.5，-67.5，-45，-22.5°劃分，n方向區(qū)間公式為

(2)

NSCT分解框架圖及方向濾波器如圖2所示.非下采樣金字塔多尺度分解，利用濾波器組進行非下采樣濾波將圖像分解為高通子帶圖像和低通子帶圖像，其中高通分解濾波器模塊H1(Z)與低通分解濾波器模塊H0(Z)滿足H0(Z)+H1(Z)=1 .通過對前一級分解得到的H0(Z)低通子帶圖像進行迭代分解，實現(xiàn)多級(k級)金字塔濾波分解，得到k+1個子帶圖像.k級分解得到各子帶公式為

(3)

由于其他區(qū)域相對麥穗部分灰度值平坦，可以通過NSCT高低頻分解，運用該算法的多尺度多方向分解獲取該圖像的多個頻段信息子帶，可以高效提取集中含有麥穗信息頻段的帶通子帶圖像，并且獲得的麥穗帶通子帶圖像尺寸大小與原圖保持一致.實現(xiàn)過程如下：首先對RGB(red, green, blue)圖像數(shù)據(jù)分成RGB 3個通道，然后分別將各個通道的圖像作為輸入圖像，通過非下采樣金字塔和方向濾波器組對圖像進行k級j個方向子帶圖像分解，得到多個多方向帶通子帶圖像和一個低通子帶圖像.然后對每層分解的帶通子帶信息進行分析，其每個方向子帶圖像尺寸與RGB圖像相同，將2，4，6，8方向子帶信息合并，實現(xiàn)目標信息的提取.NSCT多級分解，可以保證在有效去除噪聲而且可以不模糊圖像邊緣信息的情況下獲取麥穗的有效信息.

圖2 NSCT算法多級分解框架圖

圖3是通過紙箱框架采集的寧麥24號麥穗圖像，其中(b)為(a)采用NSCT處理的實驗圖.

圖3 寧麥24號麥穗圖像

圖4是通過矩形框架采集的揚麥19號麥穗圖像，其中(b)為(a)采用NSCT處理的實驗圖.

圖4 揚麥19號麥穗圖像

2.2 子帶圖像分割及形態(tài)學處理

采用經(jīng)過NSCT多尺度多方向分解獲得的帶通子帶圖像進一步處理，通過去除部分含有葉片信息和土壤信息的子帶圖像，有效降低了葉片、土壤背景和噪音等信息的干擾.進行NSCT操作后獲得的麥穗帶通子帶圖像仍然含有少量葉片信息的干擾，因此采用灰度閾值分割方法進一步提取麥穗信息.

設麥穗帶通子帶圖像為f(x,y)，其灰度值范圍為[0,L],T為0至L之間的一個合適閾值，滿足0≤T≤L，其中閾值T是由圖像灰度直方圖和實驗經(jīng)驗來確定.

(4)

灰度閾值分割仍存在麥穗粘連、噪聲干擾、較小麥穗信息保留等問題，而形態(tài)學處理能夠彌補這部分的缺失，可以在有效去除噪聲、粘連的同時又能較好地保護小麥穗的信息.閾值分割對于不同大小麥穗目標信息處理時容易出現(xiàn)小目標麥穗統(tǒng)計計數(shù)丟失和大目標麥穗重計數(shù)問題，所以論文采取形態(tài)學的腐蝕運算、膨脹運算等操作對麥穗圖像進行去噪處理.

設f為閾值分割后的麥穗圖像，對f進行基于3×3最小濾波器模板B的形態(tài)學膨脹和腐蝕操作，其結果分別為

D(f)=f⊕B={x,y|(B)xy∩f≠?}，

(5)

E(f)=f?B={x,y|(B)xy?f}.

(6)

論文計數(shù)主要依賴于形態(tài)學處理后圖像中的連通區(qū)域數(shù)目來實現(xiàn)統(tǒng)計，所以噪聲的存在會增加統(tǒng)計計數(shù)的誤差,此處閾值分割結合形態(tài)學處理可以實現(xiàn)對閾值分割結果的進一步優(yōu)化.

2.3 Find maxima計數(shù)及算法評價指標

采用Find maxima方法實現(xiàn)自然場景下麥穗圖像的麥穗計數(shù)．Find maxima方法是通過尋找局部最大值，確定圖像中的局部峰值，然后利用每一個局部極大值的像素值與最近鄰像素方差實現(xiàn)二值圖像的分割，計算連通局部區(qū)域最大值個數(shù)實現(xiàn)自然場景下麥穗圖像中的麥穗計數(shù)．

絕對誤差為

(7)

相對誤差為

(8)

總體精度為

(9)

精確率為

(10)

漏檢率為

(11)

虛檢率為

(12)

2.4 算法步驟

論文基于多尺度多方向分解的自然場景下麥穗計數(shù)算法的實現(xiàn)步驟如下：

(1) 多個實驗基地對不同品種小麥采取不同的方式進行麥穗RGB圖像數(shù)據(jù)采集，其中包括40 cm×50 cm紙箱框采集和60 cm×60 cm框架采集，共采集12個麥穗品種的RGB麥穗圖像數(shù)據(jù).

(2) 對獲取的RGB麥穗圖像進行初步的預處理，去除部分噪聲干擾和實現(xiàn)圖像增強.

(3) 對預處理后的圖像進行基于NSCT的多尺度多方向分解，獲取含有麥穗信息的帶通子帶圖像，實現(xiàn)去除葉片、土地等背景信息干擾.

(4) 對麥穗帶通子帶圖像進行閾值分割和形態(tài)學處理，進一步實現(xiàn)麥穗信息提取和分割.

(5) 最后利用Find maxima算法通過計算局部區(qū)域最大值實現(xiàn)連通區(qū)域的計數(shù)，進而實現(xiàn)麥穗的統(tǒng)計計數(shù).

3 實驗結果與分析

3.1 實驗結果

實驗根據(jù)采集的麥穗圖像數(shù)據(jù)的品種不同，在論文方法下分別進行多組實驗分析.圖5是不同麥穗品種的實驗對比，每個品種麥穗選取10個樣本.從實驗結果可以看出，所有樣本平均總體精度達到94.67%,平均精確度達到92.78%.

圖5 不同麥穗品種實驗結果

3.2 多種圖像處理方法與論文方法的實驗結果對比

通過上述結果顯示，論文方法可以有效實現(xiàn)自然場景下麥穗計數(shù)，傳統(tǒng)的麥穗計數(shù)方法有基于顏色特征提取、顏色特征和紋理特征提取、HSV(hue,saturation,value)顏色空間變換、YIQ(luminance(Y),in-phase quadrature(NTSC color space))顏色空間變換等方法.論文對上述幾種方法進行實驗對比分析,結果如表1所示，其中品種為揚麥24號，樣本量為10個.由分析可知，論文算法可以有效提高自然場景下麥穗計數(shù)的麥穗總體精度和精確度.

表1 不同方法下的計數(shù)結果

3.3 Find maxima計數(shù)和角點檢測計數(shù)對比實驗

論文中采取的是Find maxima方法，該方法是通過計算局部區(qū)域最大值來實現(xiàn)計數(shù)，而harris角點檢測算法較多運用于計數(shù)統(tǒng)計方面.角點檢測是對形態(tài)學處理后的圖像進行骨架化操作，然后對麥穗骨架圖像進行harris角點檢測.角點檢測對麥穗圖像中有麥穗交叉情況的計數(shù)效果較好，但是由于麥穗也可能出現(xiàn)折斷或彎曲角度過大等情況，也存在一定的誤差.Find maxima計數(shù)是根據(jù)其連通區(qū)域取最大值標點計數(shù)方式，適用于麥穗圖像中麥穗粘連情況較少的情況.而當粘連情況較多時，可選擇較常用的harris角點檢測算法.圖6是分別對此進行對比實驗結果.表2為不同計數(shù)方法的結果對比.

圖6 實驗結果

表2 不同計數(shù)方法的結果對比

4 結束語

論文提出基于多尺度多方向分解的自然場景下麥穗計數(shù)方法，通過利用NSCT的多尺度多方向分解對采集的自然場景下的RGB小麥麥穗圖像進行處理，提取含有麥穗信息的帶通子帶圖像部分，可以有效減少葉片、土壤背景和噪聲等信息的干擾.該方法在計數(shù)精度方面相較于其他的基于顏色特征、紋理特征的麥穗計數(shù)方法有著明顯的提升.在深度學習方法迅速發(fā)展的環(huán)境下，利用深度學習網(wǎng)絡進行實驗以進一步提高自然場景下麥穗計數(shù)精度是論文下一步的研究方向.