鮑文霞 邱翔 胡根生 梁棟 黃林生

(安徽大學 農業(yè)生態(tài)大數據分析與應用技術國家地方聯(lián)合工程研究中心，安徽 合肥 230601)

我國每年因水稻蟲害造成的糧食減產達水稻產量的10%～15%[1]，水稻蟲害對糧食的生產造成了極大威脅。在水稻的整個生產周期中，蟲害種類繁多，并且繁殖速度快、周期短，因此水稻蟲害的準確識別有利于對水稻蟲害進行及時、準確的防治。當前水稻蟲害識別主要采用人工方法，但是人工方法耗費巨大，工作效率也不高。機器學習和圖像處理方法已被廣泛用于農業(yè)中病蟲害的識別[2]。隨著人工智能技術的發(fā)展，利用人工智能方法實現(xiàn)水稻蟲害的自動化識別，對精準農業(yè)和智慧農業(yè)的發(fā)展具有重要意義。例如，Liu等[3]通過提取小麥蚜蟲圖像的HOG(Histogram of Oriented Gradient，梯度方向直方圖)特征并使用SVM(Support Vector Machine，支持向量機)訓練學習，實現(xiàn)了簡單麥田背景下小麥蚜蟲的自動識別和計數，平均識別精度達75.8%[3]。Yao等[4]提出了一種利用病蟲害和非病蟲害兩幅圖像的色差去除背景的方法，通過使用徑向基核函數將提取的各害蟲的顏色、形狀、紋理等特征送入支持向量機分類器中進行識別，對背景簡單的4類鱗翅目水稻害蟲進行了測試，取得了較高的識別準確率。Kandalkar等[5]從各種作物(如棉花、木豆、鷹嘴豆等)中捕獲蟲害的圖像，提取被分割后蟲害圖像的各種特征，運用BP(Back Propagation，反向傳播)神經網絡對蟲害進行分類，從而達到識別的目的。Xie等[6]使用稀疏編碼直方圖量化昆蟲圖像的顏色特征、紋理特征、形狀特征、SIFT(Scale-Invariant Feature Transformation，尺度不變特征轉換)特征和HOG特征，并采用多核學習方法聯(lián)合優(yōu)化內核權重對昆蟲圖像進行識別。Xie等[7]首先使用無監(jiān)督的特征學習方法從未標記的圖像塊中訓練字典，然后通過學習字典從標記的蟲害圖像塊中計算低級特征，再使用多級操作在空間上對齊、匯集低級特征以形成補丁級特征，最后通過學習標記樣本的多個斑塊級特征來構建多級分類器框架用于蟲害的分類，與早期的支持向量機和神經網絡等方法相比，識別精度有所提高。上述農業(yè)蟲害識別算法大都是將提取的蟲害圖像特征直接送到分類器中進行識別，在背景比較簡單或者蟲害種類不多的情形下可取得較好的識別精度。如何提取復雜場景下的蟲害圖像的高辨識性特征、提升現(xiàn)有分類器的性能，是目前研究中的兩大關鍵問題。

文中以常見的13類水稻蟲害圖像為研究對象，利用U-Net網絡特殊的U形結構可以很好地保留目標信息的優(yōu)點，在小樣本下對圖像中的水稻蟲害進行分割，去除復雜背景的影響；同時采用滑動窗口法提取蟲害圖像的HSV(Hue,Saturation,Value；色調，飽和度，明度)特征和SILTP(Scale-Inva-riant Local Ternary Pattern，尺度不變局部三值模式)特征，獲得具有亮度變化和視覺變化不變性的特征，并利用Relief-F算法對所提取的特征進行優(yōu)化；在水稻蟲害特征送入分類器識別之前，利用橢圓型度量學習的方法對特征空間進行變換，使同類水稻蟲害特征分布更緊湊，異類蟲害特征分布更松散，從而提升SVM分類器的辨識能力。

1 數據獲取及預處理

1.1 數據及其增強

文中用到的水稻蟲害圖像數據集來源于互聯(lián)網檢索和公開數據整理所得，包括13類常見的蟲害：赤斑黑沫蟬、二化螟、稻棘緣蝽、稻縱卷葉螟、稻鐵甲蟲、二星蝽、灰飛虱、大稻緣蝽、水稻黑尾葉蟬、稻綠蝽、稻黑蝽、大螟、白背飛虱。表1給出了水稻蟲害的名稱以及圖像的數目。

表1 水稻蟲害圖像數據分布Table 1 Data distribution of rice pest images

1.2 水稻蟲害圖像的分割

為了降低水稻葉片、稻穗以及稻桿等復雜背景對蟲害識別結構的影響，文中利用深度語義分割U-Net網絡從圖像中分割出蟲害。U-Net網絡是由Shelhame和Ronneberger等[8- 9]提出來的一種基于CNN(Convolutional Neural Network，卷積神經網絡)的圖像分割網絡，能夠適應小的訓練集。它融合了編碼-解碼結構和跳躍網絡的特點，在模型結構上更加優(yōu)雅和巧妙，特殊的U形結構讓裁剪和拼接過程更加直觀，高層特征圖與底層特征圖的拼接以及卷積的反復、連續(xù)操作使得模型能夠從上下文信息和細節(jié)信息中組合得到更加精準的輸出特征圖。

在利用U-Net網絡進行分割時，將水稻蟲害數據集中70%共1 084幅圖像選為訓練集。通過水平翻轉、垂直鏡像、鏡像翻轉等方式，同時保持每一類別樣本數量均衡，將訓練集圖像增強到5 634幅。圖1為部分蟲害圖像的增強結果。

圖1 部分水稻蟲害圖像的增強結果Fig.1 Image enhancement results of some rice pests

圖2給出了基于U-Net網絡對水稻蟲害圖像進行分割的流程圖。首先將原始的水稻蟲害圖像調整為統(tǒng)一的尺寸，并對水稻蟲害圖像訓練集進行增強，然后輸入U-Net網絡進行訓練，接著將測試集圖像輸入訓練好的U-Net網絡模型中，得到分割結果，并對其連通區(qū)域進行篩選，保留最大連通區(qū)域，從而得到水稻蟲害圖像的最終分割結果。

圖2 U-Net網絡分割流程Fig.2 Process of U-Net network segmentation

2 水稻蟲害圖像的特征提取及優(yōu)化

2.1 特征提取

數據集里收集的水稻蟲害圖像是在農田環(huán)境下拍攝的，光照和視覺變化較大。為了提高水稻蟲害圖像識別的準確率，需要提取具有亮度變化和視覺變化不變性的蟲害特征。

為解決亮度變化問題，文中采用HSV[10]顏色直方圖和SILTP[11]分別提取水稻蟲害圖像的顏色特征和紋理特征。HSV顏色空間的3個分量分別代表色彩(Hue)、飽和度(Saturation)和值(Va-lue)，HSV顏色直方圖更符合人們對顏色一致性的認知。紋理是一種反映圖像區(qū)域內像素灰度級空間的屬性，不同蟲害圖像的紋理特征不同，而SILTP對圖像局部區(qū)域的相似像素點的變化具有魯棒性，同時具有尺度不變性。

給定任何像素位置(xc,yc)，SILTP將其編碼為

(1)

式中：Ic為中心像素的灰度值；Ik是在半徑為R的圓上等距離的N個鄰域像素；⊕表示二進制串的連接算子；為表示比較范圍的比例因子；S為分段函數，定義為

S

(2)

為了解決相機拍攝角度不同引起的水稻蟲害圖像視覺變化問題，采用有重疊的滑窗來抽取2個不同尺度的SILTP和1個HSV特征，然后對水平滑窗的特征進行對比，取所有水平滑窗中相應特征的最大值構成特征向量，如圖3所示。這樣得到的特征既具有視角變化不變性，又可以捕捉局部特征。為了兼顧多尺度信息，對原始圖像做兩次2×2的降采樣，建立三尺度圖像金字塔，將這3個圖像特征拼接起來構成1個新的特征向量。

圖3 滑窗特征提取過程Fig.3 Extraction process of the sliding window feature

2.2 特征優(yōu)化

為進一步獲取具有高辨識性的水稻蟲害圖像特征，利用Relief-F算法對提取的蟲害特征進行優(yōu)化。Relief-F算法是一種建立在分類標簽基礎上的重要的屬性加權方法[12]。設水稻蟲害圖像特征訓練樣本集為X={xi|xi∈Rs,i=1,…,n}，其中Rs為特征空間，xi={A1,A2,…,As}，為第i幅圖像提取的滑窗特征向量。從訓練樣本集X中隨機選擇樣本xi，然后從與xi同類的樣本中找出k個近鄰樣本xj(j=1,…,k)，同時從與xi異類的樣本中找出k個近鄰樣本xl(l=1,…,k)，更新每個特征的權重。

特征權重按下式計算：

(3)

式中，diff(A,xi,xj)表示樣本xi和xj在特征A上的差異，m為抽樣次數，class(xi)表示與xi同類，p(C)為與xi不同類的C類的概率，p(class(xi))表示與xi同類的概率，xl(C)表示C類中第l個最近鄰樣本。diff(A,x1,x2)表示如下：

(4)

Relief-F算法根據特征集對應類別的相關性計算每個特征的權重，當權重小于設定閾值時移除該特征，最后得到最優(yōu)的特征集。

3 水稻蟲害圖像的特征識別

在基于特征的水稻蟲害識別任務過程中，特征之間的相似性度量在構建學習方法時至關重要，而目前廣泛使用的歐式度量將輸入樣本看成各向同性，不能公平地反映特征各維度分量之間的潛在關系。橢圓型度量能夠描述特征之間潛在的非線性關系，并且通過度量學習使得相應的橢圓型度量具有更好的區(qū)分性，從而提高分類器的判別能力。

3.1 橢圓型度量學習空間變換

設水稻蟲害圖像優(yōu)化后的特征訓練樣本為X={xi|xi∈Rd,i=1,2,…,n}。在數據空間X={xi|xi∈Rd,i=1,2,…,n}中，不同的兩個點xi和xj確定的直線和基本二次曲面Ω相交于Z+和Z-，那么xi、xj之間的距離d(xi,xj)可以由下式定義[13]：

(5)

對于對稱可逆矩陣M∈R(d+1)×(d+1)，其確定的雙線型為[14]

(6)

ω(xi,xj)統(tǒng)一采用簡化形式ωij來表示。

當M是正定的，xi,xj∈Rd滿足ωij>0，定義dE(xi,xj)：Rd×Rd→R+，有

(7)

其中，i為虛數單位，1/k為橢圓幾何空間的曲率[15]，(Rd,dE)為橢圓型幾何空間，dE為橢圓型度量，M為橢圓型度量矩陣。

而通常使用的馬氏度量為

(8)

其中Σ為數據的協(xié)方差。

使用數據的均值m和協(xié)方差Σ定義對稱可逆橢圓度量初始矩陣M如下:

(9)

這樣構造出的橢圓型度量dE在極限情況下和馬氏度量dΣ滿足以下關系：

(10)

因此dE也稱為廣義馬氏度量。

橢圓型度量學習在本質上可以表述為：通過訓練樣本，尋找一種能夠反映樣本空間結構信息或語義信息的分式線性變換，使得相應的橢圓型度量在某種學習準則下具有更好的區(qū)分性，能夠更好地對訓練樣本的潛在關系進行建模。由于線性變換是分式線性變換的一種特殊形式，因此橢圓型度量學習比馬氏度量學習的適用范圍更廣，識別性能更佳；又由于分式線性變換可視為一種特殊的非線性變換，因此橢圓型度量學習易于計算和實現(xiàn)。

從上面的定義可以看出，橢圓型度量依賴于一個對稱矩陣M，因此橢圓型度量學習的目的就是：對于給定訓練樣本數據，尋找一個最優(yōu)的橢圓型度量矩陣M，使得相應的度量在某種學習準則下是最優(yōu)的。

基于三元組約束的度量學習準則的基本思想是使得k-近鄰的樣本點和目標樣本保持同類，同時讓不同類別的樣本點與其保持較大的間距。為了避免過擬合，文中在三元組約束函數中增加Frobenius范數正則項來對橢圓型度量矩陣進行正則化。因此，橢圓型度量學習的優(yōu)化問題可以表示為

(11)

s.t.

根據約束條件，可以將松弛變量ξijl表示為

ξijl(M)=[1+dE(xi,xj)-dE(xi,xl)]

(12)

因此式(12)中的最優(yōu)化問題可以通過梯度下降法[16]來迭代解決，其目標函數為

(13)

(14)

式(14)中，等號右邊三部分的導數分別為

(15)

(16)

(17)

因此，水稻蟲害圖像特征可以通過變換矩陣L映射到新的特征空間：

(18)

圖4給出了橢圓型度量學習應用于水稻蟲害圖像識別任務的示意圖。將水稻害蟲圖像表示成二維空間中的點，左圖中原始特征空間的成對約束及相似約束由代表同類的水稻蟲害圖像組成(用虛線表示)；不相似約束用不同類的蟲害圖像組成(用實線表示)。通過橢圓型度量學習投影后，在新的空間(右圖)中同類樣本分布更緊湊，異類樣本分布則更離散，能更好地滿足給定約束，從而有利于提升分類的性能。

圖4 空間變換示意圖Fig.4 Schematic diagram of spatial transformation

3.2 識別算法流程

基于橢圓型度量學習空間變換的水稻蟲害識別算法的具體步驟如下：

步驟1 對水稻蟲害圖像進行數據增強，并使用U-Net網絡對水稻蟲害圖像進行分割，去除復雜背景的影響；

步驟2 對分割后的蟲害圖像采用滑窗法提取HSV特征和SILTP特征，獲取具有亮度變化和視覺變化不變性的蟲害特征，并利用Relief-F算法對特征進行優(yōu)化；

步驟3 利用文中給出的橢圓型度量學習方法學習得到最優(yōu)的空間變換矩陣L，利用L將水稻蟲害圖像特征變換到新的特征空間；

步驟4 將新的空間特征采用SVM分類器[18]實現(xiàn)水稻蟲害圖像的識別。

算法流程如圖5所示。

圖5 算法流程圖Fig.5 Flow chart of the proposed algorithm

4 實驗結果與分析

利用深度語義分割U-Net網絡得到的部分水稻蟲害圖像如圖6所示，采用文中提出的橢圓型度量學習空間變換方法對分割后的蟲害圖像進行識別。

圖6 部分水稻蟲害圖像Fig.6 Part of segmented rice pest images

4.1 不同特征及分類器的識別結果對比

為了驗證不同特征及分類器對水稻蟲害圖像識別精度的影響，分別提取HOG特征、SILTP特征以及文中方法所得特征，比較了KNN(K-Nearest Neighbor，最近鄰)[19]、LR(Logistic Regression，邏輯回歸)[20]、RF(Random Forest，隨機森林)[21]、SVM以及文中方法在不同特征下的識別性能，所得結果如表2所示。從表2中可以看出：文中使用滑窗法提取并經Relief-F算法優(yōu)化后的特征在不同分類方法下的識別效果明顯高于HOG特征以及單獨的SILTP特征；同時，通過橢圓型度量學習后得到的最優(yōu)矩陣將原特征變換到新的特征空間中，使得同類樣本分布更緊湊，異類樣本分布則更離散，能更好地滿足給定約束，從而有利于提升分類的性能，最高識別準確率達90.5%。

表2 不同分類器使用不同特征時的識別準確率比較

為了分析橢圓型度量學習空間變換對分類器性能的影響，圖7給出了將文中提取的特征直接利用SVM分類器以及經空間變換后再用SVM分類的結果。由于灰飛虱(標簽6)、二星蝽(標簽5)與稻棘緣蝽(標簽2)顏色比較接近，稻綠蝽(標簽9)和大稻緣蝽(標簽7)顏色也較為接近，白背飛虱(標簽12)與水稻黑尾葉蟬(標簽8)在形態(tài)結構上較為接近，因此，經空間變換后再用SVM分類比直接利用SVM分類的錯誤率更低。橢圓型度量學習空間變換可有效減小同類之間的距離，增大異類之間的距離，從而增加了SVM對特征的鑒別能力。

圖7 識別結果比較Fig.7 Comparison of recognition results

4.2 不同度量方法空間變換的識別結果對比

將橢圓型度量學習與兩種常用的馬氏度量學習方法(QDA[22]和NPD[23])進行對比，在文中方法所得特征下，利用不同度量方法學習得到的變換矩陣進行特征空間變換，在不同分類器下進行識別實驗，所得結果如表3所示。在識別性能上，馬氏度量學習得到的馬氏度量雖然優(yōu)于原始的馬氏度量，但線性變換的局限性導致它不能描述訓練樣本潛在的非線性關系，這限制了它在實踐中的應用范圍。橢圓度量通過訓練樣本，尋找一種能夠反映樣本空間結構信息或語義信息的非線性變換，使得相應的度量具有更好的區(qū)分性，能夠更好地對訓練樣本的潛在關系進行建模，因此經過橢圓度量學習后再利用SVM進行識別，效果更好。

表3 不同度量方法的對比Table 3 Comparison of different measurement methods

4.3 經典卷積神經網絡的識別結果對比

隨著深度學習的發(fā)展，卷積神經網絡常被用于解決分類問題。文中利用3種經典卷積神經網絡(VGG16、VGG19[24]和ResNet34[25])對水稻蟲害圖像直接進行識別，由于數據樣本少，因此在訓練過程中采用文中增強后的數據集，所得識別結果與文中方法結果的對比如圖8所示。其中網絡訓練所使用的超參數如下：網絡用于反向傳播開始所使用的學習率為0.01，權重衰減參數為0.000 04，設置batch_size為128，每次反向傳播前訓練的批數(Iter_size)為128，即每訓練128幅圖像進行1次反向傳播。數據集的數量是深度學習能否學習到足夠好的特征的關鍵，因此當數據集的數量較少且困難區(qū)分較多時，深度學習就不適用于該任務。而傳統(tǒng)算法可以根據數據集的狀況，針對性地使用特征算法來提取圖像的信息，更加適用于小樣本的數據集任務。尤其是在某些小數據量的困難樣本類上，使用先驗知識來確定合適的特征提取算法，表現(xiàn)得比深度學習更加優(yōu)異。

圖8 不同網絡的識別結果Fig.8 Identification results of different networks

4.4 不同種類水稻蟲害圖像的識別

為了研究文中提出的算法對不同類水稻蟲害的識別精度，對13個種類的水稻蟲害圖像分別利用文中算法進行實驗，結果表明：文中算法對測試集中標簽4(稻鐵甲蟲)、7(大稻緣蝽)、8(水稻黑尾葉蟬)、9(稻綠蝽)、10(稻黑蝽)的識別精度較高，識別準確率最高可達100%；對標簽2(二化螟)、5(二星蝽)也可以達到97.5%的識別準確率；而對標簽3(稻縱卷葉螟)、6(灰飛虱)、11(大螟)的識別準確率較低，不到70%；對標簽12(白背飛虱)全部識別錯誤。這是因為：部分稻綠蝽和大稻緣蝽、灰飛虱和二星蝽的顏色較為接近，使得稻綠蝽被識別成大稻緣蝽，灰飛虱被識別成二星蝽；白背飛虱與水稻黑尾葉蟬在形狀上比較接近，造成了錯誤識別，使得識別率為0。圖9給出了識別錯誤率較高的幾類水稻蟲害，因顏色或者形態(tài)結構較為相近，左側和右側的蟲害辨識困難。

圖9 易誤識別的水稻蟲害Fig.9 Misidentified rice pests

5 結語

文中提出了一種基于橢圓型度量學習空間變換的水稻蟲害識別算法，利用滑窗方法和Relief-F算法獲取最優(yōu)的具有亮度變化和視覺變化不變性的水稻蟲害特征；在提升分類性能時引入了橢圓型度量，通過在三元組約束函數中增加Frobenius范數正則項來提升橢圓型度量學習的泛化能力，并利用橢圓型度量學習得到的最優(yōu)矩陣進行特征空間變換，使蟲害特征同類樣本分布更緊湊，異類樣本分布更離散。對13類水稻蟲害在不同特征集、不同分類器下的實驗結果表明，文中算法具有較高的識別準確率。文中還分析了一些易識別錯誤的蟲害類別，為后續(xù)算法的改進打下了基礎。通過對不同類水稻蟲害的實驗發(fā)現(xiàn)，當水稻蟲害圖像背景復雜，且很多蟲害和背景顏色很相似時，直接利用卷積神經網絡方法進行分類識別的效果并不是很好，在后續(xù)工作中，筆者將進一步研究更優(yōu)的利用卷積神經網絡進行識別的方法，同時，進一步提升易錯類別水稻蟲害圖像的識別精度，尋找更優(yōu)的方法來解決小樣本、數據不平衡問題。