孫建國，田 野，李思照

(哈爾濱工程大學 計算機科學與技術學院，黑龍江 哈爾濱 150001)

0 引言

隨著傳感器技術的迅猛發(fā)展，高分遙感圖像的數(shù)據(jù)量顯著增加。其復雜場景識別和分類在遙感圖像的應用中起著重要的作用，被廣泛應用于城市規(guī)劃、土地資源分配及全球環(huán)境污染監(jiān)測等方面，具有重要的理論意義和實踐價值。遙感圖像不僅具有豐富的空間和紋理特征，而且還包含大量的場景語義信息。因此為了理解和識別遙感圖像中的場景信息，遙感圖像場景分類技術獲得了航空和衛(wèi)星圖像分析領域研究者的廣泛關注[1]。

場景分類的核心是遙感圖像特征提取，傳統(tǒng)的遙感圖像場景分類研究工作大致可以分為具有底層場景特征的方法和具有中層場景特征的方法[2]。常用的低層方法包括尺度不變特征變換、局部二進制模式以及顏色直方圖等。中層方法通過對低層本地特征描述符進行編碼來表示場景，中層編碼方法包括視覺詞袋、空間金字塔匹配以及潛在迪利克雷分配等。然而這些方法在對信息更加豐富、結構更加復雜的高分遙感圖像進行分類時，由于受到遙感圖像中包含的復雜的非線性特征、光譜信息之間在互補的同時又存在極大冗余性特點的影響，很難得到理想的分類結果[3]。

近年來，深度卷積神經(jīng)網(wǎng)絡(CNN)[4-5]在遙感場景分類領域取得了顯著成就。與基于人工設計的低層和中層特征不同，CNN通過學習大量的樣本來生成圖像的特征表示。同時，CNN具有多層結構，獲得的深層特征相對于手工設計的特征而言是對遙感圖像內容的高層抽象，在對復雜場景識別時有著更好的效果。然而在應用CNN進行遙感圖像場景分類時，通常情況下需要大量均衡的標記數(shù)據(jù)進行訓練，當樣本數(shù)量不均衡時很難，CNN很難在樣本較少的種類上實現(xiàn)較好的分類性能。

為了解決遙感圖像場景分類中的數(shù)據(jù)不平衡問題，許多數(shù)據(jù)不平衡處理方法被提出[6-8]。文獻[7]針對數(shù)據(jù)進行重新采樣，對多數(shù)類進行下采樣并對少數(shù)類進行過采樣以確保每個類別的均等分布。文獻[8]基于重新加權的方法，在損失函數(shù)中對于不同的類別加入與類別數(shù)量成反比的權重系數(shù)。文獻[9]采用元度量學習的方式，對多數(shù)類進行隨機訓練以學習跨數(shù)據(jù)分布的廣義知識，然后在所有類別數(shù)據(jù)上進行微調，以進一步提高模型的分類性能。然而，這些方法在處理高度不平衡數(shù)據(jù)時仍然受到一定的限制。重采樣方法可能會丟失多數(shù)類的信息并對少數(shù)類數(shù)據(jù)過擬合，重加權的方式只能在一定程度上緩解不平衡數(shù)據(jù)的分類問題，而元度量學習需要經(jīng)過多次訓練，并不是一種端到端的學習方式。

本文提出一種新的基于混合采樣與插值訓練的端到端的訓練模型算法，來解決遙感圖像場景分類中的數(shù)據(jù)不平衡問題。具體來說，將遙感圖像的訓練數(shù)據(jù)分為樣本均衡的訓練子集和樣本高不均衡的訓練子集兩部分。在訓練模型過程中，使用MixUp[10]方法，對兩部分的數(shù)據(jù)信息充分混合，以提高CNN對遙感圖像的分類性能。實驗結果表明，基于混合采樣與插值訓練的端到端的訓練模型算法能夠在不影響對多數(shù)類別的分類性能的情況下提高CNN對少數(shù)類別的分類精度。

1 基于混合采樣與插值運算的場景分類方法

本文提出的基于混合采樣與插值訓練的場景分類方法主要分為3個步驟：首先通過混合采樣將數(shù)據(jù)分為樣本均衡訓練子集和高不平衡訓練子集兩部分；然后使用MixUp方法對兩個子集中的數(shù)據(jù)進行融合產(chǎn)生新的樣本，并送入CNN中訓練模型；最后通過多次重復迭代上述步驟得到泛化能力好的分類模型。

1.1 混合采樣技術

1.2 MixUp插值運算

在訓練神經(jīng)網(wǎng)絡的過程中，網(wǎng)絡的規(guī)模受到樣本數(shù)量的限制，訓練樣本的多樣性對于模型的泛化性能有著直接的影響。因此，數(shù)據(jù)增廣技術已經(jīng)成為了在訓練模型是的一種常用手段，通常情況下，依據(jù)是否生成新的虛擬樣本，對于遙感圖像來說，數(shù)據(jù)增廣可以分為兩類：一類是通過隨機剪裁、水平翻轉、垂直翻轉等簡單運算得到增廣后的樣本；另一類則是通過生成對抗網(wǎng)絡、線性插值等手段，以原樣本為基礎生成新的虛擬樣本。

λ～Beta(α,α),

(1)

λ′=max(λ,1-λ),

(2)

(3)

(4)

這種半監(jiān)督學習方法是利用了插值訓練方法所產(chǎn)生的樣本對原樣本的線性疊加而生成的，可以使不同類別樣本間的分布更為平滑，進一步提高模型的識別能力。

(5)

2 實驗與結果分析

本節(jié)首先介紹了實驗環(huán)境和數(shù)據(jù)，然后介紹了實驗過程，最后將本文方法和其他相關算法進行對比。通過準確率、混淆矩陣和不同類別分類效果對比的方式證明本文算法在處理高不平衡遙感數(shù)據(jù)時的優(yōu)勢。

2.1 實驗數(shù)據(jù)

本文采用了航空影像數(shù)據(jù)集(Aerial Image Dataset,AID)[12]進行實驗驗證。AID數(shù)據(jù)集中共有30類場景，每個場景類別的圖像數(shù)量在220～420之間，共計10 000張場景圖像。圖像大小為600×600 px，部分場景圖像如圖1所示。在AID數(shù)據(jù)集的每個類別中隨機選取50%的樣本作為訓練數(shù)據(jù)，并在余下的數(shù)據(jù)中，每個類別選取100個樣本作為測試數(shù)據(jù)集,余下的樣本作為驗證集。

圖1 部分遙感圖像示例Fig.1 Some samples of remote sensing images

2.2 實驗過程

使用在Imagenet數(shù)據(jù)集上預訓練的Resnet50[13]作為模型的框架，并且將Resnet50最后一個1 000維度的全鏈接層改為30個維度的全鏈接層以實現(xiàn)對遙感圖像的場景分類。

對于本文實驗，在混合采樣后得到的兩個數(shù)據(jù)子集中，每個子集選取16個樣本作為一個批次，200批次為一個epoch，共計迭代40個epoch，并使用Adam優(yōu)化器以3×10-5的學習率優(yōu)化模型。對于其他對比方法，使用Adam作為優(yōu)化器以3×10-5的學習率優(yōu)化模型訓練500個epoch，使用驗證集上表現(xiàn)最佳的模型在測試集上的準確率作為最終結果。

2.3 實驗結果

為了評價本文提出的高不平衡遙感圖像場景分類算法性能，將其與現(xiàn)有的重采樣、重加權以及元度量學習方法進行對比。同時，在不使用任何策略的情況下訓練Resnet50模型作為基準對比方法。

實驗一結果如表1所示。由表1可見，在少數(shù)類別樣本中，在每個類別僅有5個樣本的情況下，無論是對多數(shù)類的分類情況，還是對少數(shù)類樣本的分類情況，本文算法的分類準確率都是最高的，充分證明了本文算法在處理高不平衡遙感場景分類時的優(yōu)勢。

表1 實驗一：不同算法分類精度的比較

圖2和圖3為實驗一中元度量學習與本文算法在30類遙感圖像測試集上的混淆矩陣，清晰顯示了算法對不同類別的識別精度。通過圖2與圖3的對比可以看出，本文方法既能充分提高少樣本類別分類準確率，又能在多樣本類中保持較好的識別效果。

圖2 實驗一：元度量學習的混淆矩陣Fig.2 Experiment 1:Confusion matrices of meta metric learning

圖3 實驗一：本文算法的混淆矩陣Fig.3 Experiment 1:confusion matrices of our algorithms

實驗二結果如表2所示。同實驗一的結果相似，當少數(shù)類的樣本數(shù)量略有提升時，本文算法在所有類別的分類精度上仍具有較大優(yōu)勢。

表2 實驗二：不同算法分類精度的比較

圖4為實驗二中本文算法在30類遙感圖像測試集上的混淆矩陣。

圖4 實驗二：本文算法的混淆矩陣Fig.4 Experiment 2:confusion matrices of our algorithms

圖5通過對比的方式，詳細顯示了本文算法和元度量學習算法在少數(shù)類別中，每個類別有10個樣本情況下的精度對比。由圖5可知，在每個少數(shù)類別僅有10個訓練樣本的情況下雖然本文算法對個別類別的分類精度略有降低，但對于大多數(shù)類別的分類精度均有明顯提高。

圖5 實驗二：本文算法與元度量學習方法精度對比Fig.5 Experiment 2:accuracy comparison between the algorithm in this paper and the meta-metric learning method

3 結論

對高不平衡分布的遙感圖像數(shù)據(jù)，本文首先采用混合采樣的方式對數(shù)據(jù)集進行處理，將數(shù)據(jù)集分為兩個子集，然后基于插值運算對兩個數(shù)據(jù)集中的樣本進行處理，將得到的新樣本用于訓練遙感圖像場景分類模型。由實驗結果可以看出，所提出的混合采樣與值運算方法在處理類不平衡的遙感數(shù)據(jù)時，既能很好地改善少數(shù)類別的識別精度，又能對多數(shù)類別的識別精度有所提升，最終提升整體分類性能。