劉燕芝,陳立福,崔先亮,袁志輝,邢學(xué)敏

(長沙理工大學(xué) a.電氣與信息工程學(xué)院; b.交通運(yùn)輸工程學(xué)院,長沙 410114)

0 概述

衛(wèi)星與飛機(jī)對地觀測技術(shù)的飛速發(fā)展,使得遙感數(shù)據(jù)的獲取變得越來越便捷。由于遙感影像具有豐富的空間結(jié)構(gòu)特征,并且這些特征可以體現(xiàn)圖像的場景語義信息,因此如何充分利用包含豐富信息的數(shù)據(jù)成為遙感圖像場景分類問題中的研究熱點(diǎn)和難點(diǎn)。多年來,國內(nèi)外學(xué)者已提出多種場景分類方法,根據(jù)特征提取的層次大致可以分為兩類,一類是提取圖像低層次特征的Gist方法[1],另一類是基于中層語義特征建模的視覺詞袋(Bag-of-Visual-Word,BoVW)模型[2]。上述方法的中、低層特征需要人工選取且不能很好地利用遙感圖像的場景信息,例如支持向量機(jī)(Support Vector Machine,SVM)[3]缺乏對圖像中層語義的表述,難以跨越低層到高層語義的鴻溝[4],而改進(jìn)的同心圓多尺度結(jié)構(gòu)視覺詞袋(CCM-BOVW)[5]模型不適用于復(fù)雜場景,因而其特征表達(dá)能力和分類精度較差,不能很好地實現(xiàn)場景分類。

近年來,深度學(xué)習(xí)[6-7]方法發(fā)展迅猛,尤其是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[8],其憑借強(qiáng)大的學(xué)習(xí)能力被成功應(yīng)用于各個領(lǐng)域,有研究者將其應(yīng)用于遙感影像場景分類,同樣取得了很好的分類效果。文獻(xiàn)[9]提出一種學(xué)科交叉的思想,將神經(jīng)計算和認(rèn)知計算相結(jié)合,但其復(fù)雜度太高,文獻(xiàn)[4]提出多尺度深度卷積神經(jīng)網(wǎng)絡(luò)(Multi-Scale Deep Convolutional Neural Network,MS-DCNN)場景分類法,該方法需要大量數(shù)據(jù)集,否則無法充分訓(xùn)練網(wǎng)絡(luò),文獻(xiàn)[10]通過聯(lián)合顯著性采樣和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行場景分類,但其無法區(qū)分具有細(xì)微差異的類別。

本文提出一種基于空間特征重標(biāo)定網(wǎng)絡(luò)的遙感圖像場景分類方法。通過多尺度全向高斯導(dǎo)數(shù)濾波器提取圖像頻譜上不同方向的空間結(jié)構(gòu)特征,從多個觀測尺度上體現(xiàn)圖像的場景信息,使用可分離卷積[11]增加網(wǎng)絡(luò)的寬度,以保證網(wǎng)絡(luò)的深度和參數(shù)量,引入附加動量法的特征重標(biāo)定網(wǎng)絡(luò),對圖像的多尺度特征進(jìn)行權(quán)重篩選,激勵能充分體現(xiàn)樣本信息的有效特征并抑制影響分類效果的冗余特征,從而提升網(wǎng)絡(luò)的分類精度與泛化能力。

1 多尺度空間結(jié)構(gòu)統(tǒng)計特征提取

遙感圖像所呈現(xiàn)出的視覺特性是由視覺場景中所有同質(zhì)局部碎片子塊的隨機(jī)分布特性所決定的[12],而遙感圖像的全局視覺空間結(jié)構(gòu)在統(tǒng)計上服從Weibull分布[13],因此,通過建立視覺圖像全局空間結(jié)構(gòu)的Weibull模型可以有效表征圖像的視覺特性。視覺圖像在任意像素點(diǎn)的局部空間結(jié)構(gòu)可以利用圖像函數(shù)I(x,y)在該點(diǎn)的泰勒展開式[14]獲得,I(x,y)的近似泰勒展開式如下:

(1)

式(1)表明,視覺圖像的觀測值是在一定空間觀測尺度上通過累積圖像的空間結(jié)構(gòu)信息而獲得的,證明了圖像中最重要的視覺特性由圖像的空間結(jié)構(gòu)決定,而微分項Ixmyn代表圖像的空間結(jié)構(gòu)特征,其可以通過構(gòu)建高斯導(dǎo)數(shù)濾波器[15]進(jìn)行計算,如式(2)所示。

Ixmyn(x,y)=I(x,y)Gk,σ(x,y,σ)

(2)

(3)

(4)

式(4)表明,最優(yōu)高斯導(dǎo)數(shù)濾波基的數(shù)目M與Gk,σ(γ,ψ)的傅里葉級數(shù)中非零諧波的個數(shù)相等,即M等于an(γ)中不等于0的個數(shù)。因此,通過求解極坐標(biāo)系下Gk,σ的傅里葉變換可以得到ki(θ),如式(5)所示。

(5)

圖1 特定尺度參數(shù)下的高斯導(dǎo)數(shù)濾波結(jié)果

Fig.1 Gaussian derivative filtering results under scale-specific parameters

2 卷積神經(jīng)網(wǎng)絡(luò)分類模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN屬于人工神經(jīng)網(wǎng)絡(luò)中基于監(jiān)督學(xué)習(xí)的層級網(wǎng)絡(luò),其基本結(jié)構(gòu)如圖2所示。CNN通過權(quán)值參數(shù)的共享來減少權(quán)重數(shù)量[16],并將遙感圖像的局部像素范圍作為網(wǎng)絡(luò)的底層輸入,每層通過一個參數(shù)可變的濾波器(卷積核)獲取觀測數(shù)據(jù)最顯著的特征,前一層學(xué)習(xí)到的特征信息通過層級結(jié)構(gòu)傳輸?shù)郊墧?shù)更高的層。本文CNN主要包括卷積層、激活層和池化層。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1)卷積層

卷積層是CNN的核心,該層的功能是對前一層的輸入進(jìn)行特征提取。假設(shè)輸入圖像為二維矩陣X,大小為m×n,卷積核的數(shù)量為K且大小為k×k,則進(jìn)行卷積運(yùn)算之后得到的輸出矩陣Y,其大小為((m-k)/s+1)×((n-k)/s+1),s表示卷積核的步長,Y的計算公式如下:

(6)

其中,xi表示前一層的輸入,wij為權(quán)重,bi表示偏置,卷積核的數(shù)量K為經(jīng)過卷積層處理之后產(chǎn)生的特征圖數(shù)量。

2)激活層

由于線性模型的表達(dá)能力不夠,因此需要使用激活函數(shù)以引入非線性因素,激活之后的特征圖為F,計算公式如下:

(7)

其中,τ為激活函數(shù)。常用的激活函數(shù)有Sigmoid、Tanh、ReLU等,由于ReLU能使部分神經(jīng)元的輸出為0,可增強(qiáng)網(wǎng)絡(luò)的稀疏表達(dá)能力,防止網(wǎng)絡(luò)出現(xiàn)過擬合,同時可解決因網(wǎng)絡(luò)層數(shù)增加而造成的梯度消散問題,加快隨機(jī)梯度下降的收斂速度,因此本文使用ReLU作為激活函數(shù)。

3)池化層

當(dāng)輸入層的圖像尺寸較大時,在經(jīng)過卷積層運(yùn)算之后產(chǎn)生的特征圖尺寸基本與輸入圖像一致。為了解決數(shù)據(jù)冗余的問題,本文使用池化層對特征圖進(jìn)行下采樣,以降低數(shù)據(jù)維度,提高網(wǎng)絡(luò)的運(yùn)算速度。

2.2 可分離卷積

CNN已廣泛應(yīng)用于遙感圖像解譯領(lǐng)域,增加網(wǎng)絡(luò)的深度可以提升CNN對數(shù)據(jù)的表征能力。然而,網(wǎng)絡(luò)深度的增加意味著參數(shù)量增大,擴(kuò)大后的網(wǎng)絡(luò)易出現(xiàn)過擬合現(xiàn)象。針對該問題,本文在參數(shù)較多的高層卷積中采用可分離卷積模塊(Inception_v2)[17]替代高層卷積層,在保證網(wǎng)絡(luò)深度的同時,減少網(wǎng)絡(luò)參數(shù)量,可分離卷積模塊的結(jié)構(gòu)如圖3所示。

圖3 Inception_v2卷積模塊結(jié)構(gòu)

Inception_v1網(wǎng)絡(luò)將1×1、3×3、5×5的卷積核與2×2的池化層堆疊在一起,一方面可增加網(wǎng)絡(luò)的寬度,另一方面改善了網(wǎng)絡(luò)對不同尺度特征圖的適應(yīng)性。5×5卷積核的計算量太大,造成特征圖較厚,為了避免這一現(xiàn)象,在3×3、5×5的卷積核之前以及2×2的池化層之后,分別加上1×1的卷積核,從而降低特征圖厚度。此外,Inception_v2利用2個3×3的卷積核替代Inception_v1模塊中的5×5卷積核,可以減少參數(shù)量,提高計算效率。針對大小為256像素×256像素的實驗數(shù)據(jù)樣本,小尺度的卷積核設(shè)計非常必要。

2.3 引入附加動量法的特征重標(biāo)定網(wǎng)絡(luò)

CNN的識別機(jī)制類似于人腦,人腦在完成識別任務(wù)的過程中,大腦皮層對不同目標(biāo)的興奮程度存在差異[18]。受此啟發(fā),計算機(jī)視覺的注意力機(jī)制在學(xué)習(xí)特征的同時,也要考慮特征對于整個識別任務(wù)的影響。注意力機(jī)制的思想在文本解譯和語音識別方面已有廣泛應(yīng)用,在圖像識別上的應(yīng)用也逐漸增多,例如,文獻(xiàn)[19]基于注意力機(jī)制建立Squeeze and Excitation Block(SE Block)。本文將基本CNN結(jié)構(gòu)與可分離卷積進(jìn)行嵌套,并引入附加動量法的SE Block(NSE Block),構(gòu)建特征重標(biāo)定網(wǎng)絡(luò),其基本結(jié)構(gòu)如圖4所示。

圖4 特征重標(biāo)定網(wǎng)絡(luò)結(jié)構(gòu)

由圖4可知,在NSE Block的左分支中輸入X,經(jīng)過Inception_v2卷積層后產(chǎn)生大小為H×W、通道數(shù)為C的特征圖。利用全局均值池化(Global Average Pooling,GAP)對C個大小為1×1的特征圖進(jìn)行池化,計算過程如式(8)所示。

(8)

通過2層全連接層(Fully Connected,FC)形成一個瓶頸結(jié)構(gòu),從而對各個通道之間的相關(guān)性進(jìn)行建模。第2層FC輸出一個維度為C的權(quán)重向量,利用Sigmoid對權(quán)重向量進(jìn)行歸一化處理,如式(9)所示。

(9)

其中,σ表示兩層FC組成的瓶頸結(jié)構(gòu),sig表示將向量歸一化至0～1。

由于左分支只考慮當(dāng)前特征圖通道之間的關(guān)系,而每一層特征圖之間存在空間聯(lián)系,因此本文引入附加動量的概念,將右分支3×3卷積核處理后的特征通道之間的權(quán)重關(guān)系添加到當(dāng)前層的特征通道權(quán)重中,得到新的權(quán)重向量,如式(10)所示。

(10)

(11)

經(jīng)過SE Block的權(quán)重篩選,高級特征圖通過低級特征圖的加權(quán)實現(xiàn)特征重標(biāo)定功能。利用多尺度全向高斯導(dǎo)數(shù)濾波提取的空間結(jié)構(gòu)統(tǒng)計特征和特征重標(biāo)定網(wǎng)絡(luò)可以自動對不同尺度的特征進(jìn)行篩選,而加權(quán)方式能激勵充分體現(xiàn)樣本信息的有效特征,并抑制影響分類效果的冗余特征,實現(xiàn)多尺度特征重標(biāo)定。

2.4 算法流程

本文空間統(tǒng)計特征重標(biāo)定網(wǎng)絡(luò)的基本流程如圖5所示,大致可以分為以下4個步驟:

1)空間結(jié)構(gòu)統(tǒng)計特征提取。通過多尺度全向高斯導(dǎo)數(shù)濾波提取原圖像12個方向的紋理特征。

2)特征重標(biāo)定網(wǎng)絡(luò)構(gòu)建。將NSE Block與基本卷積神經(jīng)網(wǎng)絡(luò)以及Inception_v2卷積相結(jié)合,形成特征重標(biāo)定網(wǎng)絡(luò)。

3)多尺度特征篩選。將多尺度特征與特征重標(biāo)定網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)連接,完成特征重標(biāo)定。

4)網(wǎng)絡(luò)訓(xùn)練分類。設(shè)置網(wǎng)絡(luò)初始參數(shù),包括學(xué)習(xí)率、batch_size和權(quán)重,然后進(jìn)行網(wǎng)絡(luò)訓(xùn)練并得到分類結(jié)果。

圖5 本文算法流程

3 實驗結(jié)果與分析

為了驗證算法的有效性,本文分別采用美國加州的高分辨率衛(wèi)星遙感圖像數(shù)據(jù)集UCM_LandUse和陜西渭南地區(qū)的機(jī)載高分辨率SAR圖像進(jìn)行場景分類實驗。

3.1 UCM_LandUse數(shù)據(jù)集上的分類結(jié)果對比

針對UCM_LandUse數(shù)據(jù)集,構(gòu)建一個包含5個Conv2D卷積層、3個Inception_v2卷積層、5個池化層、2個NSE Block、3個FC層和1個Softmax層的卷積神經(jīng)網(wǎng)絡(luò)。將經(jīng)過多尺度特征提取之后的數(shù)據(jù)直接作為網(wǎng)絡(luò)的輸入,其輸出結(jié)果為歸一化向量,維數(shù)與分類的類別數(shù)一致,經(jīng)過Softmax層之后輸出最終的分類結(jié)果,具體的網(wǎng)絡(luò)配置如表1所示。

表1 分類網(wǎng)絡(luò)結(jié)構(gòu)的配置

UCM_LandUse數(shù)據(jù)集是美國加州土地的高分辨率衛(wèi)星遙感圖像數(shù)據(jù)集,其中包括飛機(jī)、河流、森林、住宅區(qū)等21個類別,圖片尺寸為256像素×256像素,每類圖片為100張。在本文實驗中,每類隨機(jī)選取80張圖片作為訓(xùn)練樣本,20張作為測試樣本,21類目標(biāo)的分類結(jié)果如圖6所示。

圖6 21類衛(wèi)星遙感圖像場景分類混淆矩陣

Fig.6 Confusion matrix of scene classification of 21 kinds of satellite remote sensing images

由圖6的分類混淆矩陣可以看出,21類目標(biāo)的分類正確率均保持在90%以上,其中5類目標(biāo)的分類正確率達(dá)到100%。為進(jìn)一步驗證本文方法的有效性,在UCM_LandUse數(shù)據(jù)集上對多種方法進(jìn)行比較,結(jié)果如表2所示。其中,Conv2D代表普通的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),MOGDF為多尺度全向高斯導(dǎo)數(shù)濾波器,In_v2(Inception_v2)為可分離卷積,NSE Block為引入附加動量法的SE Block,運(yùn)算時間是指計算1個epoch的時間。

表2 5種方法的分類正確率與運(yùn)算時間對比

Table 2 Comparison of classification accuracy rates and operation time of 5 methods

分類方法分類正確率/%運(yùn)算時間/sConv2D87.4041MOGDF+Conv2D89.5250In_v2+SE Block+Conv2D90.9920In_v2+NSE Block+Conv2D92.1421In_v2+NSE Block+MOGDF+Conv2D94.7625

由表2可知,在分類正確率方面,直接使用原圖和普通卷積神經(jīng)網(wǎng)絡(luò)(Conv2D)進(jìn)行訓(xùn)練,分類正確率為87.40%。利用多尺度全向高斯導(dǎo)數(shù)濾波器對原圖進(jìn)行空間統(tǒng)計特征提取之后,其分類正確率在Conv2D的基礎(chǔ)上提高2.12%,Conv2D與SE Block結(jié)合之后的分類正確率為90.99%,提高3.54%,將SE Block替換為NSE Block之后,分類正確率達(dá)到92.14%,說明附加動量系數(shù)之后的SE Block能充分利用當(dāng)前層與后層之間的空間關(guān)系,使得到的權(quán)重系數(shù)更準(zhǔn)確。將MOGDF與NSE Block結(jié)合后的分類正確率最高,達(dá)到94.76%。

在運(yùn)算時間方面,MOGDF+Conv2D的輸入數(shù)據(jù)由256×256×3的3通道矩陣變?yōu)?56×256×12的12通道矩陣,因此,每個epoch的運(yùn)算時間增加9 s,在引入Inception_v2后,每個epoch的運(yùn)算時間縮短了近一半。

為了研究NSE Block的動量系數(shù)α對分類正確率的影響,本文分別采用In_v2+NSE Block+Conv2D和In_v2+NSE Block+MOGDF+Conv2D進(jìn)行實驗,結(jié)果如圖7所示。可以看出,當(dāng)α=0.8或0.9時,2種方法都能取得較好的分類結(jié)果,這是因為NSE Block的主分支為當(dāng)前特征圖的權(quán)重向量,而次分支為高層特征圖的權(quán)重向量,次分支將卷積層之間的空間關(guān)系引入網(wǎng)絡(luò)中,對當(dāng)前特征圖的權(quán)重向量進(jìn)行了微調(diào),因此分類效果較好。然而,次分支的比重不宜過大,即當(dāng)α的取值較小時,不能取得理想的分類效果。

圖7 動量系數(shù)對分類正確率的影響

Fig.7 Influence of the momentum coefficient on the classification accuracy rate

將本文方法與傳統(tǒng)分類方法以及其他采用卷積神經(jīng)網(wǎng)絡(luò)的分類方法進(jìn)行對比,結(jié)果如表3所示。由表3可知,本文方法能夠有效增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果。同時,基于卷積神經(jīng)網(wǎng)絡(luò)的分類算法(如MNCC、MS-DCNN、PCA-CNN和本文算法)的分類效果要優(yōu)于基于學(xué)習(xí)中、低層特征的分類算法(如SVM和CCM-BOVW),進(jìn)一步證明了卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)越性。

表3 本文算法與其他5種算法的分類結(jié)果對比

Table 3 Comparison of classification results of the proposed algorithm and other 5 algorithms

分類算法分類正確率/%網(wǎng)絡(luò)層數(shù)運(yùn)算時間/sSVM[3]78.57——CCM-BOVW[5]86.64——MNCC[9]88.261020MS-DCNN[4]91.34818PCA-CNN[10]92.86923本文算法94.761325

3.2 4類SAR數(shù)據(jù)的分類結(jié)果對比

SAR圖像分類實驗采用陜西渭南地區(qū)的機(jī)載高分辨率SAR圖像進(jìn)行場景分類,通過Matlab工具從尺寸為16 800像素×18 280像素的SAR圖像中,截取出4類場景(農(nóng)田、城鎮(zhèn)、高架橋和道路)的SAR圖像,每類包含250張大小為500像素×500像素的圖像,4類SAR場景圖像示例如圖8所示。在每類樣本中,選取80%的圖片作為訓(xùn)練樣本,20%的圖片作為測試樣本。

圖8 4類SAR場景圖像示例

SAR圖像與衛(wèi)星遙感圖像在尺寸和質(zhì)量上均存在差異[20-21]。由于高分辨率機(jī)載SAR圖像的噪聲較多,因此需在訓(xùn)練之前對圖片進(jìn)行濾波,本文采用BM3D[22]的濾波方法減少SAR圖像的噪聲。因為SAR圖像的類別較少,所以在21類高分辨率衛(wèi)星數(shù)據(jù)的分類框架上相應(yīng)地減少每一層的特征圖數(shù)量并調(diào)節(jié)學(xué)習(xí)率,得到的分類結(jié)果如表4所示。

表4 4類SAR目標(biāo)場景的分類正確率對比

Table 4 Comparison of classification accuracy of 4 types of SAR target scenes

類別正確率/%農(nóng)田94.5道路95.0城鎮(zhèn)98.5高架橋93.5總體分類正確率95.4

將本文算法與MNCC、MS-DCNN、PCA-CNN 3種分類方法進(jìn)行對比,結(jié)果如表5所示。從UCM_LandUse和4類SAR數(shù)據(jù)的場景分類結(jié)果可知,本文構(gòu)建的分類網(wǎng)絡(luò)在不同的數(shù)據(jù)集上只需調(diào)整基本的網(wǎng)絡(luò)參數(shù),就能取得理想的分類效果,證明本文算法具有良好的泛化能力。

表5 SAR數(shù)據(jù)的分類結(jié)果對比

4 結(jié)束語

本文提出一種基于空間特征重標(biāo)定網(wǎng)絡(luò)的分類算法。利用多尺度全向高斯導(dǎo)數(shù)濾波器提取多尺度特征,通過可分離卷積層減少網(wǎng)絡(luò)參數(shù),應(yīng)用附加動量法的特征重標(biāo)定網(wǎng)絡(luò)進(jìn)行權(quán)重篩選,以學(xué)習(xí)特征通道之間的相關(guān)性,從而充分激勵能體現(xiàn)樣本信息的有效特征,抑制影響分類效果的冗余特征。在UCM_LandUse與SAR數(shù)據(jù)集上的實驗結(jié)果表明,與MNCC、MS-DCNN、PCA-CNN等方法相比,本文方法在分類精度和泛化能力上有明顯優(yōu)勢。下一步將針對遙感場景分類構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型,以提取空間特征,并充分利用多標(biāo)簽分類場景信息,提高分類正確率。