段 玉,劉善偉,萬劍華,MUHAMMAD Yasir,鄭 爽

(1. 中國(guó)石油大學(xué)(華東)海洋與空間信息學(xué)院,山東 青島 266580;2. 自然資源部海上絲綢之路海洋資源與環(huán)境網(wǎng)絡(luò)觀測(cè)技術(shù)創(chuàng)新中心,山東 青島 266580;3. 山東財(cái)經(jīng)大學(xué)公共外語教學(xué)部,山東 濟(jì)南 250014)

合成孔徑雷達(dá)(synthetic aperture radar, SAR)影像變化檢測(cè)是用于檢測(cè)同一區(qū)域不同時(shí)間內(nèi)變化的技術(shù)[1]。在洪澇災(zāi)害檢測(cè)、海岸線的動(dòng)態(tài)監(jiān)測(cè)等方面發(fā)揮著重要的作用[2]。

SAR影像變化檢測(cè)通常包括3個(gè)主要步驟: ①預(yù)處理,以抑制圖像噪聲;②構(gòu)造差異圖 (difference image, DI);③差異圖分析,以檢測(cè)變化或不變的像素[3]。斑點(diǎn)噪聲的存在讓SAR影像變化檢測(cè)比光學(xué)影像更具挑戰(zhàn)性,而降噪對(duì)于SAR數(shù)據(jù)的準(zhǔn)確識(shí)別和解釋至關(guān)重要。常用的空間域?yàn)V波器包括中值濾波[4]、均值濾波、Lee濾波[5]、Kuan濾波[6]和形態(tài)濾波[7]等。中值濾波器等雖然能有效地去除噪聲,但其無法區(qū)分噪聲和信號(hào),去噪過程中會(huì)去除一些圖像紋理,導(dǎo)致清晰度和質(zhì)量降低,這在復(fù)雜影像或有精細(xì)細(xì)節(jié)的影像中尤為明顯。Lee等濾波器則會(huì)導(dǎo)致邊界和細(xì)節(jié)信息的丟失,不能滿足變化檢測(cè)的需求。針對(duì)這些問題,本文提出一種顯著性中值濾波器來抑制圖像的背景噪聲。根據(jù)變化檢測(cè)的特點(diǎn),對(duì)SAR影像的背景噪聲進(jìn)行分層濾波,在去除背景噪聲的同時(shí)保留更多細(xì)節(jié),以滿足高精度變化檢測(cè)的需求。

差異圖的生成是變化檢測(cè)中至關(guān)重要的一步,它影響著后續(xù)分析的結(jié)果。由于乘性噪聲的存在,因此多采用比值算子產(chǎn)生差異圖,如對(duì)數(shù)比算子[8]和鄰域比算子[9]等。聚類法是差異圖分析中的常用算法,文獻(xiàn)[10]使用模糊C均值聚類(fuzzy clustering methods, FCM)和馬爾可夫隨機(jī)場(chǎng)來降低圖像噪聲。考慮標(biāo)準(zhǔn)FCM對(duì)散射噪聲具有敏感性,有學(xué)者在算法中引入鄰域信息,以提高變化檢測(cè)的穩(wěn)健性。文獻(xiàn)[11]采用空間模糊聚類方法(spatial fuzzy clustering methods, SFCM)降低FCM對(duì)噪聲的敏感性。近年來,深度神經(jīng)網(wǎng)絡(luò)在SAR影像變化檢測(cè)中發(fā)揮著重要作用?；谏疃葘W(xué)習(xí)的變化檢測(cè)通常將不同時(shí)相的兩幅影像作為輸入,通過良好的設(shè)計(jì)進(jìn)行特征表達(dá)和噪聲抑制。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)由于其獨(dú)特的結(jié)構(gòu)和局部權(quán)重共享機(jī)制,在各種深度學(xué)習(xí)網(wǎng)絡(luò)中脫穎而出,常用于空間的特征提取與表達(dá)[11-14]。雖然CNN在提取空間特征方面取得了很好的進(jìn)展,但是這些網(wǎng)絡(luò)沒有考慮多尺度信息,可能會(huì)導(dǎo)致特征表達(dá)不足,關(guān)鍵信息丟失,從而降低檢測(cè)的準(zhǔn)確性。

綜上,本文提出一種多尺度融合卷積神經(jīng)網(wǎng)絡(luò)--squeeze, expand, and excitation network(SEENet),設(shè)計(jì)一個(gè)多感受野通道注意力模塊squeeze,expand and excitation(SEE)。SEENet主要由3個(gè)SEE模塊組成,受Fire模塊[15]和squeeze and excitation (SE) block[16]的啟發(fā),SEE模塊利用不用大小的卷積核獲取多尺度信息,并自動(dòng)學(xué)習(xí)獲取每個(gè)通道的重要性,以增強(qiáng)有用特征,抑制無用特征,從而實(shí)現(xiàn)對(duì)多感受野信息的高效選擇。SEENet通過殘差設(shè)計(jì)對(duì)多級(jí)空間特征進(jìn)行組合利用來留存更多的變化細(xì)節(jié),從而達(dá)到令人滿意的檢測(cè)精度。

1 研究方法

本文提出的變化檢測(cè)方法包含4個(gè)步驟: ①顯著性濾波去噪;②選擇可靠樣本; ③數(shù)據(jù)準(zhǔn)備;④構(gòu)建SEENet。具體而言,首先采用顯著性濾波去除圖像中的背景噪聲;將灰度共生矩陣提取的紋理特征與去噪后的原始圖像相結(jié)合形成樣本。然后采用無監(jiān)督聚類方法得到粗略的分類結(jié)果,并選擇置信度較高的樣本作為標(biāo)簽,指導(dǎo)SEENet訓(xùn)練。最后采用最小交叉熵?fù)p失函數(shù)進(jìn)行迭代,并將所有樣本輸入SEENet以獲得最終的變化檢測(cè)結(jié)果。

1.1 顯著性濾波去噪

首先使用顯著性提取方法獲取顯著性圖像,以區(qū)分圖像的前景和背景。前景是可能改變的區(qū)域,背景是潛在的不變區(qū)域。然后根據(jù)顯著性值,使用不同大小的窗口對(duì)背景進(jìn)行濾波,在去噪的同時(shí)保留變化主體的細(xì)節(jié),從而獲得更好的變化檢測(cè)結(jié)果。

利用上下文感知顯著性檢測(cè)[17]的方法進(jìn)行顯著性區(qū)域提取,該方法基于人類視覺注意力原則,在多個(gè)尺度上對(duì)像素的顯著性值進(jìn)行評(píng)估,提取出具有吸引力和緊湊的顯著性區(qū)域。將像素的顯著性值定義為

(1)

(2)

式中,i、j為像素點(diǎn)在圖像中的位置;Median為中值濾波器。

對(duì)原始影像I1、I2進(jìn)行顯著性中值濾波操作,得到濾波后的兩幅影像C1、C2。

1.2 選擇可靠樣本

對(duì)于濾波后的影像C1、C2,首先利用經(jīng)典對(duì)數(shù)比算子生成差異圖,然后利用空間聚類算法[11]對(duì)差異圖進(jìn)行預(yù)分類,得到粗分類結(jié)果。粗分類結(jié)果是一幅包含變化和未變化兩類的二值圖,其中“0”為未變化區(qū)域,“1”為變化的區(qū)域,從中選擇可靠樣本,可以指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,實(shí)現(xiàn)無監(jiān)督的變化檢測(cè)。而很多像元在其屬于“0”和“1”之間有著模糊的界限,直接使用差異圖的粗分類結(jié)果來當(dāng)作標(biāo)簽通常會(huì)有很多誤差,因此需要進(jìn)一步篩選,確定置信度更高的樣本。當(dāng)一個(gè)像素與其周圍的相鄰像素相同時(shí),那么這個(gè)像素是一個(gè)內(nèi)部點(diǎn),通常認(rèn)為它是可靠的;當(dāng)一個(gè)像素的周圍像素有一半及以上與它相同時(shí),那么這個(gè)像素是一個(gè)邊緣點(diǎn),也是可靠的[20]。因此,統(tǒng)計(jì)像素D(i,j)周圍的8個(gè)像素D(i-1,j-1)到D(i+1,j+1)的變化類型,與中心像素變化相同的像素所占比例作為標(biāo)簽的置信度。公式為

(3)

式中,NB(Fij)表示Fij的相鄰元素;ε為閾值,本文選取0.75作為閾值,選取大于0.75的像素值作為可靠標(biāo)簽。

1.3 數(shù)據(jù)準(zhǔn)備

將不同的特征進(jìn)行組合可以提高模型的穩(wěn)健性和泛化能力,更好地適應(yīng)各種復(fù)雜場(chǎng)景的需求。因此,對(duì)原始影像提取紋理特征,連同原始影像組成輸入層輸入到SEENet中。灰度共生成矩陣[21](grayscale co-generation matrix, GLCM)是一種利用圖像灰度空間相關(guān)特征描述紋理的通用方法,包含能量、熵、方差等多個(gè)標(biāo)量。其中,能量為GLCM的角二項(xiàng)式矩,可以反映紋理的粗細(xì)度和灰度均勻分布程度。因此,本文選擇GLCM中的能量標(biāo)量作為紋理特征,其提取公式為

(4)

式中,G為灰度共生矩陣;i為行號(hào);j為列號(hào);k為灰度值的級(jí)數(shù)。

通過上述操作,生成I1、I2的紋理特征影像W1、W2,與去噪后的影像C1、C2進(jìn)行疊加。對(duì)于任意一幅影像,以任意像素為中心連同周圍m個(gè)像素作為網(wǎng)絡(luò)的輸入。利用1.2節(jié)挑選出的標(biāo)簽指導(dǎo)樣本生成,最后生成n×n×4大小的訓(xùn)練樣本,經(jīng)過旋轉(zhuǎn)等增強(qiáng)手段后,與標(biāo)簽進(jìn)行組合,輸入到SEENet進(jìn)行訓(xùn)練。最后將所有像素塊輸入到訓(xùn)練好的網(wǎng)絡(luò)中,得到最終的分類結(jié)果。

1.4 SEENet

將Fire模塊和SE Block組合作為一個(gè)SEE模塊,如圖1(a)所示。將1×1的卷積作為squeeze部分對(duì)特征圖進(jìn)行大小調(diào)整,expand由一組連續(xù)的1×1卷積和3×3卷積通過連接操作生成,多感受野可獲取多尺度特征,然后利用SE Block得到每個(gè)通道的權(quán)值,建立通道之間的依賴關(guān)系,強(qiáng)調(diào)有用特征。為了提升運(yùn)算速度,本文將SE Block中的全連接層替換為卷積層。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

SEENet如圖1(b)所示,總共設(shè)置了3個(gè)SEE模塊,每個(gè)模塊都對(duì)特征圖的大小進(jìn)行了壓縮。本文使用RMSProp優(yōu)化器和交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練。SEENet網(wǎng)絡(luò)結(jié)構(gòu)由1個(gè)卷積層、3個(gè)SEE模塊、1個(gè)Fire模塊和1個(gè)dropout層組成。第一個(gè)卷積層的通道數(shù)為64個(gè),SEE模塊分別有16、24和32個(gè)通道。將每個(gè)SEE模塊生成的特征圖通過深度連接后輸入到具有64通道的Fire模塊中,經(jīng)過dropout層、分類層得到最終的變化檢測(cè)結(jié)果。

經(jīng)過3次SEE模塊壓縮后的特征圖大小分別為6×6、3×3和2×2。淺層網(wǎng)絡(luò)可以獲取更多的細(xì)節(jié)信息,而深層特征具有更強(qiáng)的語義信息和更少的噪聲。本文將3個(gè)SEE模塊的輸出特征通過殘差連接進(jìn)行特征融合,在減少噪聲的同時(shí)保留更多細(xì)節(jié)。最后經(jīng)過卷積層分類得到最終結(jié)果。

2 結(jié)果與討論

2.1 試驗(yàn)數(shù)據(jù)

本文在由3個(gè)傳感器獲得的4個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了試驗(yàn),以驗(yàn)證本文方法的有效性。如圖2所示,黃河數(shù)據(jù)集由Radarsat-2傳感器捕獲,包含內(nèi)陸水?dāng)?shù)據(jù)集(291×444)和農(nóng)田D數(shù)據(jù)集(257×289)。渥太華數(shù)據(jù)集由Radarsat傳感器分別采集于1997年1月和8月,大小為290×350像素。舊金山數(shù)據(jù)集由ERS-2傳感器分別獲取于2003年8月和2004年5月,大小為256×256像素。在4個(gè)數(shù)據(jù)集的地表真實(shí)變化標(biāo)簽中,黑色表示不變的區(qū)域,白色表示發(fā)生變化的區(qū)域。為了更好地評(píng)估方法性能,將本文方法與幾種傳統(tǒng)的變化檢測(cè)方法廣義最小誤差閾值(GKI)[22]、SFCM[11],以及深度學(xué)習(xí)方法極限學(xué)習(xí)機(jī)(extreme learning machine, ELM)[23],深度置信網(wǎng)絡(luò)(deep belief network, DBN)[20],主成分分析網(wǎng)絡(luò)(principal component analysis network, PCANet)[24],CWNN[13],雙域網(wǎng)絡(luò)(dual-domain network, DDNet)[25],膠囊網(wǎng)絡(luò)(capsule network, CapsNet)[26]進(jìn)行比較。以假陰性(FN)、假陽性(FP)、總體誤差(OE)、正確分類百分比(PCC)和Kappa系數(shù)為指標(biāo),對(duì)試驗(yàn)結(jié)果進(jìn)行定量評(píng)價(jià)。

圖2 4個(gè)真實(shí)數(shù)據(jù)集上的可視化結(jié)果 (從上到下為內(nèi)陸水、農(nóng)田D、渥太華、舊金山)

2.2 試驗(yàn)結(jié)果

圖2展示了4個(gè)真實(shí)數(shù)據(jù)集及部分性能較好的試驗(yàn)結(jié)果。由于每個(gè)數(shù)據(jù)集的噪聲水平不一致,如果對(duì)模型進(jìn)行統(tǒng)一訓(xùn)練會(huì)導(dǎo)致對(duì)模型對(duì)不同數(shù)據(jù)集噪聲和細(xì)節(jié)信息的誤判。因此,本文使用模型分別訓(xùn)練每個(gè)數(shù)據(jù)集生成測(cè)試結(jié)果,并對(duì)試驗(yàn)結(jié)果進(jìn)行了定性和定量分析。

由表1中可以看出在內(nèi)陸水?dāng)?shù)據(jù)集上,GKI、SFCM、CWNN和DDNet方法的假陽性值區(qū)域較大。從圖2可以看出CWNN和DDnet的結(jié)果存在明顯的斑點(diǎn)噪聲,部分內(nèi)河邊緣被錯(cuò)誤識(shí)別。對(duì)于內(nèi)陸水?dāng)?shù)據(jù)集,ELM、PCANet和CapsNet方法不能識(shí)別右下角部分河流和內(nèi)河湖的變化,因此存在較大的假陰性區(qū)域。由表1中看出,DBN和DDNet方法的OE相同,均為1.59%,差異僅為0.01%。但Kappa系數(shù)卻相差2.96%,觀察發(fā)現(xiàn)當(dāng)FN越小時(shí),KC越高。ELM方法具有較大的FN,盡管其整體精度較高,但其KC相對(duì)較低。SEENet方法的PCC為98.60%,Kappa系數(shù)為78.44%。

表1 內(nèi)陸水?dāng)?shù)據(jù)集試驗(yàn)結(jié)果 (%)

對(duì)于農(nóng)田D數(shù)據(jù)集,由表2中可以看出,GKI算法、SFCM算法、DBN算法、PCANet算法及CWNN算法的假陽性率均大于1%;由圖2可以看出,CWNN方法的結(jié)果有著明顯的散斑噪聲,這導(dǎo)致了較高的FP。GKI、SFCM、ELM、DDNet、CapsNet和SEENet方法的FN均大于3%。前5種方法的高FN是由于對(duì)農(nóng)田中部的細(xì)節(jié)識(shí)別較差造成的。在表2中閾值法的各評(píng)價(jià)指標(biāo)中最差。本文所提出的SEENet的總體誤差為3.93%,PCC為96.07%,Kappa系數(shù)為86.05%。

表2 農(nóng)田D數(shù)據(jù)集試驗(yàn)結(jié)果 (%)

由于渥太華是一個(gè)噪聲水平相對(duì)較低的數(shù)據(jù)集,因此許多方法都達(dá)到了較高的精度。由表3中可以看出,閾值法GKI的試驗(yàn)結(jié)果噪聲區(qū)域較多,FP高達(dá)14.95%,總體精度和Kappa較低,分別為84.79%和58.53%。ELM方法錯(cuò)誤地將頂部一些變化區(qū)域識(shí)別為不變區(qū)域,導(dǎo)致FN過高。雖然FP較低,只有0.01%,但Kappa系數(shù)略低于其他方法,為76.90%。其他方法的結(jié)果差異不大,得到的結(jié)果圖中幾乎沒有散斑噪聲。SEENet方法的Kappa系數(shù)和PCC略低于DDNet,分別為93.35%和98.22%。

表3 渥太華數(shù)據(jù)集試驗(yàn)結(jié)果 (%)

由于舊金山數(shù)據(jù)集差異圖的區(qū)別度較小,因此GKI方法在舊金山數(shù)據(jù)集上的性能非常差(見表4)。對(duì)比GKI結(jié)果圖和真實(shí)標(biāo)簽值,可以發(fā)現(xiàn)其有大部分未變化區(qū)域被標(biāo)識(shí)為變化區(qū)域。精度較低的GKI無法有效地指導(dǎo)DBN訓(xùn)練,導(dǎo)致GKI指導(dǎo)下的DBN方法在舊金山數(shù)據(jù)集上的識(shí)別精度極差。ELM算法具有較高的噪聲敏感性,由圖2可以看出,它的假陽性區(qū)域較大。CapsNet算法的結(jié)果圖中雖然斑點(diǎn)噪聲很少,但是變化主體的細(xì)節(jié)部分沒有被有效識(shí)別,變化主體的右部被錯(cuò)誤的連接,因此假陽性率也比較高。DDNet算法和SEENet算法的表現(xiàn)良好,噪聲較小, Kappa系數(shù)較高,分別為91.83%和92.01%。

表4 舊金山數(shù)據(jù)集試驗(yàn)結(jié)果 (%)

本文方法在4個(gè)數(shù)據(jù)集上都表現(xiàn)出良好的性能。定性來看,所得到的變化檢測(cè)結(jié)果邊界清晰,噪聲較小;定量來看,本文提出的方法在大多數(shù)指標(biāo)上都有較好的表現(xiàn),證明了該方法的有效性和穩(wěn)健性。

2.3 因子分析

2.3.1 補(bǔ)丁大小

補(bǔ)丁大小決定了像素點(diǎn)鄰域信息的多少,對(duì)試驗(yàn)結(jié)果有著重要影響。以黃河數(shù)據(jù)集為例,Kappa系數(shù)為試驗(yàn)的評(píng)價(jià)指標(biāo),進(jìn)行補(bǔ)丁大小與Kappa系數(shù)的關(guān)系探究。如圖3所示,隨著補(bǔ)丁從小變大,Kappa系數(shù)表現(xiàn)出先增加后減少的趨勢(shì),當(dāng)補(bǔ)丁大小為7時(shí),Kappa系數(shù)最高。因此,選擇7作為該試驗(yàn)的補(bǔ)丁大小。

圖3 補(bǔ)丁大小對(duì)Kappa的影響

2.3.2 顯著性中值濾波

為了驗(yàn)證顯著性濾波的有效性,將本文方法與Kuan濾波器、Lee濾波器、中值濾波器和均值濾波器通過前述流程生成變化檢測(cè)結(jié)果,并將結(jié)果進(jìn)行對(duì)比。試驗(yàn)選用了噪聲較大的農(nóng)田D數(shù)據(jù)集作為驗(yàn)證數(shù)據(jù)集。試驗(yàn)結(jié)果如表5和圖4所示,定性來看,顯著性中值濾波器噪聲較少,農(nóng)田部分邊界和細(xì)節(jié)清晰;定量來看,顯著性濾波在5個(gè)指標(biāo)上都取得了最好的結(jié)果,可以證明顯著性中值濾波比其他空間域?yàn)V波在變化檢測(cè)領(lǐng)域更具有優(yōu)勢(shì)。

表5 試驗(yàn)結(jié)果 (%)

圖4 不同濾波器下的結(jié)果

3 結(jié) 論

本文提出了一種基于顯著性中值濾波的SEENet以實(shí)現(xiàn)變化檢測(cè),該方法在去噪的同時(shí)保留了變化檢測(cè)的細(xì)節(jié)。顯著性中值濾波通過對(duì)圖像背景信息進(jìn)行分層去噪減小噪聲的影響,與其他濾波器相比可以保留圖像更詳細(xì)的信息,更適用于高精度變化檢測(cè)中細(xì)節(jié)的提取。多尺度融合網(wǎng)絡(luò)SEENet利用3個(gè)SEE模塊提取多尺度特征,并通過殘差將深度特征與淺層特征連接起來,實(shí)現(xiàn)多尺度特征的多級(jí)利用。在4個(gè)不同噪聲水平的數(shù)據(jù)集上的優(yōu)異表現(xiàn)證明了該方法的穩(wěn)健性。未來將致力于研究大型SAR影像的變化檢測(cè)方法,由于大型數(shù)據(jù)集具有復(fù)雜多樣的場(chǎng)景,因此這項(xiàng)工作更具挑戰(zhàn)。