王志有,李 歡,劉自增,吳加敏,施祖賢

1(寧夏回族自治區(qū)遙感測繪勘查院,銀川 750021)

2(北京科技大學(xué) 計算機(jī)與通信工程學(xué)院,北京 100083)

3(北京科技大學(xué) 材料領(lǐng)域知識工程北京市重點(diǎn)實(shí)驗(yàn)室,北京 100083)

地表生態(tài)系統(tǒng)和人類社會活動都是動態(tài)發(fā)展和不斷演變的.實(shí)時精確地獲取地表變化信息對于更好地保護(hù)生態(tài)環(huán)境、管理自然資源、研究社會發(fā)展,以及理解人類活動與自然環(huán)境之間的關(guān)系和交互作用有著重要的意義[1].目前,國內(nèi)外提出變化檢測方法基本上分為兩類:面向像素的變化檢測[2–4]和面向?qū)ο蟮淖兓瘷z測[5].

面向像素的變化檢測的優(yōu)點(diǎn)是可以將對應(yīng)像素間的特征直接進(jìn)行運(yùn)算和比較,得到最終變化結(jié)果,簡單易懂,但缺點(diǎn)是變化結(jié)果充斥著大量的噪聲,常常包含了由影像成像色調(diào)不同等造成的偽變化[6].面向?qū)ο蟮淖兓瘷z測的優(yōu)點(diǎn)是獲得的變化結(jié)果噪聲少,并且可以獲得更為詳細(xì)的由何種地類變?yōu)楹畏N地類信息,但缺點(diǎn)是存在誤差累計造成的變化檢測精度不高的問題,最終的變化檢測結(jié)果很大程度上依賴于分割或分類的準(zhǔn)確程度.

對比面向像素和面向?qū)ο蟮淖兓瘷z測方法,本文認(rèn)為面向像素的變化檢測方法因?yàn)橹苯訉τ跋裉卣鬟M(jìn)行分析,得出變化檢測結(jié)果,不存在中間環(huán)節(jié)誤差累計,所以在效果提升方面可控性更強(qiáng).由于無監(jiān)督的面向像素變化檢測方法會將影像上灰度差異較大的像素均檢測為變化像素,實(shí)用性不高.所以本文使用了深度學(xué)習(xí)網(wǎng)絡(luò)對影像逐像素進(jìn)行了有監(jiān)督二分類,即變化類和非變化類.通過人工標(biāo)簽規(guī)定,將一些灰度差異較大但無實(shí)際意義的變化,如不同時相中耕地植被覆蓋情況的變化,記為未變化.但以上方法的變化檢測結(jié)果仍然存在大量的不同時相陰影長短不同造成的變化、噪聲以及漏檢情況,這也是面向像素變化檢測方法的通病.

為了解決陰影干擾、噪聲以及部分漏檢的情況,本文使用了陰影指數(shù)閾值分割法去除陰影干擾,并借鑒面向?qū)ο笞兓瘷z測方法中圖像分割的思想,設(shè)計了面向?qū)ο蟮娜ピ朐鰪?qiáng)算法.去除陰影干擾算法先對兩時相影像的陰影像素進(jìn)行提取,然后在預(yù)測結(jié)果中減去這些區(qū)域的變化情況.面向?qū)ο蟮娜ピ朐鰪?qiáng)算法先對圖像進(jìn)行分割,將同一地類的像素進(jìn)行聚類,然后通過判斷預(yù)測結(jié)果中變化像素占每個地類的面積占比,若大于某個閾值則認(rèn)為當(dāng)前地類的所有像素均為變化像素,否則認(rèn)為當(dāng)前地類的所有像素均為未變化像素,達(dá)到去除噪聲并補(bǔ)全漏檢區(qū)域的目的.

本文整體的處理流程如圖1所示.

圖1 整體處理流程

1)我們首先進(jìn)行數(shù)據(jù)預(yù)處理操作:采用直方圖匹配的相對輻射校正方法,使一幅圖像與另一幅待匹配圖像的色調(diào)盡可能保持一致,消除成像條件不同造成的不利影響,見2.1節(jié);

2)然后通過鄰域矩陣拼接操作得到兩時相目標(biāo)像素的鄰域特征V,見2.2節(jié);

3)接下來我們提出了基于堆棧降噪自動編碼器網(wǎng)絡(luò)的變化檢測方法,將應(yīng)用于SAR (Synthetic Aperture Radar,合成孔徑雷達(dá))衛(wèi)星圖像變化檢測的深度學(xué)習(xí)算法改進(jìn),使之適用于高分光學(xué)衛(wèi)星圖像,見2.3.1節(jié);

4)然后在孿生網(wǎng)絡(luò)的結(jié)構(gòu)上進(jìn)行改進(jìn),提出了基于分支卷積神經(jīng)網(wǎng)絡(luò)的變化檢測方法,見2.3.2節(jié);

5)最后設(shè)計算法去除了陰影干擾和噪聲等偽變化,見2.4節(jié).

1 相關(guān)工作

過去,大量變化檢測算法均是基于SAR雷達(dá)影像實(shí)現(xiàn)的.高分光學(xué)影像具有多通道和高分辨率的特點(diǎn),目前,采用深度學(xué)習(xí)對其進(jìn)行地物分割和識別取得了不錯的進(jìn)展,對變化檢測方向研究還比較欠缺.

Chen等人[3]使用了變化矢量分析法(Change Vector Analysis,CVA)計算兩時相影像對應(yīng)像素的歐氏距離作為變化強(qiáng)度信息,然后在RGB空間計算兩時相影像變化方向與RGB軸夾角的余弦值作為變化方向信息.通過最大類間方差法閾值分割變化強(qiáng)度,得到變化檢測結(jié)果,然后通過對變化方向信息進(jìn)行分類,得到由何種地類變化為何種地類的from-to信息.變化矢量分析法簡單易實(shí)施,是傳統(tǒng)變化檢測方法的代表,但采用閾值分割作為變化檢測的決策手段具有較大的局限性.

Liu等人[7]使用了堆疊限制玻爾茲曼機(jī)(深度信念網(wǎng)絡(luò),Deep Belief Nets,DBN)來分析多時相SAR影像間的差異圖像,并對兩時相影像的鄰域特征進(jìn)行分類,通過運(yùn)用深度學(xué)習(xí)算法將影像進(jìn)行逐像素分類,達(dá)到變化檢測的目的.基于深度信念網(wǎng)絡(luò)的變化檢測方法將變化檢測問題轉(zhuǎn)化為了對圖像中每個像素的分類問題,即變化類和未變化類.但鄰域特征的提取方法是針對單通道的SAR影像設(shè)計的,且使用傳統(tǒng)算法的變化檢測結(jié)果作為標(biāo)簽,雖然增加了算法的無監(jiān)督自動化能力,但是卻失去了實(shí)用性.

Liu等人[8]使用了雙通道的CNN接收兩時相SAR影像的鄰域圖像,在全連接層將兩個影像的降維特征合并,輸入到分類器中,避免了堆疊限制玻爾茲曼機(jī)先無監(jiān)督預(yù)訓(xùn)練再有監(jiān)督微調(diào)的復(fù)雜訓(xùn)練過程.但將兩時相影像疊加為雙通道圖像輸入進(jìn)CNN提取更為抽象的卷積特征,得到的變化檢測結(jié)果邊界信息不準(zhǔn)確,對于微小面積或狹長的變化容易發(fā)生漏檢現(xiàn)象.

寧夏地處黃土高原與內(nèi)蒙古高原的過渡地帶,地形南北狹長,地勢南高北低;自然植被有森林、灌叢、草甸、草原、沼澤等類型;耕地鹽漬化、沙化等問題突出.遙感影像的應(yīng)用與其觀測精度、時空尺度密切關(guān)聯(lián).一方面,隨著衛(wèi)星技術(shù)的發(fā)展,影像獲取成本持續(xù)下降,影像的時間分辨率、空間分辨率、頻段分辨率越來越高;另一方面,能夠處理的問題也從局部目標(biāo)識別、土地利用分類擴(kuò)充到精細(xì)目標(biāo)識別、狀態(tài)判斷、關(guān)聯(lián)分析、趨勢分析等應(yīng)用領(lǐng)域.

本文針對寧夏地區(qū)存在的問題設(shè)計了一套完整的方法進(jìn)行變化監(jiān)測.基于深度信念網(wǎng)絡(luò)的變化檢測方法是為單通道的SAR衛(wèi)星影像設(shè)計的,如果直接將多通道的高分遙感影像轉(zhuǎn)化為單通道灰度圖像,然后應(yīng)用基于深度信念網(wǎng)絡(luò)的變化檢測,會損失原影像中豐富的多通道光譜信息.為了使基于深度信念網(wǎng)絡(luò)的變化檢測方法適用于高分遙感影像,我們重新設(shè)計了多通道影像的鄰域特征提取方法,希望能夠?qū)⒍嗤ǖ赖墓庾V信息都制作成鄰域特征,用于后續(xù)的深度學(xué)習(xí)網(wǎng)絡(luò)分類.

之后我們使用了與深度信念網(wǎng)絡(luò)原理不同但效果類似的自動編碼器網(wǎng)絡(luò),由于自動編碼器網(wǎng)絡(luò)具有很多不同的變種,其中降噪自動編碼器網(wǎng)絡(luò)可以在輸入數(shù)據(jù)中摻雜噪聲數(shù)據(jù),但在重構(gòu)輸出中將噪聲去除,可以提高網(wǎng)絡(luò)模型的泛化性,所以我們決定使用堆棧降噪自動編碼器網(wǎng)絡(luò)作為面向像素變化檢測的深度學(xué)習(xí)網(wǎng)絡(luò).

2 本文方法

2.1 數(shù)據(jù)預(yù)處理

高分光學(xué)影像中不同時相的影像由于成像季節(jié)、成像角度和影像配準(zhǔn)上的差異,常常會有很大的不同.這很不利于面向像素的變化檢測,為了減輕這種差異帶來的影響,我們需要對圖像進(jìn)行預(yù)處理.

如圖2所示,由于我們使用的高分二號遙感影像已經(jīng)經(jīng)過了配準(zhǔn)和絕對輻射校正,所以可以看出同一地區(qū)的影像像素基本對應(yīng),但由于成像季節(jié)不同造成影像的色溫不同,我們采用了直方圖匹配算法進(jìn)行處理.

圖2 直方圖匹配((a)為時相1原圖,(b)為時相1相對于時相2做直方圖匹配輻射校正結(jié)果,(c)為時相2原圖)

采用直方圖匹配的相對輻射校正方法,使一幅圖像與另一幅待匹配圖像的色調(diào)盡可能保持一致,消除成像條件不同造成的不利影響.分析結(jié)果證明,直方圖匹配后的圖像與圖像校正之前有了較大的質(zhì)的提高,說明使用該方法進(jìn)行相對輻射校正效果是比較好的[9].

2.2 特征提取

鄰域矩陣特征充分考慮了目標(biāo)像素周圍的鄰接像素的光譜信息,可以表征目標(biāo)像素周圍的紋理、顏色和上下文信息.

如圖3所示,本文先對高分光學(xué)影像目標(biāo)像素的每個通道的鄰接像素構(gòu)造鄰域矩陣MR、MG和MB,然后將他們展開為向量VR、VG和VB,再將3個向量按照RGB的順序拼接在一起,得到鄰域特征VRGB.考慮到兩個時相的高分光學(xué)影像,再將時相2對應(yīng)像素的鄰域特征V'RGB拼接在時相1的鄰域特征后面,最終可以得到兩時相目標(biāo)像素的鄰域特征V.

2.3 變化檢測

2.3.1 基于堆棧降噪自動編碼器的變化檢測

自動編碼器由Rumelhart提出[10],包含了編碼器和解碼器兩個部分:編碼器對數(shù)據(jù)進(jìn)行降維,解碼器還原降維后的數(shù)據(jù)成原始維度.

堆棧降噪自動編碼器網(wǎng)絡(luò)(Stacked Denoising Auto-Encoders,SDAE)[11,12]是一種利用經(jīng)過無監(jiān)督逐層貪心預(yù)訓(xùn)練和系統(tǒng)性參數(shù)優(yōu)化的多層非線性網(wǎng)絡(luò)從無類標(biāo)數(shù)據(jù)中提取高維復(fù)雜輸入數(shù)據(jù)的分層特征,并得到原始數(shù)據(jù)的分布式特征表示的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[12].一般為了可以使網(wǎng)絡(luò)完成分類的任務(wù),會在網(wǎng)絡(luò)的最后加入Softmax分類器,將整個網(wǎng)絡(luò)分為分層特征提取和數(shù)據(jù)分類兩個階段.

圖3 適用于高分光學(xué)影像的鄰域特征構(gòu)造流程

在分層特征提取階段通常需要堆疊多個自動編碼器,完成從前往后的編碼和從后往前的解碼,其中每一層的編碼工作可以用式(1)表示,解碼工作可以由式(2)表示.

其中,a(n)表示最后一個隱含層單元的激活值,l表示當(dāng)前的層數(shù),W(l,1)、b(l,1)表示第l層編碼器的編碼階段權(quán)值和偏移量,W(l,2)、b(l,2)表示第l層編碼器的解碼階段權(quán)值和偏移量,z表示當(dāng)前層的輸出也是下一層的輸入.

SDAE的訓(xùn)練也分為兩個階段,一個是無監(jiān)督的預(yù)訓(xùn)練,另一個是有監(jiān)督的微調(diào)階段.該算法的核心是:

① 先以無監(jiān)督的方式訓(xùn)練網(wǎng)絡(luò)的第一層,通過重構(gòu)輸入的數(shù)據(jù),并用自身作為標(biāo)簽,不斷訓(xùn)練減小重構(gòu)損失;

② 然后將每一層的輸出作為下一層的輸入,并按照步驟①的方式對每一層進(jìn)行無監(jiān)督訓(xùn)練;

③ 重復(fù)步驟②直至除分類層的最后一層;

④ 將最后一個隱含層的輸出作為有監(jiān)督Softmax分類層的輸入,并初始化有監(jiān)督層的所有參數(shù).

在進(jìn)行變化檢測任務(wù)時,先使用兩時相高分光學(xué)影像的鄰域特征進(jìn)行訓(xùn)練,將每個像素的鄰域特征作為堆棧降噪自動編碼器的輸入,然后進(jìn)行逐層預(yù)訓(xùn)練,直到重構(gòu)損失降低到收斂,完成無監(jiān)督預(yù)訓(xùn)練的工作.然后將人工標(biāo)簽參考圖按照每個對應(yīng)像素是否發(fā)生變化,用0表示未發(fā)生變化,1表示變化作為類別標(biāo)識.如果使用Softmax分類器還需要將標(biāo)簽轉(zhuǎn)化為one-hot形式,即[0,1]表示未發(fā)生變化類別,[1,0]表示發(fā)生變化類別.經(jīng)過以上處理可以將人工標(biāo)簽參考圖像轉(zhuǎn)化為二進(jìn)制標(biāo)簽數(shù)據(jù).

將標(biāo)簽數(shù)據(jù)和訓(xùn)練數(shù)據(jù)同時輸入到堆棧降噪自動編碼器網(wǎng)絡(luò)中,包括分類層,進(jìn)行有監(jiān)督微調(diào),直到完成訓(xùn)練.訓(xùn)練完畢后將鄰域特征兩時相前后拼接順序互換再訓(xùn)練一遍,達(dá)到擴(kuò)充訓(xùn)練集的目的.訓(xùn)練后的模型可以接收測試集的鄰域特征,并預(yù)測出與標(biāo)簽數(shù)據(jù)維度一致的預(yù)測結(jié)果.如果是one-hot形式,則認(rèn)為預(yù)測結(jié)果[x,y]中,若x大于y則認(rèn)為是變化類別,若x小于y則認(rèn)為是未變化類別,通過這樣的方法可以將預(yù)測結(jié)果還原為黑白二值圖像的形式,便于觀察預(yù)測結(jié)果圖像進(jìn)行主觀視覺分析和指標(biāo)計算.基于堆棧降噪自動編碼器的變化檢測原理示意圖如圖4所示.

圖4 基于堆棧降噪自動編碼器的變化檢測原理示意圖

2.3.2 基于分支卷積神經(jīng)網(wǎng)絡(luò)的變化檢測

孿生神經(jīng)網(wǎng)絡(luò)(Siamese Network)[13]使用兩個分支,是分支卷積神經(jīng)網(wǎng)絡(luò)的一種.兩分支之間權(quán)值共享,通過兩分支對輸入影像進(jìn)行特征提取后,展平接入全連接層,然后使用對比損失函數(shù)對結(jié)果進(jìn)行相似度計算,對比損失函數(shù)的公式如式(3)所示.

對比損失函數(shù)的表達(dá)式中,|d|表示兩個分支的輸入經(jīng)過分支網(wǎng)絡(luò)的提取得到的特征的歐氏距離,y表示人工標(biāo)注的二值參考信息,m是常量.當(dāng)y為1時表示相似度高,此時1–y為0,則不用考慮后半表達(dá)式的情況,只考慮類內(nèi)情況,損失等于對相似度高的特征距離計算平均距離;當(dāng)y為0時表示相似度低,此時1–y為1,則不考慮前半表達(dá)式的情況,只考慮后半表達(dá)式的情況,即類間情況,損失等于計算在一定閾值m范圍內(nèi)的特征距離的平均距離,超過閾值的距離,損失直接記為0.

本文基于孿生神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),將最后的輸出層用Softmax分類層代替,并使用最小交叉熵?fù)p失作為損失函數(shù).兩個時相的輸入數(shù)據(jù)分別對應(yīng)兩個分支,兩個分支的網(wǎng)絡(luò)結(jié)構(gòu)一致且參數(shù)共享,輸入數(shù)據(jù)在兩個分支中經(jīng)過卷積和反卷積提取特征,然后將提取到的特征輸入到聯(lián)接層,然后進(jìn)入全連接層,最后進(jìn)行分類,構(gòu)建了本文的分支卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 分支卷積神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)

圖5中左側(cè)展示了分支網(wǎng)絡(luò)的結(jié)構(gòu),當(dāng)分支網(wǎng)絡(luò)接收輸入圖像時,先使用卷積層①進(jìn)行卷積,卷積核數(shù)量為64,卷積模式為same;然后不經(jīng)過池化層,再進(jìn)行卷積層②,卷積核數(shù)量為32,卷積模式為same;為了防止過擬合,接下來引入了Dropout層;然后輸入到反卷積層①,卷積核數(shù)量為32,卷積模式為same;接下來經(jīng)過反卷積層②,卷積核數(shù)量為64,卷積模式為same;最后接入到輸出層,輸出的數(shù)據(jù)維度與輸入的數(shù)據(jù)保持一致.卷積核的尺寸全部設(shè)置為3×3大小.卷積模式采用same和不使用池化層的原因是輸入鄰域矩陣的尺寸本來就比較小了,不需要進(jìn)一步降維.經(jīng)過卷積和反卷積,輸入和輸出的維度是一致的,所以分支網(wǎng)絡(luò)其實(shí)就是基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造了一個自動編碼器網(wǎng)絡(luò).

在圖5下側(cè)的分支網(wǎng)絡(luò)的無監(jiān)督預(yù)訓(xùn)練中可以看出,輸入層經(jīng)過卷積層①和卷積層②獲得了卷積特征,這個過程其實(shí)是自動編碼器的編碼階段.而丟棄層后,經(jīng)過反卷積層①和反卷積層②,將輸出的維度還原成輸入的維度,這是自動編碼器的解碼階段.其實(shí)真正用于后面全連接層降維和分類層分類的是卷積層②得到的卷積特征.

在訓(xùn)練過程中,按照堆棧自動編碼器網(wǎng)絡(luò)的訓(xùn)練方式,先將輸入圖像輸入到分支網(wǎng)絡(luò)中,以輸入圖像自身作為標(biāo)簽進(jìn)行無監(jiān)督預(yù)訓(xùn)練,使得兩分支網(wǎng)絡(luò)的權(quán)值進(jìn)行初始化;然后將分支網(wǎng)絡(luò)卷積層②的輸出,展平輸入到全連接層中,接下來使用人工標(biāo)簽對分類器進(jìn)行訓(xùn)練,調(diào)整整個網(wǎng)絡(luò)模型的參數(shù),最終得到訓(xùn)練好的網(wǎng)絡(luò)模型.

本節(jié)提出的方法基于孿生神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)和堆棧自動編碼器的訓(xùn)練方式,希望能通過網(wǎng)絡(luò)自動提取鄰域矩陣圖像塊中的卷積特征,利用這些更為抽象的卷積特征進(jìn)行分類,獲得更好的分類效果.

2.4 后處理

面向像素的變化檢測方法由于是基于每個像素進(jìn)行運(yùn)算或分析,然后得出結(jié)果,所以變化結(jié)果中具有大量的椒鹽噪聲,本文對陰影干擾和椒鹽噪聲的去除進(jìn)行了研究.

2.4.1 去除陰影干擾

城鎮(zhèn)地區(qū)每個時相樓房被太陽照射會產(chǎn)生陰影,從而導(dǎo)致偽變化,我們稱之為“描邊效應(yīng)”.

如圖6所示,兩時相圖中3個樓的影子長短不一造成了變化檢測時的描邊效應(yīng).為了減輕這種描邊效應(yīng),我們使用了主成分分析[14](Principal Component Analysis,PCA)和RGB轉(zhuǎn)換成HIS顏色模型,并計算陰影指數(shù)[15](Shadow Index,SI)的方法提取并去除陰影.

圖6 不同時相影像中建筑物陰影干擾造成的偽變化

主成分分析是一種降維方法,它將RGB三通道圖像降維成單通道灰度圖像,記為LPCA.它可以在提取陰影的過程中忽略我們不感興趣的顏色信息,并保留盡可能多的陰影信息.

HIS是一種被廣泛采用的顏色模型.與RGB顏色模型不同的是,RGB顏色模型是以紅綠藍(lán)三基色通道灰度值來表征每個像素,而HIS使用亮度(I)、飽和度(S)和色調(diào)值(H)3個分量來表征每個像素.通過RGB轉(zhuǎn)換成HIS顏色模型,我們得到了每個時相的亮度、飽和度和色調(diào)值分量.

最后我們可以使用上述的數(shù)據(jù),計算陰影指數(shù)SI:

陰影指數(shù)高的地方被認(rèn)為是陰影地區(qū),而陰影指數(shù)低的地方則表示不是陰影地區(qū).使用最大類間方差法[16]分割陰影指數(shù)圖像,可以得到二值圖,即為提取到的陰影圖像.在預(yù)測的變化圖像中減去這些提取到的陰影,即為去除描邊效應(yīng)的最終結(jié)果.

2.4.2 面向?qū)ο蟮娜ピ朐鰪?qiáng)

經(jīng)過去除陰影的干擾后我們發(fā)現(xiàn)變化檢測結(jié)果中依然充斥著大量噪聲,而且變化檢測結(jié)果的邊緣信息與原圖像相比較并不是很準(zhǔn)確.若使用簡單的中值濾波去噪,則會損失大量的邊界信息,讓去噪結(jié)果邊緣變得圓滑,為了讓最終的變化檢測結(jié)果更加純凈,也為了能夠獲得更加精準(zhǔn)的邊界信息,本文提出了一種去噪增強(qiáng)算法.

去噪增強(qiáng)算法基于面向?qū)ο笞兓瘷z測的圖像分割思想,首先使用均值漂移(Mean Shift)算法[17]分割兩時相圖像.然后統(tǒng)計上一步的變化檢測預(yù)測結(jié)果中變化像素占每個類別總像素數(shù)的比值,若比值超過某一閾值,即認(rèn)為當(dāng)前類別的所有像素均為變化像素,若未超過,則認(rèn)為當(dāng)前類別的所有像素均為未變化像素.具體的算法流程算法1所示.

算法1.去噪增強(qiáng)算法偽代碼輸入:兩時相高分光學(xué)圖像Ims1和Ims2、變化檢測預(yù)測結(jié)果P對兩時相影像進(jìn)行分割I(lǐng)ms1,Ims2=MeanShift(I1,I2)初始化Result為0矩陣用于存放Ims1和Ims2的處理結(jié)果Result=Init(P)遍歷每個像素for i in range(0,P.row):for j in range(0,P.col):若當(dāng)前像素在預(yù)測結(jié)果中為變化像素 if P[i][j]==255:檢查當(dāng)前像素是否已經(jīng)在結(jié)果中被分類過了,若沒 有則繼續(xù) if Result[i][j]==0:尋找當(dāng)前像素在兩時相影像Img中所在的圖斑 Patch1,Patch2 Patch1,Patch2=getPatch(Ims1[i][j],Ims2[i][j])獲得Patch1和Patch2中所有預(yù)測為變化的像素 集合ChangedPatch1,ChangedPatch2 ChangedPatch1=Patch1∩P ChangedPatch2=Patch2∩P 計算當(dāng)前圖斑的變化面積占比 Rate1=ChangedPatch1.area/Patch1.area Rate2=ChangedPatch2.area/Patch2.area if Rate1>=th:Result=Result+Patch1 if Rate2>=th:

esult[ Result=Result+Patch2 RResult!=0]=1輸出:結(jié)果圖像Result

通過這種方法,可以將細(xì)小的噪聲像素去除,還可以將本來預(yù)測結(jié)果中邊界信息不完整的部分補(bǔ)全,使得最終結(jié)果的準(zhǔn)確率進(jìn)一步提升,圖7展示了去噪增強(qiáng)算法的示例圖像.從圖中可以看出,時相1圖像(a)和時相2圖像(b)相比較發(fā)生了變化.然而預(yù)測圖像(c)并不理想,出現(xiàn)了漏檢和誤檢(噪聲)情況,其中左上角出現(xiàn)了噪聲,而畫面中央真實(shí)變化的部分并未完全檢測出來.經(jīng)過上述去噪增強(qiáng)算法分別對兩時相圖像進(jìn)行處理,并將兩時相的處理結(jié)果取并集,最終得到去噪增強(qiáng)的最終結(jié)果圖7(d).

圖7 去噪增強(qiáng)算法的示例圖像((a)時相1圖像,(b)時相2圖像,(c)變化檢測預(yù)測結(jié)果,(d)去噪增強(qiáng)結(jié)果)

3 實(shí)驗(yàn)過程及結(jié)果分析

本文使用高分二號遙感影像數(shù)據(jù)集對基于堆棧去噪自動編碼器網(wǎng)絡(luò)的變化檢測方法進(jìn)行實(shí)驗(yàn).數(shù)據(jù)集包括10張1000×1000的三通道圖像,其中8張作為訓(xùn)練和驗(yàn)證集,2張作為測試集.本文使用了變化向量分析法和基于深度信念網(wǎng)絡(luò)的無監(jiān)督變化檢測方法作為對比.

本章實(shí)驗(yàn)階段堆棧降噪自動編碼器模型參數(shù)選取了深度信念網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu),即輸入層、隱含層①(250節(jié)點(diǎn))、隱含層② (150節(jié)點(diǎn))、隱含層③ (100節(jié)點(diǎn))和分類層.

實(shí)驗(yàn)平臺為Ubuntu 16.04、64 GB內(nèi)存、Intel E5處理器、Nvidia GTX1080ti 12 GB顯卡.

本小節(jié)主要做了兩組實(shí)驗(yàn),第一組是通過實(shí)驗(yàn)對鄰域矩陣尺度進(jìn)行選取;第二組實(shí)驗(yàn)評價兩種基于深度學(xué)習(xí)的變化檢測方法的性能.

3.1 鄰域矩陣尺度選取

鄰域特征尺度的選取與高分光學(xué)影像的分辨率有關(guān),也與待檢測地區(qū)存在的主要變化有關(guān),理論上更大的鄰域尺度具有更大的范圍,對于大規(guī)模的變化可以表達(dá)的更為準(zhǔn)確,同時降噪能力更強(qiáng);較小尺寸的鄰域尺寸對較小規(guī)模的變化更為敏感,但也會伴隨著噪聲多的情況.

3.1.1 基于堆棧降噪自動編碼器的變化檢測

本節(jié)實(shí)驗(yàn)了3×3、5×5、7×7和9×9尺寸的鄰域矩陣構(gòu)造鄰域特征用于網(wǎng)絡(luò)模型的訓(xùn)練和測試,最終得到的指標(biāo)對比如圖8.

圖8 不同尺度鄰域矩陣特征對基于堆棧降噪自動編碼器變化檢測結(jié)果指標(biāo)的影響

由圖8可以看出不同尺度的鄰域特征中除3×3外,其他3個在綜合指標(biāo)F1值上差距不大.但分析精確率和召回率來看,可以看出召回率隨尺度增大保持上升趨勢,這是因?yàn)闄z測出來的變化面積會隨之增加.但這些增加的變化檢測結(jié)果并非都是真實(shí)發(fā)生變化的,從5×5以后,誤檢的增多造成了精確率的降低.

為了更加充分考慮更大范圍鄰域信息,保證最終變化檢測結(jié)果的純凈度而且避免增加數(shù)據(jù)量增大帶來的計算時間增長和占用存儲空間增長的問題,綜合考慮變化檢測效果和整個流程的硬件開銷等因素,本節(jié)選取了5×5鄰域矩陣作為最終特征提取的標(biāo)準(zhǔn).

3.1.2 性能對比測試

本節(jié)試驗(yàn)了從3×3、5×5一直到17×17尺寸的鄰域矩陣尺寸進(jìn)行了模型的訓(xùn)練,通過分析結(jié)果得出了最佳尺寸的結(jié)論.

圖9展示了不同尺寸的鄰域矩陣尺寸對分支卷積神經(jīng)網(wǎng)絡(luò)的影響,可以看出,精確率在7×7尺寸的時候到達(dá)頂峰,但到達(dá)11×11的時候有個斷崖式下降,相反在召回率方面11×11獲得了較大的提高,在最終的綜合指標(biāo)上,11×11比7×7和17×17高出了不到0.005,以微弱的指標(biāo)優(yōu)勢成為了最佳的鄰域矩陣尺寸.

事實(shí)上,我們發(fā)現(xiàn)根據(jù)鄰域矩陣尺寸選取的不同,該方法的F1值波動比較大,不存在一個明顯的變化趨勢,這也是這種方法的缺點(diǎn)所在.在對鄰域圖像塊進(jìn)行卷積特征選取的時候,過小的圖像塊得到的特征太過簡單,隨著圖像塊尺寸的逐步提高,總有最適合這種尺寸的變化區(qū)域被完美檢測出來,而不太適合這種尺寸的變化區(qū)域則獲得的指標(biāo)會差一些,所以目前只能選取一個全局較好的尺寸作為鄰域矩陣圖像塊的尺寸,而后續(xù)的研究中應(yīng)當(dāng)研究多尺度變化檢測結(jié)果融合的方法.

圖9 不同尺度鄰域矩陣特征對基于分支卷積神經(jīng)網(wǎng)絡(luò)變化檢測結(jié)果指標(biāo)的影響

3.2 性能對比測試

本節(jié)對比的變化矢量分析法(CVA)通過計算各通道灰度值的歐氏距離,再進(jìn)行閾值分割,即可獲得變化檢測結(jié)果.而基于深度信念網(wǎng)絡(luò)的變化檢測方法(DBN)在之前的論文中適用于SAR單通道圖像,所以本節(jié)先將測試圖像從三通道轉(zhuǎn)成了單通道的灰度圖像,然后使用了上述算法.然后將基于堆棧降噪自動編碼器的變化檢測方法(SDAE)和基于分支卷積神經(jīng)網(wǎng)絡(luò)的變化檢測方法(BCNN)應(yīng)用最佳的鄰域矩陣特征尺寸進(jìn)行實(shí)驗(yàn).

4種方法在工業(yè)區(qū)域的變化檢測結(jié)果如圖10,評價指標(biāo)如表1,可以看出由于兩時相影像道路路面反光程度不一致,CVA和DBN均將這種偽變化檢測出來了,而本文所提兩種方法可以忽略這種偽變化.而且由于CVA和DBN是無監(jiān)督算法,所以在荒地和開發(fā)保留地上的微小植被覆蓋變化也被檢測出來了,這造成了變化檢測結(jié)果含有大量的椒鹽噪聲,而本文方法由于在制作標(biāo)簽時將這種植被覆蓋變化認(rèn)為是不變的,所以本文的方法得到的結(jié)果噪聲更少.分析指標(biāo),由于偽變化和噪聲影響,CVA和DBN的精確率都比較低,DBN相比傳統(tǒng)的CVA方法有一點(diǎn)點(diǎn)提升.SDAE方法在精確率上大幅提高,召回率相比前兩種方法相差不多,只提高1個百分點(diǎn)左右,這說明SDAE方法在提升畫面純凈度的同時,并沒有犧牲對變化監(jiān)測區(qū)域的覆蓋程度.最終在綜合指標(biāo)F1值上,可以看出SDAE方法比CVA方法提升了0.127 802,比DBN方法提升了0.073 54.而BCNN方法處理的變化檢測結(jié)果相比其他的變化檢測結(jié)果圖像,噪聲更少,而且在道路兩旁和建筑保留地上去除了大量的偽變化,極大的提高了畫面的純凈度,這是因?yàn)锽CNN方法使用的是更為抽象的卷積特征進(jìn)行分類,使得變化檢測結(jié)果中椒鹽噪聲被很大程度的抑制.BCNN方法在精確率、召回率和F1值方面均領(lǐng)先其他三種變化檢測方法,主要和SDAE方法進(jìn)行對比,在精確率提升了0.17的情況下,召回率也提升了0.07,與召回率提升不大的前3種算法拉開了差距,證明了BCNN方法具有更好的性能.

圖10 工業(yè)區(qū)域變化各算法性能對比測試結(jié)果((a)CVA方法,(b)DBN方法,(c)SDAE方法,(d)BCNN方法,(e)變化參考圖)

表1 工業(yè)區(qū)域變化各算法性能對比測試指標(biāo)

在農(nóng)業(yè)區(qū)域的變化檢測差距較大,4種方法的變化檢測結(jié)果如圖11,評價指標(biāo)如表2.可以看出CVA的變化檢測結(jié)果非常雜亂,充斥了耕地植被覆蓋的變化、房屋變化、道路變化、房屋周圍的植被覆蓋變化和大量噪聲;相比之下,DBN方法避免了大部分的偽變化,但由于是無監(jiān)督算法,依然具有大面積的耕地植被覆蓋變化等,房屋周圍的植被覆蓋變化也很明顯;SDAE方法得到的變化檢測結(jié)果畫面純凈,而且可以將農(nóng)村微小的房屋變化檢測出來.從指標(biāo)分析上看CVA由于檢測出的變化面積大,所以對真實(shí)變化情況的覆蓋效果最好,召回率達(dá)到了83.44%,但大量的偽變化和噪聲使他的精確率只有1.37%,不具備實(shí)用價值.DBN的變化檢測結(jié)果由于包含了過多的植被覆蓋變化,使得精確率也只有3.63%,但從畫面的純凈程度上觀察,已經(jīng)比CVA方法提升了很多,具備一定的實(shí)用價值.BCNN方法由于是有監(jiān)督的分類算法,所以也可以去除耕地變化的影響,得到我們更感興趣的房屋和道路變化.BCNN方法可以在去除椒鹽噪聲的同時,保留農(nóng)業(yè)地區(qū)細(xì)小真實(shí)變化.從指標(biāo)上看,BCNN方法與SDAE方法指標(biāo)基本持平,證明了BCNN方法在細(xì)小房屋的變化檢測上也有不錯的效果.

圖11 農(nóng)業(yè)區(qū)域變化各算法性能對比測試結(jié)果((a)CVA方法,(b)DBN方法,(c)SDAE方法,(d)BCNN方法,(e)變化參考圖)

表2 農(nóng)業(yè)區(qū)域變化各算法性能對比測試指標(biāo)

本節(jié)通過設(shè)計實(shí)驗(yàn),將基于堆棧降噪自動編碼器網(wǎng)絡(luò)的變化檢測方法與傳統(tǒng)的變化矢量分析法和基于深度信念網(wǎng)絡(luò)的變化檢測方法相比較,從變化檢測結(jié)果圖像觀感和變化檢測指標(biāo)兩個角度給出了對比.在具有大規(guī)模變化的工業(yè)區(qū)域,本文提出的算法能夠明顯減少大量的偽變化,在一定程度上減少噪聲信息,突出真實(shí)變化的部分,讓變化檢測結(jié)果更加直觀;在具有微小房屋變化的農(nóng)業(yè)區(qū)域,由于本文方法是有監(jiān)督訓(xùn)練的分類方法,得到的結(jié)果中可以將大量的耕地植被覆蓋變化等實(shí)際利用價值不大的變化省略,并在抑制噪聲信息的同時檢測出微小規(guī)模的房屋變化.綜合來看,本文方法可以在保持一定召回率的情況下,減少大量的偽變化和噪聲,具有一定的實(shí)用價值.

4 結(jié)論與展望

本文針對基于深度學(xué)習(xí)算法的高分衛(wèi)星遙感(寧夏地區(qū))影像變化檢測方法進(jìn)行了研究,在已有的SAR雷達(dá)影像變化檢測方法的基礎(chǔ)上提出了改進(jìn)方法,并提出了自己的創(chuàng)新算法,最后在變化檢測結(jié)果的修正改善上使用了去除陰影干擾算法,并自己設(shè)計了面向?qū)ο蟮娜ピ朐鰪?qiáng)算法,對變化檢測結(jié)果和指標(biāo)進(jìn)行了改善與提高.

基于堆棧去噪自動編碼器網(wǎng)絡(luò)的變化檢測方法是基于深度信念網(wǎng)絡(luò)的SAR雷達(dá)影像變化檢測方法的改進(jìn).在特征提取階段設(shè)計了適用于高分光學(xué)影像的鄰域特征提取方法,然后改用泛化性更好的去噪自動編碼器網(wǎng)絡(luò),經(jīng)過無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào),最終獲得一個二分類網(wǎng)絡(luò),可以將兩時相的每個對應(yīng)像素分為變化類和未變化類.該算法避免了傳統(tǒng)變化檢測算法的閾值分割階段,將變化檢測問題轉(zhuǎn)化成為面向像素的二分類問題,經(jīng)過實(shí)驗(yàn)對比,具有不錯的效果,且在不同地區(qū)的高分光學(xué)影像變化檢測方面,展現(xiàn)出了很強(qiáng)的泛化性.

隨后本文提出了基于分支卷積神經(jīng)網(wǎng)絡(luò)的變化檢測方法.分支卷積神經(jīng)網(wǎng)絡(luò)基于孿生神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),具有兩個輸入和分支網(wǎng)絡(luò),分支網(wǎng)絡(luò)之間權(quán)值共享.分支網(wǎng)絡(luò)為了模型訓(xùn)練更快的收斂,采用了基于卷積神經(jīng)網(wǎng)絡(luò)的堆棧自編碼器設(shè)計.經(jīng)過兩個分支網(wǎng)絡(luò)的特征提取后,展平接入全連接層,最后使用分類層得到輸出.訓(xùn)練時也先對分支網(wǎng)絡(luò)進(jìn)行無監(jiān)督預(yù)訓(xùn)練,目的是為了對網(wǎng)絡(luò)權(quán)值進(jìn)行初始化,然后對整個網(wǎng)絡(luò)進(jìn)行有監(jiān)督微調(diào),得到訓(xùn)練好的網(wǎng)絡(luò)模型.該算法不用復(fù)雜的鄰域特征處理過程,直接將鄰域矩陣圖像塊作為輸入,提取更為抽象的卷積特征用于變化檢測.得到的變化檢測結(jié)果更加純凈,抑制了椒鹽噪聲,而且經(jīng)過實(shí)驗(yàn)在各項(xiàng)性能指標(biāo)均比傳統(tǒng)方法和基于堆棧去噪自動編碼器網(wǎng)絡(luò)的變化檢測方法有所提升.分支卷積神經(jīng)網(wǎng)絡(luò)在不同變化類型和不同時相的變化檢測效果也有一定的領(lǐng)先,適用于同一地區(qū)隨著時間推移不斷發(fā)生的各類變化檢測.

最后本文在變化檢測結(jié)果的后處理方面進(jìn)行了研究,首先使用了陰影指數(shù)對兩時相影像陰影變化進(jìn)行了提取,然后在變化檢測預(yù)測結(jié)果中去除了這些變化,提高了變化檢測結(jié)果的精確率.然后設(shè)計了面向?qū)ο蟮娜ピ朐鰪?qiáng)算法,針對變化檢測結(jié)果中椒鹽噪聲多的問題和去除陰影干擾階段降低了召回率的情況進(jìn)行了改善,與傳統(tǒng)的中值濾波去噪算法相比,在保留了變化檢測區(qū)域的邊界信息的同時,去除了噪聲的影響,具有一定的實(shí)用價值.