程 巖，趙化啟，劉曉敏，王宇春，李國晶，袁東華，劉 琳，郭 浩

（1.佳木斯大學(xué)信息電子技術(shù)學(xué)院，佳木斯 154007；2.佳木斯大學(xué)材料科學(xué)與工程學(xué)院，佳木斯 154007）

0 引言

如何提取同一地域不同時期信息的變化已經(jīng)成為一項重要的研究課題，地球表面上的生態(tài)環(huán)境是非靜態(tài)的，不同時期觀察同一個對象或者某一種現(xiàn)象鑒別其狀態(tài)差別的過程稱為變化檢測［1］。從20世紀(jì)60年代開始，人類就開始使用遙感技術(shù)對地球表面進(jìn)行觀測，統(tǒng)計地球表面物體變化，從而完成地表數(shù)據(jù)的更新。自20世紀(jì)80年代開始，美國、日本等國家相繼提出了對地觀測計劃（EOS），使人類對于地球表面的理解達(dá)到全新階段［2］。我國從“六五”時期開始也采取了衛(wèi)星遙感對土地資源進(jìn)行調(diào)查研究［3］。

國內(nèi)外研究學(xué)者在地球表面的土地變化自動化提取方面進(jìn)行了深入的研究。早在1998年，Ridd等［4］利用1986年和1990年時期的TM影像，使用圖像差分法、KT變換法等進(jìn)行了土地的變化檢測，并進(jìn)行了結(jié)果精度的評估。Ding等［5］使用差值法來進(jìn)行探測土地覆蓋的變更情況。此后，Liu等［6］使用人工神經(jīng)網(wǎng)絡(luò)（ANN）的方法來檢測衛(wèi)星圖像中描述的城市中的變化情況，進(jìn)而驗證了基于神經(jīng)網(wǎng)絡(luò)的變化檢測，其檢測時間短、準(zhǔn)確率高等特點。張華國等［7］經(jīng)過幾何校正、彩色合成和數(shù)據(jù)融合等遙感數(shù)據(jù)處理方法，然后采用監(jiān)督分類法、閾值法、植被指數(shù)法和人機(jī)交互法相結(jié)合的方法進(jìn)行了土地覆蓋分類，獲得了南麂列島土地覆蓋的最新信息，其與傳統(tǒng)的土地檢測相比具有準(zhǔn)確度高、時效性強(qiáng)等顯著優(yōu)勢。

從技術(shù)流程上遙感變化檢測分為大致4個環(huán)節(jié)：數(shù)據(jù)選擇及預(yù)處理、差異圖生成、差異圖分析及精度評估。變化檢測的方法可分為以下4類：

（1）代數(shù)運(yùn)算法［8-11］：是一種使用非常廣泛的變化檢測方法，主要由比值法、差值法、植被指數(shù)法構(gòu)成。比值法和差值法是對圖像的灰度值相除或相減得到其差異圖，植被指數(shù)法差異圖的計算是由紅光和近紅外波段之間進(jìn)行比值從而突出植被的信息，然后再對植被的指數(shù)差值處理而來。對于以上三種方法產(chǎn)生的差異圖，再通過閾值對生成的差異圖進(jìn)行二值化，最終得到變化檢測圖。

（2）分類法［12-13］：包括直接分類法和分類后變化法兩類，最常用的是分類后變化法，其過程是對圖像進(jìn)行分類，然后根據(jù)分類的結(jié)果找到對應(yīng)的位置進(jìn)行比較，最終得到圖像差異圖。直接分類法將多個圖像進(jìn)行重合疊加，再根據(jù)所變化的類型來進(jìn)行分類，不需要對每個圖像進(jìn)行單獨的分類操作。

（3）變換法［14-15］：通過對圖像數(shù)據(jù)信息的變換對相關(guān)信息進(jìn)行抑制對所變化的區(qū)域有更好的突出。最常用的變換方法有主成分分析法，其過程是將兩幅圖像數(shù)據(jù)都進(jìn)行降維，得到主要的主成分，然后通過差值法來進(jìn)行運(yùn)算得到差異圖；另一種常用的方法是多元變化檢測法，其過程使用兩張圖像的線性組合的差值來進(jìn)行變化檢測，得到差異圖，根據(jù)其差異圖再進(jìn)行閾值的選定與分割，進(jìn)而得到變化效果圖。

（4）深度學(xué)習(xí)法［16-19］：深度網(wǎng)絡(luò)學(xué)習(xí)架構(gòu)相對于傳統(tǒng)的變化檢測方法能夠減少檢測的結(jié)果對變化檢測過程中所產(chǎn)生差異圖依賴的影響。其中涉及了卷積神經(jīng)網(wǎng)絡(luò)［20］、深度信念網(wǎng)絡(luò)［21］、卷積自編碼器［22］等。

傳統(tǒng)的遙感土地變化檢測依賴于同質(zhì)數(shù)據(jù)，由于光學(xué)數(shù)據(jù)的光照條件或濕度和降水等其他因素的影響，圖像可能不均勻。特別是當(dāng)不同的傳感器出現(xiàn)時，這使得直接比較存在變化檢測不準(zhǔn)確的問題，分類后比較法適用于同質(zhì)圖像和異質(zhì)圖像來進(jìn)行變化檢測。這種方法依賴于在進(jìn)行分類時分類算法的優(yōu)劣。copula理論轉(zhuǎn)換［23］，使兩幅圖達(dá)到相似的特征，需要進(jìn)行合適的關(guān)聯(lián)且采用標(biāo)記像素來進(jìn)行訓(xùn)練。核典型相關(guān)分析［24］、流形學(xué)習(xí)［25］等也嘗試應(yīng)用到異質(zhì)圖像變化檢測，但是這類方法需要進(jìn)行人工分析，限制性很大。針對異質(zhì)圖像的特點，將來源不同的圖像映射到同一個特征空間，這是一個亟待解決的問題。因此，本文提出了基于自編碼器網(wǎng)絡(luò)架構(gòu)的梯度信息與差異圖融合變化檢測方法。

針對于傳統(tǒng)的變化檢測存在以下問題：

（1）在進(jìn)行遙感圖像變化檢測時，來自于不同傳感器的遙感圖像灰度變化具有非線性關(guān)系，直接進(jìn)行變化檢測存在不準(zhǔn)確問題。

（2）原始圖像具有不明顯的輪廓和紋理，直接使用原始圖像的輪廓和紋理會導(dǎo)致變化檢測結(jié)果不準(zhǔn)確。

（3）傳統(tǒng)的差分運(yùn)算生成的差異圖存在圖像特征表達(dá)不準(zhǔn)確，導(dǎo)致差異圖分析過程中檢測不準(zhǔn)確問題。

本文對于以上傳統(tǒng)的變化檢測存在的問題提出了以下解決方案：

（1）針對異源圖像灰度變化具有非線性關(guān)系，本文基于多損失約束的自編碼器的方法來實現(xiàn)一個域的數(shù)據(jù)高度非線性轉(zhuǎn)換到另一個域。

（2）針對圖像具有不明顯的輪廓和紋理的問題，本文提出對原始圖像、形態(tài)學(xué)梯度圖像、方向梯度圖像進(jìn)行融合用于自編碼器的輸入，提高了本文方法的性能。

（3）針對差異圖生成過程中傳統(tǒng)差分運(yùn)算導(dǎo)致圖像特征表達(dá)不準(zhǔn)確問題，本文提出區(qū)域特征融合與加權(quán)平均融合算法相結(jié)合的方法生成差異圖，有效增強(qiáng)了差異圖的特征表達(dá)能力。

1 基于梯度信息與差異圖融合變化檢測算法方法描述

1.1 基于梯度信息與差異圖融合變化檢測算法總體框架

針對來自于不同傳感器的遙感圖像在進(jìn)行變化檢測時灰度變化是非線性關(guān)系，輪廓、紋理不明顯及差異圖特征表達(dá)不準(zhǔn)確等問題，本文提出了一種基于自編碼器網(wǎng)絡(luò)架構(gòu)的梯度信息與差異圖融合變化檢測方法，如圖1所示，給定兩幅圖像，使用自編碼器使圖像轉(zhuǎn)換到同一域下。其中，自編碼器分為編碼和解碼兩個過程，分別生成兩組編碼圖像，選取兩組最優(yōu)編碼圖像進(jìn)行圖像差分，再采取區(qū)域特征融合與加權(quán)平均融合的方法生成差異圖，最后使用大津法［26］進(jìn)行差異圖分析。同時對原始圖像、形態(tài)學(xué)梯度圖像、方向梯度圖像進(jìn)行融合，用于自編碼器的輸入，有效增強(qiáng)了圖像的輪廓和紋理，最終得到了更好的效果。

圖1 梯度信息與差異圖融合變化檢測框架圖

1.2 基于多損失約束卷積自編碼器網(wǎng)絡(luò)的圖像閾間轉(zhuǎn)換

在數(shù)據(jù)的預(yù)處理階段，本文采用網(wǎng)絡(luò)架構(gòu)以自卷積自編碼器為主體。卷積自編碼器不僅可以提取圖像的有效信息和去除部分的冗余信息，更重要的是可以將兩幅圖像映射到相同的特征空間，進(jìn)行差異圖的生成，有效地解決異源遙感圖像變化檢測問題，其本質(zhì)是用輸出圖像來高度還原輸入圖像的一個系統(tǒng)。

圖2中組成的系統(tǒng)是自編碼器網(wǎng)絡(luò)的結(jié)構(gòu)圖，來實現(xiàn)圖像域到域之間的映射，自編碼器網(wǎng)絡(luò)的訓(xùn)練過程包含編碼和解碼兩個部分，在進(jìn)行解碼和編碼的過程中，本文引入了文獻(xiàn)［22］中的重建損失、周期一致性損失、加權(quán)翻譯損失、編碼相關(guān)損失來對自編碼器進(jìn)行約束，使圖像在閾間轉(zhuǎn)換過程中更好地對齊。在編碼階段，對輸入的圖像進(jìn)行編碼，得到編碼層M；在解碼階段，對編碼層M進(jìn)行解碼，得到輸入圖像的重構(gòu)，然后通過多損失約束函數(shù)使重構(gòu)誤差達(dá)到最小。

圖2 自編碼器網(wǎng)絡(luò)結(jié)構(gòu)圖

自編碼器網(wǎng)絡(luò)的編碼和解碼函數(shù)如公式（1）所示：

sf為編碼器的激活函數(shù)，如公式（2）所示：

基于多損失約束的卷積自編碼器網(wǎng)絡(luò)偽代碼如圖3所示。

圖3 多損失約束的卷積自編碼器網(wǎng)絡(luò)偽代碼

1.3 基于圖像信息增強(qiáng)的方向梯度與形態(tài)學(xué)梯度

異源圖像之間各個方面存在著比較大的差異，這些差異使圖像在進(jìn)行變化檢測過程中存在檢測不準(zhǔn)確問題，為使異源圖像的顯著信息在變化檢測中更好地體現(xiàn)，本文在數(shù)據(jù)預(yù)處理階段做出了一些改變。本文將方向梯度與形態(tài)學(xué)梯度圖像與原圖像放到圖像不同的通道中，來進(jìn)行圖像的變化檢測。

圖像的方向梯度反映了圖像的紋理、邊緣等顯著的信息。梯度值的灰度值變大，圖像對比度增強(qiáng)，此時圖像的紋理更加清晰，灰度變化更加強(qiáng)烈。圖像函數(shù)f(x,y)在Q處的梯度，如公式（3）所示：

圖像形態(tài)學(xué)梯度［27］在去除細(xì)節(jié)和噪聲的同時也保留了重要區(qū)域的輪廓，圖像的輪廓是對物體形態(tài)的有力描述，基于形態(tài)學(xué)梯度算法如公式（4）所示。其中⊕表示膨脹，Θ表示腐蝕，g(x,y)表示輸入圖像，B(i,j)表示結(jié)構(gòu)元素。

腐蝕操作：是求局部最小值算子的操作，使用結(jié)構(gòu)元素B(i,j)對輸入圖像進(jìn)行腐蝕，將結(jié)構(gòu)體元素B(i,j)占用面積最小的像素點分配給參考的指定像素，使像素圖像中整體灰度值下降，高亮區(qū)域逐漸減少。腐蝕公式如公式（5）所示，結(jié)構(gòu)元素對輸入圖像進(jìn)行腐蝕，是以結(jié)構(gòu)元素B(i,j)的原點為中心，在輸入圖像的區(qū)域進(jìn)行平移，與之并集的就是腐蝕后的圖像。

膨脹操作：是求局部最大值算子的操作，使用結(jié)構(gòu)元素B(i,j)對輸入圖像進(jìn)行膨脹，將結(jié)構(gòu)體元素B(i,j)占用面積最大的像素點分配給參考的指定像素，使像素圖像中整體灰度值上升，高亮區(qū)域逐漸增加。在輸入圖像的區(qū)域進(jìn)行平移，與之交集的就是膨脹后的圖像。膨脹公式如公式（6）所示：

無論膨脹或者腐蝕操作，其過程使結(jié)構(gòu)體元素B(i,j)在圖像上進(jìn)行平移計算，從而得出膨脹和腐蝕圖像，本文采用3×3的結(jié)構(gòu)元素，過大結(jié)構(gòu)元素會導(dǎo)致圖像邊緣間產(chǎn)生影響，經(jīng)過計算得到形態(tài)學(xué)梯度圖像。

1.4 基于區(qū)域特征與加權(quán)平均融合的差異圖生成

對于差異圖的生成，如圖4所示，SAR圖像與光學(xué)圖像經(jīng)過自編碼器網(wǎng)絡(luò)后生成了兩組差分圖像，然后以圖像間的相關(guān)系數(shù)為閾值進(jìn)行圖像的融合，相關(guān)系數(shù)表現(xiàn)了圖像之間的相關(guān)程度，如果相關(guān)性一般，則選取加權(quán)平均融合，如果相關(guān)性很大，則選取區(qū)域特征融合，更加凸顯了差異圖像的特征表達(dá)［28］。

圖4 差異圖生成算法結(jié)構(gòu)圖

相關(guān)系數(shù)計算如公式（7）所示：

具體融合規(guī)則如下，利用公式（7）中的相關(guān)性數(shù)值K，以融合圖像像素點(m,n)為中心，窗口大小為3×3進(jìn)行相關(guān)性數(shù)值K計算，一般情況下K≥0.8時，認(rèn)為兩個變量之間具有很強(qiáng)的關(guān)聯(lián)性，因此閾值選取為0.8。

如果相關(guān)性數(shù)值K＜0.8，使用加權(quán)平均融合算法，圖像方差越大，表示圖像對應(yīng)的像素值變化越大，以融合圖像像素點(m,n)為中心，計算窗口大小為3×3的像素塊的方差，根據(jù)每個窗口的方差除以兩個圖像窗口方差之和得到圖像融合時的權(quán)重，計算得到兩張圖像上像素值的加權(quán)平均，循環(huán)迭代，進(jìn)行整張圖的融合。

如果相關(guān)性數(shù)值K≥0.8，使用區(qū)域特征融合算法，以融合圖像像素點(m,n)為中心，窗口大小為3×3計算區(qū)域能量，采用窗口能量取小法，取圖像能量較小的一方可以極大程度上減小噪聲及誤判區(qū)域?qū)Σ町悎D分析的影響，其定義如公式（10）所示：

比較像素點(i,j)為中心的窗口能量，采用窗口能量取小法，如公式（11）所示：

區(qū)域特征與加權(quán)平均融合的差異圖生成偽代碼如圖5所示。

圖5 區(qū)域特征與加權(quán)平均融合的差異圖生成偽代碼

2 實驗過程

2.1 實驗環(huán)境

此實驗的實驗環(huán)境為Windows10系統(tǒng)；處理器型號Intel i5；處理器主頻2.53 GHz和16 GB的運(yùn)行內(nèi)存（RAM）；PyCharm Community Edition 2020.3.2 x64；Python3.8.0；Matlab2016。

2.2 實驗數(shù)據(jù)集

該數(shù)據(jù)集為中國曙光村土地利用現(xiàn)狀情況，如圖6所示，其中SAR圖像尺寸大小為593×921×1，其圖像來自Radarsat-2的C波段，拍攝時間于2008年6月；光學(xué)圖像尺寸大小為593×921×3，其圖像來自Google Earth，拍攝時間于2012年9月，光學(xué)圖像包括RGB三個波段。

圖6 曙光村數(shù)據(jù)集圖像

2.3 評估方法

變化檢測評估指標(biāo)，總精確度（Overall Accuracy，OA），總精確度代表正確像素的比例，計算總精確度引入以下四個指標(biāo)：真陽性（True Positive，TP），假陰性（False Negative，F(xiàn)N），假陽性（False Positive，F(xiàn)P），真陰性（True Negative，TN）。O A計算方式如公式（12）所示：

另外一個評估指標(biāo)是Ka ppa系數(shù)，它反映了變化檢測結(jié)果圖與參考圖的一致性，Kappa系數(shù)計算方式如公式（13）和公式（14）所示：

其中Nc=TP+FN，Nu=F P+TN。

2.4 實驗結(jié)果分析與比較

經(jīng)過方向梯度公式計算后的各個方向梯度圖像，如圖7所示，（a）是SAR水平方向梯度圖像，（b）是光學(xué)水平方向梯度圖像，（c）是SAR垂直方向梯度圖像，（d）是光學(xué)垂直方向梯度圖像，各個方向的梯度圖像使圖像在細(xì)節(jié)處紋理更加顯著。

圖7 方向梯度圖像

經(jīng)過形態(tài)學(xué)梯度計算公式得到形態(tài)學(xué)梯度圖像，如圖8所示，（a）是SAR形態(tài)學(xué)梯度圖像，（b）是光學(xué)形態(tài)學(xué)梯度圖像，形態(tài)學(xué)梯度圖像很好地描述出圖像的輪廓信息，使得圖像邊緣輪廓處更加明顯。

圖8 形態(tài)學(xué)梯度圖像

采用不同方法進(jìn)行圖像變化檢測，在曙光數(shù)據(jù)集上檢測結(jié)果效果圖如圖9所示，（a）是CVA變化向量檢測方法，是通過兩個時相間圖像的向量大小顯示變化的程度，來確定分隔的閾值，從而確定兩個時相之間變化信息；（b）是DPCA采用主成分分析和混合分類方法來對圖像進(jìn)行變化檢測；（c）是SCCN采用無監(jiān)督的深卷積耦合網(wǎng)絡(luò)的方式來進(jìn)行變化檢測；（d）是采用文獻(xiàn)［22］中的方法來進(jìn)行變化檢測，記為方法HR；（e）是采用本文所提出的只含有梯度信息融合的方法所得到的效果圖，記為方法HRA；（f）是本文提出基于梯度信息與差異圖融合的方法得到的效果圖，記為方法HRB。

圖9 所有方法在曙光數(shù)據(jù)集上的變化檢測圖

使用以下幾種變化檢測方法與本文提出方法進(jìn)行實驗對比，HR在圖像邊緣處及更多細(xì)節(jié)處有多處的噪聲，HRA方法極大地減少了噪聲的影響，但是HRA方法使得圖像上的某些區(qū)域亮度太高，造成變化檢測不準(zhǔn)確。從表1中分析可以得出，HRA與HR相比，Kap pa系數(shù)提高了0.07左右，總體精度OA提高了0.84左右，從數(shù)據(jù)上可以看出HRA在原有方法HR之上性能有了一定程度上的提高，實驗數(shù)據(jù)表明方法HRA性能良好。

表1 各種變化檢測方法客觀性能數(shù)據(jù)比較

CVA變化向量檢測方法效果圖噪聲較多，數(shù)據(jù)表明實驗效果一般；DPCA的實驗數(shù)據(jù)表明其總體精度OA良好，但Kappa系數(shù)低于HRA的值；SCCN的Ka ppa系數(shù)略低于方法HRA，總體精度OA略高于方法HRA，實驗表明其性能良好。

HRA經(jīng)過區(qū)域特征融合與加權(quán)平均融合算法得到方法HRB，HRB方法更好地抑制了噪聲的產(chǎn)生，使得變化檢測圖輪廓更加清晰，HRB相對于HRA在Kap pa系數(shù)上提高了將近0.05，在精確度OA上提高了2.08，說明融合后差異圖的特征表達(dá)更為準(zhǔn)確，在進(jìn)行差異圖分析過程中變化檢測精確度有了一定幅度的提高，如表2所示。

表2 基于區(qū)域特征與加權(quán)平均融合性能評價數(shù)據(jù)

3 結(jié)語

針對來自異源圖像輪廓、紋理不明顯及差異圖特征表達(dá)不準(zhǔn)確導(dǎo)致變化檢測不準(zhǔn)確的問題，本文提出了一種基于自編碼器網(wǎng)絡(luò)架構(gòu)的梯度信息與差異圖融合的方法，通過自編碼網(wǎng)絡(luò)將異源圖像映射到同一空間來進(jìn)行圖像差分，使用區(qū)域特征融合與加權(quán)平均融合算法來進(jìn)行差分圖像的像素級融合，從而生成差異圖，其中，自編碼器網(wǎng)絡(luò)的輸入使用了形態(tài)學(xué)梯度、方向梯度的融合圖像，差異圖分析采用了大津法。從大量實驗結(jié)果平均值可以得出，本文從數(shù)值指標(biāo)上取得了不錯的結(jié)果。遙感變化檢測技術(shù)在推動著社會的不斷發(fā)展，在實際生活中，利用變化監(jiān)測對土地進(jìn)行監(jiān)管對于社會的發(fā)展具有深遠(yuǎn)的影響。