許夙暉，慕曉冬，張雄美，柴 棟

1. 火箭軍工程大學(xué)信息工程系，陜西 西安 710025； 2. 北京航空工程技術(shù)研究中心，北京 100076

結(jié)合對抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像無監(jiān)督域適應(yīng)方法

許夙暉1，慕曉冬1，張雄美1，柴 棟2

1. 火箭軍工程大學(xué)信息工程系，陜西 西安 710025； 2. 北京航空工程技術(shù)研究中心，北京 100076

使用機(jī)器學(xué)習(xí)進(jìn)行遙感影像標(biāo)注的一個重要前提是有足夠的訓(xùn)練樣本，而樣本的標(biāo)注是非常耗時的。本文采用了域適應(yīng)的方法來解決遙感影像場景分類中小樣本量的無監(jiān)督學(xué)習(xí)問題，提出了結(jié)合對抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像域適應(yīng)方法。首先建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感影像分類框架；其次，為了學(xué)習(xí)到域不變特征，在標(biāo)簽分類器的基礎(chǔ)上增加域分類器，并使域損失函數(shù)在其反射傳播時的梯度與標(biāo)簽損失的梯度相反，從而保證域分類器不能區(qū)分樣本來自于哪個域；最后引入了輔助分類任務(wù)，擴(kuò)充了樣本的同時使網(wǎng)絡(luò)更具泛化能力。試驗結(jié)果表明，本文方法優(yōu)于主流的無監(jiān)督域適應(yīng)方法，在小樣本遙感影像無監(jiān)督分類中得到了較好的效果。

遙感影像；場景分類；域適應(yīng)；深度卷積神經(jīng)網(wǎng)絡(luò)；對抗網(wǎng)絡(luò)；多任務(wù)學(xué)習(xí)

遙感影像的分類效果很大程度取決于提取的影像特征，文獻(xiàn)[1]將現(xiàn)有的遙感影像特征提取方法分為3大類：①人工特征，如影像的光譜、紋理、空間、GIST、SIFT、HOG等；②基于無監(jiān)督的特征，如主成分分析、K-均值聚類、稀疏編碼等；③深度特征，如SAE、CNNs等。由于深度特征可以代表影像更為抽象的特征，因此近兩年大量研究采用深度神經(jīng)網(wǎng)絡(luò)來提取遙感影像的特征[2-8]。然而，深度網(wǎng)絡(luò)能夠提取出有效特征的前提是有足夠的訓(xùn)練樣本[9]。對于一幅陌生的遙感影像，首要的是選取大量的樣本并且對其進(jìn)行標(biāo)記，這在實際過程中非常耗時[10-11]。因此在訓(xùn)練樣本有限甚至沒有的情況下如何訓(xùn)練出泛化能力較強(qiáng)的網(wǎng)絡(luò)是目前深度學(xué)習(xí)領(lǐng)域正在解決的熱點(diǎn)問題。

假設(shè)已有一個相對較大的已經(jīng)標(biāo)注過的遙感影像數(shù)據(jù)集，若利用其更加豐富的數(shù)據(jù)作為訓(xùn)練樣本，理論上可以訓(xùn)練出更為成熟、泛化能力更強(qiáng)的網(wǎng)絡(luò)，用這個網(wǎng)絡(luò)將會對新的遙感影像提取出更好的特征。然而，不同數(shù)據(jù)集之間由于傳感器、拍攝角度、季節(jié)等的差異，造成同一類型的地物在不同的域中差異巨大。直接將大規(guī)模數(shù)據(jù)集樣本訓(xùn)練的網(wǎng)絡(luò)來預(yù)測目標(biāo)數(shù)據(jù)集，得到的分類結(jié)果并不理想。由此，不同數(shù)據(jù)集之間的域適應(yīng)問題得以提出，在域適應(yīng)問題中，提供訓(xùn)練樣本的數(shù)據(jù)集所在的域稱為源域，對需要進(jìn)行分類的數(shù)據(jù)集稱為目標(biāo)域。

近些年，諸多學(xué)者對域適應(yīng)問題進(jìn)行了研究，研究的圖像對象主要集中在Office/Caltech數(shù)據(jù)集，和Mnist/Mnist_M/USPS/SVHN數(shù)據(jù)集，前者包含4個域，內(nèi)容為數(shù)碼照片，后者是0—9數(shù)字圖像。研究的問題可按照目標(biāo)域中是否有可用標(biāo)簽分為兩類[12]：一種是監(jiān)督/半監(jiān)督學(xué)習(xí)，即目標(biāo)域中所有類或者部分類中部分圖像含有標(biāo)簽，可以直接作為訓(xùn)練樣本；另一種是完全無監(jiān)督學(xué)習(xí)，即目標(biāo)域中沒有可用標(biāo)簽。研究的方法通常有兩種類型：一是用人工特征、或者訓(xùn)練好的CNN網(wǎng)絡(luò)對遙感影像進(jìn)行特征提取，然后求出一個轉(zhuǎn)換矩陣，將源域的特征映射到目標(biāo)域中，使兩個域的影像享有同一個特征空間，這類方法的相關(guān)研究有ARC-t[13]、MMDT[14]、HFA[15]、GFK[16]、Landmarks[17]等，其中，GFK和Landmarks是無監(jiān)督的，其他方法為監(jiān)督學(xué)習(xí)的方法。

域適應(yīng)的另外一種類型是基于深度學(xué)習(xí)的方法。文獻(xiàn)[18]在標(biāo)簽代價函數(shù)的基礎(chǔ)上，引入了稱為域混淆損失的代價函數(shù)，具體做法是在最后一層全連接層之前加了域適應(yīng)層，源域和目標(biāo)域的樣本經(jīng)過該層的輸出特征后，計算其最大平均偏差距離(maximum mean discrepancy，MMD)，該距離與標(biāo)簽損失之和為新的目標(biāo)函數(shù)。針對監(jiān)督和半監(jiān)督分類，文獻(xiàn)[19]在文獻(xiàn)[18]的基礎(chǔ)上加入了軟標(biāo)簽損失，用來保持源域和目標(biāo)域各類之間相對分布的一致性。文獻(xiàn)[20]使用了對抗網(wǎng)絡(luò)框架[21]來解決域適應(yīng)問題，其目標(biāo)函數(shù)包括標(biāo)簽分類器和域分類器兩部分，該方法的對抗思想體現(xiàn)在：對于域適應(yīng)問題，一是希望網(wǎng)絡(luò)學(xué)到的特征表示具有域不變的特征，這就導(dǎo)致域分類器不能正確進(jìn)行域分類，即域分類器的分類損失最大；二是在對域分類器訓(xùn)練同時，要求標(biāo)簽分類器能盡可能地正確分類，即標(biāo)簽分類器的分類損失最小。

目前域適應(yīng)方法普遍的試驗對象為普通圖像，近年來也有學(xué)者針對遙感影像的域適應(yīng)方法進(jìn)行針對性的研究[22-23]。遙感影像相對于普通圖像在域適應(yīng)問題上有很大不同：一方面其源域和目標(biāo)域差異較大；另一方面圖像包含的地物信息豐富，需要更深的網(wǎng)絡(luò)，而更深的網(wǎng)絡(luò)需要更為豐富的樣本數(shù)據(jù)支持。傳統(tǒng)域適應(yīng)方法直接用于遙感影像很難取得較好的分類效果。

針對遙感影像域適應(yīng)過程中的高分辨率遙感影像尺寸大而數(shù)據(jù)量小的問題，本文提出了基于對抗網(wǎng)絡(luò)和輔助任務(wù)的遙感影像域適應(yīng)方法，其創(chuàng)新點(diǎn)在于：①首次進(jìn)行遙感影像無監(jiān)督域適應(yīng)場景分類的研究，構(gòu)建了遙感影像域適應(yīng)試驗的數(shù)據(jù)集，設(shè)計了結(jié)合輔助任務(wù)的對抗網(wǎng)絡(luò)架構(gòu)；②引入域損失函數(shù)，在目標(biāo)函數(shù)中增加了域分類任務(wù)，使分類器學(xué)習(xí)到域不變特征；③引入不同標(biāo)簽空間的輔助分類任務(wù)，豐富了訓(xùn)練樣本，提高網(wǎng)絡(luò)的泛化能力和特征提取能力。試驗表明，本文方法加入了域損失任務(wù)與輔助分類任務(wù)，與主流域適應(yīng)算法相比，在分類效果上有明顯的優(yōu)勢。

1 本文提出的方法

(1)

算法的目的是，利用源域數(shù)據(jù)S，求解一個分類器Cθ，使得

(2)

本文方法的框架如圖1所示，源域和目標(biāo)域的數(shù)據(jù)共同輸入到多層卷積神經(jīng)網(wǎng)絡(luò)提取特征，然后將輔助樣本的特征作為輔助標(biāo)簽預(yù)測器(上側(cè)區(qū)域)的輸入；將主樣本的特征輸入到主標(biāo)簽預(yù)測器(中間區(qū)域)和域預(yù)測器中(下側(cè)區(qū)域)；將目標(biāo)域的特征輸入到域預(yù)測器中。所有分類器輸出后與相應(yīng)的標(biāo)簽計算損失。本文方法的損失函數(shù)為

L(xs,ys,xt;θf,θaux,θmain,θd)=

Lmain(xmain,ymain;θf,θmain)+

λLaux(xaux,yaux;θf,θaux)+γLd(xmain,xt;θf,θd)

(3)

損失函數(shù)由3部分構(gòu)成：主損失函數(shù)Lmain、輔助類損失函數(shù)Laux和域損失函數(shù)Ld，λ與γ為相應(yīng)的權(quán)重系數(shù)。

圖1 本文方法的框架Fig.1 Framework of the proposed method

1.1 對抗網(wǎng)絡(luò)

本文設(shè)計的網(wǎng)絡(luò)基于兩個目的：一是網(wǎng)絡(luò)可以對地物類型進(jìn)行分類，二是網(wǎng)絡(luò)具有域不變特性，即網(wǎng)絡(luò)區(qū)分不出來輸入影像來自于哪一個域。前者可以理解調(diào)整網(wǎng)絡(luò)參數(shù)，使類損失函數(shù)最??；后者可以通過一個域損失函數(shù)來實現(xiàn)。對于兩個不同域的影像，除了其自帶的類標(biāo)簽，人為定義一個域標(biāo)簽，比如對于源域其標(biāo)簽為0，對于目標(biāo)域其標(biāo)簽為1。域損失越大，域分類器就越難區(qū)別輸入影像來自源域或目標(biāo)域，網(wǎng)絡(luò)的域適應(yīng)性也就越好。因此，網(wǎng)絡(luò)參數(shù)需要同時滿足分類損失最小化和域損失最大化，這兩個部分是對抗的。

主損失函數(shù)為類別損失，其定義如下

Lmain(xmain,ymain;θf,θmain)=

(4)

Ld(xmain,xt,yd;θf,θd)=

(5)

由于對抗網(wǎng)絡(luò)的目標(biāo)是學(xué)習(xí)到域不變特征，也就是說域分類器分辨不出類別最好。因此域的損失函數(shù)不能與類別損失函數(shù)一樣越小越好，而是在源域類別損失相對較小的情況下，域損失函數(shù)越大越好。因此求解目標(biāo)是

(6)

注意到式(6)中，Ld的求解目標(biāo)是使其最大化，這種情況不能用梯度下降進(jìn)行求解。為了解決這個問題，定義一個中間函數(shù)R(x)，在前向與反向傳播中

(7)

式(7)表示正向傳播時無影響，而反向用梯度更新參數(shù)時進(jìn)行梯度反轉(zhuǎn)，由此就得到可以滿足使用梯度下降法的表現(xiàn)形式。

1.2 輔助任務(wù)

在本文遙感影像域適應(yīng)應(yīng)用場景中，源域樣本中還包括了目標(biāo)域中不存在類別的樣本。為了充分利用源域的樣本，本文加入了輔助任務(wù)，其思想來源于多任務(wù)學(xué)習(xí)。多任務(wù)學(xué)習(xí)在單一任務(wù)的基礎(chǔ)上，結(jié)合了輔助的任務(wù)學(xué)習(xí)共同的特征表示[24-25]。通過輔助任務(wù)學(xué)習(xí)，最大限度地豐富了訓(xùn)練樣本，學(xué)習(xí)到的特征相對于單任務(wù)學(xué)習(xí)具有更好的泛化能力，并且有效地減小類內(nèi)距離與增大類間距離，有利于提高分類精度。

本文的輔助損失函數(shù)的定義如下

Laux(xaux,yaux;θf,θaux)=

(8)

1.3 算法流程

本文方法的參數(shù)更新流程如下

Whilei

更新參數(shù)：

i+=1

End while

本方法有3個需要人工設(shè)置的參數(shù)，λ、γ及學(xué)習(xí)率φ。其中，λ是固定的，γ和φ按照式(9)和式(10)更新

(9)

(10)

式中，φ(0)為初始學(xué)習(xí)率；t=i/num_step，i為當(dāng)前迭代次數(shù)，num_step為最大迭代次數(shù)。

2 試 驗

2.1 構(gòu)建數(shù)據(jù)集

目前還沒有公開的適用于遙感影像域適應(yīng)試驗的數(shù)據(jù)集，故本文使用了3個數(shù)據(jù)作為數(shù)據(jù)源構(gòu)建域適應(yīng)數(shù)據(jù)集，分別是：①NWPU-RESISC45數(shù)據(jù)集[1](簡稱NWPU)，該數(shù)據(jù)集含有45類場景的遙感影像，每類影像都包含有700張圖片，共31 500張影像；②一整幅遙感影像為Quickbird衛(wèi)星拍攝的西安市遙感影像(簡稱Xian)，尺寸為13 312×7680像素。對Xian進(jìn)行了切割，并人工分類標(biāo)注，選出與NWPU重疊的8個類，共339張影像；③一整幅遙感影像為高分二號衛(wèi)星拍攝的廣州市遙感影像(簡稱GZ)，與處理Xian類似，對其進(jìn)行切割與人工標(biāo)注，選出與NWPU重疊的8個類，共826幅影像。因此以上3個數(shù)據(jù)集共構(gòu)成了兩組遙感影像域適應(yīng)數(shù)據(jù)集，將其分別命名為NWPU-Xian8及NWPU-GZ8。示例圖像如圖2所示，每張示例圖像底部數(shù)字為該類樣本數(shù)。從圖2可以看出，NWPU-Xian8的圖像差異較大，Xian的影像顏色存在失真，并且噪聲較為嚴(yán)重，而NWPU-GZ8影像差異較小。兩組數(shù)據(jù)集中NWPU的其余37類影像在這里不再展示，請參考文獻(xiàn)[1]。以上所有影像的尺寸為256×256。

圖2 數(shù)據(jù)集各類示例Fig.2 Samples from each category in the domain adaptation datasets

2.2 試驗設(shè)置

針對兩組數(shù)據(jù)集進(jìn)行的試驗中，分別將NWPU整個45類作為源域，Xian及GZ作為目標(biāo)域。因此在NWPU-Xian8及NWPU-GZ8中，主任務(wù)的數(shù)據(jù)類別都為8類，輔助類別為37類。訓(xùn)練及測試時對輸入到網(wǎng)絡(luò)中的影像隨機(jī)裁剪為227×227，網(wǎng)絡(luò)的各個參數(shù)，比如卷積核大小，步長和卷積層的層數(shù)如圖3所示，前8個方框表示特征提取層，本文特征提取階段使用了預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)結(jié)構(gòu)[24]。緊接著特征提取層，為3個網(wǎng)絡(luò)分支，這3個分支分別為主分類器，輔助分類器和域分類器。3個分類器都是由全連接層構(gòu)成，其最終輸出結(jié)點(diǎn)分別為8、37和2。本文所有試驗代碼基于tensorflow進(jìn)行搭建，硬件環(huán)境為Amazon EC2的P2.xlarge實例，該實例的GPU型號為nvidia tesla k80。

圖3 本文方法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The net structure of the proposed approach

2.3 試驗結(jié)果與分析

將本文方法與文獻(xiàn)中其他方法進(jìn)行試驗對比。對比的方法有：①source only，將源域數(shù)據(jù)輸入到網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直接對目標(biāo)域進(jìn)行分類，不加入域損失和輔助損失函數(shù)；②GFK，文獻(xiàn)[5]中的方法；③Landmark，文獻(xiàn)[6]所介紹的方法，是文獻(xiàn)[5]方法的擴(kuò)展，GFK和Landmark，其使用的圖像特征是由預(yù)訓(xùn)練的alexnet網(wǎng)絡(luò)的fc7層提取得到，每張圖像都表示為4096維特征；④source+domain，文獻(xiàn)[20]中的方法，即源域樣本分類與域分類同時進(jìn)行，沒有增加輔助分類任務(wù)；⑤MMD，文獻(xiàn)[7]中的方法，使用MMD損失函數(shù)進(jìn)行域間最小化。對于source only及后3種方法，設(shè)置初始學(xué)習(xí)率φ(0)=0.002，batchsize=64，最大迭代次數(shù)為10 000；MMD中，MMD損失是用fc7的輸出進(jìn)行計算得到，系數(shù)為0.25；本文方法中，λ=1。各類方法最后對目標(biāo)域數(shù)據(jù)進(jìn)行分類，對于GFK和Landmark，計算20次試驗的平均精度作為其最終精度。對于其他方法，設(shè)置每訓(xùn)練25次進(jìn)行一次測試，將最后10次測試的平均精度作為其最終精度，6種方法最終測試精度列于表1。基于最后一次測試的結(jié)果計算各方法預(yù)測的混淆矩陣，將各個方法對于NWPU-Xian8數(shù)據(jù)集的混淆矩陣列于圖4。

表1 不同算法分類精度

從表1可以得到看出，本文方法在精度上優(yōu)于其他算法，source+domain次之。圖4中，本文方法相對于其余5類方法，表現(xiàn)較為均衡，對于容易混淆的intersection、freeway和overpass這3類的精度也有了一定的提高。由此表明了對抗網(wǎng)絡(luò)和輔助任務(wù)可以較好地學(xué)習(xí)到域不變特征，提高網(wǎng)絡(luò)的泛化能力和分類精度。

為了進(jìn)一步驗證本文方法提取域不變特征的優(yōu)勢，用高維數(shù)據(jù)可視化工具t-SNE對NWPU-Xian8數(shù)據(jù)集聚類結(jié)果進(jìn)行可視化(t-SNE詳情參見文獻(xiàn)[27])。聚類的對象為進(jìn)入到分類器之前目標(biāo)域所有數(shù)據(jù)的特征。如圖5所示，圖(a)為直接采用預(yù)訓(xùn)練的Alexnet網(wǎng)絡(luò)提取的fc7層特征，圖(b)為本文方法倒數(shù)第2層輸出的特征，兩種特征都為4096維。兩張圖分別表示未進(jìn)行域適應(yīng)和進(jìn)行了域適應(yīng)后目標(biāo)域數(shù)據(jù)各類之間的關(guān)系?？梢钥闯鲞M(jìn)行域適應(yīng)后，目標(biāo)域各類之間距離增大，同類之間距離減小，很好地學(xué)習(xí)到了域不變特征。

3 結(jié) 論

本文針對遙感影像場景分類中小樣本量的無監(jiān)督學(xué)習(xí)問題，提出了一種結(jié)合對抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像域適應(yīng)方法，建立了基于深度卷積神經(jīng)網(wǎng)絡(luò)的遙感影像分類框架，在標(biāo)簽損失函數(shù)的基礎(chǔ)上加入了域分類器，并使得域損失函數(shù)與標(biāo)簽損失形成對抗的關(guān)系，最后引入了輔助分類任務(wù)，擴(kuò)充訓(xùn)練樣本。在本文構(gòu)建的遙感影像域適應(yīng)數(shù)據(jù)集上試驗結(jié)果表明，本文方法能夠通過域損失學(xué)習(xí)到域不變特征，通過輔助分類任務(wù)增加類間距離、減小類內(nèi)距離，并使網(wǎng)絡(luò)具有良好的泛化能力，在不同域的無監(jiān)督分類中有明顯的優(yōu)勢。對小樣本量的Xian和GZ數(shù)據(jù)集無監(jiān)督分類精度達(dá)到79.63%和84.63%，相對于直接利用大樣本量數(shù)據(jù)集NWPU對Xian和GZ數(shù)據(jù)集分類(58.40%和76.99%)，本文方法分類效果有顯著提高。

圖4 NWPU-Xian8數(shù)據(jù)集混淆矩陣Fig.4 Confusion matrix for NWPU-Xian8 dataset

圖5 NWPU-Xian8數(shù)據(jù)集目標(biāo)域圖像特征的二維可視化Fig.5 2-D visualization of image feature in the target domain for NWPU-Xian8 dataset

[1] CHENG Gong，HAN Junwei，LU Xiaoqiang.Remote Sensing Image Scene Classification: Benchmark and State of the Art[J].Proceedings of the IEEE，2017，105(10)：1865-1883.

[2] HU Fan，XIA Guisong，HU Jingwen，et al.Transferring Deep Convolutional Neural Networks for the Scene Classification of High-resolution Remote Sensing Imagery[J].Remote Sensing，2015，7(11)：14680-14707.

[3] ZOU Qin，NI Lihao，ZHANG Tong，et al.Deep Learning Based Feature Selection for Remote Sensing Scene Classification[J].IEEE Geoscience and Remote Sensing Letters，2015，12(11)：2321-2325.

[4] 許夙暉，慕曉冬，趙鵬，等.利用多尺度特征與深度網(wǎng)絡(luò)對遙感影像進(jìn)行場景分類[J].測繪學(xué)報，2016，45(7)：834-840.DOI：10.11947/j.AGCS.2016.20150623.

XU Suhui，MU Xiaodong，ZHAO Peng，et，al.Scene Classification of Remote Sensing Image Based on Multi-scale Feature and Deep Neural Network[J] Acta Geodaetica et Cartographica Sinica，2016，45(7)：834-840.DOI：10.11947/j.AGCS.2016.20150623.

[5] ZHANG Fan，DU Bo，ZHANG Liangpei.Scene Classification via a Gradient Boosting Random Convolutional Network Framework[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54(3)：1793-1802.

[6] ROMERO A，GATTA C，CAMPS-VALLS G.Unsupervised Deep Feature Extraction for Remote Sensing Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54(3)：1349-1362.

[7] NOGUEIRA K，PENATTI O A B，DOS SANTOS J A.Towards Better Exploiting Convolutional Neural Networks for Remote Sensing Scene Classification[J].Pattern Recognition，2017(61)：539-556.

[8] ZHOU Xichuan，LI Shengli，TANG Fang，et al.Deep Learning with Grouped Features for Spatial Spectral Classification of Hyperspectral Images[J].IEEE Geoscience and Remote Sensing Letters，2017，14(1)：97-101.

[9] GE Weifeng，YU Yizhou.Borrowing Treasures from the Wealthy：Deep Transfer Learning through Selective Joint Fine-tuning[J].arXiv preprint arXiv：1702.08690，2017.

[10] LIN Daoyu，F(xiàn)U Kun，WANG Yang，et al.MARTA GANs：Unsupervised Representation Learning for Remote Sensing Image Classification[J].IEEE Geoscience and Remote Sensing letters, 2017,14(11):2092-2096.

[11] 何小飛，鄒崢嶸，陶超，等.聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類[J].測繪學(xué)報，2016，45(9)：1073-1080.DOI：10.11947/j.AGCS.2016.20150612.

HE Xiaofei，ZOU Zhengrong，TAO Chao，et al.Combined Saliency with Multi-convolutional Neural Network for High Resolution Remote Sensing Scene Classification[J].Acta Geodaetica et Cartographica Sinica，2016，45(9)：1073-1080.DOI：10.11947/j.AGCS.2016.20150612.

[12] WEISS K，KHOSHGOFTAAR T M，WANG D D.A Survey of Transfer Learning[J].Journal of Big Data，2016，3(1)：9-48.

[13] KULIS B，SAENKO K，DARRELL T.What You Saw is not What You Get：Domain Adaptation Using Asymmetric Kernel Transforms[C]∥Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Colorado Springs，CO，USA：IEEE，2011：1785-1792.

[14] HOFFMAN J，RODNER E，DONAHUE J，et al.Efficient Learning of Domain-invariant Image Representations[C]∥Proceedings of the International Conference on Learning Representations (ICLR).Scottsdale，Arizona：ICLR，2013.

[15] DUAN Lixin，XU Dong，TSANG I W.Learning with Augmented Features for Heterogeneous Domain Adaptation[C]∥Proceedings of the 29th International Conference on Machine Learning.Edinburgh，Scotland，UK：ICML，2012：711-718.

[16] GONG Boqing，SHI Yuan，SHA Fei，et al.Geodesic Flow Kernel for Unsupervised Domain Adaptation[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI，USA：IEEE，2012：2066-2073.

[17] GONG Boqing，GRAUMAN K，SHA Fei.Connecting the Dots with Landmarks：Discriminatively Learning Domain-invariant Features for Unsupervised Domain Adaptation[C]∥Proceedings of the 30th International Conference on Machine Learning.Atlanta，USA：ICML，2013：222-230.

[18] TZENG E，HOFFMAN J，ZHANG Ning，et al.Deep Domain Confusion：Maximizing for Domain Invariance[J].arXiv preprint arXiv：1412.3474，2014.

[19] TZENG E，HOFFMAN J，DARRELL T，et al.Simultaneous Deep Transfer Across Domains and Tasks[C]∥Proceedings of 2015 IEEE International Conference on Computer Vision.Santiago，Chile：IEEE，2015：4068-4076.

[20] GANIN Y，LEMPITSKY V.Unsupervised Domain Adaptation by Backpropagation[C]∥Proceedings of the 32nd International Conference on Machine Learning.Lille，F(xiàn)rance：ICML，2015：1180-1189.

[21] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al.Generative Adversarial Nets[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems.Montreal，Canada：MIT Press，2014：2672-2680.

[22] TUIA D，PERSELLO C，BRUZZONE L.Domain Adaptation for the Classification of Remote Sensing Data：An Overview of Recent Advances[J].IEEE Geoscience and Remote Sensing Magazine，2016，4(2)：41-57.

[23] LI Xue，ZHANG Liangpei，DU Bo，et al.Iterative Reweighting Heterogeneous Transfer Learning Framework for Supervised Remote Sensing Image Classification[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10(5)：2022-2035.

[24] ZHANG Zhanpeng，LUO Ping，LOY C C，et al.Facial Landmark Detection by Deep Multi-task Learning[C]∥Proceedings of the 13th European Conference on Computer Vision.Zurich，Switzerland：Springer，2014：94-108.

[25] SELTZER M L，DROPPO J.Multi-task Learning in Deep Neural Networks for Improved Phoneme Recognition[C]∥Proceedings of 2013 IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP).Vancouver，BC，Canada：IEEE，2013：6965-6969.

[26] KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Imagenet Classification with Deep Convolutional Neural Networks[C]∥Advances in Neural Information Processing Systems.Spain：NIPS，2012：1097-1105.

[27] VAN DER MAATEN L，HINTON G.Visualizing Data Using t-SNE[J].Journal of Machine Learning Research，2008，9(11)：2579-2605.

Unsupervised Remote Sensing Domain Adaptation Method with Adversarial Network and Auxiliary Task

XU Suhui1,MU Xiaodong1,ZHANG Xiongmei1,CHAI Dong2

1. Department of Information Engineering, Rocket Force Engineering University, Xi’an 710025, China； 2. Beijing Aeronautical Technology Research Center, Beijing 100076, China

An important prerequisite when annotating the remote sensing images by machine learning is that there are enough training samples for training, but labeling the samples is very time-consuming. In this paper, we solve the problem of unsupervised learning with small sample size in remote sensing image scene classification by domain adaptation method. A new domain adaptation framework is proposed which combines adversarial network and auxiliary task. Firstly, a novel remote sensing scene classification framework is established based on deep convolution neural networks. Secondly, a domain classifier is added to the network, in order to learn the domain-invariant features. The gradient direction of the domain loss is opposite to the label loss during the back propagation, which makes the domain predictor failed to distinguish the sample’s domain. Lastly, we introduce an auxiliary task for the network, which augments the training samples and improves the generalization ability of the network. The experiments demonstrate better results in unsupervised classification with small sample sizes of remote sensing images compared to the baseline unsupervised domain adaptation approaches.

remote sensing image; scene classification; domain adaptation; deep convolutional neural network; adversarial network; multi-task learning

The National Natural Science Foundation of China (No. 61640007)

XU Suhui(1989—), female, PhD candidate, majors in remote sensing image processing and pattern recognition.

E-mail： xu_suhui@163.com

許夙暉，慕曉冬，張雄美，等.結(jié)合對抗網(wǎng)絡(luò)與輔助任務(wù)的遙感影像無監(jiān)督域適應(yīng)方法[J].測繪學(xué)報，2017,46(12)：1969-1977.

10.11947/j.AGCS.2017.20170291.

XU Suhui,MU Xiaodong,ZHANG Xiongmei,et al.Unsupervised Remote Sensing Domain Adaptation Method with Adversarial Network and Auxiliary Task[J]. Acta Geodaetica et Cartographica Sinica,2017,46(12):1969-1977. DOI:10.11947/j.AGCS.2017.20170291.

P237

A

1001-1595(2017)12-1969-09

國家自然科學(xué)基金(61640007)

張艷玲)

2017-06-05

2017-10-24

許夙暉(1989—), 女, 博士生, 研究方向為遙感圖像處理和模式識別。