吳桐，劉云清，姜淑華

（長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022）

合成孔徑雷達(dá)（SAR）是一種以航天飛機(jī)、人造衛(wèi)星等載體為基礎(chǔ)的高分辨率成像雷達(dá)，不容易受到光照及天氣情況的影響，具有高穿透力的特點(diǎn)[1]。目前，SAR己廣泛應(yīng)用于軍事目標(biāo)偵察[2]、地球科學(xué)[3]、環(huán)境系統(tǒng)監(jiān)測(cè)[4]等國(guó)防和國(guó)民經(jīng)濟(jì)領(lǐng)域。然而，隨著SAR成像技術(shù)的成熟，SAR系統(tǒng)獲得的數(shù)據(jù)越來越多，如何從海量的數(shù)據(jù)中獲取感興趣的目標(biāo)已成為一個(gè)熱點(diǎn)問題。

邵楨等人[5]提出通過將嵌入空間信息的模糊聚類算法與水平集方法相結(jié)合來識(shí)別海洋溢油污染的SAR圖像。張婷等人[6]提出了一種基于屬性散射中心匹配的魯棒SAR圖像目標(biāo)識(shí)別方法。該方法首先利用稀疏表示方法提取SAR圖像的目標(biāo)屬性散射中心。然后，利用匈牙利算法建立測(cè)試樣本的散點(diǎn)集與模板散點(diǎn)集的一一對(duì)應(yīng)關(guān)系，通過評(píng)價(jià)匹配對(duì)的屬性差異和可能出現(xiàn)的虛警和漏警，得到兩組屬性散射中心的相似度。最后，根據(jù)最大相似度原理確定測(cè)試樣本的SAR圖像的目標(biāo)類別。楊佐龍等人[7]采用二維線性決策分析方法，在行和列方向同時(shí)壓縮圖像矩陣進(jìn)行特征提取，并結(jié)合支持向量機(jī)對(duì)SAR圖像分類識(shí)別。這些方法雖然能很好地識(shí)別SAR圖像目標(biāo)，但是提取SAR圖像特征時(shí)往往依賴專業(yè)知識(shí)和手工設(shè)計(jì)，且特征設(shè)計(jì)費(fèi)時(shí)，并且提取的特征往往只對(duì)特定識(shí)別任務(wù)有效，識(shí)別模型的泛化能力較差。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）的興起，為SAR圖像識(shí)別開辟了新的方向。卷積神經(jīng)網(wǎng)絡(luò)具有從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)到層次化特征，不需要復(fù)雜的手工設(shè)計(jì)特征的優(yōu)點(diǎn)，在理論上可以取得較好的SAR圖像識(shí)別效果?；诰矸e神經(jīng)網(wǎng)絡(luò)，崔福彬等人[8]提出一種基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識(shí)別算法，使用布斯沃特濾波算法對(duì)圖像進(jìn)行濾波處理，降低相干噪聲，并改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，引入改進(jìn)的線性修正單元作為激活函數(shù)，使用丟棄法（Dropout）增強(qiáng)網(wǎng)絡(luò)的泛化性，訓(xùn)練時(shí)采用自適應(yīng)矩估計(jì)優(yōu)化器更新模型參數(shù)。曲長(zhǎng)文等人[9]提出采用分割后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行SAR圖像識(shí)別，在多尺度SAR圖像目標(biāo)識(shí)別中取得了較好的準(zhǔn)確率。胡紅萍等人[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)與隨機(jī)森林的SAR圖像目標(biāo)識(shí)別方法，該方法將卷積神經(jīng)網(wǎng)絡(luò)的softmax分類器替換成隨機(jī)森林，在移動(dòng)與靜止目標(biāo)搜索識(shí)別數(shù)據(jù)集（MSTAR）上取得了較高的識(shí)別精度。

雖然這些改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型取得了很好的SAR圖像目標(biāo)識(shí)別效果，但是卷積神經(jīng)網(wǎng)絡(luò)有兩個(gè)問題亟待解決。一是需要大量的樣本訓(xùn)練網(wǎng)絡(luò)。二是網(wǎng)絡(luò)參數(shù)的隨機(jī)初始化會(huì)導(dǎo)致訓(xùn)練緩慢和過擬合的問題。為了解決這兩個(gè)問題，提出了一種基于遷移學(xué)習(xí)的SAR圖像目標(biāo)識(shí)別方法，該方法通過MSTAR數(shù)據(jù)集中的三類目標(biāo)樣本預(yù)訓(xùn)練網(wǎng)絡(luò)，然后將訓(xùn)練的網(wǎng)絡(luò)參數(shù)應(yīng)用到數(shù)據(jù)集中的十類樣本上，通過對(duì)網(wǎng)絡(luò)應(yīng)用Dropout技術(shù)和組合小卷積核的方法來減少網(wǎng)絡(luò)的參數(shù)，加快網(wǎng)絡(luò)訓(xùn)練速度和抑制過擬合問題。

1 相關(guān)工作

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是以任務(wù)A開發(fā)模型為出發(fā)點(diǎn)，在開發(fā)模型B中使用的一種機(jī)器學(xué)習(xí)方法。在遷移學(xué)習(xí)中，有兩個(gè)重要的概念：域（Domain）和任務(wù)（Task）。分別表示為：

其中，X是特征空間，X=(X1,X2…,Xn)；Y是標(biāo)簽空間，Y=(Y1,Y2,…,Yn)；f(?)是預(yù)測(cè)函數(shù)，可以通過訓(xùn)練集(xi,yi)得來，xi∈X,yi∈Y。域分為源域Ds和目標(biāo)域Dt，任務(wù)分為源任務(wù)Ts和目標(biāo)任務(wù)Tt。遷移學(xué)習(xí)可以定義為：利用Ds和Ts中已有的知識(shí)，幫助Dt改進(jìn)預(yù)測(cè)函數(shù)f(?)的學(xué)習(xí)，完成目標(biāo)任務(wù)Tt。其中Ds≠Dt,Ts≠Tt。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，遷移學(xué)習(xí)有三個(gè)優(yōu)點(diǎn)：第一，不需要訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)滿足獨(dú)立相同分布的條件。第二，不需要大量的樣本訓(xùn)練就可以得到一個(gè)好的模型。第三，不需要對(duì)每個(gè)任務(wù)建模，可以重用前面的模型。

1.2 Dropout技術(shù)

Dropout最初是由 Hinton 提出的[11]。Dropout是指在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)單元以一定概率暫時(shí)從網(wǎng)絡(luò)中脫落，可以顯著減少過擬合現(xiàn)象。即神經(jīng)網(wǎng)絡(luò)在前向傳播時(shí)，某個(gè)神經(jīng)元的激活值會(huì)以一定的概率停止工作，這可以增強(qiáng)模型的泛化，因?yàn)樗粫?huì)過于依賴某些局部特征，如圖1所示。

圖1 丟棄法示意圖

Dropout具體執(zhí)行過程如下：

（1）輸入待訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練數(shù)據(jù)批數(shù)設(shè)置為n；

（2）通過給定點(diǎn)概率的p刪除網(wǎng)絡(luò)中的部分神經(jīng)元；

（3）第i批數(shù)據(jù)通過修改后的網(wǎng)絡(luò)傳播進(jìn)行輸入，通過隨機(jī)梯度下降方法更新未刪除神經(jīng)元參數(shù)；

（4）恢復(fù)被刪除的神經(jīng)元；

（5）重復(fù)（2）-（5），直到n批訓(xùn)練數(shù)據(jù)訓(xùn)練完成；

（6）輸出訓(xùn)練好參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。

1.3 組合小卷積核

在卷積神經(jīng)網(wǎng)絡(luò)中，感受野是指網(wǎng)絡(luò)各層輸出的特征圖上的像素點(diǎn)在輸入圖片上的大小。增大感受野特征圖可以獲得更多的信息，通常卷積網(wǎng)絡(luò)使用的是5×5的卷積核。為了改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提出用兩個(gè)3×3的組合小卷積核代替一個(gè)5×5的卷積核。下面給出這種方法的可行性證明：

假設(shè)：輸入圖片大小為M×M，卷積核大小為K×K，步長(zhǎng)為S，填充的像素?cái)?shù)為P，進(jìn)而可以得到卷積輸出的特征圖大小=(M+2×P-K)/S+1。

假設(shè)輸入的圖片是28×28，使用5×5的卷積核對(duì)其卷積，步長(zhǎng)為1，填充為0，得到的結(jié)果是：(28-5)/1+1=24。然后使用兩個(gè)卷積核為3×3，這里的兩個(gè)是指兩層，同樣步長(zhǎng)為1，填充為0，第一層3×3得到的結(jié)果是：(28-3)/1+1=26，第二層3×3得到的結(jié)果是：(26-3)/1+1=24，所以最終結(jié)果和5×5的卷積核是一樣的。

而且應(yīng)用多個(gè)3×3的卷基核比一個(gè)大尺寸卷積核卷基層有更多的非線性（使用更多的非線性激活函數(shù)），使得判決函數(shù)更加具有判決性。同時(shí)多個(gè)組合小卷積核有更少的參數(shù)，如采用的兩個(gè)組合的3×3的卷基核的參數(shù)為18個(gè)，一個(gè)5×5卷基核的參數(shù)為25個(gè)，更少的參數(shù)，意味著訓(xùn)練速度更快，同時(shí)網(wǎng)絡(luò)復(fù)雜度降低。

2 算法流程

圖2為基于遷移學(xué)習(xí)的SAR圖像車輛目標(biāo)識(shí)別算法的流程。算法具體步驟如下：

圖2 算法流程

（1）源域預(yù)訓(xùn)練

將MSTAR數(shù)據(jù)集中的三類數(shù)據(jù)較小的目標(biāo)數(shù)據(jù)作為源域訓(xùn)練樣本，對(duì)源域中的三類識(shí)別任務(wù)進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到預(yù)訓(xùn)練模型。

（2）目標(biāo)域遷移

構(gòu)造與預(yù)訓(xùn)練模型結(jié)構(gòu)相同的卷積神經(jīng)網(wǎng)絡(luò)，將十類目標(biāo)識(shí)別作為目標(biāo)域的目標(biāo)任務(wù)，將源域預(yù)訓(xùn)練獲得的模型參數(shù)作為網(wǎng)絡(luò)的初始參數(shù)遷移到網(wǎng)絡(luò)中，采用MSTAR數(shù)據(jù)集中的十類目標(biāo)數(shù)據(jù)作為訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)：

①前饋網(wǎng)絡(luò)

a.通過目標(biāo)域網(wǎng)絡(luò)的卷積層提取出十類SAR圖像車輛目標(biāo)的信息，對(duì)每個(gè)卷積層應(yīng)用Dropout技術(shù)；

b.通過池化層對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取的特征信息進(jìn)行降維，減少計(jì)算量；

c.通過卷積層代替全連接層將得到的特征圖數(shù)據(jù)輸出，利用Softmax分類器，對(duì)提取到的結(jié)果進(jìn)行識(shí)別。

②誤差反向傳播

利用交叉熵?fù)p失函數(shù)計(jì)算梯度，調(diào)整網(wǎng)絡(luò)的權(quán)值和偏置，直到網(wǎng)絡(luò)收斂。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證提出的SAR圖像車輛目標(biāo)識(shí)別方法的有效性，采用MSTAR數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。MSTAR數(shù)據(jù)集為高分辨率聚束合成孔徑雷達(dá)采集的靜止車輛SAR剖面圖像，包括多類型SAR圖像的車輛目標(biāo)數(shù)據(jù)。

3.1 實(shí)驗(yàn)平臺(tái)

本文進(jìn)行實(shí)驗(yàn)的計(jì)算機(jī)配置：處理器為英特爾 Xeon E5-2620v3，主頻 2.4 GHz；顯卡為 NVID?IAGeForceGTX1070，顯存為 8 GB；操作系統(tǒng)為Ubuntu 16.05；編程環(huán)境為 OpenCV3.1.1，cuda8.0；深度學(xué)習(xí)框架為caffe；編程語言為python。

3.2 設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)計(jì)采用兩個(gè)組合的3×3小卷積核代替一個(gè)5×5的大卷積核。構(gòu)造的網(wǎng)絡(luò)有5個(gè)卷積層和4個(gè)池化層，卷積層可以提取輸入SAR圖像的特征，采用多個(gè)卷積層，可以使提取特征更加充分，而且網(wǎng)絡(luò)具有更強(qiáng)的非線性表達(dá)能力，每個(gè)卷積層后的池化層可以降低網(wǎng)絡(luò)的參數(shù)，減少過擬合。其中最后一個(gè)卷積層代替了傳統(tǒng)的全連接層，進(jìn)一步減少了網(wǎng)絡(luò)的參數(shù)，第三個(gè)卷積層選擇的是2×2的卷積核是為了調(diào)節(jié)特征圖尺寸。網(wǎng)絡(luò)的輸入為進(jìn)行數(shù)據(jù)歸一化后的128×128的SAR圖像車輛目標(biāo)，由于SAR圖像為灰度圖像，所以通道數(shù)為1。最后網(wǎng)絡(luò)的輸出為一個(gè)N維的向量，N為識(shí)別目標(biāo)的類別數(shù)。設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.3 三類目標(biāo)的預(yù)訓(xùn)練

源域預(yù)訓(xùn)練模型的訓(xùn)練樣本采用MSTAR數(shù)據(jù)集中數(shù)量較少的三類目標(biāo)。三類目標(biāo)數(shù)據(jù)如表2所示，訓(xùn)練樣本為方位角17°下的坦克、步兵戰(zhàn)車和運(yùn)輸車的數(shù)據(jù)。在三類目標(biāo)預(yù)訓(xùn)練中，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的N=3。

表2 三類目標(biāo)訓(xùn)練樣本數(shù)據(jù)分布

針對(duì)源域的源任務(wù)，即三類SAR車輛目標(biāo)的識(shí)別，預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)選擇小批量隨機(jī)梯度下降法訓(xùn)練網(wǎng)絡(luò)，小批量處理的數(shù)據(jù)的批量大小設(shè)置為25，學(xué)習(xí)率設(shè)置為0.001。將10 000次訓(xùn)練迭代的網(wǎng)絡(luò)參數(shù)保存為預(yù)訓(xùn)練模型。

3.4 十類目標(biāo)的訓(xùn)練與測(cè)試

為了實(shí)現(xiàn)網(wǎng)絡(luò)信息從源域到目標(biāo)域的遷移，目標(biāo)域采用與源域相同的網(wǎng)絡(luò)結(jié)構(gòu)，如表1所示。設(shè)置卷積神經(jīng)網(wǎng)絡(luò)輸出的N=10，通過對(duì)源域預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練后的參數(shù)進(jìn)行遷移，得到網(wǎng)絡(luò)的初始參數(shù)。目標(biāo)域采用MSTAR數(shù)據(jù)集中的十類目標(biāo)作為數(shù)據(jù)樣本。十類目標(biāo)數(shù)據(jù)包括坦克、裝甲坦克、運(yùn)輸車、裝甲運(yùn)輸車、步兵戰(zhàn)車、裝甲偵察車、推土機(jī)、自行榴彈炮、貨運(yùn)卡車、自行高炮。訓(xùn)練樣本為方位角17°的十類目標(biāo)數(shù)據(jù)，測(cè)試樣本為方位角為15°的十類目標(biāo)數(shù)據(jù)。目標(biāo)域的十類SAR圖像車輛目標(biāo)數(shù)據(jù)分布如表3所示。

表3 十類目標(biāo)訓(xùn)練樣本數(shù)據(jù)分布

對(duì)目標(biāo)域的識(shí)別任務(wù)，選擇小批量梯度隨機(jī)下降算法訓(xùn)練網(wǎng)絡(luò)，其中批量大小設(shè)置為30，學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為10 000次，每迭代1 000次進(jìn)行一次統(tǒng)計(jì)。

3.5 算法性能對(duì)比

因?yàn)樘岢龅幕谶w移學(xué)習(xí)的SAR圖像車輛目標(biāo)識(shí)別方法的卷積神經(jīng)網(wǎng)絡(luò)的初始參數(shù)是從預(yù)訓(xùn)練網(wǎng)絡(luò)遷移過來的，所以選用卷積神經(jīng)網(wǎng)絡(luò)參數(shù)隨機(jī)初始化的SAR圖像識(shí)別模型進(jìn)行對(duì)比。同時(shí)，為了驗(yàn)證預(yù)訓(xùn)練網(wǎng)絡(luò)的樣本對(duì)目標(biāo)域訓(xùn)練的影響，對(duì)源域的訓(xùn)練樣本選取MSTAR數(shù)據(jù)集的五類目標(biāo)訓(xùn)練的SAR圖像識(shí)別模型進(jìn)行對(duì)比。不同方法得到的十類合成孔徑雷達(dá)圖像車輛目標(biāo)識(shí)別正確率如表4所示。

表4 十類合成孔徑雷達(dá)圖像車輛目標(biāo)識(shí)別正確率

SAR圖像車輛目標(biāo)識(shí)別過程中訓(xùn)練誤差如圖3所示，測(cè)試正確率變化如圖4所示。

圖3 訓(xùn)練誤差對(duì)比

圖4 測(cè)試正確率對(duì)比

結(jié)合表4、圖3和圖4可以得出，首先用三類目標(biāo)做預(yù)訓(xùn)練網(wǎng)絡(luò)的遷移學(xué)習(xí)的SAR圖像車輛目標(biāo)的識(shí)別效果優(yōu)于隨機(jī)初始化網(wǎng)絡(luò)參數(shù)的方法，而且相比選用五類SAR圖像車輛目標(biāo)的預(yù)訓(xùn)練網(wǎng)絡(luò)，也具有微弱優(yōu)勢(shì)。這是因?yàn)椋x用三類目標(biāo)做源域的訓(xùn)練樣本，相比五類目標(biāo)得到的網(wǎng)絡(luò)參數(shù)，輸入到目標(biāo)域后，更加具有靈活性。可以用極端情況做出解釋：假設(shè)選用的是十類目標(biāo)做源域的預(yù)訓(xùn)練樣本，將訓(xùn)練的參數(shù)輸入到目標(biāo)域進(jìn)行十類目標(biāo)的訓(xùn)練，那么此時(shí)的遷移學(xué)習(xí)是沒有意義的，即和隨機(jī)初始化網(wǎng)絡(luò)參數(shù)的識(shí)別模型是沒有區(qū)別的。所以也可以得出，遷移學(xué)習(xí)源域選擇的數(shù)據(jù)不宜和目標(biāo)域的數(shù)據(jù)高度相似。

4 結(jié)論

針對(duì)SAR圖像車輛目標(biāo)的識(shí)別，提出了一種基于遷移學(xué)習(xí)的方法。該方法采用MSTAR數(shù)據(jù)集中三類車輛目標(biāo)數(shù)據(jù)作為源域的訓(xùn)練樣本，十類目標(biāo)數(shù)據(jù)做目標(biāo)域的訓(xùn)練樣本，對(duì)目標(biāo)域的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。通過這種遷移方式，在目標(biāo)域的十類目標(biāo)上取得了98.39%的識(shí)別精度，同時(shí)相比隨機(jī)初始化網(wǎng)絡(luò)參數(shù)的SAR識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，在收斂速度上也有了一定的提高。由于提出的SAR識(shí)別方法的源域樣本是從MSTAR數(shù)據(jù)集中提取的一小部分，因此提出的方法不適用于小規(guī)模數(shù)據(jù)集的識(shí)別。下一步的研究方向可以在小規(guī)模數(shù)據(jù)集上進(jìn)行，進(jìn)一步研究卷積神經(jīng)網(wǎng)絡(luò)的過擬合和泛化問題。