陳 禾, 張心怡, 李 燦, 莊 胤

(1. 北京理工大學信息與電子學院雷達技術(shù)研究所， 北京 100081； 2. 嵌入式實時信息處理技術(shù)北京市重點實驗室， 北京 100081)

0 引言

合成孔徑雷達(Synthetic Aperture Radar，SAR)是一種基于多平臺的主動式對地觀測系統(tǒng)，不受光照和氣候條件的制約，具有全天時、全天候、高分辨、大幅寬等多種特點[1-2]。經(jīng)歷60多年的發(fā)展，合成孔徑雷達成像技術(shù)已經(jīng)逐漸成熟，高分辨SAR圖像的數(shù)據(jù)獲取能力得到了顯著的提高，為SAR圖像的智能化應(yīng)用奠定了基礎(chǔ)。上世紀80年代，林肯實驗室提出了SAR自動目標識別(SAR ATR)系統(tǒng)的一般流程，將其分為了檢測、鑒別和識別三個階段。識別是SAR ATR的最后一個階段，SAR圖像經(jīng)過檢測與鑒別后，大部分的雜波虛警已被濾除，剩下的主要工作就是對目標切片進行分類識別。本文主要圍繞SAR圖像目標識別這一環(huán)節(jié)展開研究，實現(xiàn)對SAR遙感圖像的高精度智能化判讀。

目標識別往往是在特征空間中進行分類，因此能否提取到圖像的有效特征是決定識別結(jié)果好壞的關(guān)鍵因素。近年來國內(nèi)外的學者開展了大量研究，根據(jù)其提取特征的方法可分為兩大類：1)基于人工特征描述的方法;2)基于深度學習卷積神經(jīng)網(wǎng)絡(luò)的方法。

基于人工特征描述的方法需要人工設(shè)計并選取具有判別性的特征。丁柏圓[3]等人提取了SAR圖像和模板的屬性散射中心，綜合考慮不同散射中心對于匹配度的貢獻及其虛警和漏警對最終匹配度的影響，設(shè)計了一種度量散射中心匹配度方法?？得頪4]等人提取了SAR圖像的25種基線特征和局部紋理特征，將其串聯(lián)輸入棧式自編碼器網(wǎng)絡(luò)進行融合，最后利用softmax進行分類。張楚笛[5]等人采用二維變分模態(tài)分解技術(shù)將SAR圖像分解為多個子模態(tài)分量，分別用于表示全局信息和邊緣信息，進一步提取二維雙向主成分分析特征，最后聯(lián)合原始圖像和各子模態(tài)的特征完成分類。李璐[6]等人提取了多級幅度特征和多級密集尺度不變特征變換(Dense-SIFT)特征。并借鑒深度森林的思想對二者進行聯(lián)合利用，將得到的深層融合特征對目標進行識別任務(wù)。然而，人工特征描述十分依賴專業(yè)的經(jīng)驗與知識，且對復雜目標的特征表達能力有限，難以達到更好的識別性能。2006年，Hinton等人提出了深度學習[7]，這是一種基于人工神經(jīng)網(wǎng)絡(luò)的機器學習算法，通過深層神經(jīng)網(wǎng)絡(luò)從低到高逐層提取數(shù)據(jù)的特征，獲取更豐富的特征表示。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習模型在自然圖像分類范疇取得了出色的成果，很多研究者開始嘗試利用卷積神經(jīng)網(wǎng)絡(luò)來處理SAR圖像目標識別問題。Wang[8]等人設(shè)計了稀疏數(shù)據(jù)特征提取模塊(SDFE)，并在此基礎(chǔ)上提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)SSF-Net，網(wǎng)絡(luò)具有較好的魯棒性。倉明杰[9]等人提出一種基于改進的卷積神經(jīng)網(wǎng)絡(luò)(ICNN)和改進的生成對抗網(wǎng)絡(luò)(IGAN)的SAR目標識別方法，用無監(jiān)督預訓練好的IGAN鑒別器參數(shù)初始化ICNN，再用訓練樣本對ICNN微調(diào)，使網(wǎng)絡(luò)具有更高的準確率和更強的抗噪聲能力。陳禾[10]等人提出了一種結(jié)合高階特征表示的多尺度特征提取殘差結(jié)構(gòu)，有效提升了深度卷積網(wǎng)絡(luò)對于SAR圖像細粒度型號識別任務(wù)的特征提取及泛化能力。REN[11]等人提出了一種擴展卷積膠囊網(wǎng)絡(luò)的SAR ATR方法，其在編碼器網(wǎng)絡(luò)中利用不同膨脹率的多次卷積運算提取多尺度特征，然后嵌入了特征細化模塊，以增強顯著特征，抑制無用特征。高飛[12]等人提出基于度量學習的SAR圖像識別方法，使用LSTM網(wǎng)絡(luò)保留樣本間相似特征，并通過距離度量函數(shù)將各類別樣本進行關(guān)聯(lián)，最后引入注意力機制提取出與測試圖像特征更相似的訓練圖像。Pei[13]等人提出了一種基于深度特征提取與融合網(wǎng)絡(luò)(FEF-Net)的多視點SAR ATR方法。FEF-Net具有多輸入拓撲結(jié)構(gòu)，包括可變形卷積和SE等特定模塊，具有學習多視點SAR圖像有用分類信息的能力。綜上所述，卷積神經(jīng)網(wǎng)絡(luò)可以自動從數(shù)據(jù)中學習特征,完成端到端的高精度目標識別，是SAR遙感圖像目標識別的研究熱點。

然而SAR圖像與光學圖像不同，SAR圖像上的信息主要是地物目標對雷達波束的后向散射形成的。雷達的工作參數(shù)如入射角、工作波長、極化方式等，以及地表的粗糙度等目標特性都會對成像產(chǎn)生影響。目標的散射特征往往存在于多個尺度當中，此外，SAR圖像中存在固有的噪聲斑，提取到的特征可能含有冗余信息，對SAR圖像的目標識別也會產(chǎn)生負面影響。因此，本文提出一種結(jié)合多尺度特征提取和注意力機制的卷積神經(jīng)網(wǎng)絡(luò) —— 多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)。針對提取不同尺度的目標散射特征的問題，設(shè)計了多尺度殘差特征提取模塊，針對區(qū)分關(guān)鍵信息和冗余信息的問題，設(shè)計了注意力模塊。最后將它們進行組合和有層次的堆疊構(gòu)成了多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)。將所設(shè)計網(wǎng)絡(luò)在MSTAR(Moving and Stationary Target Acquisition and Recognition)數(shù)據(jù)集上，針對10種軍事目標型號開展了圖像分類實驗，并取得了99.84%的總體精度，驗證了本文提出方法的性能。進一步，在測試集中加入4種型號的變體進行擴展驗證實驗，取得了99.28%的總體精度，驗證了本文方法在復雜情況下的有效性。

1 多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)

1.1 算法總體介紹

本文所提出的多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示，整體架構(gòu)基于ResNet34[14]網(wǎng)絡(luò)，將原始BasicBlock替換為所設(shè)計的多尺度注意力模塊，進行有層次的堆疊所構(gòu)成。其中多尺度注意力模塊由多尺度殘差特征提取模塊(包括多尺度特征提取與殘差連接shortcut)和注意力模塊組成，實現(xiàn)了多尺度特征提取和注意力機制的功能。以下將詳細介紹多尺度殘差特征提取模塊、注意力模塊以及網(wǎng)絡(luò)的詳細結(jié)構(gòu)。

圖1 本文網(wǎng)絡(luò)總體架構(gòu)圖

1.2 多尺度殘差特征提取模塊

由于SAR遙感成像對于同一目標的散射信息會隨成像條件的變化而改變，這對SAR圖像目標識別帶來了很大的挑戰(zhàn)，故需要對目標提取不變性散射特征。然而，這些不變性散射特征往往隱藏在多個尺度的散射點分布中：大尺度中存在全局散射特征，小尺度中存在局部散射特征，僅使用單一尺度的特征提取架構(gòu)難以得到有效特征描述。因此，多尺度特征提取及融合是SAR遙感圖像目標識別的關(guān)鍵所在。

對于多尺度特征提取，本模塊在ResNet的BasicBlock基礎(chǔ)上采用了GoogLeNet[15]中Inception模塊的多尺度特征提取思想，多分支的網(wǎng)絡(luò)拓撲結(jié)構(gòu)可以進行多尺度的特征提取和融合，增加了網(wǎng)絡(luò)的寬度和對多尺度信息的處理能力。進一步，借鑒VGGNet[16]用連續(xù)的小卷積核代替大卷積核的方法，在保持相同感受野的情況下進一步加深網(wǎng)絡(luò)。

本文提出的多尺度殘差特征提取模塊有兩種：Block-A和Block-B。Block-A如圖2(a)所示，采用4個并行分支，分別是卷積核大小為1×1、3×3、5×5、7×7的卷積層，進行不同尺度的特征提取，然后將特征融合。同時加入殘差模塊的快捷連接(shortcut)，將輸入層加到輸出層。其中除了第一個分支中的1×1卷積用來進行特征提取，其他的1×1卷積用來降維，以減少參數(shù)量；Block-B如圖2(b)所示，在上述基礎(chǔ)上將5×5卷積核分解為2個串聯(lián)的3×3卷積核、7×7卷積核分解為3個串聯(lián)的3×3卷積核，以進一步加深網(wǎng)絡(luò)。對于多尺度特征融合，考慮采用兩種特征融合方式：拼接(concatenate)和對應(yīng)元素相加(element-wise summation)，具體使用方式與選用的注意力模塊有關(guān)，將在下一節(jié)補充說明。

(a) Block-A

(b) Block-B圖2 多尺度殘差特征提取模塊

1.3 注意力模塊

雖然上述多尺度殘差特征提取模塊可以用多個尺寸的卷積核來提取不同尺度的SAR目標散射特征，然而，得到的多尺度散射特征若被無差別使用，則會造成信息冗余，毫無側(cè)重。因此，本文進一步引入注意力機制來指導網(wǎng)絡(luò)分配權(quán)重，使網(wǎng)絡(luò)能夠關(guān)注各個尺度散射特征中更具判別性的信息，達到更精確的SAR圖像目標識別性能。具體地，在多尺度殘差特征提取模塊后加入注意力模塊，分別考慮使用SENet[17]中的Squeeze and Excitation block(SE模塊)和SKNet[18]中的Selective Kernel block(SK模塊)。下面將詳細介紹這兩種注意力模塊在本章提出的模型上的應(yīng)用。

1) SE模塊：其結(jié)構(gòu)如圖3(a)所示。SE模塊關(guān)注的是所有通道間的權(quán)重分配，所以將四路卷積輸出的特征圖按特征通道維度拼接在一起，將多尺度特征以特征拼接(concatenate)方式融合。之后的具體操作可分為以下三個步驟：

(1)

(c) 權(quán)重作用(Scale)：使用Excitation 得到的結(jié)果作為權(quán)重，分別乘到特征圖對應(yīng)的通道上(element-wise product)，進行特征重標定，得到輸出特征圖。

將SE模塊與上節(jié)提出的多尺度殘差特征提取模塊結(jié)合，可使網(wǎng)絡(luò)從通道的角度進行側(cè)重，關(guān)注更具判別信息的特征通道。

2) SK模塊：其結(jié)構(gòu)如圖3(b)所示。SK模塊關(guān)注的是不同尺度卷積支路之間的權(quán)重分配，從而達到調(diào)整神經(jīng)元感受野大小的目的。故參考SKNet[17]中的特征融合方式，將上一步的多尺度特征以特征圖對應(yīng)元素相加(element-wise summation)的方式融合，這要求每個尺度的卷積核輸出的特征圖維度是完全相同的。之后操作可以分為以下兩個步驟：

(a) 壓縮和激活(Squeeze and Excitation)：相當于SE模塊中Squeeze和Excitation，區(qū)別在于此處要對Squeeze結(jié)果分別作4個分支的非線性變換，以對應(yīng)四路卷積。

(b) 權(quán)重作用(Select)：把Squeeze and Excita-tion的輸出通過softmax函數(shù)轉(zhuǎn)化為縱向通道之間的權(quán)重，然后把權(quán)重信息乘(element-wise pro-duct)到對應(yīng)的U1、U2、U3和U4上。最后再把權(quán)重作用后的四路的特征圖進行對應(yīng)相加(element-wise summation)得到輸出特征圖M。

SK模塊中的Select操作使用softmax加權(quán)與SE模塊中最后把權(quán)重分別乘到輸入特征圖上的操作很相似，區(qū)別在于SE模塊考慮的是通道之間的權(quán)重，而SK模塊不僅考慮了通道之間的權(quán)重，還考慮了多路卷積的權(quán)重。也就是說，SE模塊是對通道執(zhí)行注意力機制，而SK模塊則是對卷積核執(zhí)行注意力機制，即讓網(wǎng)絡(luò)自己選擇合適的卷積核。

(a) SE模塊

(b) SK模塊圖3 注意力模塊

1.4 網(wǎng)絡(luò)詳細結(jié)構(gòu)

將上述的兩種多尺度殘差特征提取模塊和兩種注意力模塊兩兩組合在一起，構(gòu)成4種多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)。Block-A與SE模塊組合構(gòu)成的網(wǎng)絡(luò)命名為：多尺度-se34，Block-A與SK模塊組合構(gòu)成的網(wǎng)絡(luò)命名為：多尺度-sk34，“34”表示它們將構(gòu)成34層的卷積神經(jīng)網(wǎng)絡(luò)；Block-B與SE模塊組合構(gòu)成的網(wǎng)絡(luò)命名為：多尺度-se66，Block-B和SK模塊組合構(gòu)成的網(wǎng)絡(luò)命名為：多尺度-sk66，“66”表示它們將構(gòu)成66層的卷積神經(jīng)網(wǎng)絡(luò)。

2 數(shù)據(jù)集與評價指標

2.1 數(shù)據(jù)集簡介

本文采用MSTAR數(shù)據(jù)集進行SAR圖像目標分類實驗。該數(shù)據(jù)集采用美國國防高等研究計劃署(DARPA)支持的MSTAR計劃所公布的實測SAR地面靜止目標數(shù)據(jù)，是通過工作在X波段、HH極化方式的高分辨率的聚束式合成孔徑雷達采集得到，雷達空間分辨率為0.3 m×0.3 m。采集的數(shù)據(jù)共有10種前蘇聯(lián)軍事目標車輛，包括坦克、裝甲車等。其中SOC工作條件下10類MSTAR數(shù)據(jù)集中圖像的俯仰角分別是 17°和 15°，圖4分別展示了10類目標車輛的光學圖像和對應(yīng)的 SAR 圖像。本文選用在俯仰角為17°和 15°的圖像分別作為訓練集和測試集。具體類別和圖像數(shù)量見表2。

2.2 實驗設(shè)置與評價指標

本文所有實驗基于Ubuntu16.04.6 LTS操作系統(tǒng)，所用開發(fā)環(huán)境是python 3.7及其第三方庫，以及深度框架Pytorch1.2.0。GPU的處理環(huán)境為CUDA9和cuDNN7。輸入圖像尺寸需統(tǒng)一裁剪為224×224以適應(yīng)網(wǎng)絡(luò)，batchsize設(shè)置為32，使用SGD優(yōu)化器進行訓練，初始學習率為0.001，每經(jīng)過50個Epoch學習率減半。實驗采用總體精度OA(Overall Accuracy)和混淆矩陣CM(Confusion Matrix)作為模型分類性能的評價指標。

圖4 數(shù)據(jù)集中10類目標的光學圖像和SAR圖像對照

表2 MATAR數(shù)據(jù)集SOC工作條件下10類目標訓練與測試樣本數(shù)

混淆矩陣：如圖5所示，為一個二分類混淆矩陣的示例。TP(True Positive)表示實際標簽是P，被正確預測為P的數(shù)量；FN(False Negative)表示實際標簽是P，但被錯誤預測為N的數(shù)量； TN(True Negative)表示實際標簽是N，被正確預測為N的數(shù)量；FP(False Positive)表示實際標簽是N，但被錯誤預測為P的數(shù)量。可以將其拓展到多分類的情況下。若數(shù)據(jù)集有M個類別，那么混淆矩陣可以用一個M行M列的矩陣形式來表示。正如混淆矩陣的名字，它的作用是體現(xiàn)出多個類別之間是否有混淆，可以直觀地體現(xiàn)每一類的分類準確率和錯分的類別。

圖5 混淆矩陣示意圖

總體準確率OA：其計算方法為所有分類正確的圖像數(shù)除以圖像總數(shù)，在混淆矩陣表示下如式(2)。該指標能夠?qū)?shù)據(jù)集整體的預測情況進行評價。

(2)

3 實驗結(jié)果與分析

3.1 實驗結(jié)果

為進一步驗證本文提出網(wǎng)絡(luò)的性能，將本文模型的實驗結(jié)果與其他算法以及一些經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型進行了比較，如表3所示。文獻[4]和文獻[5]是基于傳統(tǒng)人工特征描述的方法，文獻[11]和文獻[12]是基于卷積神經(jīng)網(wǎng)絡(luò)特征提取的方法?？梢钥闯鰝鹘y(tǒng)算法的分類精度普遍不高，而基于卷積神經(jīng)網(wǎng)絡(luò)的分類方法有著明顯的優(yōu)越性。本文提出的多尺度-sk66網(wǎng)絡(luò)OA達到99.84%的最高準確率，體現(xiàn)了本文提出的多尺度注意力網(wǎng)絡(luò)的優(yōu)越性能。

表3 本文方法與其他方法結(jié)果比較

3.2 優(yōu)化討論

為了分析本文設(shè)計模型中兩種多尺度殘差特征提取模塊和兩種注意力模塊對性能的影響，開展了一系列的對比試驗。實驗結(jié)果如表4所示。

表4 各模型分類精度

1) 多尺度殘差特征提取模塊：對比ResNet34與去注意力-多尺度-se34的精度，如圖6(a)所示，可以證明本文設(shè)計的多尺度殘差特征提取模塊的有效性。ResNet34網(wǎng)絡(luò)單一尺度的特征提取導致獲得的特征不夠有效，而多尺度殘差特征提取模塊可以很好地提取并融合多尺度的特征，擁有更強大的特征提取能力，有效提升模型的收斂速度和分類精度。

2) 注意力模塊：對比有無注意力的多尺度網(wǎng)絡(luò)分類精度可以證明本文設(shè)計的注意力模塊的有效性。如圖6(a)所示，可以看出加入注意力模塊之后，網(wǎng)絡(luò)收斂速度有所提升。觀察表4的2至5行與6至9行可以看出，相較于層數(shù)較淺的34層多尺度網(wǎng)絡(luò)，注意力模塊對于66層的深層多尺度網(wǎng)絡(luò)的最終精度提升效果更加明顯。深層網(wǎng)絡(luò)的參數(shù)量更大，提取到的特征數(shù)量更多更復雜，存在冗余信息的可能性也就越大。這說明SE模塊和SK模塊都可以在大量信息中區(qū)分關(guān)鍵信息和冗余信息，有側(cè)重地利用信息，從而有效提升網(wǎng)絡(luò)性能。同時，觀察表4以及圖6(a)中多尺度-se34和多尺度-sk34的曲線可以看出，SK模塊相較于SE模塊對多尺度網(wǎng)絡(luò)有著更好的提升效果。這可能是因為SK模塊不僅考慮了通道之間的權(quán)重，還考慮了多路卷積的權(quán)重，更加適合多尺度網(wǎng)絡(luò)的特點。

(a)

(b)圖6 部分模型在測試集上的精度變化曲線

3) 網(wǎng)絡(luò)深度：本文在第一節(jié)中設(shè)計了兩種多尺度殘差特征提取模塊，分別對應(yīng)了34層和使用連續(xù)小卷積核替換大尺寸卷積核得到的66層的網(wǎng)絡(luò)結(jié)構(gòu)。對比不同層數(shù)的多尺度注意力網(wǎng)絡(luò)性能，如圖6(b)所示，繪制了多尺度-sk34和多尺度-sk66的精度變化曲線圖?？梢钥闯?，增加網(wǎng)絡(luò)深度可以有效提升網(wǎng)絡(luò)精度，但在前期的訓練過程中可能會存在一定的波動。

表5是本文實驗中最優(yōu)模型多尺度-sk66的混淆矩陣。

表5 多尺度sk-66混淆矩陣

3.3 擴展驗證

同一大類軍事目標中還會存在不同型號的變體，它們的軍事配置不同，例如同類坦克上有無機關(guān)槍、油箱，以及天線是否展開等[19]。這些外觀上的變化也會影響SAR目標識別。因此，為驗證本文方法在復雜情況下的有效性，不改變訓練集，向測試集中補充了BMP2的兩種變體：SN9566、SNC21，以及T72的兩種變體：SN812、SNS7。表6為所加入變體數(shù)據(jù)的具體類別型號和圖像數(shù)量。

表6 加入變體的類別型號和圖像數(shù)量

選擇在3.1節(jié)實驗中性能最好的多尺度-sk66模型對補充變體后的MSTAR數(shù)據(jù)集10類目標進行識別，并與其他方法[6，19-20]進行對比。實驗結(jié)果如表7所示，多尺度-sk66的混淆矩陣如表8所示。可見，在測試集中加入變體之后，算法的整體性能稍有下降，但也優(yōu)于其他算法。這說明本文提出模型有較強的泛化能力，在復雜情況下仍能保持較高精度，進一步驗證了該方法的有效性。

表7 本文方法與其他方法在補充變體數(shù)據(jù)集上的結(jié)果比較

表8 多尺度sk-66在補充變體數(shù)據(jù)集上的混淆矩陣

4 結(jié)束語

本文以SAR遙感圖像目標識別為背景，提出了多尺度注意力卷積神經(jīng)網(wǎng)絡(luò)。針對SAR圖像的多尺度散射特征，設(shè)計了多尺度殘差特征提取模塊，能夠提取并融合多尺度特征。同時引入了注意力機制來區(qū)分關(guān)鍵信息和冗余信息。通過在MSTAR數(shù)據(jù)集上進行10類目標識別的實驗，驗證了本文算法的有效性，總體準確率達到了99.84%，明顯優(yōu)于其他算法。另外，向測試集中補充4種型號的變體，進行擴展驗證，總體準確率達到了99.28%，驗證了本文算法在復雜情況下的有效性。

然而，本文實驗選用的MSTAR數(shù)據(jù)集類別較少，圖片樣本有限，對模型的泛化能力有待進一步驗證。此外，所設(shè)計的多尺度注意力網(wǎng)絡(luò)模型參數(shù)量較大。因此，如何構(gòu)建更好的多尺度特征融合方法和注意力機制從而進一步提升網(wǎng)絡(luò)性能，是今后有待繼續(xù)研究的內(nèi)容。