孫智博，徐向輝

(1.中國科學院空天信息創(chuàng)新研究院,北京 100094； 2.中國科學院大學,北京 100049；3.中國科學院電子學研究所,北京 100190)

0 引 言

近幾年來，深度學習在圖像識別領域取得巨大成功。在進行合成孔徑雷達(SAR)自動目標識別(ATR)課題研究時，建立一個完備的包含感興趣目標的SAR圖像數(shù)據(jù)集，對于提升算法魯棒性有很大幫助，但是獲取實測SAR圖像的過程昂貴且耗時。由于缺乏完備的真實SAR圖像標注數(shù)據(jù)集，仿真SAR圖像在SAR ATR中起到了非常重要的作用。

齊彬等人[1]根據(jù)SAR圖像特點，提出了一種SAR圖像仿真方法，并設計出了OpenSARSIM模擬器，但是該方法只對目標進行成像，不包含任何場景信息，并且仿真結果與真實圖像存在很大差距。任苗苗等人[2]利用射線追蹤法生成高分辨率的建筑物仿真SAR圖像，但是該方法計算復雜。Liu等人[3]將OpenSARSIM模擬器的仿真圖像與MSTAR數(shù)據(jù)集中的圖像背景進行融合，再利用融合圖像訓練GAN，生成仿真SAR圖像。但融合圖像中缺乏對陰影區(qū)信息的描述，也未對仿真結果與真實SAR圖像進行相似性評估。Cha等人[4]利用一種基于深度殘差的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)對仿真SAR圖像進行優(yōu)化，使仿真SAR圖像更加逼真，并將仿真數(shù)據(jù)與MSTAR數(shù)據(jù)集中真實數(shù)據(jù)混合，訓練分類網(wǎng)絡，但并未嘗試使用GAN對仿真SAR圖像優(yōu)化。

為了生成可以直接應用于SAR ATR任務中的高質(zhì)量仿真SAR圖像，解決數(shù)據(jù)稀疏問題，本文提出一種基于SN-GAN的SAR圖像仿真方法。為了說明仿真算法的有效性和準確性，本文選取一些典型目標(T-72、BMP-2和BTR-70)進行仿真。首先構建出目標—場景—雷達耦合物理模型；然后利用改進的OpenSARSIM模擬器求解得到散射強度分布圖；最終利用SN-GAN對散射強度分布圖進行優(yōu)化得到仿真SAR圖像。SN-GAN由散射強度分布圖作為輸入，真實SAR圖像作為標簽訓練得到，但是由于SAR圖像本身獲取難度大，本文使用總采樣率為6%的少量真實SAR圖像訓練SN-GAN，再將仿真結果與MSTAR數(shù)據(jù)集中對應方位角的真實SAR圖像進行相似性評估，最后通過多組SAR ATR進行實驗驗證，在訓練集中加入SN-GAN優(yōu)化后的仿真SAR圖像可以有效緩解數(shù)據(jù)稀疏問題，提升分類算法的準確率。本文方法整體流程如圖1所示。

圖1 本文方法整體流程圖

1 目標-場景-雷達耦合物理模型構建

1.1 場景設置

在雷達波束傾斜照射目標與場景時，目標遮擋的部分場景以及目標的部分背面無法接收到雷達信號，在SAR圖像上呈現(xiàn)為陰影。OpenSARSIM仿真得到的散射強度分布圖為單通道灰度圖，其目標區(qū)域灰度值較高，陰影區(qū)域灰度值為0。為了在散射強度分布圖中區(qū)分場景、目標和陰影區(qū)域，將場景設置為平面，場景材質(zhì)參數(shù)設置為0，得到的場景區(qū)域灰度值接近127。

1.2 耦合物理模型參數(shù)設置

仿真目標是由不同部件組成的，各個部件的材質(zhì)可能存在一定區(qū)別，不同材質(zhì)的反射特性不同。原OpenSARSIM模擬器將目標所有部件設置為相同的材質(zhì)，故對其做出改進，將每種部件的材質(zhì)參數(shù)寫入到三維模型的材質(zhì)文件中，并在程序中做出相應改進，對目標的材質(zhì)參數(shù)進行獨立設置。需要設置的參數(shù)包含材質(zhì)參數(shù)和雷達參數(shù)。材質(zhì)參數(shù)包含相對介電常數(shù)和相對磁導率，設置數(shù)值參考原OpenSARSIM模擬器。雷達參數(shù)包含俯角、中心頻率和帶寬等。上述參數(shù)用于第2章的散射強度分布圖計算。

1.3 目標模型裝配

該步驟將目標裝配到場景中，對目標的方位角進行自適應調(diào)整。設置合適的方位角，使得目標朝向給定的方向。至此，耦合物理模型構建完成。圖2給出了目標模型裝配效果圖和方位角示意圖。

(a) 裝配效果圖

(b) 方位角示意圖

2 散射強度分布圖計算

2.1 高頻電磁散射計算

OpenSARSIM模擬器的高頻電磁散射計算部分主要采用了物理光學法(Physical Optics, PO)和增量長度繞射系數(shù)法(Incremental Length Diffraction Coefficients, ILDC)。利用PO近似求出目標面元的散射分量，以及利用ILDC近似求出目標棱邊元的衍射分量。目標后向散射系數(shù)σSUM可由上述PO分量σPO和ILDC分量σILDC相干疊加得到：

σSUM=σPO+σILDC

(1)

2.2 消隱以及投影映射

利用OpenGL(Open Graphics Library)的Z-緩存(Z-buffer)算法對耦合物理模型進行消隱，得到仿真SAR圖像的陰影區(qū)域。OpenGL執(zhí)行圖形計算成像時，將三維模型投影至成像窗口，耦合物理模型中被遮擋的面元將被消除。所以，雷達俯角以及目標的方位角變化都會導致SAR圖像陰影區(qū)域變化。

2.1節(jié)中計算得到的散射中心分布在三維空間內(nèi)，需要將其投影至方位向-距離向平面，并在投影過程中考慮到相鄰分辨單元的影響，采用SINC函數(shù)進行卷積，得到帶寬有限的散射強度分布圖。

3 圖像優(yōu)化

散射強度分布圖的目標區(qū)域圖像質(zhì)量與目標模型的精度有關，尤其是其表面條件。在研究環(huán)境中，通過精準測量觀測目標，可以不斷提升模型精度。然而，在大多數(shù)實際應用場景中，上述做法可行性較低，有以下2點原因：1)為場景中的每個目標建立精確物理模型的經(jīng)濟成本過高；2)SAR的重要應用之一是監(jiān)測非合作目標。在真實環(huán)境中，目標表面可能涂覆或者生銹，導致其表面材料電磁散射特性有所不同，而物理模型無法準確地反映該類變化，所以散射強度圖的目標區(qū)域會存在一定誤差。

由于在1.1節(jié)中將場景設置為平面，導致散射強度分布圖的背景區(qū)域呈現(xiàn)灰色，因此，OpenSARSIM得到的散射強度分布圖與真實SAR圖像對比存在很大的差距。近幾年來，全卷積網(wǎng)絡[5]、GAN[6]網(wǎng)絡模型在圖像的超分辨處理[7-9]、語義分割[5，10-11]以及圖像翻譯[12]等方面被廣泛研究應用。盡管兩者灰度值存在一定差異，但兩者本質(zhì)上仍具有相似的圖像結構，可以采用生成對抗網(wǎng)絡優(yōu)化散射強度分布圖從而生成最終的仿真SAR圖像。

3.1 生成器

本文采用U-Net[13]結構來構建SN-GAN中的生成器，生成器結構如表1所示。

表1 生成器結構

表1中LReLU、ReLU和Tanh分別表示Leaky ReLU、ReLU和Tanh激活函數(shù)，Conv和DeConv分別表示卷積操作和轉(zhuǎn)置卷積操作，BN表示批標準化。

該生成器本質(zhì)上是一個編碼器-解碼器(Encoder-Decoder)模型，模型中對稱的編碼器、解碼器之間使用殘差連接(Skip Connection)，該模型結構可以在非常少量的數(shù)據(jù)集中進行有效的端到端的訓練[14]。模型輸入為128×128像素大小的單通道散射強度分布圖，經(jīng)過網(wǎng)絡的前7層下采樣得到圖像的高層語義信息，再經(jīng)過7層上采樣輸出最終的仿真SAR圖像。網(wǎng)絡中的H×W×C分別表示每層輸出特征圖的高度、寬度以及通道數(shù)量。

3.2 判別器

GAN網(wǎng)絡性能很大程度受限于判別器的穩(wěn)定性。本文的判別器是一個簡單的5層嵌套卷積神經(jīng)網(wǎng)絡，判別器模型結構圖如圖3所示。

圖3 判別器模型結構圖

為了保證優(yōu)化效果，在判別器中引入了譜歸一化(Spectral Normalization, SN)[15]方式對卷積核權重施加Lipschitz約束：

(2)

其中，x、x′表示模型輸入，f(x)、f(x′)表示模型輸出，M是一個常數(shù)。譜歸一化防止判別器的參數(shù)變化過于劇烈，保證網(wǎng)絡在反向傳播時梯度被限制在一定范圍內(nèi)，提升GAN網(wǎng)絡的穩(wěn)定性，并且在該過程中還不會破壞卷積核的結構。判別器中Leaky ReLU、Sigmoid激活函數(shù)以及批標準化(Batch Normalization， BN)操作均滿足Lipschitz約束要求[16]。若要整個判別器滿足Lipschitz的約束要求，只需將每一層卷積核參數(shù)除以該層的卷積核參數(shù)矩陣的譜范數(shù)。但是，求解譜范數(shù)過程中涉及矩陣奇異值分解，可以采用冪迭代法(Power Iteration)近似求解，加快運算速度，達到譜歸一化目的。

3.3 目標函數(shù)

cGAN(conditional GAN)的目標函數(shù)可以表示如下：

LcGAN(G,D)=Ex,y[logD(x,y)]+

Ex,z[log (1-D(x,G(x,z)))]

(3)

其中，x、y、z分別表示輸入、標簽(真實數(shù)據(jù))和噪聲，生成器G試圖極小化目標函數(shù)，而判別器D試圖極大化目標函數(shù)，G(x,z)代表生成器生成的偽造數(shù)據(jù)。D輸出一個置信度,即當D輸入為標簽時輸出趨近1，當D輸入為偽造數(shù)據(jù)輸出趨近0，當判別器無法判斷數(shù)據(jù)是標簽還是偽造數(shù)據(jù)時，D輸出趨近0.5。

GAN通過輪流訓練生成器和判別器，使判別器輔助生成器生成與標簽一致的偽造數(shù)據(jù)。當G參數(shù)固定時，D目標是極大化損失函數(shù)，當輸入數(shù)據(jù)是分布在真實樣本空間中，D(x,y)趨近1，輸入數(shù)據(jù)是分布在偽造數(shù)據(jù)空間中，D(x,G(x,z))趨近0，此時LcGAN(G,D)趨近0。如果D(x,G(x,z))不為0，就會使得公式(3)后半部分為負數(shù)，這樣無法保證LcGAN取到最大值;當D參數(shù)固定時，只有公式(3)后半部分與G有關，而G試圖讓D將偽造數(shù)據(jù)誤認為真實數(shù)據(jù)，即D(x,G(x,z))趨近1，那么LcGAN將無限地逼近負無窮。此時最優(yōu)的生成器為：

(4)

在GAN的目標函數(shù)中引入一些傳統(tǒng)損失函數(shù)可以使得訓練效果更好，比如L1距離。L1距離可以確保圖像低頻分量的正確性。這樣，判別器的目標保持不變，而生成器不光要欺騙判別器，而且還要在L1距離的定義下不斷貼近真實圖像。

LL1=Ex,y,z[‖y-G(x,z)‖1]

(5)

SN-GAN將cGAN的目標函數(shù)以及L1距離進行組合，最終的目標函數(shù)是：

(6)

其中，λ表示權重因子，本文中取值120。

在本文第5章表4中，對SN-GAN和未添加譜歸一化的GAN優(yōu)化后的3種目標的仿真SAR圖像相似度評價指標最大值、均值和最小值做出量化對比，對比數(shù)據(jù)顯示，SN-GAN優(yōu)化后的仿真結果更接近真實SAR圖像。

4 仿真結果

本文首先參照了MSTAR數(shù)據(jù)集的SAR參數(shù)對OpenSARSIM模擬器的仿真參數(shù)進行設置，得到BMP-2、BTR-70和T-72的散射強度分布圖，并將MSTAR中俯角17°下的數(shù)據(jù)樣本從1°開始，以10°為間隔對方位角進行等距采樣(采樣過程中若遇到某個方位角的真實數(shù)據(jù)不存在的情況，此時選擇距離該方位角最近的數(shù)據(jù))，加入訓練集作為標簽。3類目標共采樣108張，約占MSTAR俯角17°下的數(shù)據(jù)總數(shù)的6%(108/1622)。本文的SN-GAN是一種監(jiān)督式學習過程，所以本文在訓練SN-GAN時，將108張MSTAR真實SAR圖像作為訓練標簽，對應的108張散射強度分布圖作為輸入。

本文實驗采用Pytorch深度學習框架。在訓練過程中，設置batch size為32，訓練800 epoch后SN-GAN收斂。生成器和判別器均采用Adam優(yōu)化器，初始學習率設置為0.0002，超參數(shù)β1=0.5,β2=0.999。SN-GAN訓練完成之后，將俯角17°下剩余94%的數(shù)據(jù)和俯角15°下的全部數(shù)據(jù)組成測試集。SN-GAN實驗的訓練集和測試集設置如表2所示。

表2 SN-GAN實驗的訓練集和測試集設置

為了展示SN-GAN在俯角和方位角上的泛化能力，本文選取測試結果中俯角15°下BMP-2、BTR-70和T-72的SN-GAN測試結果進行展示，如圖4(a)、(b)、(c)所示。每組圖像方位角從8°開始，間隔為30°，范圍為[8°,338°]。

(a) BMP-2

(b) BTR-70

(c) T-72

將測試集中的俯角17°下相同方位角的散射強度分布圖、SN-GAN優(yōu)化后的仿真SAR圖像和MSTAR真實SAR圖像進行對比，對比結果如表3所示?？梢园l(fā)現(xiàn)，相比于未經(jīng)優(yōu)化的原始仿真圖像，SN-GAN優(yōu)化后的仿真SAR圖像與MSTAR真實SAR圖像更為接近，目標區(qū)域以及背景區(qū)域的亮度更為真實，質(zhì)量較高，并且生成了斑點噪聲。由于耦合物理模型對于真實目標的描述精度不足所導致的誤差以及OpenSARSIM模擬器存在的仿真誤差可以通過SN-GAN得到一定程度的修正。

表3 BMP-2、BTR-70、T-72的仿真圖像與真實SAR圖像(俯角17°)

5 相似度評估

為了評價本文算法仿真的SAR圖像與MSTAR數(shù)據(jù)集中對應的真實SAR圖像的相似度，本文選取了特征相似度[17](Feature Similarity, FSIM)、信息內(nèi)容加權的結構相似性[18](Information Content Weighted Structural Similarity Measure, IW-SSIM)和梯度幅度相似性偏差[19](Gradient Magnitude Similarity Deviation, GMSD)3種評價指標。FSIM將相位一致性作為其主要特征，將圖像梯度幅度作為其次要特征。兩者相互補充，度量了圖像所有頻率分量的相位相似度以及圖像的對比度特征相似度；IW-SSIM則評價了圖像在不同尺度下基于信息加權的亮度、對比度和結構相似性；GMSD計算了圖像之間的梯度幅度相似度圖，然后將梯度幅度相似度圖的標準差作為衡量準則。FSIM和IW-SSIM均為歸一化評價指標，分數(shù)越高表明2張圖像越相似，其中，IW-SSIM中卷積核窗口參數(shù)設置大小為5×5，標準差為0.3。而GMSD分數(shù)越低，則表明2張圖像之間的相似性偏差越小，圖像越相似。

表4對GAN和SN-GAN優(yōu)化后的散射強度分布圖與真實SAR圖像的相似度作出對比，選取MSTAR俯角15°下的BMP-2(587張)、BTR-70(196張)和T-72(582張)的數(shù)據(jù)進行評測。從評價指標來看，可以看出SN-GAN的仿真效果優(yōu)于GAN。并且SN-GAN優(yōu)化后仿真SAR圖像的FSIM、IW-SSIM分數(shù)分布在70%左右，GMSD分數(shù)也分布在0.14左右，表明仿真圖像的散射點強度分布和陰影區(qū)域很接近真實SAR圖像。

表4 GAN和SN-GAN優(yōu)化結果(俯角15°)相似度對比

6 SAR ATR實驗

近幾年來SAR ATR研究火熱，有許多相關的研究基于MSTAR數(shù)據(jù)集。為了驗證在稀疏數(shù)據(jù)集中添加本文的仿真SAR圖像可以有效地提升分類準確率，本文在AlexNet[20]、VGG16[21]以及ResNet-18[22]這3個分類網(wǎng)絡上，對BMP-2、BTR-70和T-72這3類目標的SAR圖像進行分類實驗。

6.1 數(shù)據(jù)預處理

所有分類實驗的訓練集均為俯角17°下的數(shù)據(jù)(包含真實數(shù)據(jù)和仿真數(shù)據(jù))，設置如表5所示。所有分類實驗的測試集保持一致，均為俯角15°下的BMP-2(587張)、BTR-70(196張)和T-72(582張)的MSTAR真實數(shù)據(jù)，共1365張。

表5 分類實驗訓練集設置

稀疏數(shù)據(jù)集(即第4章中SN-GAN的訓練集的標簽)、完備數(shù)據(jù)集分別考察分類網(wǎng)絡在數(shù)據(jù)稀疏、數(shù)據(jù)完備情況下的測試分類準確率。擴充數(shù)據(jù)集1～擴充數(shù)據(jù)集3均在稀疏數(shù)據(jù)集的基礎上添加了新樣本。擴充數(shù)據(jù)集1用于考察添加普通數(shù)據(jù)增廣(隨機旋轉(zhuǎn)、隨機水平翻轉(zhuǎn)、隨機垂直翻轉(zhuǎn))方法生成的新樣本對測試分類準確率的影響，隨機旋轉(zhuǎn)角度范圍控制在10°以內(nèi)；擴充數(shù)據(jù)集2、擴充數(shù)據(jù)集3用于考察添加傳統(tǒng)方法的仿真圖像、SN-GAN的仿真圖像(即第4章中SN-GAN在俯角17°下的測試結果)對測試分類準確率的影響。

6.2 實驗結果

在所有分類網(wǎng)絡訓練過程中，為了防止雜波干擾，本文將輸入圖片進行了中心裁剪，裁剪后像素為60×60。在訓練過程中并未使用其他數(shù)據(jù)增廣手段。同種分類網(wǎng)絡的每次實驗參數(shù)均保持一致，訓練至網(wǎng)絡收斂進行測試，深度學習框架采用Pytorch。表6對比了用5個不同數(shù)據(jù)集訓練的3個經(jīng)典分類網(wǎng)絡的測試準確率。在該對比試驗中，本文只關注使用5個數(shù)據(jù)集訓練同種分類網(wǎng)絡所帶來的分類準確率差異，而不關注分類網(wǎng)絡之間的準確率優(yōu)劣。

表6 不同數(shù)據(jù)集訓練經(jīng)典分類模型的測試準確率

可以直觀地發(fā)現(xiàn)，在數(shù)據(jù)稀疏情況下，使用擴充數(shù)據(jù)集1～擴充數(shù)據(jù)集3訓練分類網(wǎng)絡，都能帶來測試分類準確率的提升。擴充數(shù)據(jù)集3訓練的3個分類網(wǎng)絡的測試分類準確率明顯高于數(shù)據(jù)集2。因此，SN-GAN得到的仿真SAR圖像相比于傳統(tǒng)方法仿真結果更加接近于真實SAR圖像，從而可以進一步提升測試分類準確率。而且，本文提出的SN-GAN仿真方法，相較于傳統(tǒng)的數(shù)據(jù)增廣方法，分類準確率提升更高，可以很好地解決SAR數(shù)據(jù)稀疏導致網(wǎng)絡泛化能力差的問題。本文提出的仿真方法還可以快速地生成任意方位角的仿真SAR圖像，有效地完善SAR圖像數(shù)據(jù)庫，這點是傳統(tǒng)數(shù)據(jù)增廣方法無法做到的。

7 結束語

本文構建了耦合物理模型，盡可能利用模型特征，得到散射強度分布圖，并利用6%的真實數(shù)據(jù)訓練SN-GAN，最后通過SN-GAN對散射強度分布圖進行優(yōu)化，得到高質(zhì)量目標仿真SAR圖像。在圖像相似度評估和SAR ATR實驗階段，驗證了本文仿真SAR圖像與真實SAR圖像具有較高的相似度，并且在數(shù)據(jù)稀疏情況下可以直接改善SAR目標分類準確度，一定程度上緩解數(shù)據(jù)稀疏問題。但是，本文的方法也存在很多不足之處，比如并未考慮復雜場景下的SAR圖像仿真，并且一定程度依賴真實SAR圖像作為SN-GAN的訓練數(shù)據(jù)。