張 驍，呂繼宇，趙 爽，吳羽綸，王春樂

（1.中國科學院空天信息創(chuàng)新研究院，北京 100190；2.中國科學院大學電子電氣與通信工程學院，北京 100049）

0 引 言

合成孔徑雷達（Syntactic Aperture Radar，SAR）作為一種主動式微波成像傳感器，具有全天候、全天時的成像能力［1］，自其提出以來，已經(jīng)被廣泛應(yīng)用于遙感、軍事、水文、地礦以及其他領(lǐng)域，具有很高的軍用和民用價值［2］。因此開展基于SAR 圖像的艦船目標分類研究具有十分重要的意義。

目前的SAR 圖像艦船分類算法主要分為傳統(tǒng)算法和深度學習算法。傳統(tǒng)的SAR 圖像艦船分類方法主要集中于特征選擇［3］和優(yōu)化分類器技術(shù)［4］。目前常用的特征有幾何特征［5］、輪廓特征［6］和散射特性［7］。分類器包括機器學習模型［8］和高分類精度分類器模型［9］。然而，傳統(tǒng)的分類算法存在提取特征困難、效率低下的問題，同時在提高模型遷移和泛化能力方面面臨著巨大挑戰(zhàn)。

隨著深度學習的提出，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類中逐漸得到應(yīng)用［10］，CNN 可以自動從圖像中提取目標的特征，大大 提 高 了 分 類 性 能［11］。 SAR 數(shù) 據(jù) 集（Open-SARship［12］、FUSAR-ship［13-14］）的發(fā)布為基于深度學習的SAR 圖像艦船分類研究奠定了基礎(chǔ)；Bentes 等人［15］通過CNN 網(wǎng)絡(luò)識別了TerraSAR-X 圖像的貨物、油輪、風車、平臺和港口等結(jié)構(gòu)；Wu 等人［16］提出一種用于小規(guī)模SAR 圖像艦船分類的聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)框架；He 等人［17］提出了一種密集連接的三重CNN 網(wǎng)絡(luò)來提取圖像特征；Zhang 等人［18］提出梯度直方圖特征融合的深度學習網(wǎng)絡(luò)以平衡傳統(tǒng)特征和CNN 抽象特征；Xu 等人［19］提出了使用有限樣本的幾何遷移度量學習。針對SAR 數(shù)據(jù)集解譯困難、數(shù)據(jù)集較小的特點，研究人員提出了數(shù)據(jù)擴充［20］、遷移學習［21-23］和微調(diào)模型［24］等方法用于解決小數(shù)據(jù)集SAR 圖像的艦船分類問題。與傳統(tǒng)的分類算法相比，上述SAR 艦船分類算法在準確性方面取得了質(zhì)的飛躍。

目前對SAR圖像的分類研究集中于串聯(lián)型CNN，與VggNet、ResNet等網(wǎng)絡(luò)一樣，都是逐漸減小特征圖的空間尺寸，將高分辨率到低分辨率的卷積層串聯(lián)起來，進行分類處理。高分辨率SAR圖像中，不同類別艦船目標的尺度差異較大，串聯(lián)型CNN在對特征圖進行降采樣的過程中會出現(xiàn)特征信息丟失導(dǎo)致無法很好地區(qū)分小尺度艦船目標，從而影響艦船分類的準確率。

針對以上問題，本文提出一種多卷積神經(jīng)網(wǎng)絡(luò)融合的艦船分類算法。為了解決串聯(lián)型CNN 特征信息丟失的問題，構(gòu)建高分辨率卷積神經(jīng)網(wǎng)絡(luò)，對特征圖進行多尺度融合；為了減少SAR 數(shù)據(jù)集經(jīng)常出現(xiàn)的訓練過擬合問題，提出針對目標像素的數(shù)據(jù)集擴充方法，引入標簽平滑和微調(diào)模型方法；為了使分類結(jié)果更加精確，采用高分辨網(wǎng)絡(luò)、MobileNetv2 網(wǎng)絡(luò)和SqueezeNet網(wǎng)絡(luò)融合的方法。

1 高分辨率卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

高分辨率卷積神經(jīng)網(wǎng)絡(luò)由高分辨率和低分辨率并行的子網(wǎng)組成，多分辨率子網(wǎng)之間有重復(fù)的信息交換（多尺度融合）。該網(wǎng)絡(luò)的前2 層為2 個步長為2 的3×3 卷積層，隨后是高分辨率網(wǎng)絡(luò)的主干部分，由分辨率逐漸減半、通道數(shù)翻倍的并行子網(wǎng)組成的4 個階段。以一個高分辨率的子網(wǎng)作為第一階段開始，逐步增加高分辨率到低分辨率的子網(wǎng)，形成新的階段，并將多分辨率的子網(wǎng)并行連接。因此，后一階段并行子網(wǎng)的分辨率由前一階段的分辨率和一個較低的分辨率組成。高分辨率卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)見圖1。

圖1 高分辨率卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

如圖1 所示，藍色背景的4 個部分即為4 個階段，分別包含1、2、3、4 個子網(wǎng)，其中第一階段由一個與ResNet 相同的3 層殘差單元構(gòu)成，第2、第3、第4 階段的所有子網(wǎng)全部由2 個與ResNet 相同的2 層殘差單元構(gòu)成。在每個階段后會將不同分辨率的子網(wǎng)并行連接，進行多次的多尺度融合。

為了方便每個子網(wǎng)重復(fù)接收來自其他并行子網(wǎng)的信息，該網(wǎng)絡(luò)在并行子網(wǎng)中引入交換單元。圖2給出了第3階段信息交換方案的示例，圖2（a）、圖2（b）、圖2（c）分別為聚合高分辨率、中分辨率和低分辨率特征圖信息。

圖2 多尺度特征圖融合

假定網(wǎng)絡(luò)有r個子網(wǎng)，則輸入特征圖為：｛X1，X2，…，Xr｝，分辨率和通道數(shù)與輸入完全相同的輸出特征圖為｛Y1，Y2，…，Yr｝，每個輸出都是輸入映射的集合，即：

其中，Yk表示第k個子網(wǎng)的輸出，函數(shù)a（Xi，k）包含從子網(wǎng)i到子網(wǎng)k的上采樣或下采樣。下采樣單元由一個步長為2 的3×3 卷積組成；上采樣單元由一個步長為1的1×1卷積和最近鄰采樣組成。如果i=k，即不同階段的同一子網(wǎng)，a（·，·）僅為一個標識連接，此時a（Xi，k）=Xi。

圖3 給出了高分辨率網(wǎng)絡(luò)的分類部分。首先是由1 個3 層殘差單元組成的卷積層，將4 個子網(wǎng)的通道數(shù)從（16，32，64，128）增加到（128，256，512，1024），然后通過步長為2 的3×3 卷積對高分辨率子網(wǎng)進行降采樣，并將其添加到第2個高分辨率子網(wǎng)中，重復(fù)2次此過程，在低分辨率子網(wǎng)中得到通道數(shù)為1024 的特征圖，最后經(jīng)過1×1卷積將特征圖的通道數(shù)增加為2048，并進行全局平均池化，將得到的特征圖輸入到分類器中，即可得到分類結(jié)果。

圖3 高分辨率網(wǎng)絡(luò)分類部分

2 分類算法

本章介紹多卷積神經(jīng)網(wǎng)絡(luò)融合算法的實現(xiàn)流程、MobileNetv2 和SqueezeNet 的網(wǎng)絡(luò)結(jié)構(gòu)以及加權(quán)融合的方法。

2.1 多卷積神經(jīng)網(wǎng)絡(luò)融合算法

高分辨率SAR 圖像中，不同尺度的艦船目標的像素點數(shù)量有明顯差異，即尺度較大的艦船像素點數(shù)量要遠大于尺度較小的艦船像素點數(shù)量，因此利用串聯(lián)型CNN 網(wǎng)絡(luò)對其進行分類的時候，降采樣操作會導(dǎo)致艦船目標信息丟失的問題。

針對該問題，本文采用高分辨率網(wǎng)絡(luò)對高分辨率SAR 圖像進行初級分類。該初級分類旨在利用高分辨率網(wǎng)絡(luò)的多尺度融合特點，對艦船目標的特征進行重復(fù)訓練和學習，以提高小型艦船的分類準確率。然后借鑒集成分類器的思想，將初級分類結(jié)果與MobileNetv2 網(wǎng)絡(luò)和SqueezeNet 網(wǎng)絡(luò)的分類結(jié)果加權(quán)融合進行二級分類，根據(jù)3 個網(wǎng)絡(luò)由于結(jié)構(gòu)不同導(dǎo)致分類結(jié)果存在差異的特性，進一步精確化初級分類結(jié)果。在充分發(fā)揮高分辨率網(wǎng)絡(luò)分類性能優(yōu)勢的情況下彌補其不足，以提高艦船分類的準確率并增強分類模型的遷移能力。

本文提出的SAR 圖像艦船分類算法流程見圖4。該算法主要包括3個部分：

圖4 基于多卷積神經(jīng)網(wǎng)絡(luò)融合的SAR圖像艦船分類算法流程

1）數(shù)據(jù)集擴充。將數(shù)據(jù)集以7：3 的比例分為訓練集和測試集，通過本文所提的數(shù)據(jù)集擴充方法對訓練數(shù)據(jù)集進行擴充，增加訓練數(shù)據(jù)集的圖像樣本數(shù)，避免卷積神經(jīng)網(wǎng)絡(luò)訓練過擬合的問題。

2）初級分類。使用訓練數(shù)據(jù)集對高分辨率卷積神經(jīng)網(wǎng)絡(luò)進行訓練，并在測試數(shù)據(jù)集上進行測試，得出該分類模型初步的分類結(jié)果，計算出模型分類的準確率，作為算法的初級分類結(jié)果。

3）二級分類。使用訓練數(shù)據(jù)集訓練MobileNetv2網(wǎng)絡(luò)和SqueezeNet網(wǎng)絡(luò)，并設(shè)計融合規(guī)則對各個卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)果進行加權(quán)融合，對初級分類結(jié)果進行進一步的糾正，得出更加精確的二級分類結(jié)果。

2.2 MobileNetv2網(wǎng)絡(luò)結(jié)構(gòu)

MobileNetv2［25］是結(jié)合了深度可分離卷積和線性瓶頸逆殘差結(jié)構(gòu)的輕量級的注意力模型?；緲?gòu)造塊即為帶殘差的深度可分離卷積，詳細結(jié)構(gòu)如圖5所示。其輸入通過1×1卷積對特征圖進行升維，之后通過3×3可分離卷積層對圖像進行降采樣（步長大于1時），最后通過1×1卷積進行降維。逆殘差包含2種結(jié)構(gòu)，當步長為1時輸入和輸出會有捷徑直接相加（圖5（a）），當步長為2時輸入和輸出不會有捷徑直接相加（圖5（b））。

圖5 帶殘差的深度可分離卷積結(jié)構(gòu)

MobileNetV2 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1。首先是32通道的3×3 初始卷積層，然后是19 個逆殘差層，最后為1280通道的1×1卷積層和平均池化層。表1中t代表殘差模塊的擴展因子，c是輸出特征矩陣的通道數(shù)，n是逆殘差層的個數(shù)，s是每個模塊中第一個卷積層的步長，其余卷積層步長均為1，Dropout0.2 表示隨機失活20%神經(jīng)元。

表1 MobileNetv2網(wǎng)絡(luò)參數(shù)

2.3 SqueezeNet網(wǎng)絡(luò)結(jié)構(gòu)

圖6 SqueezeNet基本結(jié)構(gòu)Fire模塊

SqueezeNet 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表2。首先是64通道的7×7 卷積層，然后包括8 個Fire 塊、3 個最大池化層和1個平均池化層。表2中是Si擠壓層的輸入通道，So表示擠壓層的輸出通道，Eo，1是擴展層1×1 卷積的 輸 出 通 道，Eo，1是 擴 展 層3×3 卷 積 的 輸 出 通 道，Dropout0.5表示隨機失活50%神經(jīng)元。

表2 SqueezeNet網(wǎng)絡(luò)參數(shù)

2.4 標簽平滑

標簽平滑［27-28］是深度神經(jīng)網(wǎng)絡(luò)的一種有效正則化工具，它通過在均勻分布和真實標簽分布之間應(yīng)用加權(quán)平均來生成軟標簽。它通常用于減少訓練深度神經(jīng)網(wǎng)絡(luò)的過擬合問題，因此本文引入了標簽平滑方法進一步提高SAR圖像艦船分類性能。

給定一個包含K類目標的數(shù)據(jù)集Dtrain={ (xi，yi) }，其中xi表示輸入圖像，yi表示相應(yīng)的真實標簽。對于每個樣本（xi，y）i，深度學習模型預(yù)測一個概率p（k｜xi），表示該樣本屬于第k類目標的可能性。真實標簽yi的分布q可以表示為q（k=y｜ixi）=1和q=（k≠y｜ixi）=0。用于（xi，y）i樣本分類的標準交叉熵損失函數(shù)定義如下：

標簽平滑通過在均勻分布和真實標簽分布之間應(yīng)用加權(quán)平均來生成軟標簽，使用軟標簽代替硬標簽進行模型訓練。在軟標簽下，樣本xi為第k類目標的概率為：

其中，ε∈（0，1）為超參數(shù)，通常設(shè)為0.1。

2.5 多卷積神經(jīng)網(wǎng)絡(luò)融合規(guī)則

加權(quán)投票是集成學習的一種方法，經(jīng)常應(yīng)用于多分類模型算法，其給分類性能高的分類模型賦予一個高的權(quán)值，融合結(jié)果往往能利用單分類模型間的互補功能來減少單個分類模型的誤差，提高預(yù)測性能和分類精度［29］。多分類模型融合包括級聯(lián)方式和并聯(lián)方式，在級聯(lián)方式中一個模型的分類結(jié)果會影響另外一個模型的結(jié)果。為避免單個模型的分類錯誤造成目標的分類錯誤［30］，本文采用并聯(lián)方式對多個卷積神經(jīng)網(wǎng)絡(luò)進行融合。

針對SAR艦船圖像進行單模型訓練，得到N個分類模型。對于樣本{ }(xi，yi) ，N個分類模型的輸出結(jié)果分別為fi（x）（i=1，2，…，N），然后分別計算出3 個模型的分類準確率Ai（x），i=1，2，…，N，作為各個分類模型的權(quán)重，則融合后的分類模型輸出為：

根據(jù)融合模型的輸出確定最終的分類結(jié)果。

2017年5月，習近平在國際合作高峰論壇的開幕式發(fā)表演講，沿線130多個國家各界代表參加此次盛會，贏得了國際社會的高度關(guān)注與熱議。它對中國樹立大國形象、深化同沿線各國的互利合作、構(gòu)建新型國際關(guān)系意義重大。自2013年以來，“一帶一路”的倡議得到平穩(wěn)推行原因是多方面的。其中，習近平卓越的演講能力無疑為此起著直接推動作用。該文以習近平在國際合作高峰論壇開幕式上的演講為研究對象，運用同一理論對演講所采用修辭進行詳細分析，挖掘其修辭策略，并首次提出運用列數(shù)據(jù)、沿線國家共性典故等方式達到同情認同的修辭策略。

3 實驗結(jié)果和分析

在本章中，首先給出實驗數(shù)據(jù)集的介紹、實驗的參數(shù)設(shè)置和實驗結(jié)果評價指標，然后在SAR圖像數(shù)據(jù)集上對不同的分類模型進行對比實驗和消融實驗，驗證本文提出的算法以及算法所采用的策略的有效性。

3.1 GF-3數(shù)據(jù)集

本文實驗數(shù)據(jù)采用我國高分三號（GF-3）艦船分類數(shù)據(jù)集［14］。GF-3是中國第一顆民用全極化C波段SAR衛(wèi)星，主要用于海洋遙感應(yīng)用。本文采用的數(shù)據(jù)集共有450 幅3 m 分辨率SAR 圖像，其中散裝船100幅、漁船100幅、其他船只100幅、油輪100幅、虛警50幅。每一幅圖像數(shù)據(jù)像素大小均為256×256，艦船圖像如圖7 所示，從上到下各行的圖像分別是散裝船、漁船、油輪、其他船只和虛警。在本文的實驗中，對數(shù)據(jù)集進行了擴充，新數(shù)據(jù)集包含1890 幅訓練集圖像和135幅測試集圖像。

圖7 數(shù)據(jù)集中不同種類的船

3.2 數(shù)據(jù)擴充

為了更好地保留圖像重要信息，本文提出一種針對目標像素的新數(shù)據(jù)擴充方法。該方法具體思想為：對艦船目標像素進行旋轉(zhuǎn)、增亮等操作，填充空出的背景像素部分。該方法的流程圖見圖8，擴充后的數(shù)據(jù)集圖像見圖9。

圖8 本文所提數(shù)據(jù)擴充方法流程圖

圖9 本文所提數(shù)據(jù)擴充方法

本方法的實現(xiàn)步驟如下：

1）H-CFAR 算法求取初始閾值。統(tǒng)計圖像灰度直方圖分布并歸一化，給定虛警概率T，從閾值T=0開始依次增加，對小于等于閾值T的直方圖概率求和，直至滿足給定的虛警概率，該閾值即為初始閾值。

2）基于迭代刪減目標像素［31］的CFAR 檢測算法分割目標和背景。利用該初始閾值得到目標像素的索引矩陣，作為迭代刪減CFAR 算法的輸入，迭代刪減CFAR 算法不斷更新索引矩陣，直至索引矩陣不再變化，根據(jù)該索引矩陣分割圖像。

3）針對目標像素進行圖像數(shù)據(jù)擴充。對目標像素進行旋轉(zhuǎn)、增亮等操作，并用SAR圖像原本的背景像素對空出的背景部分進行填充，即可得到擴充數(shù)據(jù)集。

3.3 超參數(shù)設(shè)置

本文在利用卷積神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)集進行訓練的過程中，損失函數(shù)為基于標簽平滑的交叉熵損失函數(shù)，梯度計算方法采用自適應(yīng)時刻估計算法（Adam）。經(jīng)過大量的仿真結(jié)果對比，將學習速率設(shè)置為0.0002，訓練批尺寸設(shè)置為32，即每次從訓練集中隨機抽取32 幅圖片用于卷積神經(jīng)網(wǎng)絡(luò)一次迭代的參數(shù)更新。仿真迭代次數(shù)設(shè)置為200，即需要更新200次卷積神經(jīng)網(wǎng)絡(luò)參數(shù)。

3.4 實驗結(jié)果評價指標

本文實驗采用精確率precision、召回率recall 和F1分數(shù)f1-score對實驗結(jié)果進行評估。3個性能指標定義如下：

其中，TP 表示實際為正樣本中被識別為正樣本的比例，F(xiàn)N 表示表示實際正樣本中被識別為負樣本的比例，F(xiàn)P表示實際負樣本中被識別為正樣本的比例。

3.5 對比實驗

為了驗證基于多卷積神經(jīng)網(wǎng)絡(luò)融合的SAR 圖像艦船分類方法的有效性，本文利用GF-3 號艦船數(shù)據(jù)集對該方法進行實驗并與其他分類算法進行對比，對比實驗的分類結(jié)果見表3。

表3 對比實驗分類結(jié)果

從表3 可以看出，在不同的神經(jīng)網(wǎng)絡(luò)分類算法中，本文提出的基于多卷積神經(jīng)網(wǎng)絡(luò)融合的分類算法具有最好的分類性能，精確率達到94.83%，比其他網(wǎng)絡(luò)高2.15 個百分點～4.70 個百分點，召回率達到95.43%，比其他網(wǎng)絡(luò)高2.09 個百分點～5.45 個百分點，F(xiàn)1 分數(shù)為0.9513，比其他網(wǎng)絡(luò)高0.0212～0.0471。由此可知，本文所提分類算法在精確率、召回率和F1分數(shù)上都取得了最優(yōu)結(jié)果。

綜上所述，對比實驗的結(jié)果從分類精確率、召回率和F1分數(shù)等方面驗證了本文算法的有效性。

3.6 消融實驗

為了證明本文算法所采用策略的有效性，本文在所提算法的基礎(chǔ)上進行了6 組消融實驗，包括：1）傳統(tǒng)數(shù)據(jù)集擴充+卷積神經(jīng)網(wǎng)絡(luò)融合分類+標簽平滑+微調(diào)模型；2）邊緣像素擴展數(shù)據(jù)集擴充［20］+卷積神經(jīng)網(wǎng)絡(luò)融合分類+標簽平滑+微調(diào)模型；3）針對目標像素數(shù)據(jù)集擴充+神經(jīng)網(wǎng)絡(luò)加權(quán)融合分類+微調(diào)模型；4）針對目標像素數(shù)據(jù)集擴充+卷積神經(jīng)網(wǎng)絡(luò)融合分類+標簽平滑；5）針對目標像素數(shù)據(jù)集擴充+高分辨率網(wǎng)絡(luò)+標簽平滑+微調(diào)模型；6）針對目標像素數(shù)據(jù)集擴充+卷積神經(jīng)網(wǎng)絡(luò)融合分類方法+標簽平滑+微調(diào)模型（本文算法）。消融實驗的分類結(jié)果如表4所示。

表4 消融實驗分類結(jié)果

由表4可以進一步看出，本文所提的SAR 圖像艦船分類算法具有最優(yōu)的分類效果。消融實驗組1 和實驗組2 與本文算法對比可知，針對目標像素的數(shù)據(jù)集擴充方法分別比傳統(tǒng)的數(shù)據(jù)集擴充方法和邊緣像素擴展數(shù)據(jù)集擴充方法的分類性能優(yōu)越，精確率分別高2.90個百分點和2.48個百分點，召回率分別高2.93個百分點和3.78 個百分點，F(xiàn)1 分數(shù)分別高0.0292 和0.0313。消融實驗組3 和實驗組4 與本文算法對比，分別表明了標簽平滑和微調(diào)模型2 種策略的有效性，使用標簽平滑損失函數(shù)分類算法的精確率、召回率和F1 分數(shù)分別提高了2.20 個百分點、3.78 個百分點和0.0299，使用微調(diào)模型分類算法的精確率、召回率和F1 分數(shù)分別提高了4.65 個百分點、6.28 個百分點和0.0547。消融實驗組5 與本文算法對比，證明了多卷積神經(jīng)網(wǎng)絡(luò)融合算法比高分辨率網(wǎng)絡(luò)單模型算法的精確率、召回率和F1分數(shù)分別提高了1.30個百分點、1.09個百分點和0.0120。

綜上所述，消融實驗的實驗結(jié)果從分類精確率、召回率和F1分數(shù)等方面驗證了本文算法所用策略的有效性。

4 結(jié)束語

本文提出了一種基于多卷積神經(jīng)網(wǎng)絡(luò)融合的SAR 圖像艦船分類算法。該算法構(gòu)建了高分辨率卷積神經(jīng)網(wǎng)絡(luò)，對特征圖進行多尺度融合，初步提高了艦船分類的準確率，然后將該網(wǎng)絡(luò)的分類結(jié)果與MobileNetv2 網(wǎng)絡(luò)和SqueezeNet 網(wǎng)絡(luò)的分類結(jié)果加權(quán)融合，從而得到更加精確的分類結(jié)果；同時為了減少訓練過擬合的問題，提出了針對目標像素的數(shù)據(jù)集擴充方法以及引入了標簽平滑和微調(diào)模型等方法。利用GF-3 號SAR 艦船數(shù)據(jù)集進行了對比實驗和消融實驗，實驗結(jié)果驗證了本文所提算法的有效性。本文算法得到了較高的艦船分類準確率，未來將研究如何在保證該算法分類準確率的同時降低模型的參數(shù)規(guī)模，提高算法的分類效率。