鄭彤 雷鵬 王俊

摘要：由于合成孔徑雷達（SAR）圖像可讀性較差，所以對其進行目標檢測與識別處理的難度也較大。近年來，隨著深度學習（DL）方法的不斷發(fā)展，許多學者將其引入SAR圖像目標檢測與識別研究中。該類方法以數(shù)據(jù)為驅(qū)動。其中，監(jiān)督學習方法更以已標注的數(shù)據(jù)為基礎(chǔ)。但是，SAR圖像目標的標注通常是昂貴且耗時的。鑒于此，本文對已公開的SAR圖像目標數(shù)據(jù)集進行了歸納總結(jié)。首先，對典型的SAR系統(tǒng)平臺進行了介紹，具體包括星載SAR和機載SAR。其次，按照是否包含目標類型信息將已公開的SAR圖像目標數(shù)據(jù)集分為兩類，并分別對其進行了介紹。最后，為了說明上述數(shù)據(jù)集的建立具有現(xiàn)實意義，對近年來基于DL方法的SAR圖像目標數(shù)據(jù)集的應用情況進行了總結(jié)。這也從側(cè)面說明國內(nèi)外公開的SAR圖像目標數(shù)據(jù)集可助力基于DL的SAR圖像目標檢測與識別方法的研究。本文能夠為后續(xù)展開基于DL方法的SAR圖像目標的檢測與識別方法研究提供數(shù)據(jù)和研究思路的參考。

關(guān)鍵詞：深度學習；合成孔徑雷達圖像；SAR目標檢測與識別；監(jiān)督學習；SAR圖像目標數(shù)據(jù)集

中圖分類號：TN953文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.03.001

合成孔徑雷達（SAR）具有全天時、全天候的觀測能力，且在一定波段條件下可穿透云霧的遮擋。因此，SAR被廣泛應用于軍事、民用等領(lǐng)域[1-5]。但是，SAR圖像的可讀性較差，難以進行有效的信息提取。因此，SAR圖像目標檢測與識別研究顯得至關(guān)重要。

在傳統(tǒng)方法中，研究人員需通過人工提取SAR圖像特征來支持后續(xù)工作。近些年，深度學習（DL）在各個行業(yè)得到廣泛應用，也引起了SAR圖像目標檢測與識別領(lǐng)域研究人員的關(guān)注[6-7]。該類方法可以利用多層網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)特征的高維空間表達，且其層數(shù)越深，對應提取到的特征越接近語義級別。進而，該類方法可提升特征表達的完整性，并克服人工特征提取的局限性。因此，DL方法在SAR圖像目標檢測與識別領(lǐng)域得到了日益廣泛的關(guān)注。但是，DL方法大部分屬于數(shù)據(jù)驅(qū)動方法。其對應的網(wǎng)路結(jié)構(gòu)越復雜，模型過擬合的可能性越大。而數(shù)據(jù)量的增加可有效避免模型過擬合。因此，DL方法對數(shù)據(jù)量的需求較高。此外，DL中的監(jiān)督學習方法需要大量已標注的數(shù)據(jù)輔助模型訓練。對于SAR圖像，其標注過程是昂貴且耗時的。因此，樣本量是影響該研究發(fā)展的重要因素之一。本文將已公開的SAR圖像數(shù)據(jù)集情況進行總結(jié)歸納，為基于DL的SAR圖像處理提供研究基礎(chǔ)。

本文首先對已公開SAR圖像數(shù)據(jù)集的采集平臺進行概述，主要包括星載SAR和機載SAR兩種。進而，介紹已公開數(shù)據(jù)集的情況，包括不同數(shù)據(jù)集中所包含的數(shù)據(jù)量、SAR圖像分辨率等信息。最后，總結(jié)分析基于DL方法的已公開SAR圖像數(shù)據(jù)集的應用情況。

1 SAR系統(tǒng)平臺概述

SAR系統(tǒng)已廣泛應用于災害評估、海洋特性研究等民用領(lǐng)域[1-4]，以及戰(zhàn)場目標監(jiān)測等軍用領(lǐng)域[5]。根據(jù)搭載平臺的不同，主要可分為機載SAR系統(tǒng)與星載SAR系統(tǒng)。其中，機載SAR易于實現(xiàn)，成像分辨率較高，在多模式方面優(yōu)勢明顯；星載SAR由于運行軌道高，對應作用距離較長，所以運行穩(wěn)定。本節(jié)分別對典型機載SAR系統(tǒng)以及星載SAR衛(wèi)星平臺進行歸納總結(jié)。

1.1機載SAR發(fā)展概述

SAR可搭載于飛機（包含無人機）平臺。機載SAR具備受限條件少、易于實現(xiàn)、更具靈活性、能夠?qū)崟r成像等特點。機載SAR系統(tǒng)的研制工作起始于1955年，發(fā)展至90年代逐步進入應用階段。

1985年，美國噴氣推進實驗室（JPL）作為首個研制出機載SAR的團隊，將SAR搭載于CV990上進行試驗，并于1988年研究獲得10m分辨率的雷達成像結(jié)果。在此之后，許多國家開啟了機載SAR的研制，包括中國、德國、法國等。其中，德國宇航中心（DLR）研制出搭載在Dornier DO 228飛機上的E-SAR。應用該機載SAR數(shù)據(jù)，不僅可以作為信號處理算法有效性驗證的基礎(chǔ)，同時還可以作為地質(zhì)、農(nóng)業(yè)、森林等實際應用場景的研究工具。2006年，DLR研發(fā)了F-SAR系統(tǒng)。其作為對E-SAR系統(tǒng)的升級，分辨率提升了10倍。此外，法國國家空間研究中心（ONERA）研制的安裝在TRANSALL C16上的RAMSES機載SAR系統(tǒng)可在多波段、多模式下工作。2013年，ONERA利用上述系統(tǒng)開展了高分辨率的多視角SAR融合成像研究。而我國機載SAR技術(shù)起步較晚，最早于20世紀70年代由中科院電子所開展機載SAR技術(shù)的研究，并且于1994年和2004年分別研制出分辨率為10m和1m的機載SAR圖像。2016年前后，由中科院電子所，中電科14所、38所，航天504所等研制出超高分辨率SAR成像系統(tǒng)樣機。該樣機可獲得分辨率為0.1m的SAR圖像。由多個國家研制的典型機載SAR情況匯總見表1[8]。

1.2星載SAR發(fā)展概述

歷史上，首顆攜帶SAR系統(tǒng)的衛(wèi)星是1978年由美國國家航空航天局（NASA）發(fā)射的SEASAT，距今有40多年的歷史。此后，多個國家進行相關(guān)研究并發(fā)射攜帶SAR系統(tǒng)的衛(wèi)星。具體衛(wèi)星的發(fā)射時間以及發(fā)射地如圖1所示。其中，典型的星載SAR載體，即衛(wèi)星包括TerraSAR-X[9]、TanDeM-X[10]、RADARSAT-2[11]、Sentinel-1[12]、GF-3[13]等。圖2為上述衛(wèi)星的示意圖。其中，TerraSAR-X、TanDeM-X衛(wèi)星均由德國發(fā)射。其中，TerraSAR-X衛(wèi)星SAR工作波段為X波段，成像模式包括聚束模式、條帶模式和寬掃模式。并且，對應成像模式不同，成像分辨率也有不小差距。TerraSAR-X與其“姊妹”衛(wèi)星TanDeM-X編隊飛行在太空，形成首個SAR干涉儀。此外，由加拿大太空署與MDA公司合作發(fā)射了RADARSAT-2衛(wèi)星。對應星載SAR包含11種波束模式，這使得該SAR衛(wèi)星數(shù)據(jù)攜帶更多信息。由歐洲航天局（ESA）發(fā)射的Sentinel-1衛(wèi)星具體包括兩顆衛(wèi)星，即Sentinel-1A和Sentinel-1B。其中，SAR可實現(xiàn)全天時、全天候觀測，并實現(xiàn)干涉測量，工作波段為C波段。如今，Sentinel-1A衛(wèi)星SAR數(shù)據(jù)已用于抗洪救災、海洋、監(jiān)測、森林。此外，我國也進行了星載SAR的相關(guān)研究，并于2016年發(fā)射了GF-3衛(wèi)星。該衛(wèi)星作為首顆分辨率達到1m的C波段多極化SAR成像衛(wèi)星。

2國內(nèi)外公開的SAR目標數(shù)據(jù)集

截至目前，國內(nèi)外多個團隊搭建并公開了SAR目標數(shù)據(jù)集。本節(jié)重點介紹已搭建數(shù)據(jù)集的情況，具體包括MSTAR數(shù)據(jù)集[14]、OpenSARShip系列[15-16]、SAR艦船檢測數(shù)據(jù)集（SSDD）[17-18]、中國科學院空天信息創(chuàng)新研究院的SAR艦船檢測數(shù)據(jù)集（AIR-SARShip）[19]、SAR圖像船舶檢測數(shù)據(jù)集（SARShip dataset）[20]、高分辨率SAR圖像數(shù)據(jù)集（HRSID）[21]、FUSAR[22]數(shù)據(jù)集。

2.1含目標類型信息的數(shù)據(jù)集

由美國國防高級研究計劃局（DARPA）和空軍研究實驗室（ADRL）聯(lián)合資助構(gòu)建了MSTAR數(shù)據(jù)集。該數(shù)據(jù)集為SAR ATR領(lǐng)域中應用最為廣泛的數(shù)據(jù)集之一。其SAR圖像切片采集自X波段機載SAR成像結(jié)果，且目標包括BMP2、BRDM2、BTR60、BTR70、D7、T62、T72、ZIL131、ZSU234、2S1共10類。該數(shù)據(jù)集中SAR圖像分辨率為0.3m×0.3m，且大部分目標圖像大小為128px×128px。其中，俯仰角分別為15°和17°的數(shù)據(jù)得以被大量學者所使用，表2顯示了在該兩組俯仰角情況下10種類型的目標切片數(shù)量。

上海交通大學智能感知與識別重點實驗室分別于2017年和2019年公開了OpenSARShip數(shù)據(jù)集和OpenSAR Ship2.0數(shù)據(jù)集，復旦大學電磁波信息科學重點實驗室于2020年公開了FUSAR數(shù)據(jù)集，二者均為艦船目標數(shù)據(jù)集，且均包含艦船目標類型的信息，可用于目標識別研究。雖然上述數(shù)據(jù)集均包含目標類型信息，但在其他方面仍有一定的差異。

首先，在衛(wèi)星選擇方面，OpenSARShip系列SAR圖像采集自Sentinel-1A衛(wèi)星，而FUSAR數(shù)據(jù)采集自GF-3衛(wèi)星。這直接導致了兩個數(shù)據(jù)集的SAR圖像分辨率存在很大差異。OpenSARShip系列數(shù)據(jù)集中包含兩類數(shù)據(jù)，對應的分辨率包括20m×22m、（2.7～3.5m）×22m；FUSAR中數(shù)據(jù)分辨率較高，為（1.7～1.754m）×1.124m。此外，兩數(shù)據(jù)集包含的SAR圖像數(shù)量、艦船目標數(shù)量、艦船目標切片數(shù)量均有所不同。OpenSARShip數(shù)據(jù)集從41景SAR原始圖像中獲取了11346個艦船切片，OpenSARShip2.0則從87景SAR原始圖像中獲取了34528個艦船切片。FUSAR是從128景原始SAR圖像中獲取了5243個艦船切片。顯而易見，OpenSARShip系列數(shù)據(jù)集中包含的艦船切片數(shù)量明顯較多。在切片尺寸方面，OpenSARShip系列數(shù)據(jù)集中切片尺寸是根據(jù)實際艦船目標尺寸而定，且每個切片僅包含一個目標。首先，取出目標在方位向和距離向上投影的最大值l；之后，以目標中心點O為中心，截取切片，且保證切片的長、寬均為4l。而FUSAR中，每個切片尺寸均為512px×512px，即其中每個切片中可能不止包含一個艦船目標。在目標的類型方面，兩個數(shù)據(jù)集也有一定差異。其中，OpenSARShip系列數(shù)據(jù)集總共包含17類艦船目標，包括Cargo、Tanker、Tug等。而FUSAR包含15類艦船目標，包括Cargo、DiveVessel、Tanker等。這15類艦船目標內(nèi)部又可分為98個小類別。在文件存儲方面，圖3顯示了兩個數(shù)據(jù)集的樣本存儲情況?？梢悦黠@看出，OpenSARShip針對每個原始SAR圖像進行單獨存儲，其中包含Patch文件夾、Patch_Uint8文件夾、Patch_RGB文件夾、Patch_Cal文件夾以及Ship.xml、Metedata.xml、Readme.pdf。Patch文件夾存儲的是直接對原始SAR圖像進行截取的目標切片，并運用MATLAB將原始圖像進行0～255的灰度化處理，得到結(jié)果存儲到Patch_Uint8文件夾中。此外，該團隊對原始圖像使用SNAP3.0[23]工具進行輻射校準，結(jié)果存儲到Patch_Cal文件夾中。通過MATLAB對校準后圖像進行處理，得到的偽彩色圖像存儲到Patch_RGB文件夾中。其目標切片類別通過每個文件的命名情況可以進行區(qū)分，例如，Carge_x162_y 7916文件對應的目標類別為“Cargo”，即貨船。此外，兩個xml文件分別記錄了艦船目標的詳細信息以及對應SAR原始圖像的信息，包括用于確定艦船類型的自動識別系統(tǒng)（AIS）信息以及SAR成像過程中涉及的數(shù)據(jù)采集時間、物理位置、俯仰角情況等信息。對于FUSAR數(shù)據(jù)集而言，其根據(jù)不同類別進行文件夾劃分，一級文件夾包括Cargo、Fishing、Dredger、Passenger等，總共15類目標，對應15個一級文件夾。在每個一級文件夾下又有小類的細分，例如，在Cargo文件夾下包含Aggregates Carrier、BulkCarrier、ContainerShip等。而在每個小類文件夾內(nèi)部則包含該類目標切片，且所有切片尺寸均固定為512px×512px。

2.2無目標類型信息的數(shù)據(jù)集

本部分主要總結(jié)無艦船目標類型信息的SAR圖像目標數(shù)據(jù)集。這些數(shù)據(jù)集中包含具體的目標位置信息，因此可用于SAR圖像目標檢測算法的研究。它們主要包括由海軍航空航天大學公開的SSDD系列、中國科學院遙感與數(shù)字地球研究所數(shù)字地球科學重點實驗室公開的SARShip dataset、中國科學院空天信息創(chuàng)新研究院公開的AIRSARShip系列以及電子科技大學公開的HRSID。其中，AIR-SARShip系列數(shù)據(jù)集中的數(shù)據(jù)采集自單一GF-3衛(wèi)星，其他數(shù)據(jù)集均包含采集自多個衛(wèi)星的數(shù)據(jù)。

2019年和2020年，中國科學院空天信息創(chuàng)新研究院先后公開了AIR-SARShip1.0和AIR-SARShip2.0數(shù)據(jù)集。其中，AIR-SARShip1.0包含31景SAR原始圖像，每幅圖像尺寸約為3000px×3000px，分辨率包含1m和3m兩種情況。其按照PASCAL VOC數(shù)據(jù)格式進行標注，保存為.xml文件格式，如圖4（a）所示。可以看出，該.xml文件明確記錄了每個艦船目標的邊框坐標情況。可根據(jù)標注結(jié)果截取出等尺寸的艦船目標切片，如圖4（b）所示。AIR-SARShip2.0中包含300景尺寸為1000px×1000px的SAR原始圖像，其中包含7678個艦船目標，且目標標注信息同樣保存到.xml文件中。

基于多源SAR圖像的公開數(shù)據(jù)集情況見表3?？梢钥闯觯捎谶@些數(shù)據(jù)集的數(shù)據(jù)采集自多個衛(wèi)星，單個數(shù)據(jù)集內(nèi)部數(shù)據(jù)的分辨率差異較大，且在每個數(shù)據(jù)集內(nèi)部并未標注每個切片對應的分辨率情況，這可能因信息不足導致后續(xù)檢測算法性能受到影響。其中，SSDD系列主要包含最初發(fā)布的SSDD數(shù)據(jù)集，以及后續(xù)SSDD+數(shù)據(jù)集。該SSDD+數(shù)據(jù)集將SSDD數(shù)據(jù)中垂直目標邊框做了旋轉(zhuǎn)，得到旋轉(zhuǎn)后的目標位置標注，使標注信息更加準確。

3基于公開SAR目標數(shù)據(jù)集的DL方法應用

上述公開數(shù)據(jù)集已被廣泛應用于以DL方法為基礎(chǔ)的SAR圖像目標檢測與識別領(lǐng)域。本節(jié)分別總結(jié)了不同數(shù)據(jù)集在DL方法研究中的應用情況。

3.1 MSTAR數(shù)據(jù)集的DL應用

MSTAR數(shù)據(jù)集相較于其他已公開的數(shù)據(jù)集而言，具有分辨率較高的特點，且其公開的時間較早。因此，MSTAR數(shù)據(jù)集成為SAR圖像目標檢測與識別研究中應用最廣泛的數(shù)據(jù)集。

針對SAR目標圖像小樣本量的特點會影響DL方法應用的問題，航天工程大學研究生院團隊和復旦大學團隊分別提出通過生成對抗網(wǎng)絡(luò)（GAN）以及對抗自編碼器（AAE）進行MSTAR數(shù)據(jù)集的數(shù)據(jù)增強[24-25]。與上述數(shù)據(jù)增強方式不同，上海交通大學團隊提出一種名為排序損失模塊（RLM）的自動學習方式。該方法可自主篩選出值得應用的數(shù)據(jù)，并使用對數(shù)據(jù)量需求較小的低復雜度DL方法進行識別處理[26]。

此外，為了提升目標識別準確率，針對MSTAR數(shù)據(jù)集進行的相關(guān)應用研究，主要包括DL模型的改進、遷移學習的引入和相位信息的引入。

在DL模型改進方面，主要的改進方向包含特征提取、損失函數(shù)、分類器和網(wǎng)絡(luò)學習策略等部分。其中，在特征提取中，為了使得網(wǎng)絡(luò)學習能夠兼顧多分辨率圖像的特征提取，研究人員提出通過多級特征融合的方式替代經(jīng)典逐層處理的模式。例如，中科院團隊提出一個輕量的雙流CNN[27]。其在該網(wǎng)絡(luò)的特征提取部分，先通過三個交替的卷積層和最大池化層提取低層特征，然后利用一個通道進行全局最大池化獲得局部特征，另一通道使用大步長卷積核提取全局特征，最后將兩通道特征進行融合。據(jù)此，該網(wǎng)絡(luò)實現(xiàn)了多級特征的融合。基于MSTAR數(shù)據(jù)集得到的測試準確率高達99.71%，且其網(wǎng)絡(luò)參數(shù)量最多占該領(lǐng)域其他CNN模型的1/5。此外，在損失函數(shù)方面，為了使得網(wǎng)路結(jié)構(gòu)更適應SAR圖像情況，北京理工大學團隊提出利用一種判別損失函數(shù)代替經(jīng)典CNN中常用的損失函數(shù)。在測試過程中，該方法獲得的識別率較經(jīng)典稠密連接CNN有2%左右的提升[28]。在分類器選擇方面，北京航空航天大學、上海交通大學等團隊均展開了相關(guān)研究。其中，大部分研究是將支持向量機（SVM）引入其中[29-30]。最后，在網(wǎng)絡(luò)學習策略改進中，國防科技大學和電子科技大學為典型的研究團隊[31-33]。其中，參考文獻[33]提出基于異質(zhì)CNN的SAR目標識別方法，通過集成學習理論有效地結(jié)合異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)，使得泛化能力和識別性能均有所提升，且其所需訓練樣本量有所減少。

此外，在遷移學習的引入方面，參考文獻[34]指出常見遷移方法是將基于光學圖像訓練的網(wǎng)絡(luò)遷移至SAR圖像。但是，光學圖像一般表現(xiàn)為三通道圖像，而與單通道SAR圖像有所差異，為遷移學習帶來了一定的困難。據(jù)此，該文獻提出通過子孔徑分解算法，將單通道SAR圖像分解為三通道偽圖像形式，有助于其適應預訓練網(wǎng)絡(luò)的結(jié)構(gòu)?；?MSTAR數(shù)據(jù)集進行10類目標分類，該方法獲得的識別準確率高達99.88%。

在利用復數(shù)數(shù)據(jù)結(jié)構(gòu)的相位信息方面，中科院團隊[35]提出復數(shù)CNN模型，實現(xiàn)在SAR圖像的復值域。并且，在通道間通過學習的方式確定同一層、不同通道特征的重要程度。從而，根據(jù)該重要程度提升有用特征，抑制無用特征，有效地提升了基于MSTAR數(shù)據(jù)集的10類目標分類準確率。

3.2 SSDD系列數(shù)據(jù)集的DL應用

由于SSDD數(shù)據(jù)集在艦船目標數(shù)據(jù)集中公開時間較早，近些年基于DL的SAR圖像艦船目標處理大部分通過SSDD數(shù)據(jù)集進行驗證。其主要的研究方向包括SAR圖像艦船目標分割[36]和檢測兩部分。其中，在基于SSDD數(shù)據(jù)集進行的研究中，艦船目標檢測研究占絕大多數(shù)。例如，有學者以SSDD數(shù)據(jù)集為基礎(chǔ)，對多個基于CNN模型的檢測器進行性能評估[37]。但是，對于大場景SAR圖像進行艦船目標檢測存在較多困難。例如，由于SAR圖像分辨率的不同導致同一目標尺寸差距較大；再者，由于實際場景情況復雜，對于不同場景采集到的樣本量難以達到平衡。針對這些問題，分別有學者基于SSDD數(shù)據(jù)集展開研究。

對于多尺度問題，國防科技大學和電子科技大學分別在2019年提出將注意力機制引入DL模型[38-39]，輔助解決多尺度數(shù)據(jù)對檢測性能的影響。此外，電子科技大學團隊提出基于稠密注意金字塔網(wǎng)絡(luò)（DAPN）進行SAR艦船目標檢測[40-41]。該網(wǎng)絡(luò)能將自頂向下提取到的多級特征進行基于卷積模塊注意模型（CBAM）的稠密連接，進而將融合的特征圖輸入檢測子網(wǎng)中，最終實現(xiàn)了多尺度艦船檢測。

對于數(shù)據(jù)不平衡問題，電子科技大學團隊在近兩年發(fā)表多篇文章，進行了相關(guān)內(nèi)容研究。例如，參考文獻[42]提出一種基于平衡場景的近岸艦船檢測學習機制。該學習機制主要包括三部分：（1）在無監(jiān)督學習基礎(chǔ)上，采用GAN提取SAR圖像的場景特征；（2）使用這些特征，由K-means聚類方法進行場景二值聚類，即包括近岸和近海；（3）通過復制、旋轉(zhuǎn)或添加噪聲來增加小樣本數(shù)據(jù)量，以平衡另一個近海的大樣本集，從而消除場景學習偏差，并獲得均衡的學習表達能力，增強學習效果和檢測精度。

3.3 OpenSARShip系列數(shù)據(jù)集的DL應用

基于OpenSARShip系列數(shù)據(jù)集開展的研究主要集中在目標檢測與識別準確率的提升、基于半監(jiān)督學習的目標識別方法以及基于遷移學習的目標識別方法。

首先，在目標檢測、識別準確率提升方面，國防科技大學[43]和哈爾濱工業(yè)大學[44]為該研究的典型團隊。其中，國防科技大學團隊為了克服SAR艦船目標識別中標注樣本量少以及目標稀疏的問題，提出一個SAR圖像艦船目標檢測方法。其創(chuàng)新點在于其主干網(wǎng)絡(luò)由多個稠密連接模塊組成，增加輔助的監(jiān)督信息；此外，使用交叉熵損失函數(shù)解決前景與背景樣本量失衡的問題；進而，通過特征圖得分進行位置編碼，獲取艦船建議區(qū)域。將該方法與經(jīng)典方法進行比較，召回率有至少2%的提升。

針對SAR圖像已標注目標樣本數(shù)量較少導致復雜網(wǎng)絡(luò)過擬合的問題，有學者研究基于半監(jiān)督學習方法進行SAR目標識別算法研究。例如，參考文獻[45]提出了一種基于GAN的半監(jiān)督學習方法。分別使用OpenSARShip數(shù)據(jù)集中80%、60%、40%、20%的標記數(shù)據(jù)進行試驗，該方法較隨機初始化方法相比識別精度至少提升23.58%。

此外，有學者采用遷移學習的方式，將基于光學圖像訓練的網(wǎng)絡(luò)遷移至SAR圖像。其中，國防科技大學團隊[46]較早地在SAR圖像目標識別領(lǐng)域使用了該方法。其運用MSTAR數(shù)據(jù)集訓練一個基于CNN模型的目標識別網(wǎng)絡(luò)。此外，中科院團隊[47]針對基于SAR圖像的遷移學習有了更深入的研究。研究內(nèi)容包括：（1）適于遷移到SAR圖像處理中的網(wǎng)絡(luò)結(jié)構(gòu)和源任務的特點；（2）適于遷移到SAR圖像處理中學習層的特點；（3）有效地進行SAR目標識別遷移。在此基礎(chǔ)上，該團隊提出了一種多源數(shù)據(jù)遷移方法，減小源數(shù)據(jù)與SAR目標之間的差異。該研究同樣以O(shè)penSARShip數(shù)據(jù)集為基礎(chǔ)進行試驗分析。

3.4其他公開數(shù)據(jù)集的DL應用

由于其他幾組數(shù)據(jù)集公開時間較晚，其對應已發(fā)表的研究成果比較少。對于SARShip dataset來說，該數(shù)據(jù)集的制作團隊進行了基于該數(shù)據(jù)集的相關(guān)研究。例如，參考文獻[48]提出運用RetinaNet目標檢測器進行SAR圖像目標檢測。首先，利用FPN提取多尺度特征；然后，將局部損失用于解決類別失衡問題，并在訓練過程中增加難例的影響。此外，基于AIR-SARShip數(shù)據(jù)集，中科院團隊[49]進行了SAR艦船目標檢測研究?？紤]到SAR圖像中艦船目標的稀疏性，提出一種名為特征平衡和細化的網(wǎng)絡(luò)（feature balancing and refinement network， FBR-Net）。該方法首先通過直接學習編碼邊界框的通用無錨框策略消除錨框的影響。其次，利用注意引導的平衡金字塔去平衡不同水平的多語義特征，幫助檢測器更多地學習復雜場景下小尺度艦船的信息。試驗表明該方法的檢測準確率提升8%以上，召回率提升3%以上，F(xiàn)1指標提升5%以上。針對HRSID數(shù)據(jù)集，參考文獻[50]提出通過樣本遷移和知識遷移兩個模塊，生成模擬SAR圖像，增加了數(shù)據(jù)量，并用于進行SAR艦船目標的檢測。另外，參考文獻[51]提出的Tiny YOLO-Lite網(wǎng)絡(luò)包含主干網(wǎng)絡(luò)和網(wǎng)絡(luò)剪枝實現(xiàn)。其中，剪枝處理增強了通道級別的稀疏性，并生成了一個緊湊的模型。該方法還通過知識蒸餾來彌補由于網(wǎng)絡(luò)剪枝造成的性能下降。為了適應復雜背景，該文獻引入注意力機制，并將其附加到蒸餾特征中，以增強其特征表達能力。該處理使模型的參數(shù)量與多個經(jīng)典CNN模型相比至少下降5倍，而檢測準確率并未下降。

4結(jié)束語

數(shù)據(jù)是基于DL的SAR圖像目標檢測與識別研究的重要基礎(chǔ)。本文旨在對已公開的SAR圖像目標數(shù)據(jù)集情況進行歸納總結(jié)。首先，本文對SAR系統(tǒng)平臺的發(fā)展情況進行了概述。無論是機載SAR系統(tǒng)還是星載SAR系統(tǒng)均可作為SAR圖像采集源頭，為SAR圖像目標數(shù)據(jù)集的建立提供了基礎(chǔ)。其中，機載SAR系統(tǒng)更易實現(xiàn)，且成像分辨率更高；星載SAR系統(tǒng)運行軌道較高，且運行更為穩(wěn)定。其次，對已公開的SAR圖像目標數(shù)據(jù)集情況進行了歸納總結(jié)。本文根據(jù)是否包含目標類型的信息，將這些數(shù)據(jù)集分成兩類。其中，MSTAR、OpenSARShip、FUSAR數(shù)據(jù)集均為包含目標類型信息的數(shù)據(jù)集。并且，MSTAR為車輛目標數(shù)據(jù)集，OpenSARShip系列、FUSAR為艦船目標數(shù)據(jù)集。另外，SSDD、SARShip dataset、AIR-SARShip系列、HRSID均為不包含目標類型信息的典型SAR艦船目標數(shù)據(jù)集。在這部分數(shù)據(jù)集中，僅AIR-SARShip系列數(shù)據(jù)集的數(shù)據(jù)采集自單一源。最后，本文還對這些典型SAR圖像目標數(shù)據(jù)集的相關(guān)應用進行了總結(jié)?？梢钥闯?，對于包含目標類型信息的數(shù)據(jù)集可進行目標檢測與識別方法的研究，而對于無目標類型信息的數(shù)據(jù)集僅可進行目標檢測方法的研究。這些應用也進一步證明了SAR圖像目標數(shù)據(jù)集的建立為基于DL的SAR圖像目標檢測與識別方法研究提供了數(shù)據(jù)支持。據(jù)此，本文所綜述內(nèi)容為后續(xù)基于DL的SAR圖像目標檢測與識別提供數(shù)據(jù)和研究思路的參考。

參考文獻

[1]Ran L，Liu Z，Li T，et al. Extension of map-drift algorithm for highly squinted SAR autofocus[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2017，10（9）：4032-4044.

[2]Xie Y，Yang C，Yang X，et al. Finite word length optimization for spaceborne SAR imaging systems[C]// IEEE Radar Conference，2015.

[3]Shi L，Karvonen J，Cheng B，et al. Sea ice thickness retrieval from SAR imagery over Bohai sea[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2014.

[4]Singh G，Venkataraman G，Yamaguchi Y，et al. Capability assessment of fully polarimetric ALOS PALSAR data for discriminating wet snow from other scattering types in mountainous regions[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（2）：1177-1196.

[5]Srinivas U，Monga V，Raj R G.SAR automatic target recognition using discriminative graphical models[C]// IEEE International Conference on Image Processing，2011.

[6]宋婷，賀豐收，程宇峰.深度學習技術(shù)在雷達目標檢測中的研究進展[J].航空科學技術(shù)， 2020， 31（10）：12-20. Song Ting， He Fengshou， Cheng Yufeng. Research progress of deeplearningtechnologyinradartargetdetection[J]. Aeronautical Science & Technology， 2020， 31（10）：12-20. （in Chinese）

[7]徐頂國，魏子豪，駱盛，等.低RCS目標雷達散射特性增強方法研究[J].航空科學技術(shù)， 2021， 32（5）：39-43. Xu Dingguo， Wei Zihao， Luo Sheng， et al. Study on the method to enhance the scattering characteristics of the low RCS targets[J]. Aeronautical Science & Technology， 2021， 32（5）：39-43. （in Chinese）

[8]曲長文，何友，龔沈光.機載SAR發(fā)展概況[J].現(xiàn)代雷達， 2002， 24（1）：1-10. Qu Changwen， He You， Gong Shenguang. A survey of airborne SAR development[J]. Modern Radar， 2002， 24（1）： 1-10. （in Chinese）

[9]Moreira A，Krieger G，Hajnsek I，et al. TanDEM-X：a TerraSAR-X add-on satellite for single-pass SAR interferometry[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2004.

[10]Hajnsek I，Krieger G，Werner M，et al. TanDEM-X：A satellite formation for high-resolution SAR interferometry[J]. IEEE Transactions on Geoscience and Remote Sensing，2007，45（11）：3317-3341.

[11]Qi Z，Yeh G O，Li X，et al. A novel algorithm for land use and land cover classification using RADARSAT-2 polarimetric SAR data[J]. Remote Sensing of Environment，2012，118：21-39.

[12]Zbyněk M，Rott H，Cihlar J，et al. Sentinels for science：Potential of Sentinel-1，-2，and -3 missions for scientific observations of ocean，cryosphere，and land[J]. Remote Sensing of Environment，2012，120：91-101.

[13]張慶君.高分三號衛(wèi)星總體設(shè)計與關(guān)鍵技術(shù)[J].測繪學報， 2017（3）：269-277. Zhang Qingjun. System design and key technologies of the GF-3 satellite[J]. Acta Geodaetica et Cartographica Sinica， 2017（3）： 269-277. （in Chinese）

[14]The sensor data management system，MSTAR public dataset[EB/OL]. [2009-04-04]. Https：//www.sdms.afrl.af.mil/index. php？collection=mstar.

[15]Huang L，Liu B，Li B，et al. OpenSARShip：a dataset dedicated to Sentinel-1 ship interpretation[J]. IEEE Journal of Selected Topic in Applied Earth Observations and Remote Sensing，2018，11：195-208.

[16]Li B，Liu B，Huang L，et al. OpenSARShip 2.0：A largevolume dataset for deeper interpretation of ship targets in Sentinel-1 imagery[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[17]Li J，Qu C，Shao J. Ship detection in SAR images based on an improved faster R-CNN[C]// SAR in Big Data Era：Models，Methods andApplications（BIGSARDATA），2017.

[18]李健偉，曲長文，邵嘉琦，等.基于深度學習的SAR圖像艦船檢測數(shù)據(jù)集及性能分析[C]//第五屆高分辨率對地觀測學術(shù)年會， 2018. Li Jianwei， Qu Changwen， Shao Jiaqi， et al. Dataset and performance analysis of ship detection methods based on deep learning[C]// The Fifth Annual Conference on High Resolution Earth Observation， 2018. （in Chinese）

[19]孫顯，王智睿，孫元睿，等. AIR-SARShip-1.0：高分辨率SAR艦船檢測數(shù)據(jù)集[J].雷達學報， 2019， 8（6）：852-862. Sun Xian， Wang Zhirui， Sun Yuanrui， et al.AIR-SARShip-1.0： High-resolution SAR ship detection dataset[J]. Journal of Radars， 2019， 8（6）：852-862. （in Chinese）

[20]Wang Y，Wang C，Zhang H，et al. A SAR dataset of ship detection for deep learning under complex backgrounds[J].Remote Sensing，2019，11（7）：765.

[21]Wei S，Zeng X，Qu Q，et al. HRSID：A high-resolution SAR images dataset for ship detection and Instance segmentation[J]. IEEEAccess，2020，8：120234-120254.

[22]Hou X，Wei A，Song Q，et al. FUSAR-Ship：Building a highresolution SAR-AIS matchup dataset of Gaofen-3 for ship detection and recognition[J]. Science China，2020，63（4）：36-54.

[23]ESA Cookie Policy，Copernicus Open Access Hub[EB/OL].[2014-08-01]. Https：//scihub.copernicus.eu/.

[24]Lu Q，Li G，Jiang H，et al. Data augmentation method of SAR image dataset based on Wasserstein generative adversarial[C]// International Conference on Electronic Engineering and Informatics（EEI），2019.

[25]Song Q，Xu F，Zhu X，et al. Learning to generate SAR images with adversarial autoencoder[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，10：1-15.

[26]Zhou Y，Jiang X，Li Z，et al. SAR target classification with limited data via data driven active learning[C]//IEEE InternationalGeoscienceandRemoteSensingSymposium（IGARSS），2020.

[27]Huang X，Yang Q，Qiao H，Lightweight two-stream convolutional neural network for SAR target recognition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[28]Long Y，Jiang X，Liu X，et al. SAR ATR with rotated region based on convolution neural network[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[29]Wu T，Yen Y，Wang J H，et al.Automatic target recognition in SAR images based on a combination of CNN and SVM[C]// International Workshop on Electromagnetics：Applications and Student Innovation Competition（iWEM），2020.

[30]Xia X，Yuan Y. Combination of multi-scale convolutional networks and SVM for SAR ATR[C]// IEEE Advanced Information Management，Communicates，Electronic and Automation Control Conference（IMCEC），2018.

[31]Zhang Y，Guo X，Ren H，et al. Multi-view fusion based on expectation maximization for SAR target recognition[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2020.

[32]Pan Z，Bao X，Zhang Y，et al. Siamese network based metric learning for SAR target classification[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[33]Xue Y，Pei J，Huang Y，et al. Target recognition for SAR images based on heterogeneous CNN ensemble[C]// IEEE Radar Conference，2018.

[34]Wang Z，F(xiàn)u X，Xia K. Target classification for single-channel SAR images based on transfer learning with subaperture decomposition[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[35]Sun Z，Xu X，Pan Z. SAR ATR using complex-valued CNN[C]//Asia-Pacific Conference on Image Processing，Electronics and Computers（IPEC），2020.

[36]蘇浩.基于深度學習的遙感圖像目標檢測方法[D].成都：電子科技大學，2020. Su Hao. Object detection method for remote sensing imagery based on deep learning[D]. Chengdu： University of Electronic Science and Technology of China， 2020. （in Chinese）

[37]Han L，Zheng T，Ye W，et al. Analysis of detection performance to CNN based SAR ship detectors[C]// Information Communication Technologies Conference（ICTC），2020.

[38]Chen C，He C，Hu C，et al. A deep neural network based on an attention mechanism for SAR ship detection in multiscale and complex scenarios[J]. IEEE Access，2019，7：104848-104863.

[39]Gui Y，Li X，Xue L，et al. A scale transfer convolution network for small ship detection in SAR images[C]// IEEE 8th Joint International Information Technology and Artificial Intelligence Conference（ITAIC），2019.

[40]Li Q，Min R，Cui Z，et al. Multiscale ship detection based on dense attention pyramid network in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2019.

[41]Cui Z，Li Q，Cao Z，et al. Dense attention pyramid networks for multi-scale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（11）：8983-8997.

[42]Zhang T，Zhang X，Shi J，et al. Balance scene learning mechanism for offshore and inshore ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[43]Deng Z，Sun H，Zhou S，et al. Learning deep ship detector in SAR images from scratch[J]. IEEE Transactions on Geoscience and Remote Sensing，2019，57（6）：4021-4039.

[44]Li Y，Li X，Sun Q，et al. SAR image classification using CNN embeddings and metric learning[J]. IEEE Geoscience and Remote Sensing Letters，2020，99：1-5.

[45]Zhang W，Zhu Y，F(xiàn)u Q. Semi-supervised deep transfer learning-based on adversarial feature learning for label limited SAR target recognition[J]. IEEE Access，2019，7：152412-152420.

[46]Cheng P，Malhi M. Transfer learning with convolutional neural networks for classification of abdominal ultrasound images[J]. Journal of Digital Imaging，2017，30：234-243.

[47]Huang Z，Pan Z，Lei B. What，where，and how to transfer in SAR target recognition based on deep CNNs[J]. IEEE Transac tions on Geoscience and Remote Sensing，2020，58（4）：2324- 2336.

[48]Wang Y，Wang C，Zhang H，et al. Automatic ship detection based on RetinaNet using multi-resolution Gaofen-3 imagery[J]. Remote Sensing，2019，11（5），531：1-14.

[49]Fu J，Sun X，Wang Z，et al. An anchor-free method based on feature balancing and refinement network for multiscale ship detection in SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing，2021，59（2）：1331-1344.

[50]Zhu C，Zhao D，Qi J，et al. Cross domain transfer for ship instance segmentation in SAR images[C]// IEEE International Geoscience and Remote Sensing Symposium（IGARSS），2021.

[51]Chen S，Zhan R，Wang W，et al. Learning slimming SAR ship object detector through network pruning and knowledge distillation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2021，14：1267-1282.

A Survey of Open SAR Image Target Datasets and Their Applications in Deep Learning

Zheng Tong，Lei Peng，Wang Jun

Beihang University，Beijing 100191，China

Abstract： The target detection and recognition using synthetic aperture radar （SAR） imagery is a challenging subject because of its low readability. In recent years deep learning （DL） methods have attracted much attention and also been applied into the SAR target detection and recognition task. As a typical kind of such approaches， the supervised learning algorithms are generally data-driven， and require massive labeled SAR images. However， the labeling of SAR images is expensive and time-consuming. This paper surveys major open SAR image target datasets as well as their application with DL. Firstly， typical airborne and spaceborne SAR systems are introduced. Then some widelyused open SAR image target datasets are described from two categories， namely， those with and without class labels. Finally， recent work on the application of those datasets with DL is summarized. The open SAR image target datasets could help promote the development of DL based target detection and recognition techniques using SAR imagery. This paper may be useful for future studies in such area.

Key Words： deep learning； synthetic aperture radar image； SAR target detection and recognition； supervised learning； SAR image target datasets