張磊，陳文，王岳環(huán)

華中科技大學(xué)人工智能與自動(dòng)化學(xué)院多譜信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室，武漢 430074

0 引言

海洋具有巨大的經(jīng)濟(jì)及軍事安全價(jià)值，隨著人類社會(huì)的發(fā)展，海洋活動(dòng)對(duì)國(guó)家發(fā)展的影響越來越大。自20 世紀(jì)后半葉以來，隨著衛(wèi)星技術(shù)的高速發(fā)展，遙感衛(wèi)星成像技術(shù)大幅提升，遙感圖像憑借探測(cè)范圍廣、獲取信息速度快和周期短等優(yōu)點(diǎn)，不論在國(guó)防領(lǐng)域還是民用領(lǐng)域都有廣泛的應(yīng)用，通過遙感圖像對(duì)重點(diǎn)海域艦船目標(biāo)進(jìn)行識(shí)別監(jiān)控對(duì)國(guó)防與經(jīng)濟(jì)發(fā)展具有十分重要的意義。隨著遙感圖像數(shù)據(jù)量的大幅增加，對(duì)自動(dòng)化遙感圖像艦船檢測(cè)與識(shí)別算法的需求大幅上升。

艦船細(xì)粒度檢測(cè)與識(shí)別指在艦船檢測(cè)的基礎(chǔ)上對(duì)艦船目標(biāo)進(jìn)行更精細(xì)的子類類別劃分，識(shí)別出艦船的具體類型，例如阿利伯克級(jí)導(dǎo)彈驅(qū)逐艦、尼米茲級(jí)航空母艦等，在港口海域監(jiān)視與情報(bào)搜集等應(yīng)用中有很高的實(shí)際應(yīng)用價(jià)值。

目前的艦船檢測(cè)與識(shí)別方法依照其所用的特征提取方式可以分為基于人工設(shè)計(jì)特征的傳統(tǒng)方法與基于卷積神經(jīng)網(wǎng)絡(luò)提取特征的方法。其中，傳統(tǒng)方法依照所用的特征類型大致可以分為3 種。1）基于圖像灰度信息的方法。例如，Xia等人（2014）使用局部二值模式（local binary pattern，LBP）算子進(jìn)行艦船檢測(cè)，Shi 等人（2014）利用梯度直方圖（histogram of oriented gradient，HOG）特征進(jìn)行艦船檢測(cè)。2）基于目標(biāo)紋理形狀的方法。例如，Xu 等人（2014）使用魯棒性廣義霍夫變換（robust invariant generalized Hough transform，RIGHT）進(jìn)行艦船形狀提取，Liu 等人（2014）使用Harris 角點(diǎn)確定疑似的“V”形艦首位置。3）基于視覺顯著性的方法。例如，Xie 等人（2016）基于全局對(duì)比顯著模型、李文娟等人（2017）將多尺度分形維特征與視覺顯著性相結(jié)合、Qi 等人（2015）利用相位譜傅里葉變換（phase spectrum of Fourier transform，PFT）顯著性圖進(jìn)行艦船目標(biāo)檢測(cè)。

人工設(shè)計(jì)的特征多為低層次特征，有一定局限性，難以應(yīng)對(duì)復(fù)雜背景場(chǎng)景且泛化能力不夠。與傳統(tǒng)方法不同，基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）提取特征的方法以數(shù)據(jù)為驅(qū)動(dòng)，自動(dòng)從圖像中學(xué)習(xí)提取高層語義特征，更加魯棒，檢測(cè)效果更好。由于相比傳統(tǒng)方法優(yōu)勢(shì)明顯，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法發(fā)展迅速，以Faster RCNN（region-CNN）（Ren 等，2017）、Mask R-CNN（He等，2017）、YOLO（you only look once）（Redmon 等，2016）及FCOS（fully convolutional one-stage）（Tian等，2019）等為代表的算法取得了巨大的成功。在艦船檢測(cè)領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)的方法也取得了很大的進(jìn)展，Liu 等人（2017a）提出了RR-CNN（rotated region based CNN），使用旋轉(zhuǎn)感興趣區(qū)域池化（rotation region of interest pooling，RRoI Pooling）來提取旋轉(zhuǎn)艦船候選區(qū)域的特征。Yang 等人（2018a）提出了稠密特征金字塔網(wǎng)絡(luò)（dense feature pyramid networks，DFPN）結(jié)構(gòu)，將高層特征與低層特征進(jìn)行拼接融合以提升對(duì)小尺寸艦船目標(biāo)的檢測(cè)性能。Liu等人（2018）在YOLOv2 網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)，使用集成特征圖來提升艦船目標(biāo)的檢測(cè)效果。Yang 等人（2018b）使用神經(jīng)網(wǎng)絡(luò)對(duì)船頭方向進(jìn)行預(yù)測(cè)并使用旋轉(zhuǎn)非極大值抑制（rotation nonmaximumsuppression，R-NMS）以獲得更精確的檢測(cè)結(jié)果。余東行等人（2018）提出一種聯(lián)合視覺顯著性特征與卷積神經(jīng)網(wǎng)絡(luò)的海面艦船目標(biāo)檢測(cè)方法，有效提高了復(fù)雜背景下艦船目標(biāo)的檢測(cè)率和船只類型的精細(xì)化識(shí)別率。Guo 等人（2020）提出了平衡特征金字塔（balanced feature pyramid）和交并比平衡采樣（intersection over union balanced sampling）來提升網(wǎng)絡(luò)面對(duì)尺寸差異非常大的艦船目標(biāo)時(shí)的魯棒性。

一些不同種類艦船目標(biāo)，尤其是軍用艦船目標(biāo)，整體的形狀、顏色及紋理特征相近。如圖1 所示，圖中的艦船目標(biāo)從上往下依次為奧斯汀級(jí)、惠德貝島級(jí)和圣安東尼奧級(jí)兩棲船塢登陸艦?？梢钥吹?，每一列艦船之間整體的形狀、顏色及紋理相差較小，除非是該領(lǐng)域相關(guān)專家，否則很難進(jìn)行區(qū)分。這主要是由于屬于不同類型但用途相近的艦船其上層建筑布局相近，紋理上存在很大的相似性，并且軍用艦船涂裝顏色較為單一，難以從顏色上進(jìn)行分辨。這給艦船細(xì)粒度檢測(cè)與識(shí)別帶來了巨大的挑戰(zhàn)。

圖1 不同種類艦船目標(biāo)示例Fig.1 Examples of different types of ship targets（（a）Austen class amphibious transport docks；（b）Whidbey island class landing crafts；（c）San Antonio class amphibious transport docks）

然而，現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的艦船目標(biāo)檢測(cè)與識(shí)別算法主要將注意力集中于目標(biāo)位置的定位上，在類別分類上的設(shè)計(jì)比較簡(jiǎn)單，僅利用目標(biāo)的整體特征進(jìn)行分類，導(dǎo)致這些方法在諸如HRSC2016（high resolution ship collection）（Liu 等，2017a）數(shù)據(jù)集L3 任務(wù)這種采用細(xì)粒度標(biāo)簽標(biāo)注的數(shù)據(jù)集上進(jìn)行檢測(cè)與識(shí)別時(shí)，性能大幅下降（Li等，2021）。而現(xiàn)有的針對(duì)艦船目標(biāo)進(jìn)行細(xì)粒度分類的算法，如Gallego等人（2018）和Zhang等人（2020）的方法，通常在人工獲得的理想的艦船目標(biāo)切片圖像上進(jìn)行，與檢測(cè)過程完全割裂，需要對(duì)檢測(cè)過程得到的每一個(gè)疑似目標(biāo)區(qū)域都重新使用骨干網(wǎng)絡(luò)提取一次特征，港口區(qū)域遙感圖像中往往包含多艘艦船，會(huì)產(chǎn)生大量疑似目標(biāo)區(qū)域，大幅增加了計(jì)算時(shí)間。

不同類型的艦船之間雖然整體特征相似，但是可以通過局部的某些組件有效地進(jìn)行分辨，例如醫(yī)療船的紅十字標(biāo)志、導(dǎo)彈驅(qū)逐艦的垂直發(fā)射裝置等，所以含有判別性組件子區(qū)域特征的提取對(duì)于艦船目標(biāo)細(xì)粒度識(shí)別非常重要。遙感圖像與自然圖像最大的不同之處是遙感圖像是固定的俯視視角，圖像中看到的都是物體的頂部，并且由于艦船及其組件是剛性物體，不會(huì)產(chǎn)生形變，因此在不同遙感圖像中整體外形是穩(wěn)定不變的，同時(shí)在遙感圖像中艦船目標(biāo)幾乎不會(huì)被其他物體遮擋，有利于觀察其自身組成部件。而艦船目標(biāo)定位目的在于回歸目標(biāo)整體的邊框，更需求目標(biāo)的全局信息。有鑒于此，本文提出了關(guān)鍵子區(qū)域特征融合網(wǎng)絡(luò)（key sub-region feature fusion network，KSFFN），使用整體特征進(jìn)行候選目標(biāo)區(qū)域定位。然后在候選目標(biāo)區(qū)域提取整體、局部子區(qū)域兩個(gè)層次的特征，結(jié)合候選目標(biāo)中所有子區(qū)域的信息計(jì)算每個(gè)子區(qū)域的判別性顯著度，對(duì)關(guān)鍵子區(qū)域進(jìn)行挖掘。最后基于判別性顯著度將兩個(gè)層次的特征進(jìn)行自適應(yīng)融合形成表征能力更強(qiáng)的多層次特征。本文方法可以使檢測(cè)與識(shí)別子網(wǎng)絡(luò)共享同一個(gè)骨干網(wǎng)絡(luò)提取的特征圖的同時(shí)，根據(jù)目標(biāo)定位與細(xì)粒度識(shí)別任務(wù)內(nèi)在差異性采用不同的特征處理方式，提高了檢測(cè)與識(shí)別的效果，并且所有疑似目標(biāo)區(qū)域的特征提取過程只需要經(jīng)過一次骨干網(wǎng)絡(luò)計(jì)算，大幅降低了計(jì)算時(shí)間。同時(shí)融合后的特征包含對(duì)艦船目標(biāo)辨識(shí)具有重要意義的局部組件信息，有利于提高艦船目標(biāo)細(xì)粒度識(shí)別的準(zhǔn)確性。本文方法與其他現(xiàn)有的先進(jìn)遙感圖像艦船目標(biāo)檢測(cè)與識(shí)別算法相比，在HRSC2016 數(shù)據(jù)集L3 任務(wù)以及FGSAID（fine-grained ships in aerial images dataset）數(shù)據(jù)集上取得了領(lǐng)先的檢測(cè)結(jié)果，表明本文方法可以有效提高對(duì)艦船目標(biāo)細(xì)粒度檢測(cè)與識(shí)別的準(zhǔn)確率。

綜上所述，本文主要?jiǎng)?chuàng)新點(diǎn)如下：1）提出一種基于關(guān)鍵子區(qū)域特征的艦船細(xì)粒度檢測(cè)與識(shí)別網(wǎng)絡(luò)，對(duì)于檢測(cè)網(wǎng)絡(luò)得到的候選目標(biāo)區(qū)域，利用其關(guān)鍵子區(qū)域的特征進(jìn)行艦船細(xì)粒度識(shí)別，可以有效提高識(shí)別的準(zhǔn)確率。同時(shí)檢測(cè)與識(shí)別子網(wǎng)絡(luò)采用端到端的一體化結(jié)構(gòu)，訓(xùn)練時(shí)參數(shù)同時(shí)進(jìn)行優(yōu)化且無須分階段進(jìn)行處理，效率高，更具有實(shí)用性。2）提出的多層次特征融合識(shí)別網(wǎng)絡(luò)根據(jù)遙感圖像中艦船目標(biāo)的特點(diǎn)沿軸線方向劃分子區(qū)域，并在特征金字塔中不同尺度層上提取整體與局部子區(qū)域特征，所有區(qū)域特征的提取過程只需要經(jīng)過一次骨干網(wǎng)絡(luò)計(jì)算，大幅減少了計(jì)算量。3）提出的基于組件判別性顯著度的自適應(yīng)特征融合方法通過計(jì)算子區(qū)域判別性顯著度，可以有效判別子區(qū)域?qū)δ繕?biāo)識(shí)別是否有幫助，據(jù)此對(duì)子區(qū)域特征設(shè)定權(quán)重并與整體區(qū)域特征融合，可以形成表征能力更強(qiáng)的特征，有利于提高艦船目標(biāo)細(xì)粒度識(shí)別的準(zhǔn)確性。

1 算法詳細(xì)說明

1.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

KSFFN 的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，網(wǎng)絡(luò)整體分為3 部分：1）主干網(wǎng)絡(luò)以及特征金字塔網(wǎng)絡(luò)，用于提取多尺度特征；2）候選區(qū)域定位網(wǎng)絡(luò)，用來獲得候選目標(biāo)區(qū)域的位置信息；3）多層次特征融合識(shí)別網(wǎng)絡(luò)（multi-level feature fusion recognition network，MLFFRN），對(duì)候選區(qū)域進(jìn)行目標(biāo)類別的細(xì)粒度識(shí)別。候選區(qū)域定位網(wǎng)絡(luò)由粗到精對(duì)旋轉(zhuǎn)候選目標(biāo)框進(jìn)行回歸，可以獲得更準(zhǔn)確的位置信息。識(shí)別子網(wǎng)絡(luò)在更準(zhǔn)確的候選區(qū)域上提取特征，有利于識(shí)別準(zhǔn)確率的提升。同時(shí)，候選區(qū)域定位過程濾除了絕大部分背景區(qū)域，提高了后續(xù)細(xì)粒度識(shí)別過程的處理效率。

圖2 KSFFN網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of proposed KSFFN

KSFFN 使用ResNet-50（resdual network）（He 等，2016）作為主干網(wǎng)絡(luò)來進(jìn)行特征提取，骨干網(wǎng)絡(luò)中的Conv2_x、Conv3_x、Conv4_x 及Conv5_x 層相對(duì)于輸入圖像的下采樣倍率分別為4、8、16及32，將這些層的特征輸入到特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）（Lin 等，2017）中得到圖像的多尺度特征。為了獲得更精確的候選目標(biāo)區(qū)域位置信息，KSFFN 在Faster R-CNN（Ren 等，2017）的基礎(chǔ)上，結(jié)合感興趣區(qū)域變換（region of interest Transformer，RoI Transformer）（Ding 等，2019）構(gòu)建候選區(qū)域定位網(wǎng)絡(luò)，由粗到精對(duì)旋轉(zhuǎn)候選目標(biāo)框進(jìn)行回歸。具體步驟如下：

1）在Faster R-CNN 的區(qū)域生成網(wǎng)絡(luò)中，以艦船旋轉(zhuǎn)框外接水平矩形為目標(biāo)對(duì)水平候選區(qū)域進(jìn)行回歸，得到水平候選區(qū)域的中心點(diǎn)坐標(biāo)、寬與高xp、yp、wp與hp。

式中，｛x*，y*，w*，h*，θ*｝分別代表標(biāo)注中旋轉(zhuǎn)目標(biāo)框的中心點(diǎn)坐標(biāo)、寬、高以及角度。

3）利用Faster R-CNN 的檢測(cè)分支對(duì)感興趣區(qū)域變換得到的旋轉(zhuǎn)感興趣區(qū)域進(jìn)行進(jìn)一步精調(diào)，學(xué)習(xí)位置回歸變量及前景概率。位置回歸變量｛tx，ty，tw，th，tθ｝計(jì)算為

式中，｛x*，y*，w*，h*，θ*｝分別代表標(biāo)注中真實(shí)目標(biāo)框的中心點(diǎn)坐標(biāo)、寬、高以及角度，xr、yr、wr、hr與θr則代表旋轉(zhuǎn)感興趣區(qū)域的對(duì)應(yīng)參數(shù)。

多層次特征融合識(shí)別網(wǎng)絡(luò)在特征金字塔中候選區(qū)域定位網(wǎng)絡(luò)得到的候選目標(biāo)區(qū)域?qū)?yīng)位置上提取整體與局部子區(qū)域特征，將子區(qū)域提取的特征與整體特征進(jìn)行融合后進(jìn)行目標(biāo)分類，得到最終的細(xì)粒度目標(biāo)識(shí)別結(jié)果。在測(cè)試階段將所有候選區(qū)域依照前景概率進(jìn)行排序，將得分最高的400 個(gè)候選區(qū)域送入多層次特征融合識(shí)別網(wǎng)絡(luò)，并使用多層次特征融合識(shí)別網(wǎng)絡(luò)的輸出得分進(jìn)行非極大值抑制，去除冗余候選目標(biāo)區(qū)域。

1.2 多層次特征融合識(shí)別網(wǎng)絡(luò)處理流程

多層次特征融合識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，進(jìn)行目標(biāo)識(shí)別時(shí)，首先將候選目標(biāo)區(qū)域按層次結(jié)構(gòu)分為整體與局部子區(qū)域兩個(gè)層次，在每個(gè)層次上的對(duì)應(yīng)區(qū)域分別進(jìn)行特征提取。之后為了獲得更好的識(shí)別效果，需對(duì)局部子區(qū)域的特征進(jìn)行篩選。多層次特征融合識(shí)別網(wǎng)絡(luò)采用兩個(gè)步驟完成子區(qū)域篩選，第1 步利用NTS-Net（navigator-teacher-scrutinizer network）（Yang等，2018c）中的自監(jiān)督機(jī)制，使用指導(dǎo)網(wǎng)絡(luò)與挖掘網(wǎng)絡(luò)挖掘包含判別性組件的子區(qū)域，濾除不包含判別性組件的子區(qū)域，避免對(duì)識(shí)別造成干擾。第2 步根據(jù)挖掘網(wǎng)絡(luò)得到的信息進(jìn)一步計(jì)算組件判別性顯著度，據(jù)此設(shè)定子區(qū)域的權(quán)重，將子區(qū)域特征與整體區(qū)域特征進(jìn)行自適應(yīng)融合，可以更有效地利用有助于提高目標(biāo)識(shí)別準(zhǔn)確率的子區(qū)域的特征。最后將融合后的多層次特征送入類別預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行分類，得到最終的分類結(jié)果。

圖3 多層次特征融合識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Architecture of proposed MLFFRN

提取特征時(shí)，首先使用旋轉(zhuǎn)感興趣區(qū)域?qū)R（rotation region of interest align，RRoI Align）（Huang等，2018）對(duì)整個(gè)候選區(qū)域進(jìn)行池化操作得到候選區(qū)域的整體特征。然后按艦船目標(biāo)軸線方向?qū)⒑蜻x目標(biāo)區(qū)域分成M×N個(gè)矩形子區(qū)域，其中M代表沿艦船長(zhǎng)軸方向劃分的區(qū)域個(gè)數(shù)，N代表沿艦船短軸方向劃分的區(qū)域個(gè)數(shù)。設(shè)整個(gè)候選區(qū)域的中心坐標(biāo)為（xc，yc），候選區(qū)域的角度為θ，則索引為（i，j）（i=0，1，…，M-1；j=0，1，…，N-1）的組件子區(qū)域的中心點(diǎn)坐標(biāo)（xij，yij）計(jì)算為

子區(qū)域的短軸長(zhǎng)度wp及長(zhǎng)軸長(zhǎng)度hp分別為

式中，α為擴(kuò)展系數(shù)，在本算法中取值為1.2。將區(qū)域長(zhǎng)度乘以擴(kuò)展系數(shù)α，使相鄰子區(qū)域之間相互有一定的重疊區(qū)域，可以防止重要的組件因?yàn)槲挥趨^(qū)域的邊界上而被分割成兩部分。由于子區(qū)域相對(duì)于整體候選目標(biāo)區(qū)域尺寸更小，且核心組件的語義層級(jí)要更低，因此在對(duì)子區(qū)域進(jìn)行特征提取時(shí)，使用特征金字塔中整體目標(biāo)對(duì)應(yīng)的特征層的低一層特征層。使用RRoI Align 操作，將子區(qū)域?qū)?yīng)位置的特征進(jìn)行池化，得到尺寸為7 × 7 × 256的子區(qū)域特征。

艦船目標(biāo)中，大部分子區(qū)域并不包含判別性組件，將這些區(qū)域提取到的特征融合進(jìn)整體特征對(duì)于目標(biāo)識(shí)別并沒有正面作用，因此需要對(duì)子區(qū)域進(jìn)行篩選，挖掘出包含判別性組件的子區(qū)域以提高目標(biāo)識(shí)別的準(zhǔn)確率。為此，多層次特征融合識(shí)別網(wǎng)絡(luò)使用NTS-Net 中的自監(jiān)督機(jī)制，加入指導(dǎo)模塊學(xué)習(xí)子區(qū)域包含判別性核心組件的可能性。

指導(dǎo)模塊包括挖掘網(wǎng)絡(luò)和指導(dǎo)網(wǎng)絡(luò)。挖掘網(wǎng)絡(luò)對(duì)每一個(gè)子區(qū)域進(jìn)行處理，得到該區(qū)域所含信息量的評(píng)分（I00，I01，…，IMN），信息量越大，表示子區(qū)域包含的內(nèi)容對(duì)目標(biāo)的細(xì)粒度識(shí)別越有幫助。如圖4 所示，為了減少計(jì)算量，挖掘網(wǎng)絡(luò)采用如下方法獲得全部子區(qū)域的評(píng)分：首先將整個(gè)區(qū)域使用RRoI Align池化成尺寸為（2 ×M+1）×（2 ×N+1）× 256 的特征，對(duì)于池化后的特征，采用大小為3 × 3 的卷積核以2 為步長(zhǎng)進(jìn)行卷積運(yùn)算，得到大小為M×N的矩陣，矩陣中的數(shù)值對(duì)應(yīng)M×N個(gè)子區(qū)域上相應(yīng)子區(qū)域的信息量評(píng)分。然后將信息量從大到小進(jìn)行排序，對(duì)于得分最高的L個(gè)區(qū)域，將對(duì)應(yīng)子區(qū)域的特征送入指導(dǎo)網(wǎng)絡(luò)。

圖4 挖掘網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Architecture of proposed mining network

指導(dǎo)網(wǎng)絡(luò)則由全連接層與softmax 函數(shù)級(jí)聯(lián)組成。NTS-Net 的自監(jiān)督機(jī)制根據(jù)子區(qū)域特征對(duì)于目標(biāo)識(shí)別的有效性對(duì)每個(gè)子區(qū)域分別得出一個(gè)置信度得分（C1，C2，…，CL），以此指導(dǎo)信息量的評(píng)分。置信度得分具體計(jì)算為

式中，Ci表示該子塊的置信度得分，LCE為多類別交叉熵?fù)p失函數(shù)。Fi表示索引為i的子區(qū)域的特征，T（Fi）表示指導(dǎo)網(wǎng)絡(luò)對(duì)該子區(qū)域進(jìn)行目標(biāo)識(shí)別的輸出結(jié)果，y為該目標(biāo)的真實(shí)類別標(biāo)簽。

使用該子區(qū)域特征對(duì)目標(biāo)進(jìn)行識(shí)別的結(jié)果與真實(shí)標(biāo)簽越接近，交叉熵?fù)p失越小，置信度得分越高。所含特征對(duì)目標(biāo)識(shí)別的效果越好，代表該子區(qū)域的信息量越大，因此子區(qū)域之間信息量與置信度得分的大小相對(duì)排序關(guān)系應(yīng)保持一致性。為了能夠?qū)W習(xí)置信度與信息量之間這種一致性關(guān)系，指導(dǎo)模塊依據(jù)NTS-Net 的自監(jiān)督機(jī)制采用順序?qū)W習(xí)，以對(duì)判斷法（pair-wise）的方式進(jìn)行訓(xùn)練（Burges等，2005）。該方法將順序?qū)W習(xí)問題轉(zhuǎn)化為分類問題，對(duì)送入指導(dǎo)網(wǎng)絡(luò)的子區(qū)域的所有排序?qū)M(jìn)行枚舉，學(xué)習(xí)判斷任意一對(duì)數(shù)據(jù)的相對(duì)大小關(guān)系。

最后，根據(jù)挖掘網(wǎng)絡(luò)輸出的信息量，計(jì)算出每一個(gè)子區(qū)域的組件判別性顯著度，然后選擇判別性顯著度最高的K（K＜L）個(gè)子區(qū)域，基于組件判別性顯著度與整體特征進(jìn)行自適應(yīng)融合，融合后的特征送入由全連接層組成的類別預(yù)測(cè)網(wǎng)絡(luò)得到最終的分類結(jié)果。

1.3 基于組件判別性顯著度的自適應(yīng)特征融合

并非所有類型的艦船目標(biāo)都擁有判別性足夠顯著的核心組件，例如某些民用船只并不包含具有明顯外觀特征的組件，同時(shí)在遙感圖像中，由于目標(biāo)尺寸或圖像質(zhì)量的限制，艦船目標(biāo)的細(xì)節(jié)可能會(huì)變得模糊，導(dǎo)致組件的判別性不夠顯著。在這種情況下，局部子區(qū)域?qū)τ谶@些目標(biāo)的識(shí)別幫助較小，將這些子區(qū)域的特征以固定的權(quán)重與整體特征進(jìn)行融合不利于提升艦船目標(biāo)細(xì)粒度檢測(cè)與識(shí)別的準(zhǔn)確率。因此，本文提出了基于組件判別性顯著度的自適應(yīng)特征融合機(jī)制，結(jié)合候選目標(biāo)區(qū)域內(nèi)所有子區(qū)域信息量的分布計(jì)算該子區(qū)域組件判別性顯著度，據(jù)此選擇子區(qū)域并決定該子區(qū)域特征的權(quán)重系數(shù)以獲得更好的多層次特征。

NTS-Net 的自監(jiān)督機(jī)制采用順序?qū)W習(xí)的方式來學(xué)習(xí)信息量，該信息量更側(cè)重于表示不同子區(qū)域特征對(duì)目標(biāo)識(shí)別的有效性的相對(duì)關(guān)系。圖5 列舉出了采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的部分候選目標(biāo)及背景樣本中子區(qū)域信息量的分布圖。所有樣本中，子區(qū)域數(shù)量按M取值為5、N取值為3，劃分為15個(gè)子區(qū)域，并在分布圖中將各子區(qū)域按信息量從小到大進(jìn)行排序。

圖5 不同候選目標(biāo)子區(qū)域信息量分布圖Fig.5 The information distribution map of different candidate targets（（a）medical ship；（b）Arleigh Burke-class destroyer；（c）background samples）

從信息量分布圖可以看到，采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的子區(qū)域自身信息量的絕對(duì)數(shù)值與該區(qū)域判別性顯著程度的相關(guān)程度較低，圖5（c）中的海面背景信息量最高，但顯然并不包含具有顯著判別性的組件。圖5（b）中的船只組件辨識(shí)度不高，但大部分子區(qū)域信息量高于圖5（a）中具有顯著紅十字標(biāo)志的醫(yī)療船。說明采用NTS-Net 的自監(jiān)督機(jī)制學(xué)習(xí)到的信息量絕對(duì)數(shù)值大小與子區(qū)域是否包含具有顯著判別性的組件關(guān)聯(lián)較弱，不能直接采用信息量絕對(duì)數(shù)值大小作為判斷子區(qū)域判別性是否足夠顯著的依據(jù)。

對(duì)子區(qū)域信息量分布圖進(jìn)一步研究發(fā)現(xiàn)，候選目標(biāo)區(qū)域內(nèi)所有子區(qū)域信息量的分布離散程度與候選目標(biāo)是否含有顯著判別性組件存在緊密聯(lián)系。圖5（a）圖像中帶有顯著的紅十字標(biāo)志的醫(yī)療船相較于圖5（b）圖像中細(xì)節(jié)模糊、沒有明顯特征的艦船子區(qū)域之間信息量的差異明顯更大，分布離散程度更高。而圖5（c）中的海面背景，所有子區(qū)域的信息量更是整體上呈現(xiàn)出接近均勻分布的趨勢(shì)。這是因?yàn)榇嬖陲@著判別性組件的目標(biāo)由于含有這些組件的區(qū)域?qū)δ繕?biāo)識(shí)別的影響遠(yuǎn)大于其他區(qū)域，使得子區(qū)域之間信息量差異變大，在分布上表現(xiàn)為離散程度更大。受此啟發(fā)，本文結(jié)合所有子區(qū)域信息量的統(tǒng)計(jì)分布來計(jì)算每個(gè)子區(qū)域組件的判別性顯著度X，具體計(jì)算為

式中，I代表子區(qū)域的信息量，S為sigmoid 函數(shù)，由于信息量的值可能為負(fù)數(shù)，因此使用該函數(shù)將信息量的值歸一化到（0，1）區(qū)間，μ與σ分別代表經(jīng)過歸一化后的目標(biāo)所有子區(qū)域信息量的均值以及標(biāo)準(zhǔn)差。組件判別性顯著度使用標(biāo)準(zhǔn)差來衡量所有子區(qū)域信息量的離散程度，離散程度越高，說明某些子區(qū)域?qū)δ繕?biāo)識(shí)別的影響遠(yuǎn)大于其他子區(qū)域，則目標(biāo)包含判別性顯著組件的可能性越大，而子區(qū)域信息量與均值的比值則可以有效地反映出子區(qū)域自身信息量在所有子區(qū)域中的相對(duì)位置。

根據(jù)挖掘網(wǎng)絡(luò)輸出的信息量，分別計(jì)算出每一個(gè)子區(qū)域的組件判別性顯著度X，然后選擇判別性顯著度最高的K（K＜L）個(gè)子區(qū)域，將子區(qū)域的特征進(jìn)行自適應(yīng)加權(quán)并與整體特征進(jìn)行拼接，形成尺寸為7 × 7 × 256 ×（K+1）的特征，最后將融合后的特征送入全連接網(wǎng)絡(luò)得到最終的分類結(jié)果。具體為

式中，F(xiàn)1，…，F(xiàn)K，F(xiàn)A與F分別代表子區(qū)域的特征、整體特征以及融合后的特征。由于對(duì)信息量使用了sigmoid 函數(shù)進(jìn)行歸一化處理，判別性顯著度的整體數(shù)值較小，需要進(jìn)行放大，因此本文加入了固定常數(shù)λ作為權(quán)重調(diào)節(jié)因子，取值固定為1.5。根據(jù)組件判別性顯著度對(duì)子區(qū)域特征進(jìn)行自適應(yīng)加權(quán)有利于突出對(duì)艦船目標(biāo)識(shí)別作用重大的子區(qū)域，進(jìn)而提升艦船目標(biāo)細(xì)粒度識(shí)別的準(zhǔn)確性。

1.4 多層次特征融合識(shí)別網(wǎng)絡(luò)損失函數(shù)

多層次特征融合識(shí)別網(wǎng)絡(luò)的整體損失函數(shù)為

式中，L代表多層次特征融合識(shí)別網(wǎng)絡(luò)的整體損失，LC代表網(wǎng)絡(luò)最終利用融合特征做分類的損失，LT代表指導(dǎo)網(wǎng)絡(luò)指導(dǎo)下挖掘網(wǎng)絡(luò)的損失，LP代表指導(dǎo)網(wǎng)絡(luò)置信度的損失，LA代表整體候選區(qū)域特征的分類損失，λ1、λ2和λ3為權(quán)重超參數(shù)，在本文算法中都設(shè)置為1。

具體地，LP為送入指導(dǎo)網(wǎng)絡(luò)的L個(gè)子區(qū)域的分類損失之和，其計(jì)算為

式中，T（Fi）代表指導(dǎo)網(wǎng)絡(luò)對(duì)一子區(qū)域目標(biāo)識(shí)別的輸出結(jié)果，F(xiàn)i代表該子區(qū)域特征，LCE代表交叉熵?fù)p失函數(shù)。LA計(jì)算為

式中，A代表整個(gè)候選目標(biāo)區(qū)域的特征。LT計(jì)算（Yang等，2018c）為

式中，I為子區(qū)域信息量，C為對(duì)應(yīng)子區(qū)域置信度，即將送入指導(dǎo)網(wǎng)絡(luò)的L個(gè)子區(qū)域的所有排序?qū)M(jìn)行枚舉，當(dāng)挖掘網(wǎng)絡(luò)得到的兩個(gè)區(qū)域信息量與指導(dǎo)網(wǎng)絡(luò)的置信度大小相反時(shí)，損失函數(shù)值較大，以促使挖掘網(wǎng)絡(luò)學(xué)習(xí)與置信度相對(duì)大小一致的信息量。當(dāng)挖掘網(wǎng)絡(luò)與指導(dǎo)網(wǎng)絡(luò)對(duì)兩個(gè)區(qū)域信息量的相對(duì)大小判斷相同時(shí)，如果挖掘網(wǎng)絡(luò)對(duì)兩個(gè)區(qū)域的信息量評(píng)分的差值小于一定的閾值，則同樣會(huì)產(chǎn)生一個(gè)較小的損失函數(shù)，以激勵(lì)挖掘網(wǎng)絡(luò)輸出差異性更大的評(píng)分，在本文中將閾值Th設(shè)置為1。

由于在公開的遙感圖像數(shù)據(jù)庫(kù)中難以找到某些型號(hào)船只的樣本，導(dǎo)致艦船數(shù)據(jù)集中這些類型的船只樣本數(shù)明顯偏少，整個(gè)數(shù)據(jù)集各類別樣本數(shù)量分布呈現(xiàn)出長(zhǎng)尾趨勢(shì)。而數(shù)據(jù)集不同類別樣本數(shù)量差距太大會(huì)導(dǎo)致分類器在樣本數(shù)量較少的類別上訓(xùn)練不充分，導(dǎo)致識(shí)別精度下降。由于采用重采樣策略擴(kuò)充樣本會(huì)引入大量無效重復(fù)樣本，欠采樣則可能會(huì)丟失一些對(duì)細(xì)粒度識(shí)別具有重要價(jià)值的樣本，不適用于本文的應(yīng)用場(chǎng)景。因此，多層次特征融合識(shí)別網(wǎng)絡(luò)通過在最終的分類損失函數(shù)上加入類別平衡損失（class-balanced loss）（Cui 等，2019），對(duì)不同類別目標(biāo)添加不同的權(quán)重來解決這一問題，最終得到LC計(jì)算為

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)細(xì)節(jié)

本文使用HRSC2016 數(shù)據(jù)集的L3 任務(wù)（Liu 等，2017a）開展消融實(shí)驗(yàn)，以分析本文所提出的各項(xiàng)改進(jìn)方法對(duì)檢測(cè)效果的影響，并在該數(shù)據(jù)集以及自建的FGSAID 數(shù)據(jù)集上與其他先進(jìn)方法進(jìn)行對(duì)比實(shí)驗(yàn)來證明本文方法的有效性。

HRSC2016 數(shù)據(jù)集是首個(gè)大型公開的包含細(xì)粒度標(biāo)簽標(biāo)注信息的遙感圖像艦船檢測(cè)數(shù)據(jù)集，L3 任務(wù)的標(biāo)注中共包含19 種艦船類別，數(shù)據(jù)集中的圖像來自谷歌地球，分辨率為0.4～2 m 不等。數(shù)據(jù)集共包含1 061 幅圖像，分為訓(xùn)練集、驗(yàn)證集及測(cè)試集，3個(gè)集合中分別含有436、181及444幅圖像。

自建的FGSAID 數(shù)據(jù)集的圖像來自谷歌地球，數(shù)據(jù)集共包含1 690 幅圖像與5 410 個(gè)目標(biāo)，劃分為訓(xùn)練集與測(cè)試集，前者包含844 幅圖像，后者包含846 幅圖像。標(biāo)注中共包含45 種艦船類別，涵蓋了多種類型的軍用船只與民用船只。

實(shí)驗(yàn)中，使用訓(xùn)練集與驗(yàn)證集的集合進(jìn)行訓(xùn)練，使用測(cè)試集進(jìn)行測(cè)試，并在訓(xùn)練與測(cè)試時(shí)先將圖像進(jìn)行等比例縮放操作，使圖像長(zhǎng)邊不大于800 像素且短邊盡量為512像素。

本文方法使用深度學(xué)習(xí)框架PyTorch，使用的服務(wù)器操作系統(tǒng)為Ubuntu 20.04，CPU 為 Intel Xeon E5-2670，顯卡為2 塊Nvidia GeForce GTX 1080Ti。本文方法使用的特征提取網(wǎng)絡(luò)ResNet-50 均使用在ImageNet數(shù)據(jù)集上進(jìn)行的預(yù)訓(xùn)練后的權(quán)重參數(shù)進(jìn)行初始化。神經(jīng)網(wǎng)絡(luò)采用帶動(dòng)量的隨機(jī)梯度下降法進(jìn)行訓(xùn)練，動(dòng)量設(shè)置為0.9，權(quán)值衰減設(shè)置為0.000 1。在實(shí)驗(yàn)中，網(wǎng)絡(luò)在數(shù)據(jù)集上共訓(xùn)練60 輪（epoch），初始學(xué)習(xí)率設(shè)置為0.005，在第40 輪和第55 輪學(xué)習(xí)率均衰減為原來的10%。

采用平均準(zhǔn)確率（average precision，AP）作為評(píng)價(jià)指標(biāo)對(duì)檢測(cè)效果進(jìn)行評(píng)價(jià)。為了判斷算法得到的檢測(cè)框是否對(duì)應(yīng)數(shù)據(jù)集中標(biāo)注的目標(biāo)，使用交并比（intersection over union，IoU）作為判斷依據(jù)，只有檢測(cè)框與標(biāo)注框的IoU 大于一定閾值且為與該標(biāo)注框IoU 值最大的檢測(cè)框時(shí)才匹配成功，判定為真正例，當(dāng)檢測(cè)框未能成功匹配任何標(biāo)注框時(shí)則判定為假正例，而沒有被匹配到的標(biāo)注框則判定為假負(fù)例。在實(shí)驗(yàn)中，交并比閾值設(shè)置為0.5。設(shè)真正例數(shù)目為TP（true positives），假正例總數(shù)為FP（false positives），假負(fù)例總數(shù)為FN（false negatives），則準(zhǔn)確率（Precision）與召回率（Recall）計(jì)算為

將檢測(cè)框按置信度得分從高到低排列，判斷每個(gè)框?qū)儆谡嬲€是假正例，對(duì)其進(jìn)行累加并按照式（21）和式（22）計(jì)算準(zhǔn)確率以及召回率，每一對(duì)準(zhǔn)確率及召回率數(shù)據(jù)對(duì)應(yīng)準(zhǔn)確率—召回率曲線（precision-recall curve，PRC）中的一個(gè)點(diǎn)，而AP 即為這個(gè)曲線下的面積，AP 越大，意味著檢測(cè)器的性能越好。此外，實(shí)驗(yàn)中使用mAP（mean average precision）代表所有類別的平均AP。

2.2 消融實(shí)驗(yàn)

為了證明多層次特征融合識(shí)別網(wǎng)絡(luò)的有效性，去掉KSFFN 中的多層次特征融合識(shí)別網(wǎng)絡(luò)，更改微調(diào)分支網(wǎng)絡(luò)的輸出類別數(shù)目，并將其作為最終的輸出與KSFFN 在HRSC2016 數(shù)據(jù)集的L3 任務(wù)上進(jìn)行訓(xùn)練并對(duì)比，實(shí)驗(yàn)結(jié)果如表1 所示?？梢钥吹?，加入多層次特征融合識(shí)別網(wǎng)絡(luò)后，大幅提高了檢測(cè)的準(zhǔn)確率，證明了多層次特征融合識(shí)別網(wǎng)絡(luò)對(duì)目標(biāo)識(shí)別準(zhǔn)確性有顯著的提升作用。

表1 多層次特征融合識(shí)別網(wǎng)絡(luò)對(duì)檢測(cè)結(jié)果的影響Table 1 The effect to detection results caused by MLFFRN

多層次特征融合識(shí)別網(wǎng)絡(luò)中融合了局部判別性子區(qū)域的特征對(duì)目標(biāo)進(jìn)行識(shí)別，為了進(jìn)一步分析局部判別性子區(qū)域及其相關(guān)參數(shù)對(duì)檢測(cè)結(jié)果的影響，分別設(shè)置不同的子區(qū)域劃分?jǐn)?shù)量（N×M）、不同的送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量（L）和不同的與整體特征進(jìn)行融合的子區(qū)域特征數(shù)量（K）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并對(duì)比。實(shí)驗(yàn)中以信息量大小選擇子區(qū)域，不使用判別性顯著度作為自適應(yīng)權(quán)重，所有子區(qū)域特征權(quán)重固定設(shè)置為1，實(shí)驗(yàn)結(jié)果如表2—表4所示。

表2 子區(qū)域劃分?jǐn)?shù)量對(duì)檢測(cè)結(jié)果的影響Table 2 Influence of the number of subareas

從表2 可以看到，由于艦船目標(biāo)為長(zhǎng)條形，因此整體上M取值大于N時(shí)，檢測(cè)結(jié)果比M與N取值相等時(shí)要好。區(qū)域劃分?jǐn)?shù)量過少時(shí)，一個(gè)區(qū)域混雜很多不同的信息，因此判別性不佳；而區(qū)域劃分?jǐn)?shù)量過多時(shí)，則無法完整包含一些較大的組件，判別性同樣不好，M與N分別設(shè)置為5和3時(shí)檢測(cè)效果最佳。從表3 可以看到，一開始隨著送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量的增加，指導(dǎo)網(wǎng)絡(luò)可以獲得更多的樣本，指導(dǎo)模塊能更好地進(jìn)行訓(xùn)練，檢測(cè)效果上升；但當(dāng)送入指導(dǎo)網(wǎng)絡(luò)進(jìn)行排序訓(xùn)練的子區(qū)域數(shù)量過多，超過整體區(qū)域數(shù)目的一半時(shí)，一些低質(zhì)量的樣本也被送入指導(dǎo)網(wǎng)絡(luò)中，反而使得整個(gè)指導(dǎo)模塊的訓(xùn)練效果下降，檢測(cè)效果下降。從表4 可以看到，相對(duì)于只使用整體區(qū)域的特征（K=0），融合判別性子區(qū)域特征對(duì)檢測(cè)效果有明顯的提升，同時(shí)對(duì)于艦船目標(biāo)，有決定性作用的判別性子區(qū)域數(shù)量有限，融合過多的子區(qū)域并不利于檢測(cè)效果的提升。

表3 參與指導(dǎo)網(wǎng)絡(luò)挖掘訓(xùn)練的子區(qū)域數(shù)量對(duì)檢測(cè)結(jié)果的影響Table 3 Influence of the number of subareas sent into guide network

表4 與整體特征融合的子區(qū)域特征數(shù)量對(duì)檢測(cè)結(jié)果的影響Table 4 Influence of the number of fused subareas feature

為了分析基于組件判別性顯著度的自適應(yīng)特征融合對(duì)檢測(cè)結(jié)果的影響，在HRSC2016 數(shù)據(jù)集的L3任務(wù)上采用該方法以及另外3 種特征融合方式的網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練并對(duì)比檢測(cè)結(jié)果。使用的3 種對(duì)比方法分別為固定權(quán)重方法、基于信息量方法以及基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)方法。

固定權(quán)重方法將子區(qū)域特征權(quán)重固定設(shè)置為1?；谛畔⒘康姆椒ㄖ苯邮褂妹總€(gè)子區(qū)域的信息量絕對(duì)數(shù)值大小來度量組件判別性的顯著程度，具體計(jì)算為

式中，I代表該子區(qū)域的信息量，S代表用于歸一化的sigmoid函數(shù)。

基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)的方法利用目標(biāo)所有子區(qū)域信息量的分布計(jì)算子區(qū)域的信息量偏離整體的程度來度量組件判別性的顯著程度，具體計(jì)算為

式中，μ與σ分別代表目標(biāo)所有子區(qū)域信息量的均值以及標(biāo)準(zhǔn)差，I代表子區(qū)域的信息量。實(shí)驗(yàn)中所有網(wǎng)絡(luò)的子區(qū)域劃分?jǐn)?shù)量都設(shè)置為5 × 3，對(duì)比實(shí)驗(yàn)結(jié)果如表5所示。

表5 與特征融合方式對(duì)檢測(cè)結(jié)果的影響Table 5 Influence of the feature fusion methods

從表5 可以看到，固定權(quán)重方法因?yàn)闆]有根據(jù)子區(qū)域所含組件判別性的區(qū)別調(diào)整特征的權(quán)重，所以檢測(cè)與識(shí)別效果是所有方法中最差的?；谛畔⒘康姆椒ㄊ褂米訁^(qū)域的信息量對(duì)權(quán)重進(jìn)行調(diào)整，由于組件的判別性顯著程度與通過網(wǎng)絡(luò)學(xué)習(xí)到的信息量的絕對(duì)數(shù)值大小之間的關(guān)聯(lián)性不高，因此相對(duì)固定權(quán)重方法提升較小?；谛畔⒘繕?biāo)準(zhǔn)分?jǐn)?shù)的方法計(jì)算子區(qū)域信息量相對(duì)整體的偏離程度，綜合了所有子區(qū)域的信息，而非僅依據(jù)子區(qū)域信息量的絕對(duì)數(shù)值大小進(jìn)行加權(quán)，因此檢測(cè)結(jié)果較固定權(quán)重方法提升更加明顯。但基于信息量標(biāo)準(zhǔn)分?jǐn)?shù)的方法由于沒有考慮目標(biāo)整體信息量的離散程度，如果目標(biāo)自身整體信息量離散程度較低，則會(huì)錯(cuò)誤地高估子區(qū)域的判別性顯著程度。而基于判別性顯著度的方法同時(shí)考慮了子區(qū)域信息量相對(duì)整體的偏離程度以及整體信息量的離散程度，得到的判別性顯著度擁有與子區(qū)域組件的判別性顯著程度最高的關(guān)聯(lián)度，因此效果更好，在所有方法中平均準(zhǔn)確率最高。

2.3 對(duì)比實(shí)驗(yàn)

為了證明KSFFN 的有效性，選擇近年來的7 種先進(jìn)方法進(jìn)行對(duì)比，對(duì)比方法包括SRBBS（ship rotated bounding box space）（Liu 等，2017b）、RDFPN（rotation dense feature pyramid network）（Yang 等，2018a）、Faster R-CNN OBB（oriented bounding boxes）（Ren 等，2017）、R3det（refined rotation retinaNet）（Yang 等，2021）、Gliding Vertex（Xu 等，2021），S2ANet（single-shot alignment network）（Han 等，2021）和SHDRP（sequence local context hroi detection with resize and proposals simulation generator）（Feng 等，2019）。其中，F(xiàn)aster R-CNN OBB 加入了特征金字塔網(wǎng)絡(luò)（Lin 等，2017）。HRSC2016 數(shù)據(jù)集的L3任務(wù)檢測(cè)速度對(duì)比如表6 所示，檢測(cè)結(jié)果對(duì)比如表7 所示。FGSAID數(shù)據(jù)集的檢測(cè)結(jié)果對(duì)比如表8所示。

表6 與其他方法檢測(cè)速度對(duì)比Table 6 The comparison of speed with other methods

表7 與其他方法在HRSC2016數(shù)據(jù)集L3任務(wù)上檢測(cè)結(jié)果對(duì)比（AP@50）Table 7 The comparison of detection results with other methods on HRSC2016 L3 task（AP@50）/%

表8 與其他方法在FGSAID數(shù)據(jù)集上檢測(cè)結(jié)果對(duì)比（AP@50）Table 8 The comparison of detection results with other methods on FGSAID（AP@50）/%

從表7 與表8 中可以看到，SHDRP 以外的其他方法并沒有針對(duì)分類網(wǎng)絡(luò)進(jìn)行專門的設(shè)計(jì)，因此在L3 任務(wù)這種細(xì)粒度類別任務(wù)中檢測(cè)效果較差。而SHDRP 采用獨(dú)立的分類網(wǎng)絡(luò)對(duì)檢測(cè)網(wǎng)絡(luò)得到的每一個(gè)候選區(qū)域進(jìn)行類別識(shí)別，因此雖然檢測(cè)效果有很大提升但速度大幅下降。而KSFFN 在取得最好的檢測(cè)效果的同時(shí)依然有較高的檢測(cè)速度，證明了其有效性。

為了進(jìn)一步驗(yàn)證本文方法的性能，將FGSAID數(shù)據(jù)集中各類別目標(biāo)劃分為航空母艦與兩棲攻擊艦、其他軍艦和民船3 大類，分別統(tǒng)計(jì)并對(duì)比本文方法與其他方法對(duì)3 種不同用途艦船目標(biāo)的檢測(cè)與識(shí)別效果，結(jié)果如圖6 所示?？梢钥吹?，本文方法對(duì)于軍艦的檢測(cè)效果明顯領(lǐng)先于其他方法，與檢測(cè)結(jié)果排名第2 的S2ANet 相比，航空母艦與兩棲攻擊艦類型的AP@50領(lǐng)先16.7%，其他類型軍艦的AP@50領(lǐng)先11.1%。這主要是因?yàn)檐娪门灤垦b以深灰色和灰白色為主，顏色單調(diào)，并且作戰(zhàn)目的相近的艦船擁有相似的形狀與上層布局，整體特征相近，僅使用整體特征識(shí)別準(zhǔn)確率低。與此同時(shí)，軍用艦船尺寸較大且大部分具有辨識(shí)度高的組件，本文方法通過利用該組件對(duì)應(yīng)的子區(qū)域特征可以顯著地提升目標(biāo)檢測(cè)結(jié)果。但是對(duì)民船的檢測(cè)結(jié)果本文方法僅比S2ANet 領(lǐng)先1.1%，幅度較小，主要是由于該大類下Yacht（快艇）、Tow.（拖船）及Others 等3 個(gè)類別的目標(biāo)大部分尺寸很小，組件辨識(shí)度不高，導(dǎo)致本文方法無法提取有效的局部子區(qū)域特征，對(duì)這3 個(gè)類別目標(biāo)的檢測(cè)效果一般。

圖6 不同方法對(duì)FGSAID數(shù)據(jù)集上的3種類型船舶目標(biāo)檢測(cè)結(jié)果對(duì)比圖Fig.6 The comparison of detection results of three types of ships in FGSAID using different methods

圖7 和圖8 分別展示了KSFFN 在HRSC2016數(shù)據(jù)集L3 任務(wù)以及FGSAID 數(shù)據(jù)集的部分檢測(cè)結(jié)果?？梢钥吹剑琄SFFN 可以對(duì)包含尼米茲級(jí)航空母艦、塔拉瓦級(jí)兩棲攻擊艦和佩里級(jí)護(hù)衛(wèi)艦等在內(nèi)的多種艦船目標(biāo)進(jìn)行準(zhǔn)確地檢測(cè)與識(shí)別。

圖7 KSFFN在HRSC2016 L3任務(wù)的部分檢測(cè)結(jié)果Fig.7 Detection results of KSFFN on HRSC2016 L3 task

圖8 KSFFN在FGSAID的部分檢測(cè)結(jié)果Fig.8 Detection results of KSFFN on FGSAID

3 結(jié)論

本文針對(duì)遙感圖像中不同種類的艦船目標(biāo)整體顏色、形狀與紋理特征相近導(dǎo)致細(xì)粒度識(shí)別困難的問題，提出了基于關(guān)鍵子區(qū)域特征的艦船細(xì)粒度檢測(cè)與識(shí)別網(wǎng)絡(luò)KSFFN。該網(wǎng)絡(luò)通過判別性顯著度將候選目標(biāo)區(qū)域中包含辨識(shí)度高的組件的關(guān)鍵子區(qū)域的特征與整體特征進(jìn)行自適應(yīng)融合，獲得的特征表征能力更強(qiáng)，可以提高細(xì)粒度識(shí)別準(zhǔn)確率。由于KSFFN 將檢測(cè)與細(xì)粒度識(shí)別網(wǎng)絡(luò)融合進(jìn)一個(gè)整體的端到端框架，且多層次特征融合識(shí)別網(wǎng)絡(luò)算法復(fù)雜度相對(duì)較低，因此在大幅提高檢測(cè)與識(shí)別結(jié)果的同時(shí)，整體仍然具有相對(duì)較快的速度，具有很高的實(shí)際應(yīng)用價(jià)值。

本文在HRSC2016 數(shù)據(jù)集和FGSAID 數(shù)據(jù)集上對(duì)該方法進(jìn)行測(cè)試，并與其他先進(jìn)方法進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，KSFFN 在兩個(gè)數(shù)據(jù)集上對(duì)遙感圖像中艦船目標(biāo)細(xì)粒度檢測(cè)與識(shí)別性能都優(yōu)于R3det、S2ANet 等基于卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典方法，證明了本文所提出方法的有效性。

對(duì)于一些組件辨識(shí)度不高的民用船只，本文方法因?yàn)闊o法提取有利于目標(biāo)識(shí)別的子區(qū)域特征，所以識(shí)別效果一般。后續(xù)可以考慮在如下幾個(gè)方面展開研究：1）改進(jìn)骨干網(wǎng)絡(luò)，使之可以適應(yīng)旋轉(zhuǎn)目標(biāo)提取出更好的特征，以進(jìn)一步提高網(wǎng)絡(luò)的檢測(cè)與識(shí)別效果；2）結(jié)合目標(biāo)長(zhǎng)寬比等先驗(yàn)知識(shí)進(jìn)一步提升細(xì)粒度識(shí)別的準(zhǔn)確性；3）利用不同細(xì)粒度類別艦船目標(biāo)之間的子類父類關(guān)系輔助細(xì)粒度艦船目標(biāo)識(shí)別。