梁 碩，王士成，陳金勇，于君娜

(中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

近年來,隨著光學(xué)遙感成像技術(shù)的發(fā)展,光學(xué)遙感圖像在空間分辨率、光譜分辨率、時間分辨率等方面取得了巨大進(jìn)步,對地觀測能力得到很大提升,使得可偵察內(nèi)容更加豐富、目標(biāo)細(xì)節(jié)辨識能力大幅提高。艦船作為海上運(yùn)輸載體和重要軍事目標(biāo),利用遙感圖像對其進(jìn)行自動檢測與識別在各種領(lǐng)域有著廣闊的應(yīng)用前景。對遙感影像的艦船目標(biāo)檢測是通過對遙感影像進(jìn)行預(yù)處理、提取和分析,檢測出當(dāng)前影像中存在的艦船目標(biāo),并對其位置進(jìn)行標(biāo)注。針對遙感影像,需要根據(jù)遙感影像的成像機(jī)制,分析感興趣目標(biāo)在遙感影像中呈現(xiàn)的特點(diǎn),借鑒現(xiàn)有的目標(biāo)檢測算法,通過對算法結(jié)構(gòu)以及目標(biāo)特征模型的修改和優(yōu)化,設(shè)計(jì)出針對遙感影像艦船目標(biāo)的檢測算法。對艦船目標(biāo)的檢測可以分為兩大類:一類為海上航行艦船的檢測;另一類為港口艦船檢測。針對海上艦船目標(biāo)檢測,能夠有效獲取艦船活動信息,輔助判斷艦船行為意圖,該類任務(wù)的輸入數(shù)據(jù)往往為寬幅的遙感影像數(shù)據(jù),其成像分辨率較低,幅寬較大,能夠覆蓋較大范圍的海域,艦船細(xì)節(jié)信息不夠清晰。但由于其位于海上,背景較為單一,艦船目標(biāo)特征與背景對比明顯,當(dāng)前對海上艦船的檢測能夠取得較為良好的效果。相較于海上艦船目標(biāo)檢測,對港口?？颗灤瑱z測是監(jiān)視特定港口海運(yùn)交通、獲取艦船部署與動態(tài)的主要手段,對有效了解海上艦船部署狀態(tài)具有重要的研究價值。該類任務(wù)的輸入數(shù)據(jù)為高分辨率遙感影像數(shù)據(jù),其成像分辨率較高,能夠獲取較為明顯的艦船細(xì)節(jié)信息。但是,港口艦船所處環(huán)境位于海陸交界處,背景較為復(fù)雜,陸地干擾信息較多,各種類型艦船較為集中且尺度大小不一,對艦船檢測帶來極大困難。

針對港口艦船檢測存在的問題,本文利用深度學(xué)習(xí)技術(shù),提出基于海岸線候選框的港口艦船目標(biāo)檢測方法,具體貢獻(xiàn)如下:

① 基于殘差分類網(wǎng)絡(luò)(ResNet)、多點(diǎn)區(qū)域生長算法、特征金字塔網(wǎng)絡(luò)模型和Faster RCNN檢測算法模型,提出了針對港口艦船檢測的全流程算法,能夠有效解決光學(xué)影像中港口區(qū)域艦船檢測問題。

② 利用ResNet分類網(wǎng)絡(luò)和多點(diǎn)區(qū)域生長算法,對大幅光學(xué)遙感影像港口區(qū)域進(jìn)行了海陸分割,在此基礎(chǔ)上,沿海岸線進(jìn)行滑窗,代替了全圖滑窗,提出了基于海岸線的候選框,為后續(xù)的艦船檢測縮小了范圍,降低了虛警率,提升了效率。

③ 利用特征金字塔網(wǎng)絡(luò),構(gòu)建艦船檢測算法模型,有效解決了港口區(qū)域艦船較為集中且尺度大小不一的問題,降低了艦船檢測的漏警率。

1 相關(guān)工作

隨著光學(xué)遙感圖像分辨率的不斷提升,艦船的形狀、紋理等特征在遙感圖像中體現(xiàn)得越來越明顯,大量艦船檢測方法不斷被提出。早些時候,艦船檢測往往采用閾值分割和模板匹配的方法,該類方法魯棒性較差,大多只能應(yīng)對海上艦船檢測,而且受限于艦船的模板,對艦船檢測的效果較差。隨著機(jī)器學(xué)習(xí)研究的興起,在艦船檢測領(lǐng)域出現(xiàn)了大量人工特征和分類器結(jié)合的研究方法,對遙感圖像進(jìn)行特征提取(Haar Like、HoG、SIFT、LBP等),通過艦船目標(biāo)和背景的特征差異性,對分類器(SVM、Adaboost、隨機(jī)森林等)進(jìn)行訓(xùn)練,實(shí)現(xiàn)對艦船目標(biāo)的檢測。除此之外,一些學(xué)者通過對艦船頭部區(qū)域特征進(jìn)行提取,結(jié)合分類器進(jìn)行艦船檢測,表現(xiàn)出了一定的效果。隨著人工智能技術(shù)的迅速發(fā)展,基于深度學(xué)習(xí)的目標(biāo)檢測取得了巨大成就,其檢測效果遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)方法。因此,利用人工智能技術(shù)對遙感影像艦船目標(biāo)進(jìn)行檢測成為人們關(guān)注的焦點(diǎn)?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法大致可分為2類:單階段和雙階段方法。單階段方法將圖像直接輸入模型,通過回歸的方式進(jìn)行預(yù)測,直接得出目標(biāo)的類別和位置范圍,典型算法有YOLO[1]、SSD[2]和Retina[3]等。雙階段方法則是首先對輸入圖像提取候選目標(biāo)區(qū)域,在得到的候選目標(biāo)區(qū)域中再進(jìn)行類別預(yù)測和位置回歸,典型算法有RCNN[4]、SPPNet[5]、Fast RCNN[6]、R-FCN[7]、Faster RCNN[8]、FPN[9]和Mask RCNN[10]等。目前,基于單階段和雙階段的方法均成功應(yīng)用于艦船檢測領(lǐng)域,李晨瑄等[11]針對復(fù)雜背景下的艦船目標(biāo)檢測需求,總結(jié)了基于深度學(xué)習(xí)的艦船目標(biāo)檢測技術(shù)發(fā)展現(xiàn)狀,對目前采用的檢測算法及適用性做了系統(tǒng)性的歸納梳理?；趩坞A段的艦船檢測方法一般具有非常高的速度,甚至能夠達(dá)到實(shí)時,但其精度一般低于雙階段方法;基于雙階段的艦船檢測方法往往具有較高的精度,但算法運(yùn)行速度較慢。

針對港口艦船檢測,通常的方法是對遙感影像進(jìn)行海陸分割,去除陸地區(qū)域后,僅在海洋區(qū)域進(jìn)行艦船目標(biāo)檢測。王方超等[12]提出了基于二次分割的港口艦船目標(biāo)檢測方法,基于改進(jìn)后的分水嶺算法獲得較完整的海陸分離結(jié)果,然后對分割后的陸地區(qū)域進(jìn)行二次分割,完成碼頭和艦船的分離,最后得到艦船檢測結(jié)果。楊光等[13]提出基于SIFT特征的港口內(nèi)艦船檢測方法,通過建立港口區(qū)域模板,快速、準(zhǔn)確地定位海水區(qū)域,然后對SIFT特征描述子進(jìn)行改進(jìn),提高艦船檢測的準(zhǔn)確率。王岳環(huán)等[14]提出一種基于港口匹配和海域分割的靠岸艦船檢測方法,將港口模板變換到實(shí)時圖同一視角下進(jìn)行港口配準(zhǔn),確定實(shí)時圖海域部分,再對海域進(jìn)行分割,檢測出艦船。吳金亮等[15]提出一種基于Mask RCNN框架的艦船目標(biāo)檢測識別方法,通過候選框與像素分割曲線相結(jié)合的思路,較好地解決了緊密排列艦船目標(biāo)的檢測問題,使得艦船目標(biāo)檢測結(jié)果具有較高的準(zhǔn)確度。楚博策等[16]提出一種基于多特征融合的自學(xué)習(xí)算法,對感興趣目標(biāo)提取形態(tài)學(xué)、灰度和輪廓等多種特征,通過對多特征閾值判定方法對相似艦船目標(biāo)進(jìn)行檢測,可實(shí)現(xiàn)對戰(zhàn)場突發(fā)狀況與未知目標(biāo)快速反應(yīng)能力的同時保證較高的檢測準(zhǔn)確率。黎經(jīng)元等[17]提出一種基于邊緣線梯度特征定位和聚合通道特征的艦船檢測方法,基于多尺度多結(jié)構(gòu)元素形態(tài)學(xué)濾波實(shí)現(xiàn)海陸分割,并結(jié)合遙感圖像中港口的矩形形狀特點(diǎn),定義邊緣梯度正切角和港口凹凸度特征以對港口進(jìn)行定位,獲取港口感興趣區(qū)域集合,利用訓(xùn)練完成后的分類器完成艦船目標(biāo)的最終判別確認(rèn)。成明輝[18]基于全球海岸線數(shù)據(jù)完成海岸線匹配,對陸地區(qū)域進(jìn)行填充,實(shí)現(xiàn)海陸分割,消除陸地背景的干擾,在此基礎(chǔ)上完成艦船目標(biāo)的檢測。倪慧洋[19]利用多結(jié)構(gòu)形態(tài)學(xué)濾波方法,濾波處理港口視頻圖像,選取局部自適應(yīng)閾值分割方法,將濾波處理后的港口視頻圖像劃分為前景圖像與背景圖像,將港口視頻的前景圖像作為SSD算法的輸入,利用SSD預(yù)測網(wǎng)絡(luò)輸出港口滯留船舶檢測結(jié)果。

目前,既有港口艦船檢測方法大多利用海陸分割算法提取整片海域以消除陸地干擾信息,然后在提取得到的海域中完成艦船檢測。本文進(jìn)一步縮小候選范圍,重點(diǎn)關(guān)注海岸線區(qū)域,同時結(jié)合深度學(xué)習(xí)技術(shù),提出基于海岸線候選框的港口艦船檢測方法,進(jìn)一步提升艦船目標(biāo)檢測準(zhǔn)確性和效率,實(shí)驗(yàn)結(jié)果表明,提出的方法具有一定參考價值。

2 算法流程

遙感影像中含有豐富的地物信息,數(shù)據(jù)量大,如果直接進(jìn)行艦船檢測,在檢測精度和速度方面都不能取得良好的效果。同時,?？颗灤幁h(huán)境位于海陸交界處,背景較為復(fù)雜,各種類型艦船尺度大小不一,對艦船檢測帶來了極大困難。因此,提出一種基于海岸線候選框的港口艦船檢測方法,實(shí)現(xiàn)港口復(fù)雜背景下的艦船檢測,具體檢測流程如圖1所示。

首先,利用大量已知海洋和陸地樣本切片數(shù)據(jù)構(gòu)建海陸二分類模型并進(jìn)行訓(xùn)練,針對大幅待處理遙感影像,利用訓(xùn)練好的海陸二分類模型得到待處理遙感影像中若干個海洋區(qū)域的初始點(diǎn),采用區(qū)域多點(diǎn)生長算法對這些初始點(diǎn)進(jìn)行生長,完成海陸分割,確定海岸線位置;然后,沿海岸線對待處理遙感影像進(jìn)行無重疊切分,生成一系列初始候選框切片;最后,利用基于區(qū)域候選網(wǎng)絡(luò)的目標(biāo)檢測框架和特征金字塔網(wǎng)絡(luò)構(gòu)建艦船檢測網(wǎng)絡(luò)模型,利用已知的艦船樣本數(shù)據(jù)對艦船檢測網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,利用訓(xùn)練好的艦船檢測網(wǎng)絡(luò)模型對生成的初始候選框切片數(shù)據(jù)進(jìn)行檢測,依據(jù)每個切片艦船檢測結(jié)果得到待處理遙感影像的艦船檢測結(jié)果。

3 海岸線候選區(qū)域生成

海岸線候選區(qū)域生成過程主要包括海陸分割及候選區(qū)域生成兩部分,海陸分割流程如圖2所示。利用已有遙感數(shù)據(jù)制作海洋和陸地的切片樣本,基于ResNet50分類網(wǎng)絡(luò)構(gòu)造海陸二分類模型,利用切片樣本數(shù)據(jù)對海陸二分類模型進(jìn)行訓(xùn)練,得到針對切片數(shù)據(jù)的小尺度海陸二分類模型。然后,將待檢測遙感影像切分成一系列預(yù)定尺寸的切片數(shù)據(jù),利用海陸二分類模型對待處理遙感影像切片數(shù)據(jù)進(jìn)行海陸二分類處理,得到若干海洋區(qū)域的切片,基于灰度特征確定每個海洋切片中概率最高的位置,作為海洋區(qū)域的初始點(diǎn)?；谶@些海洋區(qū)域初始點(diǎn),利用區(qū)域多點(diǎn)生長的分割算法,將周圍與其相似的像素進(jìn)行合并,以完成“生長”,得到海洋分割結(jié)果,具體如圖3所示,圖中的點(diǎn)即為得到的若干海洋位置初始點(diǎn)。

圖2 海陸分割流程Fig.2 Flowchart of sea and land segmentation

圖3 海陸分割結(jié)果Fig.3 Results of sea and land segmentation

對遙感影像進(jìn)行海陸分割之后,考慮到?？颗灤瑧?yīng)在海岸線附近,因此,并不是按照傳統(tǒng)滑窗的方式對影像進(jìn)行切分,而是沿海岸線提取可能存在艦船的區(qū)域。假設(shè)遙感影像空間分辨率為xm,由于全球所有艦船長度均小于400 m,為了確定初始候選框能夠完全包含艦船目標(biāo),設(shè)定初始候選框的邊長為2×[400/x] pixel?；谠摮叽?沿海岸線以2/3的重疊率生成初始候選框,并在原影像中切分,最終得到一系列正方形的候選區(qū)域,在每個候選框內(nèi)進(jìn)行艦船檢測,影像切分結(jié)果如圖4所示。

(a)原圖

(b)切分之后影像圖4 影像切分結(jié)果Fig.4 Results of image segmentation

4 艦船檢測網(wǎng)絡(luò)模型

由于?？颗灤亩鄻有?單一尺度的特征圖并不能有效解決艦船的多尺度問題。因此,采用特征金字塔網(wǎng)絡(luò),將不同尺度的特征圖進(jìn)行自頂而下的融合以及橫向的連接,同時在經(jīng)過融合和連接的不同尺度特征圖上進(jìn)行預(yù)測,示意如圖5所示。

圖5 多尺度特征網(wǎng)絡(luò)示意Fig.5 Schematic diagram of multi-scale feature network

首先對輸入圖像進(jìn)行特征提取,得到不同層級多個尺度的特征圖,然后將高層和低層特征進(jìn)行融合(對高層特征進(jìn)行上采樣之后與其前一層特征進(jìn)行融合),重復(fù)迭代該過程,最終得到既包含高層語義信息又包含低層細(xì)節(jié)信息的特征圖,同時針對融合后的各個尺度的特征圖都進(jìn)行預(yù)測。

以ResNet網(wǎng)絡(luò)作為CNN骨干網(wǎng)絡(luò)進(jìn)行特征提取,并利用特征金字塔網(wǎng)絡(luò)得到多尺度融合的特征圖,基于該特征圖形成多個尺度的目標(biāo)候選區(qū)域,然后結(jié)合多尺度融合的特征圖和目標(biāo)候選區(qū)域?qū)ε灤繕?biāo)進(jìn)行檢測,網(wǎng)絡(luò)架構(gòu)如圖6所示。

圖6 艦船檢測網(wǎng)絡(luò)架構(gòu)Fig.6 Ship detection network architecture

將切分后的影像輸入網(wǎng)絡(luò)模型,逐層提取特征。在候選區(qū)域生成階段,依次將第2、3、4、5級的特征層進(jìn)行1×1卷積,與經(jīng)過上采樣的下一級特征層進(jìn)行融合,然后第5級特征層進(jìn)行下采樣得到語義信息更加豐富的特征圖,最終得到5種不同尺度的特征圖,在此基礎(chǔ)上分別創(chuàng)建不同大小(32、64、128、256、512)以及不同寬高比(1∶2、1∶1、2∶1)的候選框,產(chǎn)生目標(biāo)候選區(qū)域。在感興趣區(qū)域池化階段,將融合后不同尺度的特征層和一系列候選區(qū)域作為輸入,其中大尺度的感興趣區(qū)域?qū)?yīng)高級別的特征圖,小尺度的感興趣區(qū)域?qū)?yīng)低級別的特征圖,具體對應(yīng)關(guān)系如下:

式中:k0為基準(zhǔn)值,設(shè)為4,代表最高級別的特征層,w、h為感興趣區(qū)域的寬和高,x為依據(jù)影像分辨率切分后的尺寸大小。如果感興趣區(qū)域尺寸最大,則采用第4級別的特征圖,如果感興趣區(qū)域更小,則采用更低級別的特征圖,依次利用到每個層級的特征圖。最后,經(jīng)過感興趣區(qū)域池化層之后,對目標(biāo)進(jìn)行預(yù)測,得到目標(biāo)類別和位置范圍。

5 實(shí)驗(yàn)情況

5.1 數(shù)據(jù)集構(gòu)建

本文海陸二分類模型的訓(xùn)練數(shù)據(jù)選自高分2號全色影像數(shù)據(jù),影像分辨率為0.8 m,數(shù)量為4,對原始影像進(jìn)行切分后,選取海洋切片樣本約5 000張,陸地切片樣本約8 000張。艦船檢測算法模型基于HRSC2016開源數(shù)據(jù)集進(jìn)行訓(xùn)練,HRSC2016數(shù)據(jù)集中包含4大類19個小類的艦船數(shù)據(jù),共包含2 976個艦船目標(biāo)實(shí)例。測試數(shù)據(jù)集選自谷歌地球中的19級和18級遙感數(shù)據(jù),影像分辨率為0.3～0.5 m,30幅遙感影像,影像尺寸均大于10 000 pixel×10 000 pixel,包含艦船目標(biāo)675個。

5.2 實(shí)驗(yàn)結(jié)果分析

本文算法基于Faster RCNN檢測網(wǎng)絡(luò)模型實(shí)現(xiàn),在圖像工作站上對谷歌地球上的遙感影像進(jìn)行艦船檢測實(shí)驗(yàn),圖像工作站配置單塊NVIDA P40 24 GB顯卡,遙感影像檢測結(jié)果如圖7和圖8所示。

在相同測試環(huán)境中,本文算法與Faster RCNN檢測算法進(jìn)行了對比分析,并分別在滑窗和特征金字塔方面設(shè)置變量,骨干網(wǎng)絡(luò)均選用ResNet50,訓(xùn)練數(shù)據(jù)為HRSC2016數(shù)據(jù)集,測試數(shù)據(jù)為30幅遙感影像,影像尺寸均大于10 000 pixel×10 000 pixel,包含艦船目標(biāo)675個。其中,Faster RCNN算法針對大幅遙感影像進(jìn)行滑窗檢測,滑窗尺寸大小與本文算法初始候選框大小一致,且重疊率均為2/3。同時為保證對比算法和本文算法的可比較性,對比算法采用的海陸分割處理方法與本文算法一致。為保證實(shí)驗(yàn)結(jié)果準(zhǔn)確、可靠,本文對測試數(shù)據(jù)集進(jìn)行算法性能測試時,各算法都進(jìn)行了50次獨(dú)立重復(fù)實(shí)驗(yàn)。針對實(shí)驗(yàn)結(jié)果,本文從檢測率、虛警率和算法耗時3個方面進(jìn)行了統(tǒng)計(jì),各項(xiàng)指標(biāo)均為50次測試實(shí)驗(yàn)結(jié)果的平均值。各項(xiàng)指標(biāo)定義如表1所示,實(shí)驗(yàn)對比結(jié)果如表2所示。

表1 評價指標(biāo)定義Tab.1 Definition of evaluation indicators

表2 實(shí)驗(yàn)結(jié)果Tab.2 Experimental results

實(shí)驗(yàn)結(jié)果表明,本文算法與Faster RCNN檢測算法相比,虛警率和算法耗時大幅降低。其中,相比傳統(tǒng)全圖滑窗方法及經(jīng)典海陸分割后海域滑窗方法,本文算法的平均耗時分別降低為約1/2和1/4。在虛警率方面,由于海岸線候選方法進(jìn)一步縮小了候選區(qū)域范圍,本文算法去除了部分海域及陸域的干擾,虛警率進(jìn)一步降低;在引入特征金字塔網(wǎng)絡(luò)后,整體提升了檢測準(zhǔn)確性。

對實(shí)驗(yàn)結(jié)果進(jìn)行分析得出,本文算法應(yīng)用的特征金字塔網(wǎng)絡(luò)抗尺度能力較好,在艦船檢測中有一定優(yōu)勢,能夠應(yīng)對艦船尺度大小不一的情況,顯著提高艦船檢測的檢測率,在此基礎(chǔ)上,引入海陸分割環(huán)節(jié),去除了陸地的大量干擾信息,大幅降低了艦船檢測的虛警率;同時,本文提出的基于海岸線切分方法能夠精準(zhǔn)確定候選區(qū)域,不會造成有效信息的損失,為后續(xù)艦船檢測過程去除大量無效檢測區(qū)域,大幅提升算法運(yùn)行效率。

6 結(jié)論

針對大幅遙感影像,提出了一種基于海岸線候選區(qū)域的港口艦船目標(biāo)檢測方法,該方法首先對海洋和陸地進(jìn)行了劃分,然后基于海陸分割結(jié)果沿海岸線對遙感影像進(jìn)行了切分處理,并在艦船目標(biāo)檢測算法中引入特征金字塔網(wǎng)絡(luò),應(yīng)對不同尺度大小的艦船目標(biāo)。實(shí)驗(yàn)結(jié)果表明,本文提出的方法有效地解決了大幅遙感影像港口艦船目標(biāo)檢測中虛警率過高和由于艦船尺度大小不一帶來的漏檢問題,大大提升了艦船檢測的速度,具有很好的應(yīng)用價值。