王曉輝,胡玉新,呂鵬
(1 中國科學(xué)院大學(xué),北京 100049;2 中國科學(xué)院空天信息創(chuàng)新研究院 中國科學(xué)院空間信息處理與應(yīng)用系統(tǒng)技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京 100094)( 2019年11月14日收稿; 2020年2月17日收修改稿)
高分四號(hào)(GF-4)衛(wèi)星是中國2015年發(fā)射的一顆地球靜止軌道對(duì)地觀測遙感衛(wèi)星,作為目前世界上分辨率最高的地球同步軌道光學(xué)遙感衛(wèi)星,GF-4衛(wèi)星光學(xué)相機(jī)星下點(diǎn)空間分辨率優(yōu)于50 m,具有空間分辨率高、時(shí)間分辨率高、覆蓋范圍廣等特點(diǎn)[1-2]?;谏鲜鰞?yōu)點(diǎn),可以利用GF-4衛(wèi)星對(duì)海上運(yùn)動(dòng)艦船目標(biāo)進(jìn)行連續(xù)、近實(shí)時(shí)檢測,獲取其行駛航跡,這對(duì)海洋船舶管理、漁業(yè)安全監(jiān)督和打擊海洋犯罪等方面具有重要意義[3]。
然而,由于大型艦船涂裝顏色通常較暗,盡管GF-4衛(wèi)星遙感圖像的分辨率為50 m,但是在GF-4衛(wèi)星遙感圖像中仍然無法看到艦船本身,只能看到艦船在運(yùn)動(dòng)過程中形成的尾跡。因此,利用GF-4衛(wèi)星遙感圖像進(jìn)行艦船檢測實(shí)際上是對(duì)海上艦船在運(yùn)動(dòng)過程中形成的尾跡進(jìn)行檢測。目前,主流的光學(xué)遙感圖像目標(biāo)檢測算法主要有:基于灰度統(tǒng)計(jì)特征的檢測方法、基于深度學(xué)習(xí)的檢測方法和基于視覺注意機(jī)制的檢測方法等?;诨叶冉y(tǒng)計(jì)特征的方法[4-7]利用艦船或其尾跡灰度明顯大于海面灰度的特點(diǎn)進(jìn)行檢測,但是該方法容易受到云的干擾,造成虛警或漏檢,因此并不適用;基于深度學(xué)習(xí)的目標(biāo)檢測方法[8-10]通過提取目標(biāo)的紋理和幾何特征進(jìn)行檢測,但是GF-4衛(wèi)星圖像中艦船尾跡的紋理和幾何特征很少,且會(huì)隨艦船運(yùn)動(dòng)速度、方向和風(fēng)力、風(fēng)向不斷變化,因此并不適用;基于視覺注意機(jī)制的方法[11-18]將人類視覺系統(tǒng)聚焦感興趣區(qū)域的機(jī)理應(yīng)用于圖像的感興趣區(qū)域(region of interest, ROI)提取中,該方法通過視覺顯著性模型提取視覺顯著圖,再對(duì)顯著圖中的顯著區(qū)域進(jìn)行篩選提取ROI。由于視覺注意模型對(duì)圖像分辨率沒有太高要求,可以對(duì)非顯著區(qū)域進(jìn)行大面積過濾,因此比較適合對(duì)GF-4衛(wèi)星圖像進(jìn)行艦船檢測。
基于上述分析,本文提出一種基于顯著圖融合的GF-4衛(wèi)星多運(yùn)動(dòng)艦船檢測方法。隨后章節(jié)安排如下:第1節(jié)對(duì)GF-4衛(wèi)星光學(xué)遙感圖像進(jìn)行中值濾波去噪和非線性灰度拉伸后,利用譜殘差(spectral residual, SR)方法[16]提取顯著圖進(jìn)行艦船檢測,并對(duì)算法復(fù)雜度進(jìn)行分析;第2節(jié)使用SR方法、基于相位譜和幅度譜調(diào)諧的方法(phase spectrum and tuning amplitude spectrum, PTA)[17]、基于離散余弦變換(discrete cosine transform, DCT)的相位譜方法(phase spectrum of discrete cosine transform, PCT)[18]對(duì)GF-4衛(wèi)星遙感圖像提取顯著圖,進(jìn)行艦船檢測,并分析討論檢測結(jié)果;第3節(jié)提出一種基于顯著圖融合的艦船檢測方法,選擇SR方法的顯著圖為基礎(chǔ)顯著圖,使用基于加權(quán)Dempster-Shafer(DS)證據(jù)理論(weighted Dempster-Shafer evidence theory, WDS)[19]的圖像融合方法,將其與PCT方法、PTA方法的顯著圖進(jìn)行融合,進(jìn)一步提升艦船檢測效果;第4節(jié)對(duì)全文進(jìn)行總結(jié)。
GF-4衛(wèi)星運(yùn)行在距地面36 000 km的地球靜止軌道,其主要用途為氣象、林業(yè)、農(nóng)業(yè)、環(huán)保和減災(zāi)等。與云層和陸地相比,GF-4衛(wèi)星圖像中的艦船尾跡屬于弱小目標(biāo),亮度低、面積小[20]。由于GF-4衛(wèi)星相機(jī)受空間高能粒子的影響,因此圖像不可避免地會(huì)受到噪聲干擾。此外,隨著相機(jī)使用次數(shù)的增加,壞像素點(diǎn)也會(huì)隨之增加。若直接對(duì)GF-4衛(wèi)星原始圖像進(jìn)行尾跡檢測,一定會(huì)存在大量的虛警與漏檢[21]。因此,在進(jìn)行尾跡檢測前,首先需要對(duì)GF-4衛(wèi)星原始遙感圖像進(jìn)行預(yù)處理,目的主要有2個(gè):1)減小噪聲和壞像素點(diǎn)對(duì)尾跡檢測的干擾,降低虛警;2)提高艦船尾跡灰度與海面灰度之間的比值,減少漏檢。預(yù)處理過程分為2部分,分別是中值濾波去噪和非線性灰度拉伸。下面將結(jié)合GF-4衛(wèi)星真實(shí)遙感圖像說明預(yù)處理的過程和意義。
圖1(a)展示的是2017年11月16日由GF-4衛(wèi)星拍攝的真實(shí)圖像,為便于觀察艦船尾跡及其周邊環(huán)境,我們?cè)谠紙D像中選取50 km×50 km(1 000 pixel×1 000 pixel)作為關(guān)注區(qū)域,圖中2個(gè)白框內(nèi)分別有2艘運(yùn)動(dòng)艦船的尾跡,可是肉眼幾乎無法看出。圖1(b)是圖1(a)的三維視圖,從圖中可以看出:1)在(245, 448)處存在1個(gè)壞像素點(diǎn),灰度值很高;2)圖像中存在密卷云[22],云的灰度值較高,形狀非常復(fù)雜;3)2個(gè)運(yùn)動(dòng)艦船的尾跡分別位于(713, 130)和(944, 292),其灰度值都小于云的灰度值,如(182, 623)。圖1(c)展示的是圖1(a)中(944, 292)處目標(biāo)放大后的效果,從圖中可以看出,即使進(jìn)行了局部放大,也很難觀察到尾跡的存在。
圖1 GF-4遙感圖像、三維視圖和尾跡放大圖像Fig.1 GF-4 remote sensing images, 3D images, and enlarged wake images
圖像增強(qiáng)常用方法有:灰度變換、直方圖增強(qiáng)和平滑濾波等。理論上,只要參數(shù)設(shè)置合適,這些方法都可以用于GF-4衛(wèi)星圖像增強(qiáng),達(dá)到圖像中尾跡灰度值與海面灰度值比值提高的目的。本文使用一種非線性灰度拉伸方法,可以自適應(yīng)地對(duì)圖像進(jìn)行拉伸,壓縮灰度級(jí)較高的云層與較低的海面背景,能夠達(dá)到更好的圖像增強(qiáng)效果。設(shè)GF-4衛(wèi)星原始遙感圖像為G(x,y),首先對(duì)其進(jìn)行中值濾波:
I(x,y)=M(G(x,y)).
(1)
其中:M(·)表示中值濾波過程,I(x,y)為中值濾波后的圖像。通常情況下,原始圖像中艦船尾跡占十幾個(gè)像素,壞像素點(diǎn)導(dǎo)致的噪聲占1~4個(gè)像素,因此本文中中值濾波器卷積核大小均設(shè)置為3×3。然后,對(duì)I(x,y)進(jìn)行非線性灰度拉伸:
(2)
其中:m是降噪處理后圖像I(x,y)的灰度均值,E是拉伸曲線斜率,eps是一極小值,目的是防止當(dāng)I(x,y)=0時(shí)公式無意義。由式(2),經(jīng)作者對(duì)所掌握的GF-4衛(wèi)星多場景下的遙感圖像進(jìn)行分析,E的取值范圍設(shè)為[6,8]較為合適。
圖1(d)展示的是圖1(a)經(jīng)過預(yù)處理后的圖像。從圖中可以看出,云的細(xì)節(jié)變得清晰,白框內(nèi)出現(xiàn)2個(gè)“白點(diǎn)”,這就是2艘運(yùn)動(dòng)艦船的尾跡。圖1(e)是圖1(d)的三維視圖,從圖中可以看出:1)壞像素點(diǎn)導(dǎo)致的噪聲被明顯抑制;2)云層、尾跡與海面對(duì)比度明顯增強(qiáng)。圖1(f)是圖1(c)經(jīng)過預(yù)處理后的圖像,從圖中可以看出艦船在運(yùn)動(dòng)過程中所形成的“紡錘狀”尾跡,這讓尾跡在視覺上有了可以進(jìn)行顯著性檢測的基礎(chǔ)。此外,從圖1(f)還可以看出,該尾跡在視覺上僅占二十幾個(gè)像素,且缺乏幾何和紋理特征,這也說明難以使用深度學(xué)習(xí)方法在GF-4衛(wèi)星遙感圖像中進(jìn)行尾跡檢測。
視覺顯著性模型利用視覺注意力機(jī)制對(duì)圖像進(jìn)行顯著圖提取,從圖像全局信息中快速篩選出圖像焦點(diǎn),獲得目標(biāo)所在顯著區(qū)域。視覺顯著性模型主要有基于空域的顯著性檢測模型[11-14]和基于頻域的顯著性模型[15-18]:基于空域的顯著性模型主要通過提取多種圖像底層全局顯著特征,將其融合,建立全局顯著圖,但如前文所述,GF-4遙感圖像中艦船尾跡缺乏清晰的紋理、幾何特征,灰度圖像也缺乏多通道的顏色特征,因此空域模型難以應(yīng)用于GF-4圖像;基于頻域的顯著性模型脫離生物視覺機(jī)制,將圖像轉(zhuǎn)換至頻域進(jìn)行頻譜處理,抑制冗余背景信息,最后轉(zhuǎn)換到空域獲得顯著圖像。在頻域模型中,部分方法是與特征、類別或者其他形式的先驗(yàn)知識(shí)無關(guān)的,如SR方法[16]、PTA方法[17]和PCT方法[18]等。
SR方法是文獻(xiàn)[16]提出的一種基于頻域進(jìn)行顯著圖提取的方法,該方法認(rèn)為一幅圖像的信息包括冗余信息與顯著性信息,將冗余信息(即對(duì)數(shù)譜中的相似部分)進(jìn)行濾除,只關(guān)注對(duì)數(shù)譜的差異,從而獲得圖像的顯著性信息。SR方法首先對(duì)預(yù)處理后的遙感圖像U(x,y)進(jìn)行二維離散傅里葉變換,得到頻域信號(hào)W(u,v)
W(u,v)=F(U(x,y))=A(u,v)e-jP(u,v).
(3)
其中:F(·)代表傅里葉變換,A(u,v)是頻域信號(hào)的幅度譜,P(u,v)是相位譜。對(duì)幅度譜A(u,v)取對(duì)數(shù)
L(u,v)=log(A(u,v)).
(4)
由于對(duì)數(shù)曲線滿足局部線性條件,所以用局部平均濾波器hn(u,v)對(duì)其進(jìn)行平滑,獲得一般的對(duì)數(shù)譜V(u,v)
V(u,v)=L(u,v)*hn(u,v).
(5)
其中:*代表卷積,hn(u,v)為n×n的均值濾波卷積核
(6)
將對(duì)數(shù)譜L(u,v)和一般對(duì)數(shù)譜V(u,v)之差定義為譜殘差R(u,v)
R(u,v)=L(u,v)-V(u,v).
(7)
譜殘差能夠描述一幅圖像中的異常區(qū)域與焦點(diǎn)信息,因此可以用來進(jìn)行顯著性目標(biāo)檢測。將譜殘差R(u,v)和相位譜P(u,v)進(jìn)行二維離散傅里葉反變換,對(duì)其取平方以消除誤差,再進(jìn)行高斯濾波即可重構(gòu)出一幅圖像,用來表示原圖像中各像素的顯著度:
S(x,y)=g(x,y)*F-1(R(u,v)e-jP(u,v))2.
(8)
其中:F-1(·)代表傅里葉反變換,g(x,y)為高斯濾波器,作用是提升圖像的顯著性效果。SR方法對(duì)圖1(d)提取顯著圖的結(jié)果如圖2(a)所示,圖中2個(gè)白點(diǎn)即為2個(gè)尾跡的SR方法檢測結(jié)果。圖2(b)是圖2(a)的三維視圖,從圖中可以看出,2個(gè)艦船尾跡所在位置的顯著度明顯高于圖中其他區(qū)域,云層與海面都被抑制。
圖2 SR方法顯著圖及其三維圖像Fig.2 Saliency map and its 3D image using SR method
作為評(píng)價(jià)一個(gè)目標(biāo)檢測方法性能的重要因素,計(jì)算復(fù)雜度是一項(xiàng)關(guān)鍵指標(biāo)。因?yàn)楸竟?jié)方法由預(yù)處理和SR方法組成,所以計(jì)算復(fù)雜度分析也由這2部分組成。預(yù)處理部分包括中值濾波和非線性灰度拉伸,對(duì)于處理一幅尺寸為M×N的遙感圖像,計(jì)算復(fù)雜度為O(MN)[23]。SR方法與2種經(jīng)典的基于頻域的顯著性檢測方法(PTA方法[17]和PCT方法[18])的計(jì)算復(fù)雜度對(duì)比如表1所示。
表1 不同顯著性檢測方法的計(jì)算復(fù)雜度Table 1 Computational complexity of differentsaliency detection methods
其中:α、β是PTA方法中幅度譜調(diào)諧參數(shù),K為高斯濾波核大小。分析3種算法復(fù)雜度,可以得出以下結(jié)論:1)基于頻域的視覺顯著性模型復(fù)雜度主要集中在空域與頻域相互轉(zhuǎn)換計(jì)算;2)與SR方法相比,PTA方法通過分段的方式進(jìn)行幅度譜調(diào)諧,隨著調(diào)諧參數(shù)增大,計(jì)算復(fù)雜度增加;3)由于增加了幅度譜調(diào)諧的過程,所以盡管PTA方法與SR方法計(jì)算復(fù)雜度仍在同一數(shù)量級(jí),但PTA方法的計(jì)算時(shí)間要明顯增加;4)PCT方法使用DCT變換完成空域到頻域的計(jì)算,雖然可以獲得更優(yōu)的浮點(diǎn)數(shù)計(jì)算結(jié)果和算法魯棒性,但時(shí)間復(fù)雜度的數(shù)量級(jí)要遠(yuǎn)高于SR方法與PTA方法。綜上所述,SR方法在計(jì)算復(fù)雜度上具有明顯優(yōu)勢,可以更快地進(jìn)行GF-4衛(wèi)星遙感圖像顯著圖提取。
為驗(yàn)證第1節(jié)方法的正確性和有效性,本節(jié)使用所提多運(yùn)動(dòng)艦船檢測方法對(duì)GF-4衛(wèi)星實(shí)測遙感圖像進(jìn)行艦船尾跡檢測,并與基于PTA方法和PCT方法的多運(yùn)動(dòng)艦船檢測方法進(jìn)行對(duì)比和討論。實(shí)驗(yàn)平臺(tái)為64位4核Intel i7-7700HQ CPU,主頻2.8 GHz,內(nèi)存32 GB,操作系統(tǒng)為Windows 10,仿真程序平臺(tái)為MATLAB 2018b。
實(shí)驗(yàn)使用GF-4衛(wèi)星在2017年11月和2018年8月期間拍攝的3個(gè)典型場景的遙感圖像,它們分別為薄云場景、密卷云場景和有島嶼場景。為方便觀察艦船尾跡及其周邊環(huán)境,我們從原始圖像裁切50 km×50 km (1 000 pixel×1 000 pixel)的含有艦船尾跡的數(shù)據(jù)。中值濾波器卷積核尺寸為3×3,拉伸曲線斜率E=7。GF-4衛(wèi)星原始圖像如圖3(a)~3(c)所示,圖中白框內(nèi)為尾跡位置,可是肉眼卻無法觀察到任何目標(biāo)。經(jīng)過預(yù)處理后圖像如圖3(d)~3(f)所示,從圖中可以看出,圖像整體變得明亮,細(xì)節(jié)變得清晰,白框內(nèi)均出現(xiàn)“白點(diǎn)”,這就是艦船尾跡。
圖3 GF-4衛(wèi)星薄云、密卷云和有島嶼場景遙感圖像Fig.3 Light clouds, cirrus clouds, and island scene remote sensing images of GF-4
PTA方法是通過傅里葉變換將圖像轉(zhuǎn)換到頻域后,基于整體圖像的幅度譜的均值mPTA設(shè)定一個(gè)顯著性特征分類閾值Δ=γmPTA,其中γ為增強(qiáng)倍數(shù),根據(jù)此閾值進(jìn)行非線性的幅度譜調(diào)諧,提升主要顯著目標(biāo)的顯著度,降低非顯著目標(biāo)的顯著度,最后經(jīng)傅里葉反變換得到顯著圖。PCT方法將圖像經(jīng)DCT變換后得到頻域的相位譜,舍去幅度譜信息,僅將相位譜進(jìn)行DCT反變換到空域獲得重構(gòu)圖像,對(duì)重構(gòu)圖像進(jìn)行KPCT次哈達(dá)瑪乘積以突顯顯著圖中顯著度較高的像素點(diǎn)并抑制低顯著度區(qū)域,最后進(jìn)行平滑濾波,獲得顯著圖。
為了便于對(duì)比,我們將所有顯著圖進(jìn)行歸一化處理,目標(biāo)檢測閾值設(shè)置為0.40,圖4~圖6的半透明平面代表閾值平面。3種方法的主要參數(shù)設(shè)置如下:PTA方法中均值增強(qiáng)倍數(shù)γ=50,幅度譜調(diào)諧參數(shù)α=3、β=0.5;PCT方法中哈達(dá)瑪乘積次數(shù)KPCT=1;SR方法中均值濾波卷積核尺寸為3×3;3種方法高斯濾波的高斯核尺寸為3×3。薄云場景下3種方法顯著圖提取結(jié)果如圖4所示,從圖中可以看出:1)在當(dāng)前參數(shù)設(shè)置下,3種方法均檢測到全部3個(gè)尾跡目標(biāo);2)PTA方法在(540, 2)處出現(xiàn)了虛警;3)在該場景下,3種方法中尾跡處的顯著度區(qū)別不大。
圖4 薄云場景不同方法顯著圖的三維視圖Fig.4 3D images of saliency map using different methods on light clouds image
密卷云場景下3種方法顯著圖提取的結(jié)果如圖5所示,從圖中可以看出:1)PTA方法未檢測到(944, 292)處的尾跡,SR方法和PCT方法檢測到了全部2個(gè)尾跡;2)對(duì)于(944, 292)處的艦船尾跡,PCT方法顯著圖的顯著度為0.720 0,SR方法顯著圖的顯著度為0.678 5,均遠(yuǎn)高于PTA方法的0.379 4;3)在對(duì)非顯著性區(qū)域的抑制方面,選擇處于厚云區(qū)域的(191, 825)點(diǎn)進(jìn)行對(duì)比,SR方法在此點(diǎn)的顯著度比PCT方法低17.80%,這說明SR方法對(duì)云層的抑制效果比PCT方法更明顯。
圖5 密卷云場景不同方法顯著圖三維視圖Fig.5 3D images of saliency map using different methods on cirrus clouds image
有島嶼場景下3種方法顯著圖提取的結(jié)果如圖6所示,從圖中可以看出:1)通過面積特征對(duì)島礁過濾后,PTA方法未檢測到(615, 806)處的尾跡,SR方法和PCT方法檢測到了全部2個(gè)尾跡;2)PTA方法在圖像左側(cè)島嶼邊緣(352, 934)和(89, 500)處出現(xiàn)虛警;3)對(duì)位于(615, 806)的次顯著尾跡而言,SR方法顯著圖的顯著度更高,而PCT方法顯著度為0.403 8,已經(jīng)接近檢測閾值,PTA方法顯著度為0.330 9,低于檢測閾值;4)對(duì)于背景區(qū)域,以(352, 934)為例,PTA方法和PCT方法顯著圖的顯著度分別為0.454 2和0.361 2,均高于SR方法的0.333 9,這說明SR方法對(duì)島嶼邊緣的背景抑制更明顯。
圖6 有島嶼場景不同方法顯著圖三維視圖Fig.6 3D images of saliency map using different methods on island scene image
我們對(duì)3個(gè)場景的各28幀圖像序列進(jìn)行尾跡檢測。通過人工判讀,得到3個(gè)場景中真實(shí)尾跡總數(shù)分別為:81、39和42。實(shí)驗(yàn)分別統(tǒng)計(jì)檢測數(shù)、虛警數(shù)、漏檢數(shù)和每幀圖像處理時(shí)間,統(tǒng)計(jì)結(jié)果如表2所示。從表2可以看出:1)在薄云場景中,PTA方法的虛警數(shù)明顯高于PCT方法與SR方法,這是由于PTA方法的分類閾值來自于整體圖像幅度譜均值,但是薄云場景中的一小片毛卷云導(dǎo)致圖像幅度譜均值變化,云的顯著度被增強(qiáng);2)在密卷云場景中,與PCT方法、SR方法相比,PTA方法漏檢更多,這是由于該場景中幅度譜調(diào)諧的閾值分割導(dǎo)致次要目標(biāo)顯著度被降低;3)在有島嶼場景中,PCT方法的虛警數(shù)遠(yuǎn)高于PTA方法與SR方法,這是因?yàn)镻CT方法損失了圖像幅度譜信息,還進(jìn)行了1次哈達(dá)瑪乘積使顯著度增強(qiáng),從而導(dǎo)致背景區(qū)域被增強(qiáng);4)在處理時(shí)間指標(biāo)上,PTA方法和PCT方法均劣于SR方法,這是因?yàn)镻TA方法加入幅度譜調(diào)諧,PCT方法使用DCT方法進(jìn)行頻域變換,導(dǎo)致2種方法計(jì)算復(fù)雜度更高。綜上所述,SR方法在虛警數(shù)與處理時(shí)間2個(gè)指標(biāo)上明顯優(yōu)于PCT方法,在虛警數(shù)、漏檢數(shù)和處理時(shí)間3個(gè)指標(biāo)上明顯優(yōu)于PTA方法。
表2 GF-4圖像序列不同方法艦船檢測結(jié)果Table 2 Ship detection results using different methods on GF-4 satellite sequential images
通過以上實(shí)驗(yàn),可以得到以下結(jié)論:1)在GF-4衛(wèi)星光學(xué)遙感圖像多運(yùn)動(dòng)艦船檢測問題中,PTA方法采用的分段調(diào)諧處理在密卷云場景中容易把次顯著目標(biāo)顯著度降低,或在薄云場景中將部分背景的顯著度提高,從而產(chǎn)生漏檢和虛警;2)PCT方法在頻域中舍棄了幅度譜,損失了很多灰度信息,這使得如圖6(b)中(615, 806)處尾跡的顯著度變低。此外,PCT方法由于使用哈達(dá)瑪乘積增強(qiáng)顯著區(qū)域,導(dǎo)致島嶼和厚云邊緣也被增強(qiáng),造成更多虛警;3)PTA方法為增強(qiáng)首要顯著目標(biāo),在幅度譜調(diào)諧過程中加入多次判斷,增加了計(jì)算復(fù)雜度,PCT方法為了算法魯棒性使用了DCT變換,而DCT變換計(jì)算復(fù)雜度較高。綜上所述,無論是檢測效果還是處理速度,SR方法優(yōu)于PCT方法和PTA方法。
通過第2節(jié)的實(shí)驗(yàn)分析可以看出,盡管SR方法提取的顯著圖在大多數(shù)場景下具有較好的效果,但是不同的顯著性檢測方法有其自身的優(yōu)勢。例如,PCT方法提取的顯著圖對(duì)整體圖像邊緣部分抑制較好,PTA方法提取的顯著圖在密卷云場景中對(duì)虛警抑制較好等。本節(jié)以SR方法提取的顯著圖為基礎(chǔ)圖像,結(jié)合PCT方法和PTA方法提取的顯著圖,利用WDS方法進(jìn)行融合,獲取更準(zhǔn)確的顯著圖,進(jìn)而得到更優(yōu)的檢測效果。
圖像融合是是將同一場景的2幅或多幅圖像信息加以綜合的過程,從低級(jí)到高級(jí)可以抽象為像素級(jí)、特征級(jí)和決策級(jí)圖像融合[24]。像素級(jí)圖像融合技術(shù)可以最大程度保留信息,更適合顯著圖融合,其分為變化域方法與空間域方法。變換域的圖像融合方法將原圖像分解至多分辨率空間,得到多尺度的頻率子帶系數(shù),在不同尺度上對(duì)子圖像進(jìn)行融合,然后進(jìn)行重構(gòu)得到最終融合圖像,如文獻(xiàn)[25]提出的基于平穩(wěn)小波變換(stationary wavelet transform, SWT)的圖像融合方法,可以使得圖像對(duì)比度更高,信息量更豐富,但是小波變換計(jì)算復(fù)雜度較高??臻g域方法根據(jù)關(guān)注的有效信息,通過制定的融合規(guī)則直接對(duì)像素點(diǎn)或像素塊進(jìn)行融合,如文獻(xiàn)[19]提出的WDS方法,可以發(fā)揮DS證據(jù)理論在不確定事件的融合優(yōu)勢。傳統(tǒng)的DS證據(jù)理論融合方法對(duì)所有證據(jù)擁有相同的權(quán)值,但是不同顯著性檢測方法不僅在不同場景下的效果不一,在不同像素處的可信度也不同,因此WDS方法較為適用于顯著性圖像融合。
本文提出一種使用WDS方法作為顯著圖融合方式,進(jìn)行GF-4衛(wèi)星光學(xué)遙感圖像艦船檢測的方法。首先對(duì)預(yù)處理后的GF-4遙感圖像U(x,y)使用n種不同顯著性檢測方法(PCT方法、PTA方法和SR方法)提取顯著圖,對(duì)不同顯著圖的(x,y)處,使用加權(quán)DS證據(jù)理論計(jì)算加權(quán)質(zhì)量函數(shù)值作為參考融合顯著圖的顯著度Sal1(x,y)
(9)
其中:Crd(Qi(x,y))和Qi(x,y)分別為第i種顯著性檢測方法的可信度和基本概率分配。
由第2節(jié)實(shí)驗(yàn)可知,SR方法在多數(shù)場景下優(yōu)于PCT方法和PTA方法,將其作為基礎(chǔ)顯著性檢測方法,根據(jù)其前景置信度計(jì)算基礎(chǔ)顯著圖Sal2(x,y)
Sal2(x,y)=Bel(Q(x,y)).
(10)
其中:Bel(·)為置信度函數(shù)。最終圖像Sal(x,y)由參考融合顯著圖Sal1(x,y)與基礎(chǔ)顯著圖Sal2(x,y)融合而成:
Sal(x,y)=μ1×Sal1(x,y)+μ2×Sal2(x,y).
(11)
其中:μ1和μ2為合成權(quán)重值。
將SR方法提取的顯著圖、SWT方法融合顯著圖與WDS方法融合顯著圖進(jìn)行對(duì)比分析,實(shí)驗(yàn)使用圖3薄云、密卷云和有島嶼3個(gè)典型場景的圖像。根據(jù)經(jīng)驗(yàn),WDS方法中式(11)中合成權(quán)重值μ1=0.6,μ2=0.4;SWT方法中小波基選擇為bior4.4小波,分解層數(shù)為4層。最終所有結(jié)果圖像均進(jìn)行歸一化,目標(biāo)檢測閾值設(shè)置為0.40,圖7~圖9中的半透明平面代表閾值平面。
薄云場景下,SR方法提取的顯著圖、經(jīng)SWT方法和WDS方法融合的顯著圖如圖7所示,從圖中可以看出:1)3種方法的顯著圖均檢測到了3個(gè)尾跡;2)對(duì)位于(492, 509)和(896, 301)的2個(gè)艦船尾跡,SWT方法和WDS方法融合顯著圖的顯著度均高于SR方法,它們?nèi)诤狭薖CT方法和PTA方法在2個(gè)艦船尾跡處顯著度較高的優(yōu)勢;3)對(duì)于圖像邊緣(466, 999)處,3種方法的顯著度分別為:0.197 7、0.159 5和0.093 82,可以看出WDS方法融合顯著圖的顯著度對(duì)圖像邊緣的抑制優(yōu)于SR方法和SWT方法,融合了PCT方法對(duì)圖像邊緣的抑制優(yōu)勢。
圖7 薄云場景不同融合方法顯著圖三維視圖Fig.7 3D images of saliency map using different fusion methods on light clouds image
密卷云場景下3種方法顯著圖提取的結(jié)果如圖8所示,從圖中可以看出:1)3種方法均檢測到2個(gè)尾跡,但是在(944, 292)處的尾跡,結(jié)合圖5的分析,可以看出SWT方法融合過程中在此處決策傾向于PTA方法,而WDS方法傾向于PCT方法,導(dǎo)致在此處尾跡2種融合方法顯著度變化趨勢不一致,WDS方法顯著度變高,而SWT方法變低;2)對(duì)于背景點(diǎn)(672, 965),WDS方法融合了PTA方法的優(yōu)勢,顯著度變低;3)對(duì)于圖像邊緣(1, 892),2種融合方法吸收了PCT方法優(yōu)勢,顯著度降低。
圖8 密卷云場景不同融合方法顯著圖三維視圖Fig.8 3D images of saliency map using different fusion methods on cirrus clouds image
有島嶼場景下3種方法顯著圖提取結(jié)果如圖9所示,從圖中可以看出:1)通過面積特征對(duì)島礁過濾后,3種方法均檢測到2個(gè)尾跡;2)SWT方法雖然在(615, 806)處的艦船尾跡得到了更高的顯著度,但是在(352, 934)和(89, 500)2處背景點(diǎn)顯著度也相應(yīng)變高,提高了虛警風(fēng)險(xiǎn),WDS方法在這幾處和SR方法基本一致;3)在圖像邊緣(384, 999)處,2種融合方法的抑制效果更優(yōu),其中WDS方法在該處的顯著度由SR方法的0.355 5降低至0.211 2,比SWT方法抑制效果更明顯。
圖9 有島嶼場景不同融合方法顯著圖三維視圖Fig.9 3D images of saliency map using different fusion methods on island scene image
表3展示了對(duì)3個(gè)場景的各28幀圖像序列進(jìn)行艦船檢測的結(jié)果,通過分析可以看出:1)在薄云場景中,盡管前文分析WDS方法和SWT方法優(yōu)于SR方法,但是由于本身場景較為簡單,檢測效果較好,所以在該場景中,3種方法的檢測結(jié)果基本相同;2)在密卷云場景中,2種融合方法使虛警數(shù)降低,且WDS方法使得(944, 292)處艦船尾跡的顯著度提高,在尾跡從圖像邊緣向圖像內(nèi)運(yùn)動(dòng)時(shí),可以提前一幀檢測到該尾跡,WDS方法使漏檢數(shù)得到降低;3)在有島嶼場景中,2種方法對(duì)圖像邊緣的顯著度進(jìn)行了有效抑制,圖像邊緣處虛警得到降低,但是SWT方法顯著圖島嶼邊緣的顯著度提升導(dǎo)致產(chǎn)生新的虛警,所以該方法最終總虛警數(shù)未發(fā)生變化,SWT的尾跡顯著度有一定提升,漏檢數(shù)優(yōu)于其他2種方法;4)在處理時(shí)間指標(biāo)上,融合方法需要在幾種顯著性檢測方法結(jié)束后進(jìn)行處理,故處理時(shí)間要高于單一顯著性檢測方法,SWT方法中使用小波變換且3幅顯著圖需要串行融合,故處理時(shí)間遠(yuǎn)高于WDS方法。綜上,綜合考慮檢測效果和時(shí)效性,WDS方法雖然處理時(shí)間優(yōu)于SWT方法,劣于SR方法,但是對(duì)于復(fù)雜場景(密卷云、有島嶼等)的檢測效果要明顯優(yōu)于SR方法和SWT方法。
表3 GF-4圖像序列不同融合方法艦船檢測結(jié)果Table 3 Ship detection results using different fusion methods on GF-4 satellite sequential images
通過本節(jié)實(shí)驗(yàn),可以得到以下結(jié)論:1)與PCT方法和PTA方法相比,盡管SR方法在大多場景下取得了較好的檢測效果,但是在密卷云等場景下,可以利用WDS方法融合PCT方法和PTA方法的優(yōu)點(diǎn),使得檢測效果進(jìn)一步提升;2)盡管本文所提的基于顯著圖融合的GF-4衛(wèi)星光學(xué)遙感圖像多運(yùn)動(dòng)艦船目標(biāo)檢測方法處理時(shí)間高于單一顯著性檢測方法,但是平均每幀處理時(shí)間仍在0.8 s內(nèi),可以滿足GF-4衛(wèi)星光學(xué)遙感圖像艦船目標(biāo)檢測的時(shí)效性需求;3)SWT方法在密卷云場景的次顯著目標(biāo)處,融合過程決策傾向于顯著度較低的PTA方法,增加了目標(biāo)漏檢風(fēng)險(xiǎn);4)WDS方法可以指定檢測效果較好的SR方法顯著圖為基礎(chǔ)顯著圖,使得最終結(jié)果在融合其他方法優(yōu)點(diǎn)的基礎(chǔ)上,不會(huì)因?yàn)椴煌椒滁c(diǎn)顯著度的較大偏差導(dǎo)致偏離較好的基礎(chǔ)結(jié)果過多,從而具有更好的適應(yīng)性。綜上所述,WDS方法可以通過融合多種顯著性檢測方法的結(jié)果,提升GF-4衛(wèi)星光學(xué)遙感圖像多艦船檢測效果。
GF-4衛(wèi)星高時(shí)間分辨率、高空間分辨率和高成像幅寬等優(yōu)點(diǎn),使其對(duì)運(yùn)動(dòng)艦船進(jìn)行連續(xù)觀測成為可能。面對(duì)運(yùn)動(dòng)艦船尾跡紋理和幾何特征少、變化大,環(huán)境復(fù)雜等實(shí)際困難,本文提出一種基于WDS方法的GF-4衛(wèi)星光學(xué)遙感圖像多運(yùn)動(dòng)艦船檢測方法,融合SR方法、PCT方法和PTA方法在不同場景下進(jìn)行艦船檢測的優(yōu)點(diǎn),能夠利用GF-4衛(wèi)星光學(xué)遙感圖像對(duì)海上艦船的尾跡進(jìn)行準(zhǔn)確、快速地檢測,這對(duì)打擊海上偷渡、非法捕撈等犯罪活動(dòng)具有重要意義。
中國科學(xué)院大學(xué)學(xué)報(bào)2021年5期