趙曉楓, 吳 飛,*, 徐葉斌, 牛家輝, 蔡 偉, 張志利

(1. 火箭軍工程大學導彈工程學院, 陜西 西安 710025;2. 兵器發(fā)射理論與技術國家重點學科實驗室, 陜西 西安 710025)

0 引 言

對目標紅外偽裝效果進行定量評價,不僅可以用于檢驗特定環(huán)境下目標的隱蔽效果,還可以為偽裝設計、改進提供現(xiàn)實依據(jù),而且對紅外偵測系統(tǒng)的探測性能檢驗也具有重要意義。

當前,紅外偽裝效果的定量評價主要分為兩大類:基于Johnson準則的探測概率法和基于圖像特征分析的相似性度量法。前者需要推導出紅外探測器的最小可分辨溫差(minimum resolveable temperature difference, MRTD)與空間頻率的曲線方程,然后結合目標尺寸與溫度求出目標等效條帶數(shù),最后利用Johnson準則得出某一距離下紅外探測器對該目標的探測概率。這類方法存在著兩個明顯的局限性:一是需要獲取完備的探測器性能參數(shù)以及被測目標尺寸大小;二是推導建立的MRTD模型會與實際紅外探測器的最小可分辨溫差存在偏差,影響探測概率的計算精度?；趫D像特征分析的相似性度量法實質上是對紅外偵測設備從真實環(huán)境中采集的紅外圖像進行特征分析,分別提取圖像中目標與背景的特征參量,計算兩者之間的相似程度或者距離差異,目標與背景的紅外特征越相似,偽裝效果就越好,而這其中的關鍵環(huán)節(jié)就是對背景區(qū)域的選擇。王霞等針對艦船紅外圖像的特征,設計了以探測概率和特征相似度為指標的紅外偽裝評價方法。陸文駿等構建了基于混合特征和顯著性檢測的紅外圖像質量評價模型,以主觀評測為基準,實現(xiàn)了對紅外偵察圖像的評價。應家駒等通過采集紅外動態(tài)偽裝系統(tǒng)中背景與目標之間的4種特征值,依據(jù)信息熵分配特征值權重,乘積作為目標的紅外偽裝評價結果。Xue等提出了一種利用圖像顯著性評價紅外偽裝效果的替代方法,通過計算并融合偽裝目標的主、副顯著性得到偽裝效能值。然而,運用上述方法對背景相對簡單的目標進行紅外偽裝效果評價時,能夠得到較為準確的評價值,但是當目標所在背景環(huán)境復雜,得到的評價值往往并不理想。主要原因在于:一是上述方法在評價目標偽裝效果時選取的參照物都是鄰域背景,若背景紋理特征較為復雜或者目標鄰域背景區(qū)域不連續(xù)、存在灰度階躍時,此時與不同鄰域背景區(qū)域的相似性度量結果往往相差較大,不能反應目標真實的紅外偽裝效果。理想的紅外偽裝不是要求目標與鄰域背景區(qū)域特征完全一致,而是要求目標與鄰域背景區(qū)域高度融合,兩者的結構、紋理、對比度等特征實現(xiàn)平滑過度;二是如果將鄰域背景作為參照物,需要選取以目標為中心的多塊同等大小鄰域背景區(qū)域與目標區(qū)域進行相似性度量,當待評價目標在紅外圖像中像素占比較大時,很難選取出符合條件的多塊鄰域背景區(qū)域與其進行相似性度量。

針對以上存在的問題,本文提出了一種基于背景還原的紅外偽裝效果評價方法。首先利用改進后的Criminisi模型構建背景還原圖像,并對修復質量和還原效果進行評價,然后與原始目標圖像進行相似性度量,最后通過兩個評價指標的非線性融合,實現(xiàn)復雜環(huán)境背景下目標紅外偽裝效果的綜合評價。

1 背景還原圖像的構建與評價

1.1 背景還原圖像的構建

《GJB434-88偽裝術語》對紅外偽裝進行了明確的規(guī)定:使工作在紅外波段的探測設備難以探測或造成錯覺的偽裝。其主要就是減小目標與背景的散射或熱輻射差異,理想狀態(tài)下的紅外偽裝這種差異近乎為0,即目標“消失”在背景之中。基于圖像修復算法的背景還原圖像構建如圖1(a)所示,其中,為目標區(qū)域;為目標的輪廓,隨著算法的進展,向內(nèi)演化直至消失;為目標以外的背景區(qū)域,該區(qū)域提供了還原目標遮蔽區(qū)域所需的樣本信息;為上的任意一點,為以為中心的待還原塊。將原始紅外偽裝目標從圖像中分割,對逐個修復,還原出該區(qū)域的背景信息,使得與兩個區(qū)域高度融合,如圖1(b)所示,視為目標在該背景下的理想紅外偽裝。

圖1 背景還原圖像Fig.1 Background restoration image

傳統(tǒng)的圖像修復算法大多從紋理合成的角度出發(fā),試圖用重復的二維紋理模式去修復圖像殘缺區(qū)域。盡管這些算法在修復一些斑點和線條方面很有效,卻很難在紅外偽裝圖像中修復大面積目標區(qū)域。主要問題是目標與背景之間的邊界是多個紋理在空間上相互影響的復雜產(chǎn)物,與純紋理的二維性質相比,這些區(qū)域的邊界形成了更接近一維的線性圖像結構。針對以上問題,Criminisi等提出了一種基于樣本的紋理合成算法,能夠將線性結構和二維紋理傳播到目標區(qū)域,修復大面積孔洞時,感知質量和計算效率都明顯優(yōu)于以前的工作。因此,本文在Criminisi算法的基礎上進行了針對性的改進,使其更加適用于背景還原圖像的構建。

輸入原始的紅外偽裝圖像,利用imfreehand函數(shù)標記并分割出目標區(qū)域,其邊界作為待修復區(qū)域的初始邊界。

確定目標邊界上點的臨時優(yōu)先級(),該值決定了以為中心的邊界塊的填充順序,在Criminisi算法中,()定義如下:

()=()·()

(1)

式中:()為置信項,用來度量點周圍的可靠信息量,其目的是優(yōu)先修復那些擁有更多已知像素點的邊界塊;()為數(shù)據(jù)項,表示點的等照度線強度,其值越大,越先被修復,具體為

(2)

(3)

(4)

式中:和分別為權重系數(shù),具體值由試驗確定。由式(4)可知,即使置信項或數(shù)據(jù)項有一項等于0,只要另一項足夠大,那么該區(qū)域也能得到優(yōu)先修復。

(5)

(6)

(7)

重復步驟2～步驟4,直至待修復的目標區(qū)域修復完畢,得到背景還原圖像。

改進后的Criminisi算法有效解決了優(yōu)先權計算紊亂而導致填充中斷的問題,通過對目標輪廓到中心的逐像素遍歷進行修復工作,充分考慮了目標與周圍背景融合的問題,并將輪廓信息作為紅外偽裝效果評價的一部分。

1.2 背景還原圖像的評價

利用圖像修復算法構建的背景還原圖像與目標遮蔽下的真實背景圖像必然會存在因算法局限性而造成的偏差,因此,有必要先對背景還原圖像的修復質量和還原效果進行客觀評價,作為紅外偽裝效果綜合評價的指標之一。

在對還原背景評價的過程中,很多情況下目標不可輕易移動,難以獲得被測目標所遮蔽的背景區(qū)域信息,通過直接利用真實背景圖像與背景還原圖像進行比對的方法將失效。本文選用一種“全盲”的圖像質量評價模型——IL-NIQE來評價背景還原圖像的修復質量和還原效果,該模型不需要大量的訓練樣本和平均意見得分(mean opinion score, MOS),且能夠在無先驗知識的情況下對修復圖像質量作出準確評價。其基本思想如下:構建一組“質量感知”特征,并將其擬合到一個多元高斯(multivariate Gaussian, MVG)模型,質量感知特征源自簡單且高度規(guī)則的空間域自然場景統(tǒng)計(natural scene statistics, NSS),MVG模型具體如下:

(8)

式中:(,,…,)為個NSS特征;和分別為MVG的均值和協(xié)方差矩陣,使用文獻[22]中的最大似然程序來估計。

給定測試圖像的質量被表示為基于自然圖像語料庫(natural image corpus, NIC)的NSS特征模型與從測試圖像提取的特征MVG之間的距離:

(9)

式中:,,,分別為自然圖像MVG模型和測試圖像MVG模型的均值和協(xié)方差矩陣;距離分布在[0,100]之間,值越大代表圖像的修復質量越差。

使用IL-NIQE模型對背景還原圖像進行定量計算,對得到的值進行歸一化處理:

(10)

記為還原效果度量值,衡量還原背景與真實背景之間的接近程度,越接近1,表明構建的背景還原圖像的修復質量和還原效果越好。

2 紅外偽裝效果評價方法的建立

在紅外偽裝效果評價中,一種常見的思路是對目標與背景之間的紅外輻射特性進行相似性度量分析。本文首先對目標遮蔽的背景區(qū)域進行修復還原,并計算出還原效果度量值,再將背景還原圖像與原始紅外偽裝圖像進行相似性度量,最后融合兩個評價指標得到紅外偽裝效果的綜合評價值,方法流程如圖2所示。

圖2 紅外偽裝效果評價流程圖Fig.2 Infrared camouflage effect evaluation flow chart

2.1 相似性度量分析

人類視覺系統(tǒng)(human visual system,HVS)主要根據(jù)圖像的低層特征來理解圖像,顯著的低層特征傳達了HVS的關鍵信息。相似性的圖像質量評價(feature similarity index measure, FSIM)算法可以很好地利用低層特征計算原始紅外偽裝圖像和構建的背景還原圖像之間的相似程度。在該算法中,相位一致性(phase consistency, PC)被用作主要特征,梯度幅值(gradient amplitude, GM)作為次要特征,PC和GM在表征圖像局部相似性方面發(fā)揮互補作用,在獲得局部相似圖之后,再次使用PC作為加權函數(shù)來導出整張圖像的相似性度量值,具體表達式為

(11)

(12)

()=[()]·[()]

(13)

(14)

式中:、為增加穩(wěn)定性的正常數(shù),防止分母為0;、為權重值,通常設置==1;()為總體相似性函數(shù),其值等于相位相似性函數(shù)()和梯度相似性函數(shù)()的加權乘積;為整個圖像的空間域;()為()與()兩者中的最大值。

計算背景還原圖像與原始紅外偽裝圖像的FSIM值,結果用表示,取值范圍為[0,1],值越大說明偽裝目標與還原背景越相似。

2.2 綜合評價值的確立

還原效果度量值的大小直接影響著相似性度量值的可靠性,具體關系如下:還原效果度量值越高,表明構建的背景還原圖像效果越好,在與原始紅外偽裝圖像進行相似性度量時,得到的評價值就越能反應真實目標的偽裝效果;當還原效果度量值較小時,表明構建的背景還原圖像效果并不理想,此時與原始紅外偽裝圖像進行對比計算,得到的評價結果誤差較大,不能客觀反應目標真實的紅外偽裝效果。

考慮到還原效果度量值和相似性度量值并非完全獨立,如果采用線性加權的方式融合兩個指標,則忽略了兩者之間的非線性競爭關系。因此,本文借鑒了文獻[10]中多特征融合策略的思想,設計如下指數(shù)乘法函數(shù)進行計算:

(15)

式中:、為權重系數(shù),兩者之和等于1;、為遠小于1的正常數(shù),避免分母部分為0;用來衡量構造的背景還原圖像的可靠性,與呈正相關,當=1時,=1,表明背景還原圖像的質量非常好,此時值完全由決定,當=0時,=0,則構造的背景還原圖像不具備參考價值,無論取值如何,值都趨近于0;用來計算真實紅外偽裝與理想紅外偽裝之間的相似性,具體變化與相同。

綜合評價值由和兩部分組成,范圍為[0,1]。值越大說明目標的紅外偽裝效果越好。

3 實驗驗證與應用

實驗設計以Matlab 2019A作為工具,選擇的平臺為intel core i5-9400k CPU@2.6 GHz, DDR4 2400 16 GB RAM, GeForce 1650ti顯卡的計算機。

3.1 背景還原圖像構建效果分析

選擇的原始紅外偽裝圖像如圖3(a)所示,分別為茂密樹蔭下?？康男∞I車、城市道路上涂覆有偽裝涂層的坦克、藏匿在灌木叢后的人,同時選取水面上未實施任何偽裝的人員進行對比實驗。分別使用Criminisi算法和改進Criminisi算法構建背景還原圖像,結果如圖3(b)～圖3(d)所示。

圖3 構建背景還原圖像Fig.3 Construction of background restoration image

從人眼視覺的角度出發(fā),使用傳統(tǒng)的Criminisi算法對目標遮蔽區(qū)域修復時,存在著修復區(qū)域模糊、高頻信息缺失等問題,尤其是當周圍環(huán)境復雜且目標偽裝較好時,由于目標邊緣較弱,內(nèi)部紋理復雜,修復效果并不理想。改進后的Criminisi算法實現(xiàn)了對目標區(qū)域的高度修復,修復圖案與周圍背景的結構和紋理融合度較好,已看不出目標及其輪廓,效果更接近目標遮蔽下的真實背景。利用IL-NIQE模型對兩種背景還原圖像進行評價,結果如表1所示,a～d依次對應圖3(a)中從左到右的4幅紅外偽裝圖像。

表1 還原效果度量值

由表1可知,使用改進后的Criminisi算法得到的還原效果度量值更高,構建的背景還原圖像更加接近該目標遮蔽下的真實背景,可以作為目標紅外偽裝效果評價的參照物。當背景相對簡單且目標輪廓清晰時,兩種算法得到的還原效果度量值相似,改進算法的優(yōu)勢不明顯,如表1中b、d所示。當背景紋理復雜且目標偽裝較好時,改進算法的修復效果要明顯優(yōu)于原始Criminisi算法的修復效果,如表1中a、c所示,這與人眼視覺觀察的結果相符合。

3.2 紅外偽裝效果綜合評價實驗

由于當前并沒有專門針對紅外偽裝圖像的公開數(shù)據(jù)集,國內(nèi)外學者在對紅外偽裝評價方法的研究中主要還是采用自行拍攝或仿真的紅外圖像,目標類型和背景環(huán)境相對單一,方法的可行性和準確性難以得到有效驗證。因此課題組構建了以車輛、艦船、人物等目標為主的紅外偽裝數(shù)據(jù)集,數(shù)據(jù)集共495幅圖像,偽裝方式包含天然遮蔽偽裝、紅外偽裝網(wǎng)覆蓋偽裝、紅外偽裝涂層等,數(shù)據(jù)集中部分紅外圖像如圖4所示。拍攝設備為IRMC-S300制冷型中波紅外熱像儀。

圖4 紅外偽裝圖像Fig.4 Infrared camouflage image

3.2.1 基于主觀評價法的紅外偽裝效果評價

主觀評價法作為評價偽裝效果的最直接手段,更加類似于軍事偵察的實際情況。根據(jù)實驗設計不同,主觀評價法可分為單激勵法和雙激勵法兩大類。由于單激勵法具有對實驗環(huán)境要求低、速度快等優(yōu)點,本文采用單激勵法計算紅外偽裝圖像的MOS,具體實施如下:首先選取50名非相關專業(yè)的觀察者,經(jīng)過短暫培訓后,針對性地選取MORRIS紅外數(shù)據(jù)庫中部分紅外圖像及其對應的MOS值給觀察者進行預先展示,形成對紅外圖像評分的基本印象,確保后續(xù)評分的準確性。然后讓觀察者依次觀察紅外偽裝數(shù)據(jù)集中的圖像,并對其中目標的偽裝效果進行評分,將得到的分數(shù)按照式(16)進行高斯歸一化處理:

(16)

其中,

(17)

(18)

式中：,為第個觀察者對第幅圖片的評分;為實驗選取紅外偽裝圖像的總數(shù);、分別為第個觀察者評分的均值和標準差;,為高斯歸一化后的分數(shù),取值范圍為[0,1];設置閾值,若,大于067的個數(shù)超過閾值,則認為第個觀察者給出的評分波動較大,舍棄其所有評分,值大小根據(jù)實際情況選取。

最終,第張紅外偽裝圖像中目標偽裝效果的MOS值由下式計算:

(19)

式中:為參加主觀評分的人員總數(shù)。

紅外偽裝數(shù)據(jù)集的MOS值的頻率分布如圖5所示。雖然MOS直方圖沒有符合理想的正態(tài)分布,但也基本能夠滿足實驗測試的要求,將該排序結果作為后續(xù)紅外偽裝評價方法準確性的驗證依據(jù)。

圖5 紅外偽裝數(shù)據(jù)集MOS直方圖Fig.5 Infrared camouflage data set MOS histogram

322 基于背景還原的紅外偽裝效果評價

為驗證本文評價方法的準確性,選擇文獻[9-10,27]的紅外偽裝效果評價方法進行對比實驗。為便于比較,將各方法得到的結果進行正相關處理。

文獻[9]分別計算背景與偽裝目標的4種典型特征相似度,采用熵權法分配特征權重,累加值作為偽裝圖像的綜合評價結果,取值范圍為[0,1],值越小表明偽裝目標與背景特征差異越小,故對其進行正相關處理:

=1-

(20)

文獻[10]通過計算背景相關特征與偽裝區(qū)域內(nèi)部特征來度量偽裝目標與背景的差異程度,并采取非線性融合的方式得出綜合評價指數(shù),取值范圍為[0,1],其值越大表明目標的紅外偽裝效果越好。

文獻[27]利用紅外圖像中目標的識別概率作為對目標的紅外偽裝效果的評估指標,識別概率的取值范圍為[0,1],其特點是越小,目標的紅外偽裝效果越好,同樣對其進行正相關處理:

=1-

(21)

經(jīng)處理后各方法計算得出的評價值都統(tǒng)一到[0,1]之間,且大小與偽裝效果成正相關,接下來分別從定性與定量兩個角度展開實驗。

定性評價方面,建立各種客觀評價方法在紅外偽裝數(shù)據(jù)集上的評價值與對應圖像MOS值之間的散點圖,對方法的可行性和穩(wěn)定性進行定性分析。為更好地反映評價值與MOS值之間的映射關系,使用式(22)、式(23)對散點圖中的數(shù)據(jù)進行非線性擬合:

Quality()=logistic(,(-))++

(22)

(23)

式中:為各種客觀評價方法得出的評價值;～為自適應調(diào)整參數(shù),根據(jù)文獻[28]的方法計算確定。

定量評價方面,依據(jù)檢驗圖像評估模型性能視頻質量專家組(video quality experts group, VQEG)的標準,選用SROCC、KROCC、PLCC 3個經(jīng)典的評價指標與RMSE一起檢驗紅外偽裝評價方法的性能優(yōu)劣。具體表達式如下:

(24)

(25)

(26)

(27)

式中:為紅外偽裝數(shù)據(jù)集,為數(shù)據(jù)集中圖像的總數(shù);()和()分別為第幅圖像在客觀和主觀評分中的排名值;()和()分別為客觀和主觀評價的數(shù)值;為一致對的數(shù)量;為非一致對的數(shù)量,一致對是指對數(shù)據(jù)集中任意兩幅圖像的主客觀評價值具有同向性,反之則是非一致對。評價方法的計算結果與人的主觀感受關聯(lián)程度越高,SROCC、KROCC和PLCC的值越高。而RMSE值越小,表明評價方法的穩(wěn)定性越好。

圖6分別展示了4種客觀評價方法在紅外偽裝數(shù)據(jù)集上測試的結果,圖中藍色散點的橫坐標和縱坐標分別對應客觀評價值與主觀評價值(MOS)。紅色的非線性擬合曲線體現(xiàn)了主客觀評價值之間的貼合程度,擬合曲線的單調(diào)性越好,藍色散點越貼近于擬合曲線,則表明客觀評價值與MOS值的評價結果越接近,對應的客觀評價方法的性能越好。

圖6 客觀評價方法散點圖Fig.6 Scatter diagram of objective evaluation algorithm

由圖6可知,對于主觀評分較低和較高的紅外偽裝目標,Ying的方法和Han的方法與主觀評分的結論并不相同。Xue的方法和本文方法得出評價結果與MOS值都呈現(xiàn)出了較好的單調(diào)遞增關系,相比之下,Xue的方法對應的散點圖在中間段的振蕩性較大,而本文方法與擬合曲線的貼合程度明顯更高。接下來進一步對4種評價方法進行定量分析,如表2所示。

表2 不同評價方法定量分析

由表2可知,本文方法與人眼MOS的相關性明顯高于其他3種方法,更加符合人眼視覺特性,而且本文方法的RMSE值是4種客觀評價方法中最小的,表明穩(wěn)定性最高。

4 結 論

本文提出一種新的紅外偽裝效果評價思路和方法,利用改進后的Criminisi算法構建出目標遮蔽下的背景區(qū)域,與原始紅外偽裝進行相似性度量,設計指數(shù)函數(shù)對背景還原效果與相似性度量結果進行非線性融合,完成目標紅外偽裝效果的綜合評價。該方法有效解決了現(xiàn)有方法在面臨目標背景區(qū)域紋理特征復雜,目標鄰域背景不連續(xù)、存在灰度階躍等復雜背景時評價結果不理想的難題,對于圖像中像素占比較大的目標,也能得到較好的評價結果。實驗表明,本文方法與視覺感知的貼合度更高,且穩(wěn)定性更好,具有較好的應用價值,同時對可見光、遙感目標的偽裝效果評價方法研究也具有一定的參考意義。