婁樹理,李召龍,周仁來,任建存

(海軍航空工程學院,山東煙臺 264001)

紅外成像傳感器效應(yīng)建模與仿真的驗證評價方法*

婁樹理,李召龍,周仁來,任建存

(海軍航空工程學院,山東煙臺 264001)

為解決紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的驗證評價問題,基于全參考圖像質(zhì)量評價方法提出了一種驗證評價方法。在紅外實拍和典型效應(yīng)仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計比較相結(jié)合的分析方法,綜合直方圖統(tǒng)計、結(jié)構(gòu)相似度、保真度等評價指標進行全面驗證評價。實驗結(jié)果表明:綜合評價結(jié)果與直方圖、傅里葉頻譜數(shù)據(jù)分析一致,與主觀評判結(jié)果相符。該評價方法可有效對紅外成像傳感器效應(yīng)建模與仿真圖像進行置信度評價。

紅外成像傳感器;建模與仿真;驗證評價

0 引言

隨著紅外成像制導(dǎo)武器的發(fā)展和應(yīng)用,紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的研究越來越受到重視,紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的真實性和逼真度決定著建模與仿真的有效性,因此紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的真實性和逼真度的驗證方法研究具有十分重要的意義[1]。

目前,對于紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的研究很少,建模與仿真準確性和真實性的驗證至今沒有行之有效的方法和公認的評價指標[2]。一種方法是將實拍圖像與建模仿真圖像進行逐像素比較,如國內(nèi)胡方明等人[3]利用歸一化最小方差、保真度等進行評價,由于此類方法只比較了兩幅圖像對應(yīng)像素的絕對誤差,沒有考慮像素的相關(guān)性,對于特定類型的圖像評價與主觀評價結(jié)果存在較明顯差異;另外一種方法是整幅圖像的統(tǒng)計比較,如李珂等人[4]采用直方圖統(tǒng)計的方法,Jonathan D.Fanning、張福娣等人采用結(jié)構(gòu)相似度(SSIM)方法[2,5],此類方法利用的是圖像整體的統(tǒng)計量,容易產(chǎn)生誤導(dǎo),且對某些類型退化失真不敏感。

為了解決紅外成像傳感器系統(tǒng)典型效應(yīng)仿真的驗證評價問題,文中提出一種紅外成像傳感器系統(tǒng)典型效應(yīng)仿真準確性和真實性的驗證方法,在紅外實拍圖像與紅外傳感器效應(yīng)仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計比較相結(jié)合的分析方法,利用一維、二維直方圖統(tǒng)計、結(jié)構(gòu)相似度、保真度等綜合評價指標進行全面驗證評價,有效克服了單一分析方法只能驗證部分效應(yīng)仿真結(jié)果的缺陷。

1 紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的驗證方法

由于構(gòu)造無參考的圖像質(zhì)量評價方法比全參考和半?yún)⒖荚u價方法要困難得多[6],且全參考圖像質(zhì)量評價方法的準確性要遠遠優(yōu)于無參考的圖像質(zhì)量評價方法[7]。為驗證紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的準確性,采取全參考圖像質(zhì)量評價方法,在實拍紅外圖像與仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計比較的分析比較方法,對仿真圖像與實拍圖像進行分析評價,具體實現(xiàn)方法如下:

首先利用紅外成像系統(tǒng)對黑體靶標成像,并針對不同黑體溫度、溫差分別輸出紅外實拍圖像;其次,根據(jù)黑體溫度、溫差及靶標類別,計算黑體靶標的輻射亮度并量化為灰度,采用計算機仿真技術(shù)生成黑體靶標的紅外理想仿真圖像,并將紅外理想仿真圖像經(jīng)過紅外成像系統(tǒng)各模塊的退化效應(yīng)作用,最終得到黑體靶標的紅外傳感器效應(yīng)仿真圖像;最后,采用逐像素比較和統(tǒng)計比較相結(jié)合的分析方法,綜合分析信息熵、保真度、偏離度和結(jié)構(gòu)相似度等驗證評價指標,形成綜合評價指標,對紅外傳感器效應(yīng)仿真圖像和紅外實拍圖像進行分析比較,并給出可信度評價。

圖1 紅外成像傳感器典型效應(yīng)仿真的驗證方法框圖

2 紅外成像傳感器典型效應(yīng)建模與仿真的驗證評價指標

為了全面客觀的對紅外成像傳感器效應(yīng)建模與仿真圖像進行綜合評價,必須對指標進行合理的選擇。選擇并確立驗證評價指標的原則如下:1)全面性。選擇的評價指標要盡可能地覆蓋評價的圖像退化各個因素,要能從不同的角度對建模與仿真進行評價。2)通用性。能夠適用于多種紅外成像系統(tǒng)的建模與仿真評價。3)精選指標。限制指標數(shù)量,減少指標的重復(fù)性和相關(guān)性。4)評價指標得到的結(jié)果應(yīng)具有單調(diào)性、準確性和一致性。5)評價指標得到的評價結(jié)果應(yīng)與人類視覺感受具有較好的符合程度。

針對紅外成像傳感器典型效應(yīng)建模與仿真的驗證問題,分析比較了均值、標準差、信息熵、偏離度、密集度、對角線峰度、結(jié)構(gòu)相似度等統(tǒng)計指標,以及保真度、均方誤差、峰值信噪比等像素比較指標,經(jīng)過試驗和理論分析,根據(jù)指標選擇確定原則,從優(yōu)選擇確定信息熵、保真度、偏離度和結(jié)構(gòu)相似度作為驗證評價指標。

2.1 信息熵

信息熵是從信息論角度反映圖像信息豐富程度的一種度量方式,圖像的熵定義為[8]:

(1)

信息熵說明的是圖像的信息量,反映了圖像中有意義的灰度層次的豐富程度,紅外成像傳感器系統(tǒng)退化效應(yīng)仿真圖像與實拍圖像的熵存在差異,因此選取熵作為一項指標。

2.2 保真度

保真度與均方誤差、峰值信噪比(PSNR)等評價指標一樣,是對仿真圖像和實拍圖像兩幅圖像之間對應(yīng)像素值的絕對差異進行統(tǒng)計和平均計算,具有如下形式[3]:

(2)

保真度F越大表示兩幅圖像之間差異越小,說明建模與仿真圖像可信度高,當F=1時,表示所評價的仿真圖像與實際拍攝圖像沒有差異。

保真度指標因子既考慮了圖像灰度分布特征,也考慮了圖像像素之間的幾何結(jié)構(gòu)特征,能全面評價影響光電系統(tǒng)成像質(zhì)量的絕大多數(shù)因素,如分辨率、能量衰減以及信號處理對圖像退化的影響,具有很強的客觀性。該指標缺點是對部分圖像的評價結(jié)果可能與主觀感知的效果產(chǎn)生較大偏差。

2.3 偏離度指標

偏離度是二維直方圖統(tǒng)計指標,以相鄰像素灰度為定義,能夠形象的描述與像素空間位置有關(guān)的像素之間的相互關(guān)系,能很好的描述圖像的局部灰度波動狀況。偏離度的數(shù)學表達式如下[9]:

(3)

偏離度的物理意義是整幅圖像相鄰像素灰度層次的平均差別。

2.4 結(jié)構(gòu)相似度指標

結(jié)構(gòu)相似度(SSIM)評價指標因子分別提取圖像亮度、對比度等統(tǒng)計信息,然后綜合比較紅外實拍圖像和紅外傳感器效應(yīng)仿真圖像在這些結(jié)構(gòu)信息間的差異,定義為[10]:

(4)

(5)

實際應(yīng)用時,一般以相同大小的窗口在兩幅圖像中進行滑動分析比較,采用高斯加權(quán)計算每一窗口的均值、方差以及協(xié)方差,得到兩幅圖像相應(yīng)分塊的結(jié)構(gòu)相似度,最后取平均值作為兩圖像的結(jié)構(gòu)相似度。

結(jié)構(gòu)相似度分別提取亮度比較、對比度比較和結(jié)構(gòu)比較三類不同的信息,完全符合人類視覺系統(tǒng)從圖像中獲得結(jié)構(gòu)信息的特點,可有效評價噪聲對于圖像退化的影響,但對某些模糊圖像的評價結(jié)果與人的主觀感覺不一致。

2.5 綜合評價指標

確定紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真圖像驗證的各評價指標因子后,綜合各評價指標因子建立綜合評價指標,較為困難的是各指標因子的權(quán)重分配,權(quán)重分配可以采用絕對比較法、二元比較法、模糊統(tǒng)計法等多種方法[12],在此采用實驗與絕對比較法相結(jié)合的方法確定各指標因子的權(quán)重。首先利用紅外成像系統(tǒng)對同一黑體靶的多次實拍圖像進行分析比較,在實驗的基礎(chǔ)上尋找規(guī)律,幾個指標中穩(wěn)定度較高依次為保真度、結(jié)構(gòu)相似度、偏離度、熵。權(quán)重分配時穩(wěn)定度較高的指標賦以較大權(quán)重值,穩(wěn)定度較低的賦予較小權(quán)重值,綜合評價指標為:

(6)

式中:A、B為兩幅比較圖像;HA與HB、ξA與ξB、SSIM(A,B)、F(A,B)分別為圖像A、B的熵、偏離度、結(jié)構(gòu)相似度和保真度;k1、k2、k3、k4為權(quán)重系數(shù),k1+k2+k3+k4=1。

Q(A,B)值在0和1之間,反映了兩幅圖像在結(jié)構(gòu)特征、灰度特征、信息量和灰度相關(guān)性的差異,Q(A,B)數(shù)值越大說明兩幅圖像越接近,同一幅圖像進行比較時Q(A,B)為1。

3 實驗與結(jié)果

為了驗證各種評價指標對于建模與仿真驗證評價的有效性,采用文中提出的驗證方法,在實驗室利用多種紅外成像系統(tǒng)進行了實驗,在實驗的基礎(chǔ)尋找規(guī)律,經(jīng)過多次實驗和理論分析,采用絕對比較法進行權(quán)重確定,k1=0.24、k2=0.18、k3=0.26、k4=0.32,并分析驗證了評價指標的有效性。

紅外成像系統(tǒng)1為非制冷長波紅外熱像儀,黑體溫差為4 K,實拍圖、仿真圖及其一維、二維直方圖和傅里葉頻譜圖見圖2,其中圖2(a)、圖2(b)為實拍圖像,圖2(c)是未經(jīng)退化作用的理想仿真圖像,圖2(d)是理想仿真圖像經(jīng)過衍射、漸暈、噪聲、低通濾波各種典型效應(yīng)退化后,經(jīng)圖像增強之后得到的仿真圖像。

圖2 紅外成像系統(tǒng)1實拍及仿真圖像比較

利用信息熵、保真度、偏離度和結(jié)構(gòu)相似度指標對黑體溫差4 K時紅外成像系統(tǒng)1所拍攝的圖像和仿真圖像進行分析,并采用綜合評價指標Q(A,B)進行綜合驗證,比較分析時參考圖像是采用實拍圖像1,結(jié)果如表1所示。

紅外成像系統(tǒng)2為制冷中波紅外熱像儀,黑體溫差為4 K,實拍圖、仿真圖見圖3。

表1 紅外成像系統(tǒng)1的圖像驗證結(jié)果

圖3 紅外成像系統(tǒng)2實拍及仿真圖像比較

利用評價指標對紅外成像系統(tǒng)2所拍攝的圖像和仿真圖像進行分析,參考圖像為實拍圖像1,結(jié)果如表2所示。

表2 紅外成像系統(tǒng)2的圖像驗證結(jié)果

紅外成像系統(tǒng)3為制冷中波紅外成像系統(tǒng),黑體溫差為4 K,實拍圖、仿真圖見圖4。

圖4 紅外成像系統(tǒng)3實拍及仿真圖像比較

用評價指標對紅外成像系統(tǒng)3所拍攝的圖像和仿真圖像進行分析,參考圖像為實拍圖像1,結(jié)果如表3所示。

表3 紅外成像系統(tǒng)3的圖像驗證結(jié)果

從直方圖、傅里葉頻譜圖直觀分析來看,每一紅外成像系統(tǒng)兩幅實拍圖像的直方圖、傅里葉頻譜圖非常接近,而考慮傳感器效應(yīng)時仿真圖像的直方圖、傅里葉頻譜圖相比于理想仿真圖像更加接近于實拍圖像的直方圖、傅里葉頻譜圖。

從驗證評價指標來看,每一種紅外成像系統(tǒng)兩幅實拍圖像的熵、偏離度、結(jié)構(gòu)相似度、保真度都非常接近,三種紅外成像系統(tǒng)兩幅實拍圖像之間的Q(A,B)值分別為0.997 7、0.998 0、0.997 5,即置信度在99.7%以上,與一維、二維直方圖和傅里葉頻譜數(shù)據(jù)一致,符合人眼視覺評價結(jié)果,說明綜合評價指標具有合理性。

從綜合評價指標Q(A,B)來看,紅外成像系統(tǒng)1的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.643 6和0.830 9,紅外成像系統(tǒng)2的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.661 0和0.856 0,紅外成像系統(tǒng)3的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.702 6和0.938 1,考慮傳感器效應(yīng)后仿真圖像相比未考慮傳感器效應(yīng)的理想仿真圖像的置信度較高一些,與人眼視覺評價結(jié)果一致。

4 結(jié)論

文中根據(jù)紅外成像制導(dǎo)信號注入式仿真的需求,針對紅外成像傳感器典型效應(yīng)建模與仿真的驗證問題,提出了紅外成像傳感器典型效應(yīng)建模與仿真的驗證評價方法,給出了驗證評價方法的基本思路和評價指標。實驗結(jié)果證明:紅外成像系統(tǒng)對黑體靶標兩幅實拍圖像之間的綜合評價指標在99.7%以上,考慮傳感器效應(yīng)后仿真圖像相比未考慮傳感器效應(yīng)的理想仿真圖像的綜合評價指標高一些,與主觀評判結(jié)果一致。該評價方法可有效對紅外成像傳感器效應(yīng)建模與仿真圖像進行置信度評價。

[1] 婁樹理,韓艷麗,任建存,等.基于結(jié)構(gòu)相似度和保真度的紅外成像傳感器仿真評價方法研究 [J].紅外,2015,36(2):30-34.

[2] 張福娣,張建奇,徐茵.紅外凝視傳感器定量仿真及模型驗證 [J].光子學報,2011,40(4):596-601.

[3] 胡方明,王曉蕊,張建奇.光電圖像質(zhì)量客觀度量準則的分析與比較 [J].紅外技術(shù),2005,27(2):129-134.

[4] 李珂,王學偉,王世立.紅外傳感器模型的成像仿真效果分析 [J].計算機與數(shù)字工程,2012,40(7):118-122.

[5] JONATHAN D F.Metrics for Image-Based Modeling of Target Acquisition [C]// Proceeding of SPIE,8355.Bellingham:SPIE，2012:1401-1402.

[6] 范媛媛,沈湘衡,桑英軍.基于對比度敏感度的無參考圖像清晰度評價 [J].光學精密工程,2011,19(10):2485-2493.

[7] 褚江,陳強,楊曦晨.全參考圖像質(zhì)量評價綜述 [J].計算機應(yīng)用研究,2014,31(1):13-21.

[8] 章毓晉.圖像工程 [M].3版.北京:清華大學出版社,2012:141-144.

[9] 殷德奎.熱圖像的二維分析與仿真方法研究 [R].南京:南京理工大學博士后研究報告,1999:17-20.

[10] 易三莉,苗瑩,錢潔,等.基于感興趣區(qū)域的邊緣結(jié)構(gòu)相似度圖像質(zhì)量評估 [J].計算機工程,2015,41(6):216-221.

[11] 李愛華.基于相位的結(jié)構(gòu)相似度圖像質(zhì)量評價模型 [J].計算機應(yīng)用與軟件,2014,31(11):233-237.

[12] 張偉,王行仁.仿真可信度模糊評判 [J].系統(tǒng)仿真學報,2001,13(4):473-475.

TheEvaluationMethodforModelingandSimulationofInfraredImagingSensor

LOU Shuli,LI Zhaolong,ZHOU Renlai,REN Jiancun

(Naval Aeronautical and Astronautical University,Shandong Yantai 264001,China)

In order to validate accuracy of modeling and simulation of infrared imaging sensor system,a method was proposed based on full reference image quality assessment.Actual infrared image and the simulated image were compared with pixel by pixel comparison method and statistical analysis,and the assessment was obtained based on histogram statistics,structural similarity and fidelity indicators.Experimental results indicate that the comprehensive evaluation index is consistent with histogram data and frequency spectrum,and it is accord with the subjective evaluation results.The evaluation method can effectively validate accuracy of modeling and simulation of infrared imaging sensor system.

infrared imaging sensor; modeling and simulation; image assessment

10.15892/j.cnki.djzdxb.2017.02.001

2016-06-10

總裝十二五預(yù)研基金(51303020403-3)資助

婁樹理(1976-),男,山東蒙陰人,副教授,博士,研究方向:光電工程、圖像處理。

TP751.1

A