王 彥,謝曉方,張 磊,楊 建

(1.海軍航空工程學(xué)院兵器科學(xué)與技術(shù)系,山東 煙臺(tái) 264001,2.海軍航空工程學(xué)院科研部,山東 煙臺(tái) 264001)

?

·圖像與信號(hào)處理·

三維動(dòng)態(tài)紅外視景仿真中噪聲的模擬

王 彥1,謝曉方1,張 磊2,楊 建1

(1.海軍航空工程學(xué)院兵器科學(xué)與技術(shù)系,山東 煙臺(tái) 264001,2.海軍航空工程學(xué)院科研部,山東 煙臺(tái) 264001)

紅外探測(cè)器噪聲模擬是三維動(dòng)態(tài)紅外視景仿真工程開(kāi)發(fā)中的難點(diǎn)。本文提出了一種紅外探測(cè)器噪聲的動(dòng)態(tài)生成技術(shù)。首先通過(guò)對(duì)紅外探測(cè)器圖像序列進(jìn)行計(jì)算和分析,提取出了圖像序列的高斯隨機(jī)噪聲和椒鹽噪聲。然后在基于OSG平臺(tái)開(kāi)發(fā)的仿真視景中,采用渲染到紋理(RTT)技術(shù)為視口添加噪聲“屏幕”。利用著色器技術(shù)生成高斯隨機(jī)噪聲并逐像素渲染,從而實(shí)現(xiàn)隨機(jī)噪聲的動(dòng)態(tài)效果。椒鹽噪聲根據(jù)RTT紋理中的盲元標(biāo)記直接在著色器中進(jìn)行灰度渲染。仿真結(jié)果表明,本文方法模擬噪聲的效果逼真,系統(tǒng)開(kāi)銷很小。本文方法為動(dòng)態(tài)紅外三維視景開(kāi)發(fā)中的噪聲模擬提供了一種可行的工程思路。

紅外噪聲模擬；高斯隨機(jī)噪聲；椒鹽噪聲；渲染到紋理技術(shù)；著色器技術(shù)

1 引 言

紅外成像的噪聲模擬是紅外視景仿真中不可缺少的環(huán)節(jié)。紅外成像噪聲的種類繁多,如熱噪聲、光電子噪聲等。紅外成像噪聲的成因及規(guī)律多已研究的比較深入[1]。一些學(xué)者對(duì)不同類型的噪聲提出了相應(yīng)的噪聲模型[2-3],如比利時(shí)IMEC實(shí)驗(yàn)室的Bart Dierickx進(jìn)行凝視型陣列盲元修正時(shí),認(rèn)為盲元在圖像中的表現(xiàn)與椒鹽噪聲相同[4]。熱噪聲與溫度噪聲則表現(xiàn)為高斯噪聲。在紅外仿真中,模擬紅外噪聲并輸入到紅外探測(cè)器的仿真視景中,將使仿真效果更加逼真。

工程中,紅外探測(cè)的動(dòng)態(tài)視景仿真多是基于3D實(shí)時(shí)渲染引擎(平臺(tái))開(kāi)發(fā)的,如Vage Prime,OpenGL,OSG等。對(duì)于紅外動(dòng)態(tài)3D視景,必須考慮噪聲的影響,如美國(guó)的Vage Prime軟件的紅外傳感器模塊具有模擬探測(cè)器噪聲的模擬功能。國(guó)內(nèi)紅外成像噪聲仿真研究大多是對(duì)單幅的2D紅外圖像進(jìn)行噪聲添加,工程意義不大,而關(guān)于3D動(dòng)態(tài)紅外視景中添加噪聲的文獻(xiàn)十分稀少。這是由于在工程上,目前的三維視景渲染引擎的視景圖像是由3D場(chǎng)景模型通過(guò)實(shí)時(shí)投影變換得到的,在機(jī)制上難以實(shí)現(xiàn)探測(cè)器視景噪聲的添加。工程上常使用粒子法(隨機(jī)畫(huà)點(diǎn))模擬視頻噪聲,但其系統(tǒng)開(kāi)銷很大,且不能準(zhǔn)確反映紅外探測(cè)器噪聲的特點(diǎn)。

本文提出了一種3D動(dòng)態(tài)紅外視景仿真中添加和模擬噪聲的技術(shù),能夠比較逼真地模擬凝視焦平面紅外探測(cè)器的椒鹽和高斯隨機(jī)噪聲。紅外視景開(kāi)發(fā)基于OSG開(kāi)發(fā)平臺(tái)。本文技術(shù)具有較強(qiáng)的工程實(shí)踐意義。

2 紅外探測(cè)器成像噪聲以及提取方法

2.1 紅外探測(cè)器成像噪聲

凝視焦平面紅外探測(cè)器的輸出噪聲按時(shí)空特性可分為隨機(jī)噪聲和固定圖案噪聲,其中隨機(jī)噪聲又可分為高斯噪聲和泊松噪聲。固定圖案噪聲主要表現(xiàn)為盲元[5]。

隨機(jī)噪聲出現(xiàn)的時(shí)間和位置呈隨機(jī)分布,散布面大而密,在圖像中表現(xiàn)為隨機(jī)閃爍的顆粒。隨機(jī)噪聲可以被看作為平穩(wěn)的白噪聲。實(shí)際上,探測(cè)器噪聲中的大多數(shù)噪聲源,如熱噪聲、溫度噪聲、信號(hào)讀出與處理電路中放大器噪聲、A/D 變換的量化噪聲以及輸出噪聲都是信號(hào)無(wú)關(guān)噪聲且獨(dú)立分布的噪聲。若將這些噪聲疊加,根據(jù)中心極限定理,它們的灰度分布為高斯分布,因此真實(shí)紅外傳感器中的隨機(jī)噪聲中,高斯白噪聲占主要地位?；诖?因此本文模擬的隨機(jī)噪聲為高斯白噪聲,其PDF為：

(1)

其中,x表示噪聲的灰度值;μ為x的數(shù)學(xué)期望;σ為噪聲灰度的標(biāo)準(zhǔn)差。

盲元是由于焦平面制作器件的不均勻性、掩膜誤差、工藝以及具體成像光路等因素引起的。通常紅外焦平面陣列盲元的判定有三種判據(jù)[6]:響應(yīng)率判據(jù)、噪聲判據(jù)和電平判據(jù)。這三種判據(jù)在實(shí)際操作時(shí)對(duì)操作條件的要求都比較高。實(shí)際上,對(duì)于凝視陣列,盲元可視為椒鹽噪聲,其形態(tài)類似于分布在圖像上的胡椒和鹽粉顆粒。在一副紅外圖像中,椒鹽噪聲總是數(shù)字化為最大(最小)值,其PDF表示為[7]：

(2)

如果b>a,則灰度值b在將在圖像中顯示為一個(gè)亮點(diǎn),相反a將顯示為一個(gè)暗點(diǎn)。

2.2 紅外探測(cè)器成像的提取

逼真模擬紅外噪聲必須獲得探測(cè)器輸出圖像中噪聲的先驗(yàn)信息。在相同的環(huán)境下,將同一探測(cè)器對(duì)靜止的同一目標(biāo)連續(xù)采集的兩幅圖像相減,則景物和固定圖案噪聲可被消去,所得圖像即為隨機(jī)噪聲[8]。然后基于隨機(jī)噪聲是高斯噪聲的假設(shè),可求解隨機(jī)噪聲圖像的均值和方差。作為示例,圖1給出了采用幀相減法提取的隨機(jī)噪聲圖像。由于噪聲灰度值較小,為便于顯示,圖1進(jìn)行了直方圖均衡化處理。

圖1 隨機(jī)噪聲圖像

對(duì)于椒鹽噪聲,根據(jù)其特點(diǎn),可認(rèn)為孤立像素點(diǎn)灰度值超過(guò)一定范圍時(shí)即為盲元。因此,預(yù)先設(shè)定盲元的灰度閾值,再分析探測(cè)器的圖像幀序列,超出閾值且固定出現(xiàn)的像素灰度可認(rèn)為是椒鹽噪聲。

3 紅外視景噪聲模擬

3.1 紅外視景噪聲的數(shù)值模擬

紅外噪聲的數(shù)值模擬就是對(duì)噪聲灰度以及分布規(guī)律進(jìn)行模擬。根據(jù)第2節(jié)內(nèi)容,固定圖案噪聲模擬相對(duì)簡(jiǎn)單,只需指定像素灰度即可。

對(duì)于高斯噪聲,關(guān)鍵是產(chǎn)生高斯分布的隨機(jī)數(shù)。比較簡(jiǎn)單的一種方法是首先生成均勻分布的隨機(jī)數(shù)序列,然后再將其轉(zhuǎn)換為具有高斯分布的隨機(jī)數(shù)序列。我們采用線性求余法得到具有均勻分布的隨機(jī)數(shù),如公式(3)所示：

zi=(a×zi-1+c)%m

(3)

公式(3)是個(gè)迭代式,zi為得到的隨機(jī)數(shù)；a和c為給定的常量,并且滿足0

(4)

最后由公式(5)得出服從均值為ε,標(biāo)準(zhǔn)差為σ的高斯分布:

x=ε+σZ

(5)

上式中,均值和方差由第2節(jié)內(nèi)容得出。

3.2 紅外噪聲的模擬實(shí)現(xiàn)方法

實(shí)際上,探測(cè)器視景噪聲的模擬,就是將一定規(guī)律的噪聲數(shù)值數(shù)變?yōu)轱@示屏像素的灰度值。由于國(guó)內(nèi)沒(méi)有成熟的紅外視景生成軟件模塊,采用OSG引擎開(kāi)發(fā)了紅外視景仿真程序。OSG集成了OpenGL的所有功能,能夠?qū)δＰ偷狞c(diǎn)、面元、體和紋理進(jìn)行操作,具有強(qiáng)大的二次開(kāi)發(fā)能力。

實(shí)際上,人眼是通過(guò)計(jì)算機(jī)屏幕來(lái)觀察紅外探測(cè)器成像的,探測(cè)器噪聲和視景中的景物最終都混疊顯示在屏幕上?；诖?為探測(cè)器視口添加一塊專用于顯示噪聲的虛擬“屏幕”,并保證該屏幕與視口為正投影關(guān)系。采用RTT紋理技術(shù)為視口添加噪聲屏幕。RTT技術(shù)相當(dāng)于給探測(cè)器視口加載了一個(gè)帶紋理圖像的“鏡頭”,該“鏡頭”隨探測(cè)視景的角度和位置變化而變化,始終覆蓋探測(cè)器的視景。

為RTT相機(jī)添加一副空白紋理圖像,調(diào)整紋理的透明度為零,使其不對(duì)探測(cè)器視景的景物成像產(chǎn)生影響。

進(jìn)而,在RTT紋理圖像的基礎(chǔ)上添加高斯隨機(jī)噪聲。對(duì)于探測(cè)器陣列,每個(gè)像元都可能產(chǎn)生高斯噪聲,并且隨時(shí)間動(dòng)態(tài)變化。這要求渲染引擎對(duì)所有像元的噪聲繪制必須在一幀內(nèi)完成,并且按每幀更新。這也是實(shí)踐中進(jìn)行隨機(jī)噪聲模擬的難點(diǎn)。采用著色器技術(shù)很好的解決了解決這個(gè)問(wèn)題。OSG平臺(tái)能夠很好的兼容基于GLSL語(yǔ)言的著色器程序。頂點(diǎn)和片元著色器渲染流程如圖2所示。

圖2 著色器渲染管道

在頂點(diǎn)著色器(vertex shader)中,計(jì)算當(dāng)前點(diǎn)的紋理坐標(biāo)(vTexCoord)和產(chǎn)生隨機(jī)數(shù)序列,并將紋理坐標(biāo)和隨機(jī)數(shù)作為瞬態(tài)變量(varying)傳給片元著色器(fragment shader)。由于僅僅是對(duì)紋理進(jìn)行操作,在計(jì)算紋理坐標(biāo)時(shí)頂點(diǎn)坐標(biāo)不需要乘上模型視景矩陣。在片元著色器中,使用2D紋理采樣器(sample2D)對(duì)紋理像素值進(jìn)行采樣,語(yǔ)句如下:

uniform sample2D Image;

vec4 sample=texture2D(Image,vTexCoord);

由于高斯噪聲是加性噪聲,我們采用如下語(yǔ)句直接修改像素的灰度值：

sample+=vec4(x[i],x[i],x[i],blend)/blend;

gl_FragColor = sample;

其中,x[i]為高斯隨機(jī)數(shù)。由于最終的成像灰度為景物灰度與RTT相機(jī)紋理灰度與透明度參數(shù)乘積的和,因此生成的噪聲灰度應(yīng)除以紋理透明度(blend)。需要注意的是,由于著色語(yǔ)言GLSL中的瞬態(tài)變量?jī)H支持4維數(shù)組,因此,在頂點(diǎn)著色器中,我們使用多個(gè)4維數(shù)組存儲(chǔ)隨機(jī)數(shù)序列。這樣每遍歷一次頂點(diǎn)著色器,可產(chǎn)生一個(gè)高斯分布的隨機(jī)數(shù)序列。使得每個(gè)探測(cè)器像元產(chǎn)生不同的服從統(tǒng)一的分布規(guī)律隨機(jī)噪聲值。

對(duì)于盲元,在RTT紋理中預(yù)先添加盲元標(biāo)識(shí)點(diǎn),并在著色器中設(shè)置盲元檢測(cè)條件以進(jìn)行盲元檢測(cè)。當(dāng)著色器中的采樣器得到的像素灰度值等于標(biāo)識(shí)點(diǎn)值時(shí),認(rèn)為該像素為盲元,進(jìn)而將該像素的灰度和透明度設(shè)置為圖像灰度的極值。

4 實(shí)驗(yàn)仿真

作為示例,圖3給出了海洋紅外仿真場(chǎng)景下使用本文方法與粒子法加入噪聲的效果對(duì)比。表1給出兩種方法的對(duì)仿真程序幀率的影響。

圖3 噪聲的效果對(duì)比

根據(jù)圖3,本文方法模擬噪聲的效果更為逼真,圖像的像素點(diǎn)能夠表現(xiàn)出動(dòng)態(tài)起伏的隨機(jī)噪聲效果。根據(jù)表1,本文方法的系統(tǒng)開(kāi)銷很小,對(duì)仿真程序的幀率幾乎沒(méi)有影響,而粒子法對(duì)幀率的影響比較大。

表1 兩種方法對(duì)幀速的影響

5 結(jié) 論

本文提出了一種三維動(dòng)態(tài)紅外視景仿真中添加探測(cè)器噪聲的方法。我們?yōu)樘綔y(cè)視口添加了一個(gè)用于模擬噪聲的“屏幕”,并在該“屏幕”上進(jìn)行噪聲的生成和渲染。使用基于GPU的著色器技術(shù)實(shí)現(xiàn)了像素高斯隨機(jī)噪聲的動(dòng)態(tài)效果并生成椒鹽噪聲。本文中的視景仿真程序基于OSG引擎開(kāi)發(fā)。仿真結(jié)果表明,本文方法模擬的噪聲效果比較逼真,而且系統(tǒng)開(kāi)銷很小。本文方法為3D紅外探測(cè)器動(dòng)態(tài)視景仿真提供了一種實(shí)用的工程方法和思路,對(duì)于基于其他3D引擎開(kāi)發(fā)的紅外視景仿真工程同樣具有借鑒意義,因此,本文方法具有較強(qiáng)的工程實(shí)踐價(jià)值。

[1] LIU Ning,CHEN Qian,GU Guohua.The noise analysis and inhibition technology of the driving circuits of the 640×512 IR Focal plane detector[J].Infrared Technology,2010,32(10):572-575.(in Chinese)

劉寧,陳錢(qián),顧國(guó)華,等.640×512 紅外焦平面探測(cè)器前端噪聲分析及抑制技術(shù)[J].紅外技術(shù),2010,32(10):572-575.

[2] Thierry S,Remi G.Noise effect on interpolation equation for near infrared thermography[J].Metrologia,2013,50(3):208-206.

[3] Harris J G,Chiang Y M.Nonuniformity correction using the constant-statistics constraint:analog and digital implementations[C].International Society for Optics and Photonics,1997:895-905.

[4] US Infrared information analysis center and SPIE optical press.The infrared and Electro-Optical systems handbook(vol.4):Electro-Optical systems design,analysis and testing[M].Washington:SPIE optical engineering press,1993:132-137.

[5] TANG Lin,LIU Lin,SU Junhong.Modeling and simulation research of infrared image noise[J].Infrared Technology,2014(36):541-548.(in Chinese)

唐麟,劉琳,蘇君紅.紅外圖像噪聲建模及仿真研究[J].紅外技術(shù),2014(36):541-548.

[6] CHEN Baoguo,FAN Yangyu,WANG Wei.Research on relations among defective element criterions of IRFPA[J].Laser & Infrared,2013,43(2):186-189.(in Chinese)

陳寶國(guó),樊養(yǎng)余,王巍.紅外焦平面陣列盲元判據(jù)的相關(guān)性研究[J].激光與紅外,2013,43(2):186-189.

[7] Rafael Gonzalez,Richard Woods.Digital image processing[M].2nd ed.Beijing:Publishing House of Electronic Industry,2004:176-182.(in Chinese)

岡薩雷斯,伍茲,阮秋奇,等.數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社,2004:176-182.

[8] YANG Xuerong,TANG Gewen.Analysis on character of digital video image[J].Practical measurement technology,2002,28(2):29-30.(in Chinese)

楊雪榮,康戈文.數(shù)字視頻圖像噪聲特征分析[J].實(shí)用測(cè)試技術(shù),2002,28(2):29-30.

Generation of noise in dynamic 3D infrared scene simulation

WANG Yan1,XIE Xiao-fang2,ZHANG Lei2,YANG Jian1

(1.Department of Ordnance Science and Technology,Naval Aeronautical and Astronautical University,Yantai 264001,China;2.Department of scientific cresearch,Naval Aeronautical and Astronautical University,Yantai 264001,China)

Simulation of IR detector noise is a difficult point in engineering development of 3D dynamic IR scene simulation.A dynamical generating technology of IR detector noise is provided.Firstly,by computing and analyzing the image sequence of IR detector,the random Gauss noise and salt pepper noise are extracted.In simulated scene based on OSG,a noise “screen” is attached to the view of the simulation scene by technology of render to texture(RTT).Then,to realize the dynamic effect,the random Gauss noise is generated and rendered by shader.The salt and pepper noise is directly rendered in shader according to the sign of blind pixels in RTT texture.According to the results,the effect of the noise simulated by this method is lifelike,and the system cost is little.The method provides a practical engineering reference for developing a dynamic 3D IR scene.

simulation of infrared noise;random Gauss noise;salt and pepper noise;render to texture;shader technology

1001-5078(2015)10-1277-04

王 彥(1982-),男,博士研究生,工程師,主要從紅外仿真技術(shù)研究工作。E-mailwangyan101712@163.com

謝曉方(1962-),男,教授,博士生導(dǎo)師,博士,主要從事火力指揮控制,虛擬現(xiàn)實(shí)技術(shù)研究工作。E-mail:1394261448@qq.com

2014-12-31;

2015-01-14

TP79/P407

A

10.3969/j.issn.1001-5078.2015.10.026