張 瑜，王 麗，徐 華，范夢萍，吳宇婧，錢蕓生

?

基于Vega的紅外與微光視頻同步仿真方法研究

張 瑜，王 麗，徐 華，范夢萍，吳宇婧，錢蕓生

（南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094）

紅外與微光的融合算法及相關(guān)產(chǎn)品的性能驗(yàn)證需要同步仿真視頻源。本文提出了一種基于Vega的紅外與微光視頻的同步仿真方法，研發(fā)了基于FPGA的串口數(shù)據(jù)并行發(fā)送裝置，實(shí)現(xiàn)對視頻仿真的同步控制；并開發(fā)了串口程序和動態(tài)仿真控制程序，實(shí)現(xiàn)串口監(jiān)控、數(shù)據(jù)接收、數(shù)據(jù)識別、仿真控制等功能；借助于計算機(jī)和控制板之間的串口通信技術(shù)，實(shí)現(xiàn)了兩臺計算機(jī)同步仿真紅外視頻和微光視頻，最后通過圖像融合分析驗(yàn)證了該方法的有效性。

Vega；FPGA控制板；紅外視頻；微光視頻；同步仿真；圖像融合

0 引言

紅外圖像是由紅外傳感器捕獲目標(biāo)的熱輻射生成，反映目標(biāo)表面溫度分布的圖像。只要目標(biāo)向周圍輻射熱量，紅外傳感器就可以捕捉到目標(biāo)，但紅外傳感器對場景亮度的變化不敏感，使得紅外圖像的對比度差、細(xì)節(jié)不清晰、邊緣模糊[1]。微光圖像是微光夜視系統(tǒng)針對目標(biāo)在微弱光照下反射光進(jìn)行放大，獲得紋理信息豐富、與人眼觀察習(xí)慣一致的圖像，但微光圖像的獲得對大氣條件有一定的要求，當(dāng)條件惡劣時，微光圖像的成像質(zhì)量差、噪聲明顯、目標(biāo)識別難度大[2]。對不同圖像傳感器采集到的圖像進(jìn)行融合處理，可以得到一個更可靠、更全面、更細(xì)致的高質(zhì)量圖像，更有利于實(shí)現(xiàn)對目標(biāo)的識別和獲取[3]。目前，融合圖像源大多是通過大量的野外實(shí)地實(shí)驗(yàn)獲得的，在融合圖像源的選取和處理上需要花費(fèi)大量的人力和物力，且并非隨時都能獲得所有需要的場景圖像源。

視景仿真利用計算機(jī)圖形圖像學(xué)技術(shù)，根據(jù)仿真的目的和要求，再現(xiàn)真實(shí)的環(huán)境[4]。本文基于視景仿真技術(shù)，利用視景仿真軟件Vega仿真紅外視頻和微光視頻，基于兩臺計算機(jī)和自主研發(fā)的FPGA控制板，實(shí)現(xiàn)兩臺計算機(jī)間的視頻仿真同步，仿真生成的紅外和微光同步視頻可以為紅外與微光的圖像融合算法及相關(guān)產(chǎn)品性能的驗(yàn)證提供視頻圖像源。

1 仿真軟件的選取

視景渲染軟件Vega是由Multigen-Paradigm公司開發(fā)的用于虛擬現(xiàn)實(shí)仿真和其他可視化仿真的應(yīng)用型軟件。具有完整的C語言程序應(yīng)用接口、豐富實(shí)用的相關(guān)庫函數(shù)以及眾多可選的功能模塊等優(yōu)勢，大幅度縮減源代碼編程，有助于提高工作效率[5]。雖然視景仿真軟件有許多種類，但這些軟件大多都只有可見光模塊，對紅外和微光的渲染有一定的限制。

2 同步仿真的實(shí)現(xiàn)原理

基于兩臺計算機(jī)和一塊自主開發(fā)的FPGA控制板，利用串口通信技術(shù)，編寫FPGA代碼控制其時序邏輯，通過VC＋＋編寫串口控制程序和動態(tài)仿真控制程序，對串口進(jìn)行監(jiān)控，實(shí)現(xiàn)兩臺計算機(jī)對同一場景、不同傳感器圖像的同步仿真，輸出和保存任意一幀圖像到指定路徑。系統(tǒng)的總體框圖如圖1所示。

其中，F(xiàn)PGA控制板已下載編譯后的Verilog程序，兩臺計算機(jī)內(nèi)安裝自主開發(fā)的動態(tài)仿真控制程序和串口程序，分別仿真紅外視頻和微光視頻，仿真中目標(biāo)運(yùn)動位置的更新通過程序控制。兩臺計算機(jī)生成每一幀都完全匹配的紅外視頻和微光視頻，輸出的紅外圖像和微光圖像可以不經(jīng)過圖像配準(zhǔn)操作直接進(jìn)行圖像融合處理。

2.1 FPGA控制板原理

同步仿真系統(tǒng)需要兩路高精度實(shí)時控制信號，鑒于FPGA在高速率實(shí)時控制方面的突出優(yōu)勢及其可重復(fù)配置的高度靈活性，采用EP3C55F48147型FPGA芯片作為仿真系統(tǒng)的控制芯片，自主研制了FPGA控制板提供兩路同步控制信號。FPGA控制板的原理框圖如圖2所示。

同步控制電路以FPGA為主控芯片，電源模塊部分提供電平轉(zhuǎn)換并進(jìn)行濾波處理，以提供穩(wěn)定的電壓[6]；連接晶振獲得同步時鐘；配置芯片EPCS16可保存FPGA的相關(guān)配置信息；從FPGA引出兩個GPIO口連接至串口芯片SP3232（只發(fā)送，不接收）。通過對各個按鍵進(jìn)行置位，實(shí)現(xiàn)對FPGA的控制，實(shí)現(xiàn)同步仿真。

借助于FPGA控制板并行發(fā)送兩路信號的功能，同時給兩臺計算機(jī)發(fā)送相同的指令。

FPGA時序控制參數(shù)如表1所示。

如表1所示，晶振提供50M系統(tǒng)時鐘，系統(tǒng)采用上升邊沿觸發(fā)模式。為防止按鈕抖動，增加參數(shù)button_cnt以抑制抖動，由于按鍵的抖動時間一般為5～10ms，設(shè)置默認(rèn)值0x3FFFF，按50M系統(tǒng)時鐘算延時時間約為84ms，足以保持按鍵穩(wěn)定；當(dāng)按下發(fā)送按鈕，發(fā)送使能send_en置位，設(shè)置發(fā)送延時為2M，每經(jīng)過2M個時鐘（0.04s），發(fā)送一幀，以保證每秒發(fā)送25幀。

每一幀數(shù)據(jù)由1位起始位，8位數(shù)據(jù)位，1位結(jié)束位組成。引腳分配時將串口發(fā)送信號分配到兩個與串口芯片接收引腳相連的FPGA管腳上，從而實(shí)現(xiàn)兩路信號并行發(fā)送的功能。

圖1 系統(tǒng)總體框圖

圖2 FPGA控制板原理框圖

表1 FPGA分路控制參數(shù)表

控制板上的按鍵可選擇輸出相應(yīng)的指令，控制計算機(jī)仿真視頻的形成、暫停/繼續(xù)以及輸出和保存當(dāng)前幀圖像。

2.2 串口控制程序原理

基于VC＋＋開發(fā)平臺，編寫串口控制程序，實(shí)現(xiàn)了對串口的監(jiān)控功能，在數(shù)據(jù)進(jìn)入接收緩存區(qū)的第一時間讀取和處理數(shù)據(jù)，并根據(jù)數(shù)據(jù)的類型和內(nèi)容執(zhí)行相應(yīng)的仿真任務(wù)。

串口控制程序采用事件驅(qū)動的方式，在線程內(nèi)，借助串口事件等待函數(shù)實(shí)現(xiàn)對串口事件的監(jiān)控。當(dāng)成功監(jiān)視到事件正確時，向主線程的消息隊列中發(fā)送一個message，主線程收到message后對事件進(jìn)行處理，完成相應(yīng)的仿真任務(wù)。

2.3 動態(tài)仿真控制原理

仿真渲染應(yīng)用程序Vega有其自身渲染圖像的基本框架[7]，如圖3所示。

圖3 Vega應(yīng)用程序基本框架

Vega應(yīng)用程序渲染圖像主要分為兩個階段：靜態(tài)描述和動態(tài)循環(huán)。靜態(tài)描述階段包括初始化系統(tǒng)，創(chuàng)建Vega類實(shí)例以及系統(tǒng)配置。

Vega的靜態(tài)描述需要一定時間，在仿真開始時控制板已經(jīng)發(fā)送多條指令，此時計算機(jī)仍處于仿真的靜態(tài)描述階段，不能及時讀取數(shù)據(jù)，導(dǎo)致數(shù)據(jù)都在接收緩存區(qū)堆砌，等待讀取的現(xiàn)象。這會使兩臺計算機(jī)在同一時間，已讀取指令的個數(shù)不同，渲染的幀數(shù)不同，從而產(chǎn)生仿真不同步的結(jié)果。在仿真開始一段時間后，按一次“暫停”按鈕，讓計算機(jī)讀取接收緩沖區(qū)內(nèi)已存在的數(shù)據(jù)，再按一次“暫停”按鈕繼續(xù)仿真渲染，可消除靜態(tài)描述的時間差，實(shí)現(xiàn)兩臺計算機(jī)仿真的完全同步。

動態(tài)循環(huán)階段包括同步處理應(yīng)用程序的當(dāng)前幀，保證應(yīng)用進(jìn)程和設(shè)置的幀頻率一致以及剔除、繪制當(dāng)前幀。結(jié)合交互控制代碼即可渲染出連續(xù)流暢的動態(tài)視景仿真視頻。Vega的動態(tài)仿真運(yùn)行在后臺，通過程序控制仿真暫停，其后臺仍在運(yùn)行，當(dāng)仿真再啟動，畫面會出現(xiàn)跳動現(xiàn)象。利用其自身的路徑模塊Pathing和導(dǎo)航模塊Navigators進(jìn)行目標(biāo)路線設(shè)置的方法不能完成仿真的實(shí)時控制和同步。本文所述控制板發(fā)送更新指令的個數(shù)決定Vega渲染的幀數(shù)，Vega渲染的幀數(shù)決定了目標(biāo)的位置，將兩臺計算機(jī)內(nèi)仿真程序中目標(biāo)的初始位置設(shè)置一致，即可實(shí)現(xiàn)對目標(biāo)位置的實(shí)時控制和視頻的同步仿真。

3 同步視頻仿真的實(shí)現(xiàn)

搭建系統(tǒng)硬件環(huán)境，配置兩臺計算機(jī)仿真軟件中場景初始化參數(shù)及相應(yīng)的紅外傳感器參數(shù)和微光傳感器參數(shù)，分別進(jìn)行紅外視頻仿真和微光視頻仿真。由于仿真開始時，靜態(tài)描述過程中所需時間不同，在仿真開始階段會出現(xiàn)視頻不同步的現(xiàn)象，通過暫停-繼續(xù)的方式消除時間差，此后的視頻仿真在時間上是完全同步。另外，由于紅外與微光視頻仿真時采用同一目標(biāo)模型和同一場景，且在仿真初始化設(shè)置時各模型及場景的初始化坐標(biāo)均一致，故此后的視頻仿真在空間上也已是完全同步。輸出和保存仿真圖像，為后續(xù)的紅外與微光的圖像融合處理實(shí)驗(yàn)和分析提供圖像源。

在大氣條件惡劣的情況下，微光圖像質(zhì)量差，噪聲明顯，仿真中分別添加Vega軟件自帶的隨機(jī)噪聲、固定加性噪聲以及固定乘性噪聲[8]。紅外圖像由于紅外熱像儀成像原理和器件性能的原因，與微光圖像相比，噪聲較小，因此在仿真紅外視頻時，不添加噪聲。

利用同步系統(tǒng)裝置，仿真紅外和微光視頻，輸出和保存的圖像如圖4～圖8所示。

1）圖4(a)為紅外圖像，圖4(b)為無噪聲微光圖像，兩幅圖像非同步。

2）圖5(a)為紅外圖像，圖5(b)為無噪聲微光圖像，兩幅圖像同步。

3）圖6(a)為紅外圖像，圖6(b)添加0.5隨機(jī)噪聲微光圖像，兩幅圖像同步。

4）圖7(a)為紅外圖像，圖7(b)為添加0.2固定加性噪聲微光圖像，兩幅圖像同步。

5）圖8(a)為紅外圖像，圖8(b)為添加0.2固定乘性噪聲微光圖像，兩幅圖像同步。

圖4 非同步紅外與無噪聲微光圖像

圖5 同步的紅外與無噪聲微光圖像

圖6 同步的紅外與0.5隨機(jī)噪聲微光圖像

圖7 同步的紅外與0.2固定加性噪聲微光圖像

圖8 同步的紅外與0.2固定乘性噪聲微光圖像

4 仿真視頻圖像源的實(shí)用性驗(yàn)證

為了驗(yàn)證系統(tǒng)生成的同步仿真視頻圖像源的實(shí)用性，本文選取基于高斯-拉普拉斯金字塔變換圖像融合算法對紅外與無噪聲微光的仿真視頻圖像源進(jìn)行處理和分析[9]。

由于計算機(jī)在仿真開始時，Vega的靜態(tài)描述需要一段時間，且不同的計算機(jī)需要的時間不同，因此會在開始時出現(xiàn)20幀以內(nèi)的不同步渲染的情況，但因?yàn)閳D像的觀察視野是隨著目標(biāo)的運(yùn)動而變化的，目標(biāo)在20幀范圍內(nèi)的運(yùn)動位置變化較小，所以圖像的背景幾乎不發(fā)生變化。基于高斯-拉普拉斯變換的圖像融合算法對非同步和同步的視頻圖像源進(jìn)行處理，對比結(jié)果如圖9所示，圖左側(cè)為非同步視頻圖像源的融合結(jié)果，右側(cè)為同步視頻圖像源的融合結(jié)果。

由圖9可知，非同步視頻圖像的融合結(jié)果圖中，存在嚴(yán)重的錯位現(xiàn)象，尤其是目標(biāo)的融合結(jié)果，戰(zhàn)斗機(jī)、軍人和坦克都有明顯的重影，看不清目標(biāo)表面的特征；但同步視頻圖像的融合結(jié)果圖中，無錯位現(xiàn)象，目標(biāo)的融合結(jié)果是完全匹配，不存在邊緣模糊和重影，且對應(yīng)位置反映了紅外原圖像和微光原圖像的所有特點(diǎn)。如戰(zhàn)斗機(jī)的每一部分都既反映了其紅外原圖像中的溫度分布場，也反映了其微光原圖像中的紋理效果。由此可見，消除靜態(tài)描述時間差后，系統(tǒng)生成同步仿真的紅外視頻與微光視頻是每一幀都完全匹配的，輸出的紅外圖像和微光圖像可以不經(jīng)過配準(zhǔn)操作直接進(jìn)行融合處理，該系統(tǒng)可為紅外與微光的圖像融合算法及相關(guān)產(chǎn)品提供視頻源圖像。

圖9 實(shí)驗(yàn)效果對比圖

5 結(jié)論

本文提出了一種基于Vega的紅外與微光視頻同步仿真的方法，并通過實(shí)驗(yàn)驗(yàn)證了該方法輸出的紅外與微光圖像無需配準(zhǔn)操作，可直接進(jìn)行融合處理，為紅外與微光的圖像融合算法和相關(guān)產(chǎn)品的性能驗(yàn)證提供視頻圖像源，降低了獲取紅外與微光融合原圖像的成本，提高了工作效率。

[1] 張正輝, 許士文. 地面景物紅外成像特性[J]. 紅外與激光工程, 2008, 37(4): 583-587.

ZHANG Zhenghui, XU Shiwen. Infrared imaging characterization of ground scene[J]., 2008, 37(4): 583-587.

[2] 許真, 孫韶媛, 代中華, 等. 基于紋理特征庫的微光圖像色彩紋理傳遞[J]. 紅外技術(shù), 2011, 33(1): 49-55

XU Zhen, SUN Shaoyuan, DAI Zhonghua, et al. Texture library based color & texture transferring for LLL images[J]., 2011, 33(1): 49-55.

[3] 張俊舉, 常本康, 張寶輝, 等. 遠(yuǎn)距離紅外與微光/可見光融合成像系統(tǒng)[J]. 紅外與激光工程, 2012, 41(1): 20-24.

ZHANG Junju, CHANG Benkang, ZHANG Baohui, et al. Long-distance image fusion system for infrared and LLL/visible bands[J]., 2012, 41(1): 20-24.

[4] HUANG X X, LONG Y, ZHANG Z L, et al. Summarization of distributed visual simulation technology[J]., 2010, 22(11): 2742-2747.

[5] 劉春雨, 郭立紅, 高峰, 等. 基于Vega的紅外圖像仿真[J]. 中國光學(xué)與應(yīng)用光學(xué), 2010, 3(2): 177G181.

LIU Chunyu, GUO Lihong, GAO Feng, et al. Infrared imaging simulation based on Vega[J]., 2010, 3(2): 177G181.

[6] 白同云. 高速PCB電源完整性研究[J]. 中國電子科學(xué)研究院學(xué)報, 2006, 1(1): 22-30.

BAI Tongyun. Research into high speed PCB power integration[J]., 2006, 1(1): 22-30.

[7] 賈建科, 張麟兮, 鄭春來. 基于Vega的場景紅外成像仿真研究[J]. 紅外技術(shù), 2006, 28(3): 174-177.

JIA Jianke, ZHANG Linxi, ZHENG Chunlai. Research of infrared imaging simulation based on Vega[J]., 2006, 28(3): 174-177.

[8] 高貴, 張軍, 呂信明, 等. SAR圖像乘性噪聲模型分析[J]. 信號處理, 2008, 24(2): 161-167.

GAO Gui, ZHANG Jun, LV Xinming, et al. Analysis of multiplicative noise models in SAR imagery[J]., 2008, 24(2): 161-167.

[9] 李艷敏, 李孟超, 孫劉杰, 等. 基于小波變換的紅外顯微圖像融合[J]. 微計算機(jī)信息, 2005, 21(9): 126-127.

LI Yanmin, LI Mengchao, SUN Liujie, et al. Infrared microscope image fusion base on wavelet transform[J]., 2005, 21(9): 126-127.

Research on Synchronous Simulation of Infrared and Low-Light-Level(LLL) Videos Based on Vega

ZHANG Yu，WANG Li，XU Hua，F(xiàn)AN Mengping，WU Yujing，QIAN Yunsheng

（School of Electronic & Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China）

Infrared and LLL videos for image fusion algorithm and validation of product performance need the synchronous simulation videos. This paper proposes a synchronous simulation technology of infrared and LLL videos based on Vega, developing a dual serial simultaneously transmitted device based on FPGA, and realizing the synchronous control of simulation video. Then, based on VC＋＋, a serial port program and simulation control program are designed, with monitoring serial port, accessing data, recognizing data, and controlling simulation realized. By means of serial communication between computer and control board, the sync infrared and LLL videos of simulation can be realized, and the experiment proves the availability of this means.

Vega，F(xiàn)PGA control board，infrared video，LLL video，synchronous simulation，image fusion

TP391.41，TN223

A

1001-8891(2017)02-0152-05

2016-06-08；

2016-09-21.

張瑜（1993-），女，滿族，遼寧鐵嶺人，碩士，主要從事紅外與微光圖像仿真技術(shù)研究。E-mail：zhangyu1993fish@163.com。