張 濤，王成龍，趙新宇

（中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033）

1 引 言

光電經(jīng)緯儀［1］在現(xiàn)代靶場光學(xué)測量中得到了廣泛應(yīng)用，隨著被測目標(biāo)向高速、小型化、低可探測性方向發(fā)展，光電經(jīng)緯儀所搭載的傳感器也開始向高分辨率、多光譜、彩色成像方向發(fā)展。為了更好的測量目標(biāo)特性和取得更真實、鮮艷的目標(biāo)圖像，靶場對彩色圖像的需求日益增加。

以往為了取得彩色圖像，一般采用3CCD彩色相機，這種相機具有色彩真實鮮艷、對比度高、動態(tài)范圍大等優(yōu)點，但同時也有光學(xué)系統(tǒng)復(fù)雜、裝調(diào)維護困難、幀頻低（廣播級3CCD相機一般為24Hz或25Hz）、總像素有限、數(shù)據(jù)處理困難等缺點［2］，所以用于實況記錄更多而用于跟蹤與測量較少。而普通的CCD和CMOS相機光學(xué)系統(tǒng)簡單、幀頻高、總像素數(shù)高，適用于跟蹤和測量而不適合作為實況記錄。因此研究出一種能兼顧跟蹤測量和實況記錄的色彩還原系統(tǒng)就有了非常重要的意義。

2 Bayer濾波原理及還原算法

2.1 Bayer濾波

如果在黑白CCD或CMOS成像器件表面覆蓋一層微小的光學(xué)濾鏡，使器件的每個像素僅能對RGB三色中的一個分量感光，這樣整個成像器件產(chǎn)生的圖像有類似馬賽克的效果，在針對單個像素計算其真正的顏色時，需要獲取其鄰接像素的感光信息，然后進行白平衡計算再進行色彩還原。這種方法被稱為彩色濾波陣列［3－4］（Color Filter Array，CFA）。CFA算法可用于黑白成像器件，如果算法合適，則既能利用CCD和CMOS器件的高幀頻高像素數(shù)，又可獲取彩色圖像。

在CFA算法中，Bayer濾波［5－7］應(yīng)用廣泛且效果良好，其基本結(jié)構(gòu)如圖1所示。其中R、G、B分別代表紅、綠、藍三色分量。

圖1 Bayer濾波結(jié)構(gòu)Fig.1 Construction of Bayer filter

從圖1可看出，在Bayer濾波中，R、G、B三個分量總數(shù)不同。考慮到人眼視覺對綠色更敏感，分辨能力更強，而且綠色在可見光中占據(jù)了更寬的光譜范圍，所以G分量占了總數(shù)的一半。因此對R和B分量進行計算時，可以G分量為基準。

2.2 雙線性插值法及其改進

在Bayer濾波的色彩還原中，雙線性插值算法［5］是對單個分量進行獨立插值的經(jīng)典算法，以圖1的CFA為例，取坐標(biāo)（3，2）點，對R分量感光，則計算其G和B分量的公式為：

由式（1）易知，雙線性插值法的優(yōu)點是算法簡單，濾波器設(shè)計容易，計算量小，非常適用于實時處理。但缺點也很明顯，首先是濾波器大小始終為3×3，忽略了圖像細節(jié)，更重要的是這種算法在單個顏色分量間獨立插值，忽略了3個顏色分量之間的相關(guān)性。

可以預(yù)見該算法在圖像中的平滑區(qū)域內(nèi)效果較好，但在圖像的邊緣處，由于像素取值具有方向性，如果顏色反差大，則用雙線性插值會產(chǎn)生很大誤差，在圖像邊緣呈現(xiàn)鋸齒狀效果，稱為拉鏈效應(yīng)［8－9］。由上所述G 分量在圖像中總數(shù)更多，則拉鏈效應(yīng)更明顯，所以在插值運算中應(yīng)更精確地恢復(fù)G分量，改善色彩還原效果。

基于雙線性插值法的缺點和G分量的重要性，考慮在恢復(fù)G分量時使用梯度算法［7］，即通過計算梯度來檢測邊緣的方向，進而選擇合適的插值方向，使計算過程不跨越邊緣，從而減少拉鏈效應(yīng)。

仍以圖1為例，假設(shè)Δh和Δv分別是該像素在水平方向和垂直方向的梯度，則有：

若Δh＜Δv，即認為水平方向有邊緣的概率大于垂直方向，則插值在水平方向進行，反之若Δh＜Δv，則在垂直方向進行，若Δh＝Δv，則該像素仍在平滑區(qū)域，在兩個方向都進行插值?？蓪⑹剑?）中計算G分量的算式優(yōu)化為：

而對于B分量，對于坐標(biāo)（3，2）因為并不是水平和垂直鄰接的像素，則計算時無法直接判斷邊緣是否在兩個方向，需要對（2，1）、（2，3）、（4，1）、（4，3）4個對B分量感光的像素進行判斷。則有如下判據(jù)，設(shè)

而對R分量其值保持不變。

式（2）、（3）、（4）、（5）聯(lián)立求解同樣可以得到還原參數(shù)，這種方法和式（1）對比可以看出兩種算法可以的算法復(fù)雜度和計算量并沒有顯著的增加。

3 硬件設(shè)計

CMOS相機采用Dalsa公司的1M120，使用的工作模式為1024（H）×1024（V），幀頻100 Hz，數(shù)據(jù)位寬8bit，該相機靈敏度高、動態(tài)范圍寬，像元大小適中，可兼顧捕獲和測量功能。

在以往的光測設(shè)備中，為了滿足實時跟蹤的要求，圖像處理硬件平臺多選用DSP＋FPGA的模式，但隨著PC硬件處理能力的快速發(fā)展，使用PC平臺＋工業(yè)級數(shù)字圖像采集卡的模式也可以滿足實時性的要求。

數(shù)字圖像采集卡使用Dalsa公司出品的X64－Xcelera－full，該卡支持 Camera－Link full標(biāo)準，接口為PCI－E×4，硬件的結(jié)構(gòu)和數(shù)據(jù)流圖如圖2所示，處理軟件從采集卡緩存讀入圖像，進行處理后得到目標(biāo)脫靶量和還原的彩色圖像，將脫靶量輸出至串行通信卡，將彩色圖像輸出至顯卡，顯卡有數(shù)字和模擬接口，再分別輸出給相應(yīng)的傳輸和顯示設(shè)備。

圖2 硬件數(shù)據(jù)流圖Fig.2 Flow chart of hardware

4 軟件設(shè)計

采用 VC＋＋進行軟件設(shè)計［10－11］，同時利用采集卡提供的Sapera開發(fā)庫簡化一些如接收、發(fā)送、控制相機等底層操作。同時考慮到一幀數(shù)據(jù)量比較大，采用乒乓算法，在軟件中為圖像處理開辟兩個緩存區(qū)，首先寫滿第一個緩存區(qū)，然后進行計算，讀入的數(shù)據(jù)寫入第二個緩存區(qū)以備使用，第一個緩存區(qū)的數(shù)據(jù)計算完畢后清空，計算第二個緩存區(qū)中數(shù)據(jù)，同時將讀到的數(shù)據(jù)再寫入第二個緩存，如此往復(fù)，以提高軟件運行效率。軟件的關(guān)鍵流程圖如圖3所示。

圖3 軟件流程圖Fig.3 Flow chart of software

5 效果評價

在圖像處理中評價重構(gòu)圖像質(zhì)量常用兩種方法：均方根誤差（Mean Square Error，MSE）和最高峰值比［12］（Peak Signal－to －noise Ratio，PSNR）。這兩種計算方法分別如下：

式中：M和N 分別代表圖像尺寸的行列數(shù)，f0（i，j）和fr（i，j）分別代表原始圖像和恢復(fù)后圖像的第（i，j）個像素的強度分量。在式（7）中，PSNR是某個分量的值，即真彩色圖像可以分成R、G、B三個分量獨立的比較，反映了原始圖像和恢復(fù)后的圖像相似的程度，PSNR越大，則越相似。表1給出了本文所論述方法和雙線性插值算法對實驗圖像進行處理后的PSNR值以進行定量對比。

表1 算法PSNR比較Tab.1 Comparison of algorithms

從表1中可以看出，檢測邊緣而后插值的算法PSNR比雙線性插值法更高，平均提高了14%左右，性能有較大幅度提升。

考慮到靶場光測的實時性需求，需要對處理算法的時間性能進行定量測量。同樣在相機的典型使用條件下進行測量。對100Hz，1024×1024的圖像進行還原，對快速運動和慢速運動圖像進行計算，每次計算10s數(shù)據(jù)，計算所有圖像的平均處理時間和最長一次的處理時間，結(jié)果如表2所示。

表2 算法時間性能比較Tab.2 Comparison of time performance of algorithms

由表2可以看出：

（a）相機工作于100Hz時，最長的一幀處理時間也小于9ms，可見兩種方法的處理時間均滿足實時性要求；

（b）在都滿足實時性要求的前提下，處理快速運動圖像時，檢測邊緣插值算法的平均處理時間比雙線性插值算法的處理時間長大約8%，處理慢速運動圖像時處理時間長大約2%左右，性能差距不是特別大，而考慮到PSNR提高了14%左右，在時間性能上的損失是值得的。

6 結(jié) 論

根據(jù)Bayer格式CFA的原理提出了一種改進的彩色圖像恢復(fù)算法，利用圖像的梯度信息進行邊緣檢測而后再進行插值，算法復(fù)雜度低的同時性能提高14%左右，可以用于100Hz，1024×1024的圖像實時彩色還原處理，達到了預(yù)期目的。如果增大邊緣檢測的鄰域范圍和使用卡爾曼濾波等算法，效果會更好，但同時算法復(fù)雜度會提高，時間性能會降低，如何在提高還原效果的同時保證實時處理所需要的時間性能則是下一步研究的重點。

［1］賈濤，吳能偉，陳濤.光電經(jīng)緯儀組網(wǎng)測量位置估計的Cramer＿Rao限［J］.光電工程，2005，32（7）：4－6.Jia T，Wu N W，Chen T.Cramer－Rao lower bounds of position estimation in a photoelectric theodolite－based network［J］.Opto－Electronic Engineering，2005，32（7）：4－6.（in Chinese）

［2］甘波，魏延存，鄭然.CMOS圖像傳感器芯片的自動白平衡［J］.液晶與顯示，2011，26（2）：224－228.Gan B，Wei Y C，Zheng R.Auto white balance algoritm for CMOS image sensor chip ［J］.Chinese Journal of Liquid Crystal and Displays，2011，26（2）：224－228.（in Chinese）

［3］Funt B，Cardei V.Learning color constancy［C］／／Proc of the 4th Int，l conf on Color Imaging and Applications，［S.I］：IEEE Press，1996：58－60.

［4］孫立新.LCD顯示器的白平衡調(diào)整［J］.液晶與顯示，2011，26（2）：220－2223.Sun L X.LCD white balance adjustment［J］.Chinese Journal of Liquid Crystal and Displays，2011，26（2）：220－2223.（in Chinese）

［5］趙興梅，劉建偉，李孝強.數(shù)字相機色差空間雙線性插值算法的實現(xiàn)［J］.電子科技，2009，2（4）：57－59.Zhao X M，Liu J W，Li X Q.Realization of bilinear interpolation method in color difference space for digital camera［J］.Electronic Science and Technology，2009，2（4）：57－59.（in Chinese）

［6］Pei S C，Tam I K.Effective color interpolation in CCD color filter array using signal correlation［J］.IEEE Trans.Circuit and System for Video Technology，2003，13（6）：503－513.

［7］尹勇，胡磊.一種改進的Bayer圖像彩色恢復(fù)差值算法［J］.計算機科學(xué)，2010，37（4）：278－280.Yin Y，Hu L.Improved Interpolation algorithm for demosacing Bayer pattern images［J］.Computer Science，2010，37（4）：278－280.（in Chinese）

［8］楊永明，李清軍，李文明，等.基于Bayer濾波的彩色面陣 CCD調(diào)制函數(shù)［J］.光學(xué)精密工程，2012，20（7）：1611－1618.Yang Y M，Li Q J，Li W M，et al.Modulation transfer function for color area CCD based on Bayer filter［J］.Optics and Precision Engineering，2012，20（7）：1611－1618.（in Chinese）

［9］Kimmel R.Image reconstruction from CCD samples［J］.IEEE Trans，Image Processing，1999，8（9）：1221－1228.

［10］冉峰，楊輝，黃舒平，等.面陣CCD彩色視頻圖像實時采集系統(tǒng)的設(shè)計［J］.光學(xué)精密工程，2010，18（1）：273－280.Ran F，Yang H，Huang S P，et al.Design of real－time color video capture system for area array CCD ［J］.Optics and Precision Engineering，2010，18（1）：273－280.（in Chinese）

［11］俢吉宏，黃浦，李軍，等.大面陣彩色CCD航測相機的輻射定標(biāo)［J］.光學(xué)精密工程，2012，20（6）：1365－1373.Xiu J H，Huang P，Li J，et al.Radiometric calibration of large area array color CCD aerial mapping camera［J］.Optics and Precision Engineering，2012，20（6）：1365－1373.（in Chinese）

［12］羅瀟，孫海江，陳秋萍，等.Bayer格式圖像的實時彩色復(fù)原［J］.中國光學(xué)與應(yīng)用光學(xué)，2010，3（2）：182－187.Luo X，Sun H J，Chen Q P，et al.Real－time demosaicing of Bayer pattern images［J］.Chinese Journal of Optics and Applied Optics，2010，3（2）：182－187.（in Chinese）