趙 玲,周 寬,喻松林,崔躍剛

(華北光電技術(shù)研究所,北京 100015)

1 引 言

紅外探測中,容易受到光照、氣候以及目標(biāo)自身隱蔽性等干擾因素的影響,使得復(fù)雜環(huán)境下的目標(biāo)識別存在一定困難,其中,單波段探測無法滿足需求是重要原因之一[1]。長波紅外(LWIR)較適于探測常溫目標(biāo)并工作在低溫干燥環(huán)境下,而中波紅外(MWIR)更適于探測高溫目標(biāo)并工作在高溫潮濕氣候條件下。如果能利用雙波段或多波段同時進(jìn)行紅外探測就可以獲得更多有效信息,通過圖像融合技術(shù)實(shí)現(xiàn)多波段圖像差異信息的互補(bǔ),從而獲得更加精確、全面的圖像信息,可有效提高系統(tǒng)效能[2]。

圖像融合按照處理層次的不同,可以劃分為像素級、特征級和決策級三種融合方式。像素級融合保留了場景的原始信息,準(zhǔn)確性高但是處理的信息量較大；特征級融合保留了重要圖像特征但有一定的信息壓縮,有利于實(shí)時處理；決策級融合在源圖像和特征提取的基礎(chǔ)上進(jìn)行聯(lián)合判決,該方法的容錯能力高,實(shí)時性好,但是信息量的損失較大。本文的圖像融合屬于像素級融合。

一般像素級圖像灰度融合的方法[3]包括基于多尺度分解、基于稀疏表示等方法。多尺度分解常用的方法包括傳統(tǒng)金字塔變換[4]、離散小波變換以及剪切波、輪廓波等多尺度變換[5],該類方法能夠挖掘圖像中不同方向不同尺度的細(xì)節(jié)信息,但是方向性越好,計(jì)算復(fù)雜度越高,不易在嵌入式設(shè)備上實(shí)現(xiàn)；基于稀疏表示的方法主要是在稀疏域中測量源圖像的像素水平,有各種稀疏表示模型和相應(yīng)的融合策略可供進(jìn)一步選擇,該類方法計(jì)算量大,很難滿足目標(biāo)檢測對圖像融合實(shí)時性和工程化的需求。

通過對中、長波紅外成像的特點(diǎn)對比發(fā)現(xiàn),僅利用常規(guī)灰度域的融合算法無法很好的體現(xiàn)不同波段的差異信息,若引入彩色域算法則可以很好地解決這個問題[6],因此有必要對紅外雙波段融合技術(shù)進(jìn)行深入研究。

本文在總結(jié)傳統(tǒng)8 bit彩色圖像融合思路的基礎(chǔ)上,提出基于16 bit的DRF偽彩色融合方法,采集16 bit原始中、長波紅外圖像,劃分差值區(qū)域,突出表現(xiàn)不同波段的成像差異,得到更利于工程應(yīng)用,更適合人眼視覺特性,更突出目標(biāo)特性的偽彩色融合圖像。

2 傳統(tǒng)偽彩色融合算法基本思路

常見的雙波段偽彩色融合算法主要包括NRL算法、TNO算法等。

NRL算法早期主要應(yīng)用于紅外圖像和微光圖像的偽彩色融合算法,后來推廣到中長波紅外雙波段[7],算法的主要思路如圖1所示。

圖1 NRL算法流程圖

該算法得到的效果在于:若某點(diǎn)像素在中波的灰度級高于長波,融合圖像中該點(diǎn)呈青色；若某點(diǎn)像素在長波的灰度級高于中波,融合圖像中該點(diǎn)呈紅色；若在中、長波的圖像中灰度均高則最終呈白色,均低則呈黑色,NRL算法融合效果圖如圖2所示。

(a)長波紅外圖像

分析該方法得到的融合圖像,由于中長波圖像差異較大,靠近樹叢的車輛能夠利用紅色和青色很好的辨別不同,但是針對差異部分的強(qiáng)弱狀態(tài),沒有明顯的顏色變化；另外對于垃圾桶、后車尾等中長波差異相對較小的位置,色差無法將細(xì)節(jié)表現(xiàn)清晰。

TNO算法主要針對中長波紅外圖像中不同波段的差異部分進(jìn)行增強(qiáng)賦色[8-9],主要算法思路如圖3所示。

圖3 TNO算法流程圖

先求中波圖像A和長波圖像B的共有部分C,C取A和B的最小值,如下式:

C=min{A,B}

(1)

然后各自減去共有部分獲得特有部分,如下式:

Aspecial=A-C

(2)

Bspecial=B-C

(3)

其中,Aspecial表示中波圖像A的特有部分,Bspecial表示長波圖像B的特有部分。

最后用原圖像減去另一圖像的特有部分進(jìn)行增強(qiáng),獲得特性圖像,如下式:

Afinal=A-Bspecial

(4)

Bfinal=B-Aspecial

(5)

其中,Afinal是中波圖像A的特性圖像;Bfinal是長波圖像B的特性圖像。

將中波特性圖像和長波特性圖像分別送入B和R通道,共有部分圖像送入G通道,TNO算法效果如圖4所示。

分析該方法得到的融合圖像,對于汽車車身、車窗等中長波差異較大的位置,有明顯的色彩區(qū)分,且根據(jù)差異的強(qiáng)弱程度,顏色的變化也更加豐富；對于垃圾桶、后車尾中長波圖像差異相對較小的部分,在保持灰度的同時也能夠看出顏色的變化,但是對于地面等中長波幾乎沒有差異的部分,融合圖像仍舊存在大面積色偏的情況。

(a)長波紅外圖像

3 基于16 bit圖像的中長波紅外雙波段偽彩色融合算法

本文提出一種差值區(qū)域融合(Difference regions fuse,DRF)思路,在突出中長波紅外波段差異的基礎(chǔ)上,直接利用16 bit原始紅外圖像進(jìn)行數(shù)據(jù)處理,增強(qiáng)細(xì)節(jié)信息；通過差值區(qū)域判斷進(jìn)行區(qū)域調(diào)整,改善大面積明顯色偏的問題。

如果融合圖像直接在RGB顏色空間上處理,圖像色彩變化不夠自然,且細(xì)節(jié)信息的彩色表征缺乏可預(yù)見性[10]；而在YCbCr顏色空間中,Y表示亮度分量,Cb表示藍(lán)色的偏移量,Cr表示紅色的偏移量,與其他顏色空間相比,YCbCr顏色空間的表現(xiàn)形式跟中長波波段表征的差異特征較為契合。因此,本文提出的DRF算法將提取16 bit圖像信息進(jìn)行處理分析,通過差值區(qū)域判斷,在YCbCr顏色空間中完成差異賦色,最后完成直方圖均衡化,將16 bit圖像壓縮圖像為8 bit并轉(zhuǎn)換至RGB顏色空間進(jìn)行顯示,主要算法思路如圖5所示。

圖5 DRF算法流程圖

圖像預(yù)處理主要包括圖像去噪、圖像銳化、迭代歸一化圖像亮度和對比度等基礎(chǔ)圖像處理操作。圖像去噪主要去除可能影響圖像質(zhì)量的噪聲,各類噪聲的去噪方法各有不同,但是去噪的同時會影響圖像質(zhì)量,應(yīng)根據(jù)具體情況進(jìn)行選擇；圖像銳化主要是針對紅外圖像邊緣細(xì)節(jié)不夠清晰等問題,通過銳化處理更好地凸顯圖像中的細(xì)節(jié)信息,改善圖像邊緣模糊狀態(tài)；歸一化圖像亮度和對比度主要改善融合圖像的色偏問題。本文為了更好的消除色偏,對歸一化進(jìn)行剔除異常值反復(fù)迭代的操作,確保中、長波紅外圖像的狀態(tài)一致。

通過計(jì)算中波紅外圖像A和長波紅外圖像B對應(yīng)點(diǎn)的差值,標(biāo)定中波區(qū)域、長波區(qū)域和過渡區(qū)域,如下式:

diff(i,j)=B(i,j)-A(i,j)

(6)

k=diffmax+diffmin

(7)

(8)

YCbCr顏色空間中,若圖像無顏色偏移,僅僅顯示Y通道的亮度信息,則Cb和Cr通道賦值0.5。于是,本文設(shè)計(jì)的賦色思路是若中長波灰度值差異明顯則分別賦色,若差異不大,則以參考圖像的亮度信息為主,不賦色；設(shè)置Cb通道和Cr通道的賦色規(guī)則如下式(9):

當(dāng)k>0時,

(9)

其中,sp為顏色因子,可根據(jù)需要調(diào)節(jié)數(shù)值(sp>0)。

同時,計(jì)算中波和長波圖像的邊緣強(qiáng)度ES,如下式:

(10)

其中,ΔIx=f(x,y)-f(x-1,y);ΔIy=f(x,y)-f(x,y-1)。

根據(jù)邊緣強(qiáng)度所占比例設(shè)置參考圖像的權(quán)值系數(shù),最終的參考圖像D等于加權(quán)后中長波圖像之和,如下式:

(11)

(12)

D=ωlong×A+ωmid×B

(13)

其中,ESlong、ESmid分別代表長波的邊緣強(qiáng)度和中波的邊緣強(qiáng)度。

送Y通道的圖像主要反映圖像的亮度信息,將參考圖像D送入Y通道。

賦色完成之后對圖像進(jìn)行直方圖均衡化處理,將圖像從16 bit壓縮至8 bit。與直接在8 bit圖像中設(shè)計(jì)賦色方案相比,獲取的有效信息更多,更利于提升的融合圖像效果,最后轉(zhuǎn)換至RGB顏色空間,完成圖像融合,YCbCr空間與RGB空間轉(zhuǎn)換公式見式(14),具體融合效果圖見圖6。

Y=0.299×R+0.587×G+0.114×B

Cr=(R-Y)×0.713+128

Cb=(B-Y)×0.564+128

(14)

(a)長波紅外圖像

相較于NRL和TNO等傳統(tǒng)算法,該方法得到的融合圖像,細(xì)節(jié)信息凸顯的更加明顯,尤其是紅框標(biāo)出來的位置,在中長波差異的位置顏色區(qū)分明顯,且具有顏色強(qiáng)弱變化；地面部分不僅紋理變化更加清晰,大面積色偏的問題也得到了改善。

4 圖像評價

目前針對彩色圖像的圖像質(zhì)量評價仍然處于起步階段[11],圖像融合評價主要分為主觀評價和客觀評價,主觀評價由人眼直接做出評價,容易由于主觀判斷出現(xiàn)偏差,客觀評價通過計(jì)算指標(biāo)因子,做出比較。

本文選取5幅中長波差異明顯的紅外圖像,具體圖像見圖7,從左到右依次為長波圖像、中波圖像,NRL算法融合圖像、TNO算法融合圖像和DRF算法的融合圖像。

圖7 實(shí)驗(yàn)圖片

以第5幅為例,放大圖片進(jìn)行主觀視覺比較,如圖8所示,圖8(a)為長波圖像,圖8(b)為中波圖像,圖8(c)為NRL算法融合圖像,圖8(d)為TNO算法融合圖像,圖8(e)為DRF算法融合圖像。

圖8 融合圖像的主觀評價

小框位置處,長波幾乎看不清細(xì)節(jié),而中波的紋理變化較為清楚,NRL和TNO算法得到的融合圖像邊緣模糊,無法準(zhǔn)確地體現(xiàn)差異,DRF算法中長波差異細(xì)節(jié)表現(xiàn)清晰,且變化邊緣處過渡自然,效果更好。

大框位置處,由于長波對高溫不敏感,顯示的火焰焰尾短,焰心亮度較低；中波顯示的火焰焰尾長且細(xì)節(jié)變化豐富,焰心亮度較高,NRL算法得到的融合圖像焰心處亮度較高且保持了中波的火焰細(xì)節(jié),但是未體現(xiàn)中波和長波的火焰差異；TNO算法得到的融合圖像火焰狀態(tài)更偏向長波,對于中波火焰邊緣的細(xì)節(jié)變化表征不清晰； DRF算法的融合圖像焰尾邊緣清晰、細(xì)節(jié)明顯,焰心處亮度較高且有顏色凸顯差異,更利于人眼快速辨別。

整體來看,基于8 bit圖像融合算法都有一定的色偏,實(shí)際工程應(yīng)用中,可能會影響人眼判斷,而基于16 bit的圖像融合算法可以很好地改善這一問題。

為了進(jìn)一步驗(yàn)證算法的有效性和客觀性,本文結(jié)合幾種灰度圖像融合的指標(biāo)進(jìn)行評價,主要包括平均梯度(AVG)、圖像互信息(MI)[12]、邊緣保留系數(shù)(Q)[13-14]等三個指標(biāo)因子；平均梯度反映圖像表達(dá)細(xì)節(jié)和紋理變化的能力,互信息能夠衡量融合圖像從源圖像中繼承的信息量,邊緣保留系數(shù)則表征融合圖像保留源圖像中的邊緣信息量。

選取客觀評價因子對3種算法進(jìn)行比較,具體評價結(jié)果見表1。

表1 不同算法的融合評價結(jié)果

由指標(biāo)評價結(jié)果可以看出,本文提出的DRF算法的客觀評價因子均高于其他算法。結(jié)合主觀視覺觀察分析,DRF算法不論從人眼觀察的細(xì)節(jié)還是客觀評價因子呈現(xiàn)的圖像融合結(jié)果均效果顯著。

5 結(jié) 語

本文提出了一種基于16 bit紅外原始圖像的中長波雙波段偽彩色融合算法,考慮到實(shí)時性和簡潔性的原則,根據(jù)中長波波段差異特點(diǎn),總結(jié)傳統(tǒng)融合算法的優(yōu)缺點(diǎn),各取所長,結(jié)合YCbCr顏色空間,判斷差值區(qū)域,完成融合算法設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明,該算法不論從人眼觀察的細(xì)節(jié)信息還是客觀評價結(jié)果,圖像融合效果顯著,能夠?yàn)楹罄m(xù)的工程應(yīng)用提供思路。