夏余, 曲仕茹, 李珣

(西北工業(yè)大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710129)

圖像融合作為信息融合技術(shù)的一種已在智能交通以及軍事等領(lǐng)域得到了廣泛應(yīng)用。采用圖像融合的智能圖像信息獲取技術(shù)可有效處理圖像理解和模式識(shí)別中的不確定性問(wèn)題,實(shí)現(xiàn)多源圖像信息的協(xié)同利用,生成多元信息互補(bǔ),對(duì)同一目標(biāo)或場(chǎng)景相對(duì)于單一傳感器獲取的信息具備更高級(jí)解釋的圖像內(nèi)容。鑒于人類(lèi)視覺(jué)中色彩信息的可辨識(shí)度遠(yuǎn)遠(yuǎn)高于灰度信息和機(jī)器視覺(jué)對(duì)圖像信息量的要求,伴隨著傳感器技術(shù)的不斷改進(jìn)和提高,色彩圖像融合在圖像處理領(lǐng)域得到廣泛關(guān)注。

目前較為經(jīng)典的色彩融合方法有NRL法[1]、MIT法[2]、TNO法[3]和基于顏色傳遞技術(shù)的Toet方法[4]。然而,上述方法均為偽彩色圖像融合方法,色彩融合的同時(shí)對(duì)紋理和細(xì)節(jié)等圖像信息造成了較大的損害,且融合圖像的顏色質(zhì)量對(duì)融合選取的參考圖像有很強(qiáng)的依賴(lài)性。

目標(biāo)圖像及源圖像包含彩色信息的融合過(guò)程,不需要考慮參考圖像的選取,只利用源圖像的顏色分布便可完成。但是,常用的RGB色彩空間各分量之間存在著很大的相關(guān)性,不能獨(dú)立地改變各通道的色彩表述。一些經(jīng)典的基于空間變換的色彩圖像融合算法,如PCA融合算法、IHS融合方法,基于彩色信息傳遞的圖像融合方法[5]。PCA方法在去除各通道相關(guān)性的同時(shí)無(wú)法兼顧原有圖像的結(jié)構(gòu)信息,IHS方法能保留高分辨率信息但會(huì)引入較嚴(yán)重的色彩畸變[6],lαβ變換的計(jì)算過(guò)程是非線(xiàn)性的指數(shù)和對(duì)數(shù)變換不利于運(yùn)算。且YCBCR、IHS和lαβ等空間變換的色彩圖像融合算法采用固定的過(guò)渡矩陣對(duì)所有圖像進(jìn)行空間變換,這樣將會(huì)大量保存RGB顏色空間各通道間的相關(guān)性。

為此,本文提出了一種改進(jìn)的雙向二維主元分析方法,并將其應(yīng)用到色彩圖像融合中。分別針對(duì)目標(biāo)圖像和源圖像進(jìn)行運(yùn)算,以行、列方向的RGB分量作為基元進(jìn)行二維主元分析得到各級(jí)主元,依照主元替代原則加以改進(jìn)進(jìn)行主元反變換,最終得到融合圖像,去除RGB各通道的相關(guān)性的同時(shí),保留高分辨率信息和紅外熱圖像的能量信息,根據(jù)待融合圖像的顏色和結(jié)構(gòu)特性計(jì)算過(guò)渡矩陣,大大降低了色彩畸變,可以獲得令人滿(mǎn)意的融合效果。

1 算法描述

針對(duì)色彩空間變換時(shí)產(chǎn)生的色彩畸變和各RGB分量間的強(qiáng)相關(guān)性,本文采用基于改進(jìn)雙向二維主元分析(two directional two dimensional principal component analysis, 2D-2DPCA)的色彩圖像融合算法,算法優(yōu)勢(shì)在于:

1) 運(yùn)用二維主元分析的算法特性去除RGB各通道間的相關(guān)性;

2) 過(guò)渡矩陣根據(jù)RGB空間特性計(jì)算產(chǎn)生,降低了色彩空間變換產(chǎn)生的色彩畸變;

3) 采用行列結(jié)合的主元分析保存了原始圖像的結(jié)構(gòu)特性;

4) 采用本文的主元替換原則可保留熱能量信息和彩色源圖像的顏色信息,為融合結(jié)果的后續(xù)應(yīng)用提供可靠的信息保證。算法流程如圖1所示。

圖1 雙向二維主元分析色彩圖像融合框架

由圖1可以看出得到特征圖像WO和WS的運(yùn)算過(guò)程相同,我們以目標(biāo)圖像A的特征圖像WO的運(yùn)算過(guò)程為例進(jìn)行算法描述。

1.1 基元選取

由上所述,在對(duì)圖像進(jìn)行融合之前需要選取適當(dāng)?shù)幕?有別于傳統(tǒng)2D-2DPCA[7]以每幅圖像作為基元的選取準(zhǔn)則,本文分別以源圖像及目標(biāo)圖像行和列方向上的RGB分量作為基元,當(dāng)待運(yùn)算圖像為灰度時(shí),算法認(rèn)為RGB 3層數(shù)值與R層相同,基元提取方法如圖2所示:

由圖2可見(jiàn),對(duì)于目標(biāo)圖像A來(lái)說(shuō),它是一個(gè)m×n的RGB圖像,按行和列方向分別提取n個(gè)m×3和m個(gè)n×3的矩陣作為待處理的“圖像”IOR和IOC,作為后續(xù)二維主元分析的輸入。

圖2 基元選取示意圖

1.2 改進(jìn)的雙向二維主元分析

1.2.1 二維主元分析

二維主元分析,二維主元分析算法(two dimension principal component analysis, 2DPCA)于2004年提出并用于人臉圖像表示與識(shí)別[8]。它成功地將PCA算法提升到二維空間中加以運(yùn)算。我們首先以上一節(jié)提取的行方向上的基元IOR為輸入圖像進(jìn)行2DPCA運(yùn)算。

設(shè)XOR表示一個(gè)三維列向量,2DPCA把大小為m×3的“圖像”矩陣IOR,通過(guò)(1)式的線(xiàn)性變換投影到向量XOR上:

YOR=IORXOR

(1)

YOR為圖像IOR的投影特征向量,最佳投影軸XOR可以根據(jù)特征向量YOR的散布情況來(lái)決定。由此可見(jiàn),可以使用投影后向量的總離散度作為準(zhǔn)則函數(shù)J(XOR)來(lái)衡量投影矩陣XOR的優(yōu)劣,使總散度最大的XOR最優(yōu),記圖像的協(xié)方差矩陣為:

GOR=E[(IOR-EIOR)T(IOR-EIOR)]

(2)

(3)

所以準(zhǔn)則函數(shù)[13]可以寫(xiě)成

(4)

其中使準(zhǔn)則函數(shù)J(XOR)最大的XOR的列向量為協(xié)方差矩陣G的最大的d個(gè)特征值對(duì)應(yīng)的特征向量,即

XOR=(XOR1,…,XORd)=argmax[J(XOR)]

(5)

經(jīng)過(guò)上述對(duì)目標(biāo)圖像A行方向上基元IOR的二維主元分析,使圖像序列各顏色通道間的相關(guān)性得以降低,同時(shí)保持了圖像序列行方向上的結(jié)構(gòu)特性。同理我們可以得到列方向上的基元IOC對(duì)應(yīng)的最優(yōu)投影軸XOC。

1.2.2 特征圖像的建立

經(jīng)過(guò)行列2個(gè)方向的2DPCA運(yùn)算我們得到最優(yōu)投影矩陣XOR與XOC,將IOR和IOC映射到XOR與XOC求出映射圖像YOR、YOC:

YOR=IORXORYOC=IOCXOC

(6)

它們由主元分量代替原有的RGB分量構(gòu)成,主元分量由RGB分量按照主元級(jí)別由高到低的準(zhǔn)則映射產(chǎn)生,且當(dāng)d取3時(shí)為完全映射子圖,顯然XOR與XOC均為3×3的矩陣。YOR、YOC皆為原圖像的完全映射圖像,但兩者分別為目標(biāo)圖像行和列方向的映射圖像,且變換后的各層通道包含著各級(jí)主元信息,我們記λOR和λOC分別為協(xié)方差矩陣GOR和GOC的特征值,通過(guò)上述過(guò)程可知特征值λOR和λOC大小決定投影矩陣XOR與XOC的結(jié)構(gòu)特征,進(jìn)而影響映射圖像。

針對(duì)映射圖像YOR與YOC本文采用線(xiàn)性權(quán)重分配方法,來(lái)構(gòu)造最終的重構(gòu)圖像。直觀而言,協(xié)方差大的圖像往往顏色信息豐富,紋理突出,應(yīng)該獲得較大權(quán)重,考慮到圖像可能在行方向(或列方向)上信息顯著,因此有必要針對(duì)圖像自身的特點(diǎn),選擇使用行、列信息的使用權(quán)重：

則目標(biāo)圖像A的特征圖像WO為:

WO=cORYOR+cOCYOC

(7)

同樣的,我們可以得到源圖像B的特征圖像WS。

2 2D-2DPCA逆變換

2.1 主元替換

按照上述運(yùn)算準(zhǔn)則我們得到了特征圖像WO和WS,已去除各通道之間的相關(guān)性。為此我們可以根據(jù)實(shí)際需求以及圖像的結(jié)構(gòu)特征進(jìn)行主元替換,出于對(duì)目標(biāo)圖像的高分辨率或熱量信息和源圖像飽滿(mǎn)顏色信息的考慮,本文將WO的第一層矩陣WO1替換WS的第一層矩陣WS1,WS2及WS3作為重構(gòu)矩陣WT的信息補(bǔ)充,即

WT=[WO1,WS2,WS3]T

(8)

由(8)式可以看出,重構(gòu)圖像WT結(jié)合了2幅圖像的顯著性特征,擁有高分辨率或熱量信息和飽滿(mǎn)顏色信息的結(jié)構(gòu)特征。

2.2 逆變換

經(jīng)主元替換后的重構(gòu)矩陣WT是由目標(biāo)圖像A與源圖像B的各級(jí)主元分量組成的,它不能直觀呈現(xiàn)融合圖像的顏色信息,因此需要對(duì)其進(jìn)行逆變換回RGB顏色空間。由于源圖像B行、列方向的最佳投影軸XSR和XSC為飽滿(mǎn)顏色信息與主元分量的映射介質(zhì),所以以XSR和XSC為投影軸對(duì)重構(gòu)矩陣進(jìn)行逆變換。

設(shè)WT的行、列方向的主元分量分別為IWR和IWR,且可知XSR和XSC是正交矩陣,則行、列方向上的逆變換圖像分別為:

(9)

其中YWR=IWRXSR,YWC=IWCXSC。

采用1.2.2小節(jié)的權(quán)重分配原則,記λSR和λSC分別為協(xié)方差矩陣GSR和GSC的特征值,GSR、GSC分別為源圖像B經(jīng)行、列方向的2DPCA運(yùn)算獲得。設(shè)最終產(chǎn)生的融合圖像為WF,令

則最終的融合圖像WF為:

(10)

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法的有效性，分別以一組校園NIR圖像、公開(kāi)發(fā)表的OCTEC數(shù)據(jù)庫(kù)和OSU Color and Thermal Database作為實(shí)驗(yàn)素材進(jìn)行色彩圖像融合，圖3至圖5上方為目標(biāo)圖像與對(duì)照的源圖像，下方是前文提到的PCA方法、加權(quán)融合方法、文獻(xiàn)[5]方法和本文方法的效果對(duì)比。

圖3 遙感圖像色彩融合效果 圖4 OSU(場(chǎng)景1)色彩圖像融合效果 圖5 OCTEC2(有煙霧干擾)色彩圖像融合效果

3.2 實(shí)驗(yàn)分析

為衡量融合圖像的整體質(zhì)量,我們選用平均梯度、顏色豐富度和色彩圖像熵作為客觀評(píng)價(jià)標(biāo)準(zhǔn)對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)。平均梯度可敏感反映融合圖像對(duì)微小細(xì)節(jié)反差的表達(dá)能力,被用來(lái)評(píng)價(jià)融合圖像的清晰程度?？臻g梯度越大,說(shuō)明圖像層次越多,融合圖像越清晰;彩色圖像熵值越大,說(shuō)明融合圖像包含的信息量越大;顏色豐富度是表示顏色鮮艷程度的一個(gè)測(cè)量度,越大越鮮艷。由于彩色圖像的像素值為三維向量,其梯度計(jì)算方式如下:

(11)

(12)

對(duì)融合圖像的平均梯度計(jì)算結(jié)果見(jiàn)表1。

(13)

式中：σα、σβ與μα、μβ分別為α、β的標(biāo)準(zhǔn)方差和均值。融合圖像的顏色豐富度計(jì)算結(jié)果見(jiàn)表2。

色彩圖像熵定義為RGB 3個(gè)通道熵之和:

(14)

式中：pi為圖像中灰度為i的概率。熵值越大,說(shuō)明融合圖像包含的信息量越大。對(duì)融合圖像的色彩圖像熵計(jì)算結(jié)果見(jiàn)表3。

表1 融合圖像的平均梯度

表2 融合圖像顏色豐富度

表3 融合圖像色彩圖像熵

圖3為校園NIR圖像色彩融合結(jié)果,可以看出,采用PCA方法的融合結(jié)果保證了圖像的紋理信息和分辨率,但有明顯的色彩偏差;加權(quán)融合方法的融合結(jié)果體現(xiàn)了其算法特性,包含了待融合圖像的部分紋理信息和色彩信息,但同時(shí)直接對(duì)二者整體的數(shù)據(jù)結(jié)構(gòu)直接加權(quán),會(huì)導(dǎo)致融合圖像的分辨率較低,且顏色信息損失較多;文獻(xiàn)[5]方法和本文方法的融合結(jié)果較為理想,但文獻(xiàn)[5]方法融合圖像的局部亮度較本文方法低,清晰度和色彩圖像熵略小于本文方法,視覺(jué)舒適度稍遜。

圖4至圖5為紅外與彩色可見(jiàn)光圖像的融合結(jié)果,圖4、圖5的前景目標(biāo)均為行人目標(biāo),可以看到除加權(quán)融合方法對(duì)紅外目標(biāo)的呈現(xiàn)不夠明顯外,其余所有的融合結(jié)果都能突出紅外目標(biāo)的能量特性。但采用PCA方法的融合結(jié)果在背景顏色的呈現(xiàn)上依然存在色彩偏差,而這種偏差則體現(xiàn)在顏色豐富度的數(shù)值偏高上,這是由于此方法進(jìn)行PCA運(yùn)算時(shí)以單一像素點(diǎn)的RGB分量作為運(yùn)算基元,沒(méi)有考慮圖像各通道的行列特性,在二維空間上,像素顏色值是以某種分布存在的,且某個(gè)特定像素的顏色值與它的某個(gè)鄰域相關(guān)。文獻(xiàn)[5]和本文方法則考慮到了這一因素,但文獻(xiàn)[5]方法受紅外圖像中低灰度值像素位置的影響較大,導(dǎo)致融合結(jié)果背景區(qū)域較暗,使用本文方法生成的融合圖像對(duì)紅外目標(biāo)的保留十分完整,并且背景顏色受紅外圖像影響相對(duì)較小。從各個(gè)彩色圖像評(píng)價(jià)指標(biāo)來(lái)看,文獻(xiàn)[5]與本文方法相差不大,且本文方法略高。

綜上所述,采用本文方法得到的融合圖像在保留紅外圖像能量信息的同時(shí)豐富了色彩信息,對(duì)色彩和輪廓信息損失較多的紅外圖像和不包含熱成像信息的可見(jiàn)光圖像的融合結(jié)果可兼具兩者的優(yōu)勢(shì)信息,從而能夠增強(qiáng)融合圖像的可辨識(shí)性,為后續(xù)工作提供可靠的信息支持。

4 結(jié) 論

提出了改進(jìn)2D-2DPCA的色彩圖像融合框架,以待處理圖像行和列方向上的RGB分量作為基元,分別進(jìn)行和列上的2DPCA運(yùn)算,充分利用了雙向二維主元分析對(duì)結(jié)構(gòu)信息的保持特性和消除RGB各通道間相關(guān)性的特性,采用主元替換準(zhǔn)則和基于協(xié)方差矩陣特征值的加權(quán)逆變換得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明,對(duì)于包含色彩信息的圖像融合本文算法有顯著的優(yōu)越性。

參考文獻(xiàn)：

[1] Mcdaniel R, Scribner D, Krebs W. Image Fusion for Tactical Applications [J]. SPIE, 1998, 3436: 685-695

[2] Fay D A, Waxman A M, Ireland D B, et al. Fusion of Multisensor Imagery for Night Vision: Color Visualization, Target Learning and Search[C]∥3rd International Conference on Information Fusion, Paris, 2000

[3] Toet A. Color the Night: Applying Daytime Colors to Nighttime Imagery [C]∥Enhanced and Synthetic Vision 2003,Proceedings of the SPIE, 2003: 168-178

[4] Toet A. Natural Color Mapping for Multiband Nightvision Imagery [J]. Information Fusion, 2003, 4(3): 155-166

[5] Miranda-Hernndez J, Castela N M, Torres-Mendez L A. Face Colour Synthesis Using Partial Least Squares and the Luminance-/α/-β Colour Transform [J]. IET Computer Vision, 2012, 6(4): 263-272

[6] 敬忠良,肖剛,李振華.圖像融合——理論與應(yīng)用[M]. 北京:高等教育出版社,1999

Jing Z L, Xiao G, Li Z H. Image Fusion: Theory and Applications [M]. Beijing: Higher Education Press, 1999 (in Chinese)

[7] Zhang D Q, Zhou Z H. (2D)2PCA: Two-Directional Two-Dimensional PCA for Efficient Face Representation [J]. Neurocomputing, 2005, 69(1/2/3): 224-231

[8] Yang J, Zhang D, Alejandro F F, et al. Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137