姜寒雪, 郭立強

(淮陰師范學院 計算機科學與技術學院, 江蘇 淮安 223300)

0 引言

圖像融合是指將多幅圖像通過一定的數(shù)學方法處理融合為一幅圖像的過程,而紅外與可見光圖像融合是圖像融合領域的一大研究熱點,在醫(yī)學、軍事、遙感以及計算機視覺、目標識別和情報獲取等方面應用廣泛[1]．由于單傳感器采集信息時具有一定的局限性,在實際應用中通常采用多傳感器在同一時間、同一場景獲取多個圖像信息,對獲取到的圖像采用合適的方法進行融合得到完整清晰的圖像．紅外傳感器環(huán)境適應性強,能夠識別出隱藏的熱目標,并且能夠適應惡劣環(huán)境,全天無休地工作[2]．但是紅外圖像存在信噪比低、對比度低、分辨率差、圖像模糊等問題．而可見光圖像紋理特征明顯且具有較高的分辨率與對比度,將二者融合可以得到細節(jié)豐富、目標顯著、更適合人類感知的圖像[3]．

近年來,紅外與可見光圖像融合研究取得了長足的進步．典型的融合方法有:多尺度變換分析方法、稀疏表示方法、顯著性特征提取方法、深度學習方法、模糊理論方法等．其中,多尺度變換分析方法在紅外與可見光領域應用廣泛．多尺度變換方法是將原始的圖像分解為不同尺度的分量,每個分量代表每個尺度的子圖像．一般來說,基于多尺度分解的紅外可見光融合圖像有三個步驟,首先將源圖像分解為多個尺度圖像,采用合適的融合規(guī)則對源圖像各個尺度的圖像進行融合． 最后,采用相應的逆變換獲取融合圖像．常見的多尺度變換分析方法有金字塔變換[4](PT)、小波變換[5](WT)、contourlet變換[6]、非下采樣輪廓波變換[7](NSCT)等算法．金字塔分解冗余度較大,小波變換細節(jié)信息不足,contourlet變換缺乏平移不變性．NSCT不但保留了contourlet變換多尺度、多方向的優(yōu)點,還能有效避免圖像的分解和重構造成的頻譜混疊問題．

為了獲取更好的圖像融合效果,本文提出了基于NSCT和對比度拉伸的紅外與可見光圖像融合方法．首先對源圖像進行NSCT分解得到高低頻子帶,然后采用絕對值取大和窗口系數(shù)絕對值取大的高頻融合規(guī)則[8]以及基于局部拉普拉斯能量的低頻融合規(guī)則處理高低頻子帶系數(shù)[9]．通過NSCT算法得到初步融合圖像．為了更好的保留融合圖像中的邊緣信息,采用SUSAN算子對源圖像進行邊緣檢測,再將邊緣信息進行對比度拉伸,然后進行NSCT變換來獲取邊緣融合圖像．接下來重復執(zhí)行對比度拉伸和NSCT,將初步融合圖像和邊緣融合圖像進行整合得到最終的融合圖像．實驗結果表明,本文提出的算法融合所得的圖像邊緣清晰,細節(jié)信息更為豐富．

1 相關背景

1.1 NSCT方法

NSCT由非下采樣塔式濾波器組(NSPFB)和非下采樣方向濾波器(NSDFB)組成,用于對圖像進行不同方向上的多尺度分解[10]．使用非下采樣輪廓波對圖像進行分解所得的子帶與源圖像尺寸相同,具有平移不變性．NSPFB是雙通道濾波器,分解得到一個高頻子帶和多個低頻子帶,這一分解過程減少了傳統(tǒng)采樣形式濾波器組所帶來的失真問題,同時獲得了平移不變性．利用NSDFB對經過NSPFB分解的各級高頻子帶進行分解可以得到2l個方向各不相同的子帶．NSCT的突出優(yōu)點是能夠較好地保留圖像中的細節(jié)信息．

1.2 SUSAN邊緣檢測

SUSAN(Smallest Univalue Segment Assimilating Nucleus)是一種基于窗口的檢測方法,針對邊緣和角點進行檢測,檢測時不需要計算微分,因此噪聲的魯棒性更大[11-14]．SUSAN選用一個近似圓形的窗口在圖像上進行移動,如果窗口內像素灰度及核灰度值小于一定的閾值,則判定該點為邊緣點．

2 基于NSCT和對比度拉伸的圖像融合方法

本文選用非下采樣輪廓波(NSCT)對紅外與可見光源圖像進行分解得到高頻分量和低頻分量,選取合適的融合規(guī)則處理高低頻分量[15-18]．低頻分量包含圖像的輪廓信息及源圖像的大部分能量,為了更好地去除高頻信息,保留源圖像的能量及輪廓信息,采用加權局部能量及WSEML作為融合規(guī)則．高頻分量包含噪聲和細節(jié),故采用絕對值取大和窗口系數(shù)絕對值取大的方法作為高頻分量的融合規(guī)則．SUSAN算子簡單高效并且能去除噪聲,應用SUSAN算子提取特征再使用上述NSCT方法融合特征和初步處理圖像可以獲得信息更為豐富的圖像．

本文算法的具體實施步驟如下．

1) 使用非下采樣輪廓波分解紅外與可見光圖像得到低頻系數(shù)和高頻系數(shù)；

2) 對低頻系數(shù)采用加權局部能量和WSEML相結合的融合規(guī)則進行融合；

3) 對高頻系數(shù)運用絕對值取大和窗口系數(shù)絕對值取大的融合規(guī)則進行融合；

4) 對步驟2和步驟3得到的高低頻子帶進行NSCT逆變換得到初步融合圖像；

5) 使用SUSAN算子對源圖像進行邊緣檢測得到邊緣圖像,對邊緣圖像進行整體的對比度拉伸,拉伸因子取值為1.1;然后使用上述NSCT算法對拉伸后的邊緣信息進行融合,得到邊緣融合圖像;

6) 針對步驟4得到的初步融合圖像和步驟5得到的邊緣融合圖像,再重復使用對比度拉伸和NSCT算法來得到最終的融合圖像．

2.1 高頻子帶

高頻子帶包含圖像的邊緣及紋理信息,本文采用絕對值取大和窗口系數(shù)絕對值取大的融合規(guī)則[16],絕對值取大,按式(1)計算

(1)

式中IA(a,b)、IB(a,b)是圖像的高頻系數(shù)．

窗口系數(shù)絕對值取大選取大小為5×5的窗口,選取窗口中最大值最為該像素點的值．

2.2 低頻子帶

圖像的能量主要集中在低頻子帶,對融合效果有著重大的影響．為了充分過濾圖像的高頻信息,保留圖像的近似信息．本文選取加權局部能量和WSEML作為判準準則,充分保留了圖像的結構和細節(jié)信息．加權局部能量E(X,Y)的計算公式如下

(2)

其中W(a,b)是加權系數(shù)矩陣,I(X,Y)是圖像的低頻系數(shù)矩陣,本算法中矩陣的大小為3×3．

WSEML的計算公式為[18]

(3)

式中W(a,b)和式(1)具有相同定義的加權系數(shù)矩陣．

EML按照式(4)計算

EML(x,y)=|2S(a,b)-S(a-1,b)-S(a+1,b)|+

|2S(a,b)-S(a,b-1)-S(a,b-1)|+

(4)

式中S∈{A,B}．

低頻系數(shù)，通過如下規(guī)則進行計算

(5)

其中LA(a,b)，LB(a,b)是紅外與可見光源圖像的低頻系數(shù).EA,EB是加權局部能量歸一化后的系數(shù)矩陣,WSEMLA,WSEMLB是WSEML歸一化后的矩陣[18]．

3 實驗結果與分析

3.1 評價方法

圖像融合的評價方法主要分為主觀評價和客觀評價．本文使用的客觀評價指標如下：

1) 基于視覺信息保真度的指標(VIFF)

VIFF是基于視覺信息保真度的評價指標,復雜度低且更接近人類視覺感知[19]．值越大,圖像的視覺效果越好．

2)信息熵(EN)

信息熵用來衡量圖像包含信息的多少.值越大,圖像所包含的信息越豐富[20],表達式為

(6)

3)平均梯度(AG)

平均梯度用來衡量融合圖像的清晰度.值越大,圖像細節(jié)信息越豐富[21],表達式為

(7)

4) 邊緣強度(EI)

邊緣信息對于人眼感知圖像起著重要作用.值越大,圖像邊緣信息越豐富,圖像質量越高．

5) 清晰度(FD)

清晰度采用基于Sobel算子的Tenengrad梯度函數(shù)提取圖像水平與豎直方向的梯度,值越大,圖像越清晰,表達式為

(8)

3.2 融合結果分析

為驗證本文提出的基于NSCT和對比度拉伸的圖像融合算法的有效性,選取了四組紅外與可見光圖進行測試,測試圖像來源于標準圖像數(shù)據(jù)庫．選取ADF[22]、TIF[23]、BGR[24]、CNN[25]這四種經典圖像融合算法進行對比．ADF算法是一種基于各向異性擴散和PCA變換的圖像融合算法．利用各向異性擴散將源圖像分解為基礎層和細節(jié)層,對細節(jié)層和基礎層采用PCA變換和加權線性疊加的方式生成融合圖像．TIF算法是一種基于視覺顯著性檢測和兩尺度分解的圖像融合方法,能夠較好地突出源圖像的視覺顯著性信息且快速高效．BGR算法利用四叉樹分解和貝塞爾插值來重建紅外背景,然后提取紅外圖像的特征信息并將其添加到可見光圖像中獲得融合圖像．CNN算法是一種深度學習算法,通過學習CNN模型實現(xiàn)源圖像和焦點圖像的直接映射得到融合圖像．實驗結果如圖1—4所示．

圖1 第一組融合圖像

圖2 第二組融合圖像

圖3 第三組融合圖像

第一組圖像是戶外圖像,紅外圖像樹木模糊,可見光圖像人像模糊．本文算法融合后的圖像對比其他算法融合的圖像來看,圖像亮度較高,人像及房屋邊緣清晰,視覺效果優(yōu)越．第二組圖像是湖面的輪船,可見光圖像山體模糊,本文算法融合后的圖像山體紋理細節(jié)以及船體邊緣輪廓較其他算法更為清晰．第三組圖像是夜晚的街道,可見光圖像亮度較低,細節(jié)信息難以觀察,前幾種算法在亮度以及廣告牌的處理效果較差,而本文算法處理后的圖像亮度適中,廣告牌、行人和車輛等細節(jié)更為清晰．第四組圖像是林子中的人,紅外圖像樹葉不夠清晰,可見光圖像人像模糊,前幾種算法人像不夠清晰,尤其是ADF算法整體視覺效果不佳,本文提出的算法在亮度、圖像清晰度方面有較好的視覺效果．

為了進一步評價所提出算法的有效性,本文還使用了VIFF、EN、AG、EI、FD這五種客觀評價指標對圖像的融合效果進行評判,具體數(shù)值結果如表1—4所示．

表1 第一組圖像客觀指標評價

表2 第二組圖像客觀指標評價

結合表1—4的客觀評價指標,表明本文算法的“EN” “AG” “EI”和“FD”這四個指標均明顯好于經典算法,也就是本文算法所獲取的融合圖像,其邊緣信息較其他算法而言更為豐富．此外,本文算法的“VIFF”指標也具有一定的優(yōu)勢,說明本文提出的算法視覺效果優(yōu)異．綜合主客觀評價結果可以看出本文所提出融合算法的有效性,在邊緣細節(jié)以及視覺感知上均有較大的提升．

表3 第三組圖像客觀指標評價

表4 第四組圖像客觀指標評價

4 結語

提出了一種基于對比度拉伸和NSCT的圖像融合算法．使用NSCT分解得到高低頻系數(shù),采用絕對值取大和窗口絕對值取大規(guī)則處理高頻系數(shù)可以降低圖像噪聲,采用加權局部能量和WSEML規(guī)則處理低頻系數(shù)能夠更好地保留圖像的能量以及邊緣細節(jié)信息．對高低頻系數(shù)采用NSCT逆變換得到初步融合圖像．此外,SUSAN算子具有較好的邊緣提取特性,對得到的邊緣信息使用上述對比度拉伸和NSCT算法融合得到邊緣信息,并將該邊緣信息和初步融合圖像重復執(zhí)行上述操作得到最終的融合圖像．實驗結果表明,本文所提出的算法無論是在主觀定性分析還是在客觀的定量計算上,均優(yōu)于現(xiàn)有經典算法．后續(xù)工作將思考如何進一步降低所提出算法的計算復雜度,便于實際的工程應用．