劉 斌,劉維杰,魏艷萍
(1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院,湖北武漢430062;2.武漢大學(xué)計(jì)算機(jī)學(xué)院,湖北武漢430072)
6通道MSVD構(gòu)造及其在多聚焦圖像融合中的應(yīng)用
劉 斌1,劉維杰2,魏艷萍1
(1.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院,湖北武漢430062;2.武漢大學(xué)計(jì)算機(jī)學(xué)院,湖北武漢430072)
針對(duì)經(jīng)典的奇異值分解(singular value decomposition,SVD)在圖像處理中的不足,提出了一種6通道多尺度奇異值分解(multi-scale SVD,MSVD)的構(gòu)造方法,并將其應(yīng)用于多聚焦圖像融合中。首先,在經(jīng)典SVD的基礎(chǔ)上,利用矩陣分塊的方法,給出了一種6通道MSVD的構(gòu)造方法。其次,對(duì)參加融合的多聚焦圖像進(jìn)行6通道MSVD分解,得到高層低頻和各層5個(gè)方向的高頻,對(duì)分解的低頻子圖像采用取平均、高頻子圖像采用區(qū)域能量取大的融合規(guī)則進(jìn)行融合,并進(jìn)行MSVD逆變換得到融合結(jié)果圖像。最后,對(duì)融合結(jié)果圖像進(jìn)行主觀分析和客觀評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明該方法有好的視覺(jué)效果,融合結(jié)果圖像有較高的清晰度和較豐富的邊緣細(xì)節(jié)信息,且沒(méi)有方塊效應(yīng)。從客觀指標(biāo)看,該方法有較高的清晰度和空間頻率,其清晰度和空間頻率比基于離散小波變換、基于提升小波變換、基于曲波變換和基于輪廓波變換的融合方法都高。
圖像融合;矩陣奇異值分解;多尺度分析;多聚焦圖像
多聚焦圖像融合攝取多幅數(shù)字圖像的較清晰部分,形成一幅各處清晰的新圖像,新的圖像可以獲得場(chǎng)景目標(biāo)更可靠、全面和更準(zhǔn)確的信息,可為計(jì)算機(jī)進(jìn)行后續(xù)的圖像處理提供更清晰的結(jié)果圖像。近年來(lái),多聚焦圖像融合得到了較廣泛的發(fā)展和應(yīng)用[1-2],目前,多聚焦圖像融合方法層出不窮,其中,基于多尺度分析的融合方法因其優(yōu)越的性能而成為多聚焦圖像融合方法的主流。自文獻(xiàn)[3]提出了圖像的金字塔構(gòu)造方法并應(yīng)用于圖像編碼后,各種基于金字塔的圖像融合方法被提出,這些金字塔主要有拉普拉斯金字塔[4]、對(duì)比度和比率金字塔[56]。張量積小波多尺度分析也是一種金字塔方法,它是具有方向性的金字塔,也被廣泛應(yīng)用于圖像融合中[78]。近年來(lái),為了解決張量積小波在圖像處理方向上的不足,一些新的基于小波多尺度分析的多聚焦圖像融合方法被提出,這些新的小波有多尺度形態(tài)學(xué)小波[9],曲波(curvelet)[10-11],采樣和非下采樣輪廓波(contourlet)[12-13],采樣和非下采樣提升小波(lifting wavelet)等[1416]。基于金字塔的融合方法雖然能實(shí)現(xiàn)圖像的多尺度融合,但這些方法都不具有方向性,且融合結(jié)果圖像中會(huì)出現(xiàn)人工痕跡和方塊效應(yīng)?;趶埩糠e小波的融合方法雖然具有方向性,但其只注重圖像中的水平方向和垂直方向的邊緣信息,且由于對(duì)濾波后的圖像分別進(jìn)行行、列的下2抽樣,使得結(jié)果圖像中不可避免地會(huì)產(chǎn)生方塊效應(yīng);基于多方向的一類(lèi)新的小波雖然能提取圖像中多個(gè)方向的高頻信息,但其本質(zhì)上還是張量積小波,且都依賴于Fourier變換,而且融合時(shí)的運(yùn)算量偏大;基于提升小波的圖像融合方法在空間域內(nèi)進(jìn)行,不依賴于Fourier變換,速度快,適合于實(shí)時(shí)圖像融合,但目前所使用的提升小波實(shí)際上還是張量積小波,它不是二維小波變換的一般形式,因而也只能提取圖像中的水平方向和垂直方向的邊緣信息,且也不可避免地會(huì)產(chǎn)生方塊效應(yīng)。
矩陣或圖像的奇異值分解(singular value decomposition,SVD)[17]是一種正交變換,具有高度去相關(guān)性,能把信息集中到矩陣的少數(shù)行或列上。此方法近年來(lái)在圖像識(shí)別與處理中得到廣泛應(yīng)用。它有如下特點(diǎn):①能量集中與重新分配。圖像的SVD分解是將圖像矩陣按特征值的大小對(duì)其進(jìn)行對(duì)角化分解,體現(xiàn)了圖像能量從大到小的分布特點(diǎn),主要能量集中于圖像的重新處理地后的少數(shù)向量上,也就是體現(xiàn)了其主成份分析特性。這種SVD有很好的穩(wěn)定性,即當(dāng)圖像的灰度值有較小的改變時(shí),圖像的奇異值也不會(huì)發(fā)生較大的變化。SVD既是圖像的內(nèi)蘊(yùn)特征的表現(xiàn),也體現(xiàn)了圖像能量從大到小的分布規(guī)律性,從頻率分布的角度看,這種能量從大到小的分布規(guī)律也體現(xiàn)了圖像頻率從低頻到高頻的分布規(guī)律,因而其分解也具有明顯的物理意義,也可看成是頻率的分解;②具有正交性。能消去像素間的相關(guān)性。它使得變換后的圖像沒(méi)有冗余性,因而更適合于圖像壓縮和融合;③在時(shí)域內(nèi)完成,不需要進(jìn)行Fourier變換,但也能體現(xiàn)頻率特征,有高頻和低頻;④速度快,能進(jìn)行實(shí)時(shí)分解與融合,無(wú)需卷積運(yùn)算,具有線性計(jì)算復(fù)雜性。
1.1 矩陣的SVD
對(duì)實(shí)數(shù)矩陣A∈Rm×n,存在兩個(gè)正交矩陣U∈Rm×m和V∈Rn×n,使得
從而矩陣A可分解成3個(gè)正交矩陣的乘積,即
式中,E1是大小為m×n的對(duì)角陣。若A的秩為r,則E1的對(duì)角線上的元素可排列為
顯然,A和E1是等價(jià)的。因?yàn)?/p>
即E1的對(duì)角線上元素的值是矩陣A的特征值的均方根,這些元素稱為A的奇異值。其有較好的穩(wěn)定性,即當(dāng)矩陣A的元素的值有較小變化時(shí),其奇異值的改變也不大。奇異值越大,其對(duì)應(yīng)的特征向量擁有的信息量就越多。大的奇異值對(duì)應(yīng)圖像的近似部分,即低頻部分。而較小的值就對(duì)應(yīng)著圖像的細(xì)節(jié)部分,即圖像中的高頻部分。因此,如果能將參加融合的圖像按照奇異值大小分離出近似信息和細(xì)節(jié)信息,那么就可以構(gòu)造出融合圖像的多尺度分析[19]。
1.2 SCMSVD構(gòu)造
為了建立圖像的6通道多尺度分析,首先對(duì)圖像進(jìn)行分塊,對(duì)分塊后的圖像進(jìn)行分類(lèi),形成分類(lèi)矩陣,計(jì)算分類(lèi)矩陣的奇異值分解,從而構(gòu)造出一種圖像的6通道多尺度分析,具體步驟如下:
步驟1 將圖像X∈Rm×n按從上到下、從左到右的方式分成大小為p×q的子塊,得到矩陣塊序列X(k,l)(1≤k≤m/p,1≤l≤n/q);
步驟2 將每個(gè)子塊按先行后列的方式展開(kāi)為((p× q)×1)的列向量,再將這些列向量的各元素組合成為一個(gè)(p×q)×(mn/(p×q))大小的矩陣T;
步驟3 對(duì)T進(jìn)行SVD分解:T=USVT,其中U是大小為(p×q)×(p×q)的正交矩陣,V是大小為(mn/(p×q))2的正交矩陣。
步驟4 用得到的UT對(duì)T進(jìn)行線性正交變換(相乘),得大小為(p×q)×(mn/(p×q))的矩陣A,即
步驟5 完成步驟2的逆操作。將A的各個(gè)列向量重新排成p×q的子塊X,共有mn/(p×q)個(gè)子塊,將它們重新組合成一個(gè)m×n的矩陣X2。
通過(guò)上述分解過(guò)程后可得到1個(gè)低頻子圖像和(p× q-1)個(gè)高頻子圖像。矩陣A的每一行是正交矩陣U作用于T的結(jié)果,U的列向量與奇異值一一對(duì)應(yīng),U的第一列是最大的奇異值所對(duì)應(yīng)的特征向量。作用后的A的第一行就包含了原圖像的主要能量,它是原圖像分解出的近似部分,即低頻圖像。同理,A中其他行包含圖像較少的能量,是圖像的細(xì)節(jié)部分,即高頻圖像。這樣便實(shí)現(xiàn)了圖像的多尺度分解。這樣,通過(guò)步驟4得到矩陣A后,將A的每一行提取出來(lái)按先列后行的順序重新排列成一個(gè)(m/p)×(n/q)的矩陣,分別記為A1,A2…A(p×q),A1就是低頻子圖像,其他都是高頻子圖像。
本文中當(dāng)p×q=6時(shí)就得到6通道的圖像分解,由于2×3=6且3×2=6,因此,可采用2×3或3×2的方塊方式,分解后可得到6幅圖像:1個(gè)低頻子圖像和5個(gè)高頻子圖像,分別記作A1,D1,D2,D3,D4,D5。
重構(gòu)過(guò)程是上述分解過(guò)程的逆過(guò)程。將分解得到的p×q個(gè)(m/p)×(n/q)矩陣分別按行、列展開(kāi),再組合成(p×q)×(mn/(p×q))的矩陣A*,保留分解時(shí)U的值,計(jì)算T*=UA*,然后將T*的列向量還原成p×q的塊,再將這些塊重新組合,得到一個(gè)m×n的重構(gòu)圖像X*。
上述過(guò)程只是對(duì)圖像進(jìn)行一層SVD分解,對(duì)低頻子圖像A1按上述方式類(lèi)似地進(jìn)行多層分解,即得到圖像的MSVD構(gòu)造。
基于6通道MSVD的圖像融合流程如圖1所示,其主要步驟如下:
步驟1 對(duì)參加融合的兩幅或多幅多聚焦圖像進(jìn)行位置配準(zhǔn)。
步驟2 按第1節(jié)的方式分別對(duì)參加融合的原圖像進(jìn)行多級(jí)6通道MSVD分解,得到最高層一個(gè)低頻子圖像和各層5個(gè)高頻子圖像。
步驟3 對(duì)分解后的最高層低頻子圖像和各層高頻子圖像按不同融合規(guī)則進(jìn)行融合。
圖1 基于SCMSVD的圖像融合流程
圖像進(jìn)行MSVD后的低頻系數(shù)體現(xiàn)的是圖像中的近似信息,低頻系數(shù)越小,表示圖像中的低頻成分越少,就此而言,低頻系數(shù)越小越好,然而,低頻成份是圖像中的主要能量的體現(xiàn),系數(shù)過(guò)小,則能量較小,圖像的亮度會(huì)越低,另外,為了使融合結(jié)果圖像能盡可能保持參加融合圖像的能量的均衡,一般取兩幅圖像分解后的最高層(空間分辨率最低)的低頻系數(shù)的平均作為融合結(jié)果圖像的低頻,設(shè)A、B分別為參加融合的兩幅多聚焦原圖像,記A分解后的低頻圖像為AJ,l,B分解后的低頻圖像為BJ,l,對(duì)所有低頻像素點(diǎn)(m,n),則融合圖像的低頻FJ,l為
為了使融合結(jié)果圖像充分體現(xiàn)原圖像中的清晰部分,選擇融合系數(shù)時(shí),就要選擇能體現(xiàn)原圖像進(jìn)行MSVD分解后能體現(xiàn)原圖像清晰部分的系數(shù)。圖像進(jìn)行MSVD分解后的高頻系數(shù)的特性和作用與其他的多尺度分析融合方法的高頻系數(shù)的方法相同[20],在對(duì)高頻圖像進(jìn)行融合時(shí),要盡可能選擇絕對(duì)值較大的系數(shù)作為融合高頻子圖像的系數(shù)。另外,由于圖像中的有效目標(biāo)是以像素塊的形式存在的,因此,融合時(shí)必須考慮把中心像素和其周?chē)膮^(qū)域內(nèi)的像素一起融合,因此,本文對(duì)圖像MSVD分解的各層高頻系數(shù)采用基于區(qū)域能量取大的融合規(guī)則,這樣既能很好地考慮圖像的清晰度和亮度,又能較好地表現(xiàn)圖像中的目標(biāo)。即圖像MSVD分解后的高頻系數(shù)的融合規(guī)則如下:
定義這個(gè)窗口的能量為
步驟4 對(duì)圖像分解后的不同層的正交矩陣U進(jìn)行融合。
U相當(dāng)于圖像分解和重構(gòu)過(guò)程的基,為了使基的作用在參加融合的圖像中盡可能平衡,選擇參加融合圖像分解后的各層的兩個(gè)U的平均值作為融合結(jié)果U的值,具體融合方式如下:
對(duì)參加融合的圖像A、B,記UA,j為A的第j層分解后的正交矩陣,UB,j為B的第j層分解后的正交矩陣,則第j重構(gòu)的正交構(gòu)矩陣為
步驟5 按第1節(jié)的重構(gòu)方式對(duì)融合后的MSVD塔形結(jié)構(gòu)進(jìn)行逆變換,得最終融合結(jié)果圖像。
3.1 實(shí)驗(yàn)結(jié)果
大量實(shí)驗(yàn)結(jié)果證實(shí)了上述方法是可行而有效的,這里列出實(shí)際多聚焦和模擬多聚焦兩類(lèi)圖像(每類(lèi)兩組圖像)的實(shí)驗(yàn)結(jié)果,第1類(lèi)為實(shí)際多聚焦圖像的融合實(shí)驗(yàn),第2類(lèi)為模擬多聚焦圖像及其融合實(shí)驗(yàn)。第1組和第2組為2對(duì)實(shí)際多聚焦圖像的融合實(shí)驗(yàn),其中第1組的源圖像如圖2(a)、圖2(b)所示,是Clock圖像,圖像大小均為512×512,圖2(a)是聚焦左邊小鐘的圖像,圖2(b)是聚焦右邊大鐘的圖像;第2組的源圖像如圖3(a)、圖3(b)所示,是Disk圖像,圖像大小均為480×640,圖3(a)是聚焦右邊鐘的圖像,圖3(b)是聚焦左邊磁盤(pán)的圖像。第3組和第4組為模擬多聚焦圖像融合實(shí)驗(yàn),選定的2幅清晰的標(biāo)準(zhǔn)圖像分別如圖4(a)和圖5(a)所示,圖4(a)是大小為512×512的清晰的Lena圖像,圖5(a)是大小為512×512的清晰的Peppers圖像,利用文獻(xiàn)[5]的方法分別產(chǎn)生模擬多聚焦圖像。圖4(b)和圖4(c)分別為通過(guò)此方法對(duì)圖4(a)的Lena圖像分別進(jìn)行聚焦于左邊和聚焦于右邊的圖像,圖5(b)和圖5(c)分別為通過(guò)此方法對(duì)圖5(a)的Peppers圖像分別進(jìn)行聚焦于下面和聚焦于上面的圖像。圖2(g)、圖3(g)、圖4(h)和圖5(h)分別是利用本文方法對(duì)圖2(a)和圖2(b)、圖3(a)和圖3(b)、圖4(b)和圖4(c)、圖5(b)和圖5(c)進(jìn)行融合的結(jié)果圖像。
圖2 Clock實(shí)際多聚焦圖像融合
圖3 Disk實(shí)際多聚焦圖像融合
圖4 Lena模擬多聚焦圖像融合
為了體現(xiàn)本文方法的融合優(yōu)勢(shì)和特點(diǎn),基于(discrete wavelet transform,DWT)[8]、基于(lifting wavelet transform,LWT)[14]、基于(curvelet transform,CT)[11]以及基于(contourlet transform,CTT)等的融合方法[12]分別與本文方法進(jìn)行對(duì)比研究,這4種方法的融合規(guī)則與本文融合規(guī)則相同。圖2(c)~圖2(f)分別是Clock圖像分別使用這4種方法得到的融合結(jié)果圖像,圖3(c)~圖3(f)分別是Disk圖像分別使用這4種方法得到的融合結(jié)果圖像,圖4(d)~圖4(g)分別是Lena圖像分別使用這4種方法得到的融合結(jié)果圖像,圖5(d)~圖5(g)分別是Peppers圖像分別使用這4種方法得到的融合結(jié)果圖像。DWT方法和CTT方法所采用的張量積小波均為Daubechies系列小波中的db2小波。LWT方法使用db2小波的提升小波,基于CTT融合方法所使用的方向?yàn)V波器為5-3方向?yàn)V波器,所有參與比較的5種方法對(duì)源圖像的分解層數(shù)均為3,使用Matlab7.5編程實(shí)現(xiàn)。
圖5 Peppers模擬多聚焦圖像融合
從融合結(jié)果圖像可以看出,圖2(g)的兩個(gè)鐘都很清晰,圖3(g)的Disk和鐘都清晰,圖4(h)的Lena圖像的左右都很清晰,圖5(h)的Peppers圖像的上下都很清晰。分別比較圖2(g)與圖2(c)~圖2(f)、圖3(g)與圖3(c)~圖3(f)、圖4(h)與圖4(d)~圖4(g)以及圖5(h)與圖5(d)~圖5(g)的融合效果可以看出,本文方法所得結(jié)果圖像有較好的對(duì)比度和清晰度。為了更看清本方法的清晰效果,對(duì)融合結(jié)果圖像使用Canny邊緣提取算子分別提取邊緣信息,并進(jìn)行比較。邊緣信息越豐富,表明所在融合方法的結(jié)果圖像越清晰,這里主要列出第一組和第二組實(shí)際多聚焦融合中本文方法和基于CTT融合方法的邊緣結(jié)果圖,圖2(h)和圖2(i)分別是圖2(f)和圖2(g)的邊緣圖像,圖3(h)和圖3(i)分別是圖3(f)和圖3(g)的邊緣圖像,比較邊緣圖像可以明顯看出,本文提出的基于MSVD的融合結(jié)果圖像有較好的邊緣信息,文中邊緣圖像中有明顯不同特征的地方都被做上了黃色橢圓標(biāo)記,可以看出,本文建議方法所提取的邊緣更連續(xù)、更豐富,從而說(shuō)明本文方法融合結(jié)果更清晰。
3.2 客觀性能比較
為了看出各種方法的融合效果,選用圖像的清晰度、空間頻率指標(biāo)去衡量各種融合方法的清晰度[21]。
清晰度是利用圖像在各點(diǎn)處的圖像的水平方向和垂直方向的差分平方和去衡量圖像的清晰度的,一幅圖像F的清晰度定義為
式中,ΔFx和ΔFy分別表示圖像F在x方向和y方向的差分。清晰度的值越大,圖像中有較大變化的像素點(diǎn)越多,結(jié)果圖像越清晰。
圖像的行頻率定義為
而其列頻率定義為
圖像的空間總頻率是行頻率和列頻率和合成,即
頻率越高,圖像的空間分辨力越好,圖像越清晰。
表1列出了第1組和第2組實(shí)際多聚焦圖像的融合性能指標(biāo),表2列出了第3組和第4組模擬多聚焦圖像的融合的性能指標(biāo)。比較表1和表2的兩列數(shù)據(jù)可以看出,本文建議的融合方法比采用同樣融合規(guī)則的基于DWT、基于LWT、基于CT和基于CTT融合方法有較高的清晰度和空間頻率。
表1 實(shí)際多聚焦圖像融合性能評(píng)價(jià)
表2 模擬多聚焦圖像融合性能評(píng)價(jià)
提出了一種SCMSVD的構(gòu)造方法,并把它應(yīng)用于多聚焦圖像融合中。這種多尺度構(gòu)造方法能把圖像分解到不同的尺度上,從而對(duì)圖像的低頻和高頻可以在不同頻率上的輪廓和細(xì)節(jié)進(jìn)行融合處理,使融合效果更符合人的視覺(jué)特性,同時(shí),圖像在不同層分解的5個(gè)高頻使融合結(jié)果圖像有更多更好的方向性。另外,這種多尺度分析還保留了SVD的正交性,使得圖像分解無(wú)冗余;再者,對(duì)圖像的分解與重構(gòu)只在空域內(nèi)完成,不依賴于Fourier變換,從而使圖像融合有較快的速度。實(shí)驗(yàn)結(jié)果表明,該圖像融合方法有較好的視覺(jué)效果,結(jié)果圖像有較高的清晰度,邊緣細(xì)節(jié)信息豐富,沒(méi)有方塊效應(yīng)。從客觀性能指標(biāo)看,該方法有較高的清晰度和空間頻率,其清晰度和空間頻率比基于DWT、基于LWT、基于CT和基于CTT的融合方法都高。
[1]Bahador K,Alaa K,F(xiàn)akhreddine O K,et al.Multisensor data fusion:a review of the state-of-the-art[J].Information Fusion,2013,14(1):28-44.
[2]Goshtasby A A,Nikolov S.Image fusion:advances in the state of the art[J].Information Fusion,2007,8(2):114-118.
[3]Burt P T,Adeson E H.The laplacian pyramid as a compact image code[J].IEEE Trans.on Communications,1983,31(4):532 -540.
[4]Yun S H,Kim J H,Kim S K.Image enhancement using a fusion framework of histogram equalization and laplacian pyramid[J].IEEE Trans.on Consumer Electronics,2010,56(4):2763-2771.
[5]Liu G X,Yang W H.A Multiscale contrast-pyramid-based image fusion scheme and its performance evaluation[J].Acta Optica Sinica,2001,21(11):1336-1342.(劉貴喜,楊萬(wàn)海.基于多尺度對(duì)比度塔的圖像融合方法及性能評(píng)價(jià)[J].光學(xué)學(xué)報(bào),2001,21(11):1336-1342.)
[6]Toet A.Multiscale contrast enhancement with application to image fusion[J].Optical Engineering,1992,31(5):1026-1031.
[7]Li H,Manjunath B S,Mitra S K.Multi-sensor image fusion using the wavelet transform[J].CVGIP:Graphical Models and Image Processing,1995,57(3):235-245.
[8]Pajares G,Cruz G J.A wavelet-based image fusion tutorial[J].Pattern Recognition,2004,37(9):1855-1872.
[9]Jiang Y,Wang M H.Image fusion with morphological component analysis[J].Information Fusion,2014,18(7):107-118.
[10]Li S T,Yang B,Hu J W.Performance comparison of different multi-resolution transforms for image fusion[J].Information Fusion,2011,12(2):74-84.
[11]Wang G,Ma M Z,Zhao Y L,et al.Algorithm for image fusion in the Curvelet transform domain[J].Chinese Journal of Scientific Instrument,2008,29(9):1841-1845.(王剛,馬美仲,趙英路,等.Curvelet變換域的圖像融合算法[J].儀器儀表學(xué)報(bào),2008,29(9):1841-1845.)
[12]Liu K,Guo L,Chang W W.Regional feature self-adaptive image fusion algorithm based on contourlet transform[J].Acta Optica Sinica,2008,28(4):681-686.(劉坤,郭雷,常威威.基于Contourlet變換的區(qū)域特征自適應(yīng)圖像融合算法[J].光學(xué)學(xué)報(bào),2008,28(4):681-686.)
[13]Zhang Q,Guo B L.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing,2009,89(7):1334-1346.
[14]Xiao X H,Wu Z H.Image fusion based on lifting wavelet transform[C]∥Proc.of the International Symposium on Intelligence Information Processing and Trusted Computing,2010:659-662.
[15]Geng G Z,Chen H,Liu Y Y,et al.Image fusion method of 9/7 wavelet transform based on lifting scheme[C]∥Proc.of the IEEE International Symposium on Knowledge Acquisition and Modeling Workshop,2008:522-524
[16]Chai Y,Li H F,Guo M Y.Multifocus image fusion scheme based on features of multiscale products and PCNN in lifting stationary wavelet domain[J].Optics and Communications,2011,284(5):1146-1158.
[17]Liu R Z,Tan T N.SVD based digital watermarking method[J].Acta Electronica Sinica,2001,29(2):168-171.(劉瑞禎,譚鐵牛.基于奇異值分解的數(shù)字圖像水印方法[J].電子學(xué)報(bào),2001,29(2):168-171.)
[18]Wang X B,Liu B.Multi-focus image fusion based on multi-resolution singular value decomposition[J].Chinese Journal of Quantum Electronics,2014,31(3):257-263.(汪曉波,劉斌.基于多分辨奇異值分解的多聚焦圖像融合[J].量子電子學(xué)報(bào),2014,31(3):257-263.)
[19]Kakarala R,Ogunbona P O.Signal analysis using a multiresolution form of the singular value decomposition[J].IEEE Trans.on Image Processing,2001,10(5):724-735.
[20]Liu B,Liu W J,Ma J L.Multi-focus image fusion based on three channel nonseparable symmetrical wavelets[J].Chinese Journal of Scientific Instrument,2012,33(5):1110-1116.(劉斌,劉維杰,馬嘉利.基于三通道不可分對(duì)稱小波的多聚焦圖像融合[J].儀器儀表學(xué)報(bào),2012,33(5):1110-1116.)
[21]Eskicioglu A M,F(xiàn)isher P S.Image quality measure and their performance[J].IEEE Trans.on Communication,1995,43(12):2959-2965.
Construction of the six channel multi-scale singular value decomposition and its application in multi-focus image fusion
LIU Bin1,LIU Wei-jie2,WEI YAN-ping1
(1.School of Computer and Information Engineering,Hubei University,Hubei Wuhan 430062,China;2.Computer School,Wuhan University,Wuhan 430072,China)
In order to solve the deficiencies of classical singular value decomposition(SVD)in image processing,a construction method of the six channel multi-scale singular value decomposition is presented.An image fusion method based on the multi-scale SVD(MSVD)is proposed.Firstly,based on the principle of classical SVD and blocking algorithm,the six-channel MSVD is performed.Secondly,the images involved in the fusion are decomposed into one approximation and five detail images with different resolution by the MSVD.The fusion rule is that the average value is selected for low-frequency sub-image;while for the high-frequency subimages,the coefficients with larger area energy value are employed.The fused image is obtained by using reconstruction method of the MSVD.Finally,the fusion performance of the result image is evaluated using subjective analysis and objective indices.The experimental results show that the proposed fusion method has good visual effect and has no blocking-artifact in the fused images.When compared with the fusion method based on discrete wavelet transform,lifting wavelet transform,curvelet transform and contourlet transform,the proposed method has been observed to have higher definition and spatial frequency.
image fusion;matrix singular value decomposition(SVD);multi-scale analysis;multifocus image
N 911.73 文獻(xiàn)標(biāo)志碼:A DOI:10.3969/j.issn.1001-506X.2015.09.35
劉 斌(1963 ),男,教授,博士,博士研究生導(dǎo)師,主要研究方向?yàn)閳D像融合、模式識(shí)別。
E-mail:liub@hubu.edu.cn
劉維杰(1991-),男,博士研究生,主要研究方向?yàn)樾畔踩?、圖像處理。E-mail:lwj20090716@163.com
魏艷萍(1993-),女,本科,主要研究方向?yàn)閳D像處理。
E-mail:wyp20140616@163.com
1001-506X(2015)09-2191-07
2014-09-16;
2015-01-16;網(wǎng)絡(luò)優(yōu)先出版日期:2015-05-04。
網(wǎng)絡(luò)優(yōu)先出版地址:http://www.cnki.net/kcms/detail/11.2422.TN.20150504.0941.004.html
國(guó)家自然科學(xué)基金(61471160);湖北省自然基金重點(diǎn)項(xiàng)目(2012FFA053)資助課題