崔洪剛，唐 浩，汪永超

(1.廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510006;2.河源廣工大協(xié)同創(chuàng)新研究院，廣東 河源 517000)

?

基于顯著計(jì)算與變分法的多尺度圖像融合

崔洪剛1，唐 浩2，汪永超2

(1.廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510006;2.河源廣工大協(xié)同創(chuàng)新研究院，廣東 河源 517000)

在多尺度圖像融合中，通常將圖像進(jìn)行多尺度變換，再對(duì)變換后的低頻系數(shù)與高頻系數(shù)采用一定的融合規(guī)則進(jìn)行融合，然而融合規(guī)則的選擇將影響圖像的清晰度與融合質(zhì)量。將視覺顯著模型與變分法理論應(yīng)用在多尺度圖像的低頻系數(shù)融合中，獲取最優(yōu)的融合系數(shù)組合，從而增強(qiáng)融合效果，通過對(duì)紅外線與可見光圖像、醫(yī)學(xué)圖像的融合實(shí)驗(yàn)表明，該方法能克服融合圖像對(duì)比度偏低的缺陷，獲取的圖像能較好地保留源圖像的顯著目標(biāo)信息，如形狀、大小、色調(diào)、紋理等，特別是針對(duì)異源亮度差異較大的圖像。在主觀視覺感受與客觀評(píng)價(jià)指標(biāo)上都有所提升。

多尺度變換；顯著計(jì)算；變分法；圖像融合

圖像融合是將同一場(chǎng)景中兩幅或多幅圖像合成為一幅含有更豐富信息圖像的過程。它廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域中，如目標(biāo)識(shí)別、特征提取等[1]。多尺度幾何分析一直以來是圖像融合領(lǐng)域熱門研究方法之一，近年來，相關(guān)研究者將變分法理論應(yīng)用在圖像融合領(lǐng)域中[2-3]，使其成為該領(lǐng)域一個(gè)新的熱門研究方向。

視覺顯著計(jì)算 (Visual Saliency Computation)是神經(jīng)計(jì)算科學(xué)的分支，是人類處理視覺場(chǎng)景信息的過程，采用這種方法能快速識(shí)別出視覺場(chǎng)景中的有用信息。用計(jì)算機(jī)模擬人類這種特有視覺特征能快速識(shí)別處理信息。顯著計(jì)算是以視覺生理學(xué)和認(rèn)知心理學(xué)的研究成果為基礎(chǔ)，應(yīng)用數(shù)學(xué)模型來研究類似于人類視覺處理方式的信息處理方法。目前研究者已將顯著計(jì)算應(yīng)用于靜動(dòng)態(tài)目標(biāo)識(shí)別、遙感目標(biāo)檢測(cè)等方面。將顯著計(jì)算用在圖像融合過程中能有效保護(hù)源圖像顯著目特征、背景及邊緣信息，從而改善融合效果，因此吸引了相關(guān)研究者。

多尺度圖像融合是將兩幅或多幅源圖像進(jìn)行多尺度變換后的低頻分量與高頻分量采取一定的融合規(guī)則進(jìn)行融合的過程，低頻分量包含了圖像的大部分細(xì)節(jié)信心，因此低頻系數(shù)融合規(guī)則會(huì)直接影響到最終融合圖像的質(zhì)量，特別是對(duì)于異源亮度差異較大圖像的融合。最初的簡(jiǎn)單加權(quán)平均規(guī)則使得融合圖像對(duì)比度下降，以往的權(quán)值優(yōu)化方法是采用區(qū)域比較方法[4]獲取權(quán)值進(jìn)行系數(shù)組合，文獻(xiàn)[5]采用脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)方法獲取權(quán)值函數(shù)，這些方法獲取的權(quán)值有一定的針對(duì)性，并不精準(zhǔn)。本文將視覺顯著計(jì)算與變分法用在多尺度圖像融合方法中，對(duì)不同種類的圖像低頻權(quán)值α進(jìn)行優(yōu)化，得到精準(zhǔn)的低頻系數(shù)組合，從而使得融合圖像能更好地保留源圖像中的顯著信息，使圖像更清晰。

1 相關(guān)技術(shù)

1.1 全變分模型

Rudin，Osher和Fatemi等于1992年提出了經(jīng)典的全變分去噪模型(簡(jiǎn)稱ROF模型)，該模型可描述如f0=f+n，其中f0表示受噪聲污染的的圖像，f表示希望得到的清晰圖像，n表示加性噪聲，該模型可以表述成求式(1)能量泛函最小值

(1)

(3)

式中：第一項(xiàng)與ROF模型類似，目的是使融合圖像更多保留兩幅源圖像信息；第二項(xiàng)由上文分析可知，使融合圖像梯度最大，從而獲去更清晰的圖像；w1(x,y)與w2(x,y)為源圖像對(duì)應(yīng)像素點(diǎn)處權(quán)重函數(shù)，且權(quán)重滿足表達(dá)式w1+w2=1，表示源圖像對(duì)融合圖像的貢獻(xiàn)程度；λ為加權(quán)系數(shù)，與式(2)所示模型類似，用來權(quán)衡源圖像與融合圖像的保真度。將以上模型化簡(jiǎn)可得

式(4)所示模型也將圖像融合的實(shí)際問題轉(zhuǎn)換成了求解數(shù)學(xué)模型泛函極值問題。

1.2 基于非抽樣形態(tài)小波的多尺度變換

本文以非抽樣形態(tài)小波(morphologicalundecidedwavelet，MUDW)[8-9]變換作為多尺度幾何分析工具。這種多尺度變換具有較高的運(yùn)算效率，且實(shí)時(shí)性與多尺度分解特性良好，從而融合視覺效果較好。其構(gòu)造方法如下

(5)

(6)

T(xj)+(id-T)(xj)=id(xj)

(7)

(8)

式中：j代表尺度；(xj,Bj+1)表示用結(jié)構(gòu)元素Bj+1對(duì)xj進(jìn)行形態(tài)學(xué)運(yùn)算；Bj的定義如下

(9)

形態(tài)學(xué)濾波器屬于非線性濾波器，將其用于圖像融合中能達(dá)到線性濾波器的效果，并且能增強(qiáng)融合的實(shí)時(shí)性，使得融合效果更佳。

1.3 視覺顯著模型

視覺顯著模型分為自頂向下與自底向上兩種，前者適用于尋找具體目標(biāo)、動(dòng)態(tài)圖像，融合中需要處理的圖像為靜態(tài)圖像，且不依賴于具體目標(biāo)，因此選擇自底向上的視覺顯著模型。文獻(xiàn)[10]提出的模型采用隨機(jī)漫步方法去尋找訪問次數(shù)較少的節(jié)點(diǎn)，給出相應(yīng)的顯著值，計(jì)算過程復(fù)雜，且不夠精準(zhǔn)；文獻(xiàn)[11]提出的模型參考全局顏色平均差異，這并不適合顯著目標(biāo)不均勻或紋理特征較多的圖像獲取顯著性圖；文獻(xiàn)[12]提出的模型難以確定合適的局部范圍而獲取顯著性圖。綜合考慮模型的計(jì)算效率、準(zhǔn)確度及適用性等因素的影響，采用文獻(xiàn)[13]提出的模型來計(jì)算融合源圖像的顯著性圖。該模型先對(duì)源圖像各通道進(jìn)行離散余弦變換(DiscreteCosineTransform，DCT)得到相應(yīng)的DCT系數(shù)，對(duì)系數(shù)取符號(hào)函數(shù)后進(jìn)行DCT逆變換，然后對(duì)逆變換后的結(jié)果進(jìn)行Hadamard乘積，對(duì)其進(jìn)行高斯濾波，最后將圖像各通道得到的顯著性圖采用一定的方法加權(quán)后得到最終顯著性圖，如式(10)所示

(10)

(11)

為避免融合圖像中出現(xiàn)偽跡，還需對(duì)源圖像顯著性圖進(jìn)行處理，獲取顯著性權(quán)重圖，用來決定低頻系數(shù)融合時(shí)所選擇的是哪幅源圖像的系數(shù)，如

(12)

2 顯著計(jì)算與變分法結(jié)合

2.1 圖像融合框架

基于多尺度變換圖像融合方法包含3個(gè)步驟：圖像分解、系數(shù)融合與圖像重構(gòu)。因低頻系數(shù)代表圖像的大部分細(xì)節(jié)信息，所以對(duì)低頻系數(shù)的融合顯得非常關(guān)鍵，本文所做的工作是利用視覺顯著模型來指導(dǎo)低頻系數(shù)的融合，獲取更精準(zhǔn)的系數(shù)組合來增強(qiáng)融合效果，完整的融合流程如圖1所示。

圖1 融合流程圖

具體的融合過程如下：

1)獲取低頻權(quán)重圖，分別對(duì)源圖像1和2按照上文選擇的視覺顯著模型獲取顯著性圖S1，S2，將顯著圖采用系數(shù)取大的規(guī)則得到權(quán)重圖W1，W2，將該權(quán)重圖用于全變分模型去引導(dǎo)低頻系數(shù)融合，從而獲取源圖像相應(yīng)加權(quán)系數(shù)組合。

2)分解圖像，采用上文介紹的多尺度變換MUDW對(duì)源圖像1和2進(jìn)行分解，獲得相應(yīng)的低頻系數(shù)L1，L2與各個(gè)尺度上的高頻系數(shù)。

3)低頻與高頻系數(shù)融合，由變換域全變分模型求得低頻權(quán)值函數(shù)α，對(duì)低頻系數(shù)加權(quán)融合，高頻系數(shù)采用絕對(duì)值取大的融合規(guī)則進(jìn)行融合。

4)多尺度反變換，將融合后的低頻系數(shù)與相應(yīng)的高頻系數(shù)通過MUDW反變換可獲得最終融合圖像。

2.2 融合模型與求解方法

本文提出的與變換域全變分模型，如式(13)所示

W2(c-(1-α)c2)]2dxdy}=

W2(αc1)]2dxdy}

(13)

式中：c1與c2分別為源圖像多尺度變換后的系數(shù)，融合系數(shù)為

c=αc1+(1-α)c2

(14)

式中：W1，W2是低頻顯著性權(quán)重圖，用于指導(dǎo)多尺度變換后低頻系數(shù)融合，將該泛函采用梯度下降流進(jìn)行求解可獲得理想的權(quán)值，從而使得更精準(zhǔn)的低頻系數(shù)組合。

采用梯度下降流算法進(jìn)行具體數(shù)值計(jì)算，α下一個(gè)時(shí)刻值為

(15)

(16)

根據(jù)式(13)得到F的表達(dá)式為

(17)

由式(14)得到cx與cy表達(dá)式如下

cx=α·(c1x-c2x)+αx·[(c1-c2)τ(1,0)]+c2x

(18)

cy=α·(c1y-c2y)+αy·[(c1-c2)τ(0,1)]+c2y

(19)

由式(17)～(19)可推導(dǎo)出

(20)

(21)

2[W1(1-α)c2+W2(αc1)](c2-c1)

(22)

將式(20)～(22)帶入式(15)與(16)，采用梯度下降流法利用式(13)～(15)式進(jìn)行交替迭代運(yùn)算，可以求出理想權(quán)值α和低頻系數(shù)c，再對(duì)融合后的低頻與高頻系數(shù)進(jìn)行多尺度反變換便求得最終融合圖像fF。

3 實(shí)驗(yàn)結(jié)果與分析

本文提出的方法是在已有的多尺度變換的基礎(chǔ)上，將視覺顯著計(jì)算模型用于其中，并用變分法求解低頻系數(shù)權(quán)值，獲得最優(yōu)的低頻系數(shù)組合，從而提升融合效果。具體實(shí)現(xiàn)過程可表述為，對(duì)兩幅實(shí)驗(yàn)源圖像，先分別采用1.3節(jié)提出的方法提取顯著性圖，再將兩幅顯著性圖對(duì)應(yīng)像素位置進(jìn)行比較，較大者權(quán)重為1，較小者權(quán)重為0，從而獲取兩幅顯著性權(quán)重圖，在結(jié)合變分法與基于非抽樣形態(tài)小波的多尺度變換獲取合適的低頻權(quán)值系數(shù)，然后針對(duì)獲取的低頻系數(shù)，進(jìn)行相應(yīng)的多尺度反變換得到最終版的融合圖像。實(shí)驗(yàn)?zāi)康闹饕菍?duì)低頻系數(shù)融合規(guī)則進(jìn)行改進(jìn)，因此需要采用相同的多尺度變換，本文針對(duì)常見紅外線與可見光圖像、醫(yī)學(xué)圖像進(jìn)行融合實(shí)驗(yàn)并比較結(jié)果。

3.1 紅外線與可見光圖像融合實(shí)驗(yàn)

如圖2a和圖2b是實(shí)驗(yàn)的兩幅源圖像，紅外線與可見光圖像，其為城市某街道夜景實(shí)拍圖，顯著目標(biāo)有小汽車、路燈、行人、廣告牌及一些道路基礎(chǔ)設(shè)施，大小為632×496。從其中一幅圖像難以顯示出所有顯著目標(biāo)的細(xì)節(jié)，如紅外線圖像只能看清顯著目標(biāo)物體輪廓與位置，可見光圖像能展示目標(biāo)細(xì)節(jié)，因光線較暗，也無法直接識(shí)別目標(biāo)的具體情況，這就是圖像融合的意義。分別對(duì)源圖像進(jìn)傳統(tǒng)多尺度變換LAP、變分法[15]、文獻(xiàn)[16]提出的基于非抽樣形態(tài)小波的全變分模型，及本文提出的顯著計(jì)算與變分法結(jié)合的融合方法進(jìn)行實(shí)驗(yàn)對(duì)比。所采用的模型參數(shù)為：λ=0.2，Δt=5×10-6，低頻系數(shù)初始權(quán)值α設(shè)定為0.5，為便于對(duì)比，將源圖像進(jìn)行的多尺度變換分解層數(shù)都為3層。實(shí)驗(yàn)結(jié)果如圖2c～圖2f所示。

圖2 紅外線與可見光圖像與4種方法融合結(jié)果對(duì)比圖

由圖2可看出傳統(tǒng)多尺度變化LAP方法得到的融合圖像顯著目標(biāo)亮度偏大，能識(shí)別顯著目標(biāo)，但僅能看清目標(biāo)輪廓與位置，并不能辨別目標(biāo)細(xì)節(jié)部分；文獻(xiàn)[15]方法得到結(jié)果相反，圖像亮度偏小，對(duì)比度較低，圖像顯著不明確，其輪廓與細(xì)節(jié)都不清楚；文獻(xiàn)[16]方法與本文方法亮度與對(duì)比度無明顯差別，汽車、廣告牌、人物、基礎(chǔ)設(shè)施等顯著目標(biāo)都融合完好，裸眼能分辨清楚，但是本文方法的對(duì)比度稍微大，符合人的直觀感受。圖像左上方的廣告牌能明顯展示出來，店鋪內(nèi)部細(xì)節(jié)也能展現(xiàn)出來。為了進(jìn)一步驗(yàn)證試驗(yàn)結(jié)果，本文選取了圖像融合領(lǐng)域常用的客觀評(píng)價(jià)指標(biāo)，互信息量(MI)、邊緣保持度(QAB/F)[8]、結(jié)構(gòu)相似度(SSIM)[14]、信息熵(Entropy)[4]、平均梯度(AvreageGradient，AVG)對(duì)幾種方法的融合結(jié)果進(jìn)行進(jìn)一步評(píng)價(jià)對(duì)比。結(jié)果如表1所示。

表1 紅外線與可見光圖像融合結(jié)果客觀評(píng)價(jià)指標(biāo)對(duì)比

表1實(shí)驗(yàn)結(jié)果表明，文獻(xiàn)[16]方法與本文方法在客觀評(píng)價(jià)指標(biāo)上明顯優(yōu)于LAP方法與文獻(xiàn)[15]方法，這與上文描述的主觀視覺感受結(jié)果類似。然而，本文采用的融合方法在互信息量、信息熵、邊緣保持度、平均結(jié)構(gòu)相似度這4項(xiàng)客觀評(píng)價(jià)指標(biāo)較文獻(xiàn)[16]方法有所提高，結(jié)構(gòu)相似度指標(biāo)值相近，這也與人的視覺感受結(jié)果對(duì)應(yīng)。

3.2 CT/MR醫(yī)學(xué)圖像融合

如圖3a和圖3b是醫(yī)學(xué)CT(Computed Tomography)與MR(Magnetic Resonance)圖，大小為512×512，圖像為人體結(jié)構(gòu)剖面圖，顯著目標(biāo)主要是軟組織結(jié)構(gòu)。對(duì)其采用相同的方法進(jìn)行實(shí)驗(yàn)，結(jié)果如圖3c～3f所示。

圖3 CT與MR圖像及四種方法融合圖像結(jié)果對(duì)比

從圖3中可看出，傳統(tǒng)多尺度變換LAP得到的圖像對(duì)比度明顯偏高，僅僅只能看清圖像的輪廓信息，其細(xì)節(jié)紋理并不能清楚看出；文獻(xiàn)[15]基于圖像域的變分法得到的圖像整體對(duì)比度偏低，圖像亮度偏暗，無法識(shí)別顯著目標(biāo)、邊緣與細(xì)節(jié)；文獻(xiàn)[16]基于非抽樣形態(tài)小波方法與本文方法得到圖像裸眼觀看無明顯區(qū)別，僅能看出圖像左上方本章方法得到的圖像亮度上有些優(yōu)勢(shì)，目標(biāo)更清晰，其他部位無明顯區(qū)分度。由于源圖像所包含的顯著目標(biāo)過少，并且單一，裸眼無法直接評(píng)判各種方法的融合效果。分別采用與上文相同的5種客觀評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行評(píng)判。圖3的融合結(jié)果所對(duì)應(yīng)的5種評(píng)價(jià)指標(biāo)對(duì)比如表2所示。

表2 醫(yī)學(xué)圖像融合五種客觀評(píng)價(jià)指標(biāo)對(duì)比

由表2的結(jié)果可以看出傳統(tǒng)多尺度變換LAP方法與文獻(xiàn)[15]基于圖像域的變分法的四項(xiàng)客觀評(píng)價(jià)指標(biāo)都偏低，這與人眼的主觀視覺感受相符合。如上文所述，實(shí)驗(yàn)所用醫(yī)學(xué)圖像顯著目標(biāo)區(qū)域較少，當(dāng)融合效果比較接近時(shí)主觀上無法給出準(zhǔn)確評(píng)價(jià)，文獻(xiàn)[16]方法與本文方法單從視覺效果上并沒有讓人感覺到明顯差異，但是從常見5項(xiàng)客觀評(píng)價(jià)指標(biāo)上看，本文方法得出的實(shí)驗(yàn)結(jié)果各項(xiàng)評(píng)價(jià)指標(biāo)均占優(yōu)勢(shì)，從而進(jìn)一步驗(yàn)證了本文方法的優(yōu)越性。

4 小結(jié)

本文方法是在已有的基于非抽樣形態(tài)小波的多尺度變換MUDW基礎(chǔ)上，將視覺顯著計(jì)算方法用于其中，指導(dǎo)低頻系數(shù)融合，采用變分法求解出低頻權(quán)值，從而獲得更精準(zhǔn)的低頻系數(shù)組合，該方法是對(duì)傳統(tǒng)融合規(guī)則的改進(jìn)，從而能提升圖像融合的效果。該方法的主要優(yōu)勢(shì)表現(xiàn)在：1)運(yùn)用變分法這一強(qiáng)大的工具去求解泛函極值的方法獲取權(quán)值系數(shù)；2)采用基于非抽樣形態(tài)小波的多尺度變換，能繼承傳統(tǒng)多尺度集合分析的優(yōu)點(diǎn)，更多地保護(hù)源圖像細(xì)節(jié)與邊緣信息；3)結(jié)合了視覺顯著計(jì)算模型，使獲得的權(quán)值能隨源圖像的類型獲取更精準(zhǔn)的權(quán)值，適合多種圖像的融合；4)實(shí)時(shí)性較好，不需要更多的分解層數(shù)，運(yùn)算效率高，迭代次數(shù)少。對(duì)于本文方法采用的模型選取的參數(shù)λ是根據(jù)全變分去噪模型對(duì)于噪聲和圖像清晰度的平衡效果獲取的，Δt是迭代計(jì)算的步長(zhǎng)，是通過平衡計(jì)算結(jié)果的精確度與迭代運(yùn)算的計(jì)算量獲得的，W1與W2則通過迭代計(jì)算自動(dòng)獲取。

致謝：

論文成果要感謝張梅老師的指導(dǎo)，以及汪永超在設(shè)計(jì)中進(jìn)行的大量試驗(yàn)和測(cè)試。

[1] RICHA G，DEEPAK A. Wave-packet image fusion technique based on genetic algorithm[C]//Proc. 2014 5th International Conference-Confluence The Next Generation Information Technology Summit (Confluence).Noida，India：[s.n.]，2014：280-285.

[2] GEMMA P. Image fusion for enhanced visualization：a variational approach[J]. International journal of computer vision，2009(3)：1-11.

[3] MRITYUNJAY K，SARAT D. A total variational-based algorithm for pixel-level image fusion[J].IEEE transactions on image processing， 2009，18(9)：1057-1059.

[4] 敬忠良，肖剛，李振華.圖像融合——理論與應(yīng)用[M].北京：高等教育出版社，2007.

[5] 劉建琴.基于變分偏微分方程的圖像融合算法研究[D].南京：南京理工大學(xué)，2011.

[6] 岡薩雷斯.數(shù)字圖像處理[M].2版.北京：電子工業(yè)出版社，2006.

[7] 李鳳霞.基于偏微分方程的圖像配準(zhǔn)與圖像融合研究[D].南京：南京理工大學(xué)，2012.

[8] ZHANG J F，SMITH J S，WU J S，et al.Morphological undecimated wavelet decomposition for fault location on power transmission lines[J].IEEE transactions on circuits and systems，2006，53(6)：1395-1402.

[9] ZHANG W B，SHEN L，LI J S，et al. Morphological undecimated wavelet decomposition for fault feature extraction of rolling element bearing[C]//2nd International Congress on Image and Signal Processing CISP′09.Tianjin，China：IEEE，2009：1-5

[10] HAREL J， KOCH C， PERONA P. Graph-based visual saliency[J]. Advances in neural information processing systems，2007，12(22)：545-552.

[11] ACHANTA R， HEMAMI S． Frequency-tuned salient region detection[J]. International conference on computer vision and pattern recognition，2009，1(4)：597-604.

[12] CHENG M M， ZHANG G X. Global contrast based salient region detection[J]．IEEE transactions on pattern analysis & machine intelligence，2011， 11(13)： 409-416.

[13] LUO X Y，ZHANG J，DAI Q H. Saliency-based geometry measurement for image fusion performance[J]. IEEE transactions on instrumentation and measurement，2012，61(4) ：1130-1132.

[14] HOU X D，HAREL J， KOCH C. Image signature：highlighting sparse saliency regions[J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34(1)： 194-201.

[15] 曾志峰，馬華山.基于全變分的圖像融合算法的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2009，26(5)：225-227.

[16] 鄧苗，張基宏.基于形態(tài)非抽樣小波的實(shí)時(shí)圖像融合方法[J].計(jì)算機(jī)應(yīng)用，2012，32(10)：1-7.

[17] JIANG B，WANG X Y，ZHANG R，et al. A comparative study of wavelet-based image fusion with a novel fusion rule II[C]//Proc.2015 Fifth International Conference on Instrumentation and Measurement，Computer， Communication and Control. Qinhuangdao，China：[s.n.]，2015：1304-1309.

崔洪剛(1976— )，碩士，講師，主要研究方向?yàn)橹悄苡?jì)算、知識(shí)管理；

唐 浩(1989— )，碩士生，主研計(jì)算機(jī)技術(shù)；

汪永超(1991— )，碩士生，主研機(jī)械電子技術(shù)。

責(zé)任編輯：時(shí) 雯

Multiscale image fusion based on saliency computation and total variation

CUI Honggang1， TANG Hao2， WANG Yongchao2

(1.SchoolofComputerScienceandTechnologyofGDUT，Guangzhou510006，China;2.SynergyInnovationInstitudeofGDUT，GuangdongHeyuan517000，China)

In the image fusion methods based on multiscale transform， the coefficients of low and high frequency are fused through a weighted sum rule. The choosing of weight function influences definition and quality of fused image. A novel method is proposed for the optimization of low weight function based on total variation and visual saliency to obtain eventual fused image. Image fusion experiments are carried out utilize visible light images and medical images that is registration processed.Result shows that the proposed method can overcome the low image contrast problem， and the reconstructed image protects salient-object information， such as shape， size， color， texture， etc effectively， and it is more effective for processing source images with brightness differences. The subjective visual perception and objective evaluation index has got certain improvement.

multiscale transformation； saliency computation； total variation； image fusion

崔洪剛，唐浩，汪永超.基于顯著計(jì)算與變分法的多尺度圖像融合[J].電視技術(shù)，2016，40(12):17-22. CUI H G， TANG H， WANG Y C. Multiscale image fusion based on saliency computation and total variation[J].Video engineering，2016,40(12):17-22.

TP391

A

10.16280/j.videoe.2016.12.004

廣東省科技計(jì)劃項(xiàng)目(2015A040405007)；國(guó)家火炬計(jì)劃項(xiàng)目(2015GH511343)

2016-03-30