王麗麗，劉 輝，郭肇祿

(江西理工大學(xué) 理學(xué)院，江西 贛州 341000)

0 引 言

日常生活中，以圖像形式存在的視覺信息是主要的信息來源。如何從多幅不同圖像中獲取同一場景真實(shí)可靠的信息是圖像融合的主要任務(wù)。通俗地講，圖像融合[1]指的是同一場景下由一定設(shè)備獲取的兩幅或者多幅圖像經(jīng)過特定的融合規(guī)則處理得到更有利于人或計(jì)算機(jī)后續(xù)處理的圖像。

隨著圖像(信號)表示理論的發(fā)展，圖像融合技術(shù)經(jīng)歷了由單一到復(fù)雜的過程。在這過程中，出現(xiàn)了兩次較重要的飛躍：分別是多尺度幾何分析方法的引入和以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法的引入。

總體上，圖像融合方法可劃分為三個(gè)級別：像素級[2]、特征級和決策級融合。張繼賢[3]分別從像素級、特征級和決策級三個(gè)層次對遙感圖像融合的現(xiàn)狀進(jìn)行總結(jié)并討論分析其未來的發(fā)展趨勢和挑戰(zhàn)。針對不同設(shè)備獲取的各種圖像，又可將圖像融合技術(shù)劃分為遙感圖像融合技術(shù)、醫(yī)學(xué)圖像融合技術(shù)、攝影圖像融合技術(shù)以及可見光和紅外圖像融合技術(shù)。Zhang等人[4]從多尺度分解的角度對圖像融合方法做了最早的總結(jié)。在2007年，Goshtasby[5]對當(dāng)時(shí)現(xiàn)存的圖像融合新技術(shù)進(jìn)行了分類概括。另外針對具體應(yīng)用領(lǐng)域的圖像融合方法的總結(jié)分別在之后的幾年里得到了實(shí)現(xiàn)。2016年，Hassan[6]著重在像素級上對遙感圖像融合方法進(jìn)行概括。在醫(yī)學(xué)圖像融合領(lǐng)域，分別有Alex[7]和Du[8]從不同成像模式和圖像融合的詳細(xì)過程進(jìn)行了概述。針對可見光和紅外圖像的融合，Jin[9]和Ma[10]等人對各種方法以及應(yīng)用做了詳細(xì)分類和總結(jié)，后者還在文章中介紹了作為融合前提的配準(zhǔn)操作。在攝影領(lǐng)域，Liu[11]對于多聚焦圖像的融合方法進(jìn)行了更細(xì)致的劃分，并基于30對實(shí)驗(yàn)圖像和8種質(zhì)量評價(jià)準(zhǔn)則對18種代表性融合方法進(jìn)行比對分析，為后面多聚焦圖像融合的研究提供了參考。在圖像融合技術(shù)逐漸增強(qiáng)的同時(shí)，評價(jià)其質(zhì)量好壞的標(biāo)準(zhǔn)也在逐漸得到完善。針對不同類型的融合圖像，評價(jià)標(biāo)準(zhǔn)又有通用性評價(jià)標(biāo)準(zhǔn)和特有評價(jià)標(biāo)準(zhǔn)之分。

圖像融合體系又可大致分為融合方法以及融合質(zhì)量評價(jià)兩方面。融合方法的發(fā)展過程主要可分為以下幾個(gè)階段：單個(gè)多尺度幾何分析方法[12]階段、混合多尺度幾何分析方法[13]階段、基于信號理論的稀疏分解方法[14]階段以及多尺度幾何分析和稀疏表示相結(jié)合[15]的方法階段。另外，在稀疏表示方法的應(yīng)用期間，稀疏字典的構(gòu)建又經(jīng)歷了從自適應(yīng)能力較差到相對較強(qiáng)的變化。隨后，隨著深度學(xué)習(xí)[16]研究的深入，其對應(yīng)的方法被應(yīng)用于圖像融合中并得到更符合人眼觀察的融合圖像。伴隨融合方法的改進(jìn)，融合質(zhì)量評價(jià)指標(biāo)也更加多樣化。同時(shí)，質(zhì)量評價(jià)指標(biāo)在效率和反映的信息量上也得到提升。

文中所做的主要工作有：

(1)對現(xiàn)有的主要的幾個(gè)圖像融合應(yīng)用領(lǐng)域的方法做了較為全面的總結(jié)；

(2)將圖像融合方法根據(jù)處理對象劃分為變換域和空間域兩類，并進(jìn)一步解釋兩類方法的核心思想和區(qū)別；

(3)列舉出較全面的圖像融合的評價(jià)標(biāo)準(zhǔn)并對其做細(xì)致分類。

文中主要按以下結(jié)構(gòu)對圖像融合方法進(jìn)行概括：第二部分歸納總結(jié)了近年來圖像融合領(lǐng)域的新方法及其優(yōu)缺點(diǎn)，并重點(diǎn)對比分析不同方法對應(yīng)的融合規(guī)則。第三部分從主觀、客觀兩方面對圖像融合質(zhì)量的評價(jià)標(biāo)準(zhǔn)進(jìn)行歸納，重點(diǎn)列舉實(shí)驗(yàn)中常用到的客觀評價(jià)標(biāo)準(zhǔn)。第四部分總結(jié)了目前圖像融合技術(shù)的主要應(yīng)用領(lǐng)域。最后針對現(xiàn)有的圖像融合方法存在的問題進(jìn)行了歸納總結(jié)，并對這些問題對未來發(fā)展方向做出展望。

1 圖像融合方法分類

圖像融合方法主要分為兩類：基于變換域的圖像融合方法和基于空間域的圖像融合方法。下文分別對上述兩種方法做詳細(xì)介紹。

1.1 基于變換域的圖像融合方法

圖像融合在變換域上進(jìn)行處理時(shí)，主要可分為三個(gè)主要步驟[17]：分解、融合和重構(gòu)。現(xiàn)將基于多尺度變換的圖像融合方法主要步驟進(jìn)行歸納，如圖1所示。

圖1 基于多尺度變換的圖像融合過程框架

變換域方法具體可劃分為基于金字塔變換[18-21]的方法、基于各種“波”變換[22-31]的方法以及兩種方法與其他方法結(jié)合在一起的方法。其中關(guān)于金字塔類和“波”類變換的具體分類可見表1。

表1 基于變換域的融合方法分類

1.1.1 基于金字塔變換的方法

Burt[18]首次提出拉普拉斯金字塔(Laplacian pyramid，LP)，并用于圖像融合。Toet[19]提出比例低通金字塔(ratio of low-pass pyramid，ROLP)方法得到的融合圖像更加符合人眼視覺系統(tǒng)。Toet于同年又提出形態(tài)學(xué)金字塔[20](morphological pyramid，MP)的概念并用于融合圖像，使得圖像中滿足結(jié)構(gòu)元素的對象輪廓保持不同分辨率上的良好表示。另外，針對融合過程中引入的失真和偽影現(xiàn)象，V. Petrovic提出梯度金字塔[21]結(jié)構(gòu)，構(gòu)建出融合梯度圖，可顯著降低融合引入的偽影數(shù)量和失真。另外，梯度金字塔的構(gòu)建引入了方向性，彌補(bǔ)了前面各種金字塔缺乏表征方向性特征的缺點(diǎn)。

1.1.2 基于各種“波”變換的方法

利用不同波類型的基函數(shù)對圖像進(jìn)行變換能很好地彌補(bǔ)金字塔變換融合圖像時(shí)出現(xiàn)的低對比度和輪廓信息表示不準(zhǔn)確等缺陷。下面對不同類型“波”變換在圖像融合中的應(yīng)用進(jìn)行描述。

離散小波變換對圖像離散化處理，能得出圖像在不同尺度上的分解。晁銳等[22]利用多個(gè)小波基函數(shù)，使得融合圖像具有正交性、對稱性和緊支撐等特性。平穩(wěn)小波變換[24]中利用上采樣操作取代離散小波變換中的下采樣操作，從而達(dá)到消除因離散小波變換而生成的平移變化，同時(shí)消除因平移變化產(chǎn)生的偽影。雙樹復(fù)小波變換[25]在小波的基礎(chǔ)上提供了明顯更緊湊的變換域表示，不僅實(shí)現(xiàn)了近平移不變性，還提供了改進(jìn)的方向性。

Chen等[26]首次將脊波變換作為圖像融合的工具，在小波的基礎(chǔ)上，結(jié)合Radon變換，使得融合結(jié)果對具有線奇異性對象的表示更優(yōu)。曲波變換[27]則可以直線段近似逼近曲線的特點(diǎn)使得具有曲線特征的對象在融合結(jié)果中得到很好地表示。

輪廓波變換[28]主要由LP濾波器和方向?yàn)V波器組成。LP變換完成圖像的各個(gè)尺度表示，方向?yàn)V波器在各個(gè)尺度上再對圖像進(jìn)行分解，從而連接LP變換捕獲的邊緣點(diǎn)形成連續(xù)的邊緣(即輪廓)。非下采樣輪廓波變換[29](nonsubsampled contourlet transform，NSCT)通過去除下采樣操作，解決了輪廓波變換處理圖像時(shí)無法改善的平移變化，消除了融合圖像出現(xiàn)的偽影現(xiàn)象。剪切波[30](Shearlet)形式更加簡潔，處理圖像時(shí)無需大量的數(shù)據(jù)，運(yùn)行時(shí)間更短，但缺乏平移不變性。與NSCT的原理類似，非下采樣剪切波變換[31](nonsubsampled shearlet transform，NSST)不直接對圖像進(jìn)行上、下采樣，改善平移變化的同時(shí)也可消除圖像分解和重構(gòu)過程中出現(xiàn)的頻率混疊現(xiàn)象，且分解得到的子圖像與源圖像大小一致，可有效減少圖像因誤配準(zhǔn)或未配準(zhǔn)而產(chǎn)生的誤差，這一點(diǎn)在圖像融合中尤為重要。

1.1.3 與其他方法結(jié)合的方法

不同“波”變換通過和其他類型的模型相結(jié)合也可以達(dá)到更好的融合效果，其具體特點(diǎn)見表2。

表2 與“波”類方法相結(jié)合的其他方法

1.2 基于空間域的圖像融合方法

基于空間域變換方法的最大特點(diǎn)便是無需對圖像進(jìn)行重構(gòu)。圖2給出了基于空間域的融合過程。

圖2 基于空間域的融合過程框架

眾所周知，圖像融合中比較重要的一個(gè)問題是活動(dòng)水平度量，空間域方法將根據(jù)像素的處理方式將之劃分為基于塊的方法、基于區(qū)域的方法和基于像素的方法。

1.2.1 基于塊的方法

塊劃分策略最早由Li等人[36]提出，主要經(jīng)歷了經(jīng)驗(yàn)階段和自適應(yīng)階段。經(jīng)驗(yàn)階段以Nabeela[37]，Huang和Jing[38]等人的研究為代表，通過計(jì)算固定大小的圖像塊的活動(dòng)水平從而得到合適的圖像塊用以融合。而自適應(yīng)階段則主要有自適應(yīng)選擇圖像塊的大小和重疊圖像塊的計(jì)算兩種類型。這其中遺傳算法[39]、差分演化算法[40]、粒子群優(yōu)化算法[41]和人工蜂群算法[42]為自適應(yīng)圖像塊劃分方法的主要代表。

1.2.2 基于區(qū)域的方法

基于區(qū)域的方法不同于基于塊的方法之處在于：區(qū)域的大小是不規(guī)則的。Zhang和Blum[43]首次提出基于區(qū)域的圖像融合方法，有效地降低了源圖像對噪聲的敏感性。與基于塊的方法發(fā)展歷程相似，基于區(qū)域的方法也經(jīng)歷了由自適應(yīng)相對較差到較好的轉(zhuǎn)變。這其中以水域面積算法[44]、歸一化切割[45]、均值漂移算法[46]和線性廣譜聚類[47]算法為主要代表。

1.2.3 基于像素的方法

基于像素的圖像融合方法從像素的角度真實(shí)反映源圖像的每個(gè)特征。最經(jīng)典的有Tang[48]提出的像素級卷積神經(jīng)網(wǎng)絡(luò)(pixel-wised convolutional neural network, p-CNN)模型，其次是極限學(xué)習(xí)機(jī)[49](extreme learning machine，ELM)和模糊邏輯模型[50]。以上方法都是從像素的角度出發(fā)，根據(jù)像素的屬性選擇用于融合的正確像素，并對錯(cuò)誤像素進(jìn)行剔除和修正。

1.3 融合規(guī)則

融合規(guī)則一般指的是將圖像分解得到的高低頻系數(shù)解釋為不同源圖像的權(quán)重分配策略。融合圖像時(shí)，主要對多尺度變換得到的高低頻系數(shù)進(jìn)行處理，所以如何選取合適的規(guī)則融合這些系數(shù)對圖像融合效果有著至關(guān)重要的影響。

圖像的低頻系數(shù)和高頻系數(shù)分別表示圖像的近似成分和細(xì)節(jié)成分，高頻系數(shù)值越大說明該部分圖像包含的細(xì)節(jié)越豐富。圖像分解得到的低頻子帶系數(shù)往往采用“平均”原則進(jìn)行融合，這會(huì)降低圖像的對比度，來自源圖像的一些信息也會(huì)丟失。高頻子帶往往采用絕對值最大原則[51]進(jìn)行融合，會(huì)使得融合結(jié)果缺乏輪廓、邊緣等細(xì)節(jié)，也會(huì)造成一定的偽影。為了解決這些問題，更多能夠反映清晰度指標(biāo)的邊緣能量、梯度能量、空間頻率、方差、區(qū)域能量、拉普拉斯能量等融合規(guī)則被提出。

2 圖像融合方法評價(jià)

評價(jià)圖像融合質(zhì)量的標(biāo)準(zhǔn)可以劃分為兩類：客觀評價(jià)指標(biāo)和主觀評價(jià)指標(biāo)。由于客觀評價(jià)指標(biāo)能從根本上反映圖像好壞，所以下面列舉出常用的一些客觀評價(jià)指標(biāo)。

2.1 評價(jià)指標(biāo)

在介紹融合算法之前，需要了解評價(jià)融合質(zhì)量的一些標(biāo)準(zhǔn)。其主要有：空間頻率，反映融合圖像的亮度；信息熵，反映圖像的灰度分布情況；均方根誤差；相關(guān)系數(shù)，反映源圖像與融合圖像的相關(guān)程度；標(biāo)準(zhǔn)化互信息[52]，反映融合圖像的結(jié)構(gòu)信息；相位一致性；基于邊緣信息的標(biāo)準(zhǔn)；能夠反映源圖像與融合圖像對比度特征的基于人類感知的標(biāo)準(zhǔn)[53]；基于圖像結(jié)構(gòu)相似性的標(biāo)準(zhǔn)，可反映不同圖像之間的相似性；光譜角映射器，主要針對多/高光譜圖像。

2.2 典型實(shí)驗(yàn)方法

由于圖像融合的主要應(yīng)用領(lǐng)域[54]有遙感觀測、醫(yī)學(xué)診斷、攝影和監(jiān)測，這將在下一節(jié)進(jìn)行描述。而本節(jié)主要選取了上節(jié)中列舉出的評價(jià)指標(biāo)中的五個(gè)經(jīng)典指標(biāo)對現(xiàn)有的經(jīng)典融合方法進(jìn)行評估。在使用相似的測試條件，相同的應(yīng)用程序和相同的源圖像參考了不同的參考文獻(xiàn)之后，列出不同的表格。

以clock圖像為參考，表3列舉出多聚焦圖像融合應(yīng)用不同方法的比較。表4所示為紅外圖像和可視圖像的融合對應(yīng)算法的對比數(shù)據(jù)。表5則為不同方法融合不同醫(yī)學(xué)圖像所得數(shù)據(jù)。

表3 多聚焦圖像融合的不同方法對比

從表3的數(shù)據(jù)得出，無論是在邊緣信息的保持上，還是梯度信息、結(jié)構(gòu)信息、對比度特征和相位一致性的傳遞上，GFDF算法得到的值都要優(yōu)于其他算法的值。另外，CNN作為一種智能學(xué)習(xí)型的融合算法，在邊緣信息的保留上性能較好。然而由于CNN需要大量的參數(shù)，所以在運(yùn)行時(shí)間上消耗較大，算法的效率不高。

表4 紅外圖像和可視圖像融合的不同方法對比

由表4可知，DWT的平均梯度、標(biāo)準(zhǔn)差的值都相對較高。而LP方法在信息熵的表現(xiàn)上比其他方法好。另外互信息這一標(biāo)準(zhǔn)，NSST的值是所有方法中最高的，這說明使用NSST方法融合圖像時(shí)，源圖像轉(zhuǎn)移到融合圖像的信息量較高?？傮w而言，每種融合算法都有可借鑒之處，所以在具體應(yīng)用時(shí)，可綜合各種方法的優(yōu)點(diǎn)適當(dāng)結(jié)合以獲得性能更好的融合圖像。

表5 醫(yī)學(xué)圖像融合的不同方法對比

從表5中數(shù)據(jù)可以看出，將多尺度幾何分析方法中的NSCT方法與SR方法相結(jié)合得出的各個(gè)評價(jià)指標(biāo)，無論是在平均梯度、信息熵，以及相位一致性和互信息的保留程度上優(yōu)于單獨(dú)使用NSCT方法獲得的融合圖像的各項(xiàng)評價(jià)指標(biāo)數(shù)值。不僅如此，NSCT-SR方法比一些新提出的基于深度學(xué)習(xí)的Gabor filtering方法表現(xiàn)更好，這表明通過結(jié)合兩種甚至兩種以上方法可以得出原來單個(gè)方法不能夠達(dá)到的良好效果。

3 圖像融合的應(yīng)用

圖像融合技術(shù)的應(yīng)用領(lǐng)域[57]主要有以下四類：遙感觀測、醫(yī)學(xué)診斷、攝影和監(jiān)測。在遙感領(lǐng)域的應(yīng)用，方便了人類的對地觀測；在醫(yī)學(xué)領(lǐng)域的應(yīng)用，為醫(yī)生的臨床診斷提供依據(jù)；在攝影領(lǐng)域的應(yīng)用，改善了因設(shè)備和天氣問題導(dǎo)致的圖像失真；在監(jiān)測應(yīng)用中，結(jié)合可見光和紅外圖像，使得可全天觀察觀測對象。表6對不同領(lǐng)域所需要用到的圖像進(jìn)行了進(jìn)一步劃分。

表6 圖像融合的主要應(yīng)用領(lǐng)域及其

4 存在的問題與展望

4.1 當(dāng)前研究存在的問題

無論圖像融合應(yīng)用在哪些領(lǐng)域，目前的融合方法得到的圖像仍然存在以下問題。

遙感圖像融合中出現(xiàn)的光譜和空間畸變問題；醫(yī)學(xué)圖像融合領(lǐng)域出現(xiàn)的臨床問題缺乏導(dǎo)向的困難以及難以相對客觀的評估融合性能；攝影領(lǐng)域，圖像融合則受物體運(yùn)動(dòng)的影響，同時(shí)在不同設(shè)備拍照耗時(shí)較長，也在一定程度上影響了融合圖像的獲?。辉诒O(jiān)測領(lǐng)域，苛刻的環(huán)境條件以及設(shè)備的損耗都會(huì)導(dǎo)致融合圖像不能夠被精確地獲取。除了上述問題，圖像配準(zhǔn)作為融合的預(yù)備階段也備受重視，圖像的未配準(zhǔn)或者配準(zhǔn)不準(zhǔn)確都會(huì)影響融合結(jié)果。

4.2 展 望

根據(jù)目前圖像融合中遇到的問題，可做以下展望：

首先，要解決圖像配準(zhǔn)的問題，這就要求學(xué)者致力于研究更準(zhǔn)確有效的圖像配準(zhǔn)算法；其次，針對遙感技術(shù)的發(fā)展，需要研發(fā)更多同時(shí)具有高光譜分辨率和高空間分辨率的綜合傳感器；在臨床醫(yī)學(xué)中，則主要致力于研究能將多種不同設(shè)備獲取的圖像同時(shí)獲取并合成的儀器，這將為醫(yī)學(xué)的發(fā)展提供較大的飛躍；在攝影領(lǐng)域，根據(jù)設(shè)備以及環(huán)境的不同，研發(fā)出適應(yīng)性更強(qiáng)的多特點(diǎn)攝影設(shè)備是亟需解決的問題。

5 結(jié)束語

目前對于圖像融合的研究仍是圖像處理領(lǐng)域的研究熱點(diǎn)，基于多尺度變換的方法只會(huì)日漸豐富，算法的效率也會(huì)越來越高，所需內(nèi)存內(nèi)余只會(huì)更小。基于目前融合研究所用的像素級方法較多的現(xiàn)狀，之后將會(huì)更多的研究工作在特征級和決策級融合，并且會(huì)探索更多的圖像融合應(yīng)用領(lǐng)域。