杜淋

摘 ? 要：提出了一種將單層小波變換與壓縮感知相結(jié)合的圖像融合新方法，僅通過(guò)測(cè)量圖像的高頻小波系數(shù)且保留了低頻小波系數(shù)，利用不同的方案對(duì)低頻小波系數(shù)和高頻小波系數(shù)的測(cè)量進(jìn)行融合。結(jié)合總變分（TV）最小化算法和融合測(cè)量來(lái)恢復(fù)高頻小波系數(shù)，運(yùn)用逆小波變換對(duì)融合圖像進(jìn)行重建。實(shí)驗(yàn)表明，該方法具有良好的融合性能和較低的計(jì)算復(fù)雜度。

關(guān)鍵詞：圖像融合;壓縮感知;單層小波變換

中圖分類號(hào)：TP751.1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Image Fusion Compressed Sensing Based

on Single Layer Wavelet Transform

DU Lin？覮

（College of Science，Hohai University，Nanjing，Jiangsu 210098，China）

Abstract： This paper presents a new image fusion method combining single-layer wavelet transform with compressed sensing. It only measures the image's high-pass wavelet coefficients and preserves the low-pass wavelet coefficients. It uses different schemes for low-pass wavelet coefficients and high pass. Wavelet coefficient measurements are fused. Combined with minimization of total variational algorithm （TV） and fusion measurement to recover high-pass wavelet coefficients，the fusion image was reconstructed using inverse wavelet transform. Experiments show that this method has good fusion performance and low computational complexity.

Keywords： image fusion;compressed sensing;single-layer wavelet transform

圖像融合是將多幅圖像的互補(bǔ)和冗余信息相結(jié)合以獲得復(fù)合圖像的技術(shù)，它比任何單個(gè)圖像都包含更全面的描述。作為處理的結(jié)果，融合圖像對(duì)于人類和機(jī)器感知或物體檢測(cè)和識(shí)別等其他圖像處理任務(wù)更有實(shí)踐意義。目前，已經(jīng)提出了許多著名的融合算法[1-3]，最主流的技術(shù)是多分辨率分解方法，如基于金字塔的方法[2]，基于離散小波變換（Discrete Wavelet Transform，DWT）的方法等[3]。但其中大多數(shù)技術(shù)需要對(duì)源圖像進(jìn)行全面采集，這意味著在傳感器數(shù)據(jù)量增加的背景下，必須處理大量的存儲(chǔ)負(fù)擔(dān)。

壓縮感知（Compressed Sensing，CS）作為一種信號(hào)處理技術(shù)[4]，可以同時(shí)進(jìn)行數(shù)據(jù)采樣和壓縮，文獻(xiàn)表明[5]，在一定條件下，僅從一小部分測(cè)量就能精確地恢復(fù)信號(hào)。CS原理使得數(shù)字?jǐn)?shù)據(jù)采集大幅降低采樣率、功耗和計(jì)算復(fù)雜度[6]。但是，現(xiàn)有的大多數(shù)CS研究都僅停留在理論研究基礎(chǔ)上[7]。對(duì)于CS中的圖像融合，通常方式是在從測(cè)量結(jié)果中單獨(dú)恢復(fù)每幅圖像之后，在重建的多幅圖像之間執(zhí)行傳統(tǒng)融合[8]。然而為了節(jié)省存儲(chǔ)空間并降低計(jì)算復(fù)雜度，更好的方法是直接對(duì)測(cè)量結(jié)果進(jìn)行融合，然后從融合測(cè)量結(jié)果重建融合圖像[9]?，F(xiàn)有研究已經(jīng)提出了基于CS的幾種不同的融合策略，例如簡(jiǎn)單的最大選擇規(guī)則或基于測(cè)量標(biāo)準(zhǔn)差的自適應(yīng)加權(quán)平均融合方案[10-11]。

提出了一種在一般CS框架下的圖像融合方案。僅需要對(duì)圖像進(jìn)行單層小波分解，并且利用快速Walsh Hadamard變換[12]測(cè)量圖像的高頻小波系數(shù)，利用不同的方案對(duì)低頻小波系數(shù)和高頻小波系數(shù)的測(cè)量進(jìn)行融合，融合圖像的合成系數(shù)通過(guò)總變分（Total Variation，TV）最小化算法[13]和逆小波變換進(jìn)行恢復(fù)。

1 ? 壓縮感知

考慮一個(gè)實(shí)數(shù)值有限長(zhǎng)度的一維離散時(shí)間信號(hào)x∈RN，元素為x[n]，n=1，2，…，N。如果信號(hào)x是K稀疏的，則信號(hào)可以表示為公式（1）：

x = Dα ? ? ? ? ? ? ? ? ? （1）

其中，D是N × N的基矩陣，并且α是僅包含K個(gè)非零系數(shù)的N × 1向量。顯然，x和α是信號(hào)的等價(jià)表示，x在時(shí)間或空間域，α在D域。如果K≠N，則信號(hào)x是可壓縮的。

在CS中不能直接測(cè)量或編碼α，而是采用壓縮測(cè)量：

其中，y∈RM且A代表測(cè)量過(guò)程的M × N測(cè)量矩陣。由于M≠N，所以不能利用y重建x。然而，CS理論基于x在已知變換域D（例如，DCT和小波）中具有稀疏表示。即如果 滿足受限等距特性（RIP）[8]，則優(yōu)化過(guò)程中可以恢復(fù)變換域信號(hào)α。在一些固定的稀疏基礎(chǔ)D下，Gaussian矩陣或Bernoulli矩陣可以提供通用性能和最優(yōu)性能作為測(cè)量矩陣[14][15]，

但計(jì)算復(fù)雜度很高。而快速Walsh Hadamard變換矩陣[12]的采樣算子實(shí)用性普遍，且計(jì)算復(fù)雜度較低。

為了解決公式（2）的逆變換，已經(jīng)開(kāi)發(fā)了一些用于此類不適定問(wèn)題的非線性恢復(fù)算法[16]。但它們中的大多數(shù)在實(shí)踐中需要相當(dāng)繁重的計(jì)算。在本文中，提出了一種基于增廣拉格朗日和交替方向算法的新型總變分（TV）最小化算法，簡(jiǎn)稱為“TVAL3方案”來(lái)解決這個(gè)問(wèn)題[13]。它用于解決總變分正則化的壓縮感知問(wèn)題：

其中，x是N × 1向量，Di x∈R2是像素i處x的離散梯度，A是M × N （M < N）測(cè)量矩陣，并且測(cè)量y是x的線性投影，‖Di x‖是1-范數(shù)（對(duì)應(yīng)于各向異性TV）。

2 ? 單層小波變換

為了獲得原始圖像的測(cè)量結(jié)果，將使用快速Walsh Hadamard變換矩陣的結(jié)構(gòu)化來(lái)測(cè)量矩陣類型[12]。測(cè)量矩陣能夠處理矩陣向量乘法的快速計(jì)算，它是由Hadamard矩陣構(gòu)造的。對(duì)于k階Hadamard矩陣維數(shù)2k的遞推公式如下：

對(duì)于任意兩個(gè)矩陣A=[aij]p×q和B=[bij]r×l的Kronecker乘積定義如下：

A？茚B = a11B ? ?a12B ? ?… ? a1qBa21B ? ?a22B ? ?… ? a2qB… ? ? ? ?… ? ? … ? ?…ap1B ? ?ap1B ? ?… ? apqB ?（5）

為了更好地理解Kronecker乘積的含義，通過(guò)定義兩個(gè)新的算子vec和mtx。vec算子將矩陣的所有列變成向量，而mtx是vec的逆算子，它將該向量分離成若干個(gè)同等長(zhǎng)度向量并形成一個(gè)矩陣。

根據(jù)“Kronecker乘積”定理[17]，矩陣A∈Rm×n可以用Kronecker乘積公式構(gòu)造：

A = （A1？茚A2 ） ? （6）

其中，A1∈R（m/p）×（n/p） 和A2∈Rp × q，所選擇的m和n必須滿足m和n分別被p和q整除。矩陣向量乘法可以通過(guò)下式計(jì)算：

Ax = vex（A1mtx（x）AT2）ATy = vex（AT2mtx（y）A1） ? （7）

詳細(xì)推導(dǎo)過(guò)程見(jiàn)文獻(xiàn)[17]。利用Kronecker乘積改寫公式（4）為：

Hk = H1？茚Hk-1 ? （8）

對(duì)于長(zhǎng)度為2k的任意兩個(gè)向量xT1和xT2，有x = [xT1 ? xT2]。Hadamard有序的Walsh Hadamard變換（WHTh）可以表示為：

Hk x = （H1？茚Hk-1）x ?（9）

根據(jù)基本KP理論[18]，可以得到：

令xi表示第i個(gè)小波子帶的矢量化信號(hào)。相應(yīng)的測(cè)量輸出向量可寫為：

yi = Axi，i = 1，2，3 ? ?（11）

在每個(gè)小波子帶中，設(shè)置相同的采樣率，因此每個(gè)子帶的測(cè)量次數(shù)相同。

3 ? 圖像融合

由于多分辨率小波分解在信號(hào)表示中具有明顯的優(yōu)勢(shì)，因此，在本文的融合方案中，采用單級(jí)CDF-97小波變換將原始圖像分解為近似系數(shù)和細(xì)節(jié)系數(shù)。高頻子帶包括原始圖像的主要信息并且可以認(rèn)為是稀疏的，但是尺度系數(shù)低頻子帶不具備稀疏性。所以低頻和高頻系數(shù)與測(cè)量矩陣 相乘會(huì)破壞低頻近似權(quán)重系數(shù)與細(xì)節(jié)系數(shù)之間的相關(guān)性，導(dǎo)致重建結(jié)果較差。因此，通過(guò)保留低頻小波系數(shù)，只測(cè)量圖像的高頻小波系數(shù)，然后用不同的融合規(guī)則對(duì)它們進(jìn)行融合。

3.1 ? 低頻融合規(guī)則

設(shè)Ak和Bk分別為圖像A和圖像B的第k（k=1，2，3）個(gè)低頻子圖像。第k個(gè)低頻子圖像Fk的融合近似系數(shù)可以表示為：

3.2 ? 高頻融合規(guī)則

圖像結(jié)構(gòu)相似性（Image structural similarity，SSIM）[19]是基于假設(shè)人類視覺(jué)感知高度適應(yīng)于場(chǎng)景中提取結(jié)構(gòu)信息的一種有效的圖像質(zhì)量評(píng)估指標(biāo)。受此啟發(fā)，本文使用SSIM提取兩個(gè)高頻子圖像測(cè)量之間的結(jié)構(gòu)關(guān)系。

結(jié)構(gòu)相似性（SSIM）是通過(guò)將任何圖像失真建模為結(jié)構(gòu)比較函數(shù)s（x，y），亮度比較函數(shù)l（x，y），對(duì)比度比較函數(shù)c（x，y）的組合來(lái)設(shè)計(jì)的。則SSIM定義為：

其中，μx 和 μy是均值，σx ，σy和σxy分別是標(biāo)準(zhǔn)差和協(xié)方差。所有這些都是在圖像x和y之間的高頻子圖像測(cè)量值上計(jì)算得到。常數(shù)C1，C2和C3以避免分母非常接近零時(shí)的不穩(wěn)定性。且C1 = （K1L）2，C2 = （K2L）2，其中L是高頻子圖像測(cè)量的動(dòng)態(tài)范圍（對(duì)于兩個(gè)對(duì)應(yīng)的高頻子帶圖像測(cè)量的最大值），并且 K1 = 1，K2 = 1是一個(gè)小常數(shù)，在本文的實(shí)驗(yàn)中，將參數(shù)設(shè)置為0.05，SSIM的其他參數(shù)都參照文獻(xiàn)[19]。

對(duì)于圖像融合，將SSIM局部應(yīng)用而不是全局應(yīng)用。在實(shí)驗(yàn)中，在2×2平方窗內(nèi)計(jì)算μx ，σx和σxy，該窗口在整個(gè)圖像上逐個(gè)像素地移動(dòng)。在每個(gè)步驟中，局部統(tǒng)計(jì)和SSIM在局部窗口內(nèi)計(jì)算。最后測(cè)量?jī)煞鶊D像相似度的平均SSIM（MSSIM）指標(biāo)定義如下：

其中，xj和yj是第j個(gè)局部窗口處的圖像信息，并且M是圖像的局部窗口的數(shù)量。

對(duì)于細(xì)節(jié)系數(shù)融合，令GA k和GB k分別是圖像x和y圖像 的第k（k = 1，2，3）個(gè)高頻子圖像的測(cè)量值。融合的高頻子圖像測(cè)量GF k可以寫為：

其中，MSSIM（x，y）是兩個(gè)對(duì)應(yīng)的高頻子帶圖像測(cè)量之間的平均結(jié)構(gòu)相似性指數(shù)。

因此，融合高頻系數(shù)可以通過(guò)基于增廣拉格朗日和交替方向算法（TVAL3）的總變分（TV）最小化方案獲得，詳見(jiàn)文獻(xiàn)[13]。所提出的壓縮感知中的圖像融合具體步驟為：

（1）對(duì)輸入圖像執(zhí)行單層小波變換;

（2）用融合低頻規(guī)則融合低頻小波系數(shù)，并用測(cè)量矩陣WHTh測(cè)量各高頻小波子帶系數(shù);

（3）通過(guò)融合高頻規(guī)則來(lái)融合每個(gè)高頻測(cè)量;

（4）通過(guò)TVAL3算法重建融合的高頻小波系數(shù);

（5）通過(guò)逆小波變換恢復(fù)融合圖像。

本文利用TVAL3算法[13]從融合高頻測(cè)量中恢復(fù)融合高頻系數(shù)。

4 ? 實(shí)驗(yàn)分析

4.1 ? 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證所提出的基于單層小波變換的圖像融合壓縮感知的有效性，設(shè)計(jì)三組測(cè)試圖像用于性能評(píng)估，三組源圖像包括計(jì)算機(jī)斷層掃描（CT）和磁共振成像（MRI）圖像，如圖1（a）和圖1（b）;紅外和視覺(jué)圖像，如圖2（a）和圖2（b）;光學(xué)多焦點(diǎn)圖像，如圖3（a）和圖3（b）所示。有關(guān)圖像的更多信息詳見(jiàn)文獻(xiàn)[16]。高頻采樣率設(shè)置為0.2，恢復(fù)數(shù)據(jù)總數(shù)為所有數(shù)據(jù)的40%。其他兩種方法的采樣率也設(shè)置為0.4。所有實(shí)驗(yàn)均在雙核Intel Core2 2.33 GHz計(jì)算機(jī)上實(shí)現(xiàn)，仿真軟件為MATLAB 7.0.1。

4.2 ? 實(shí)驗(yàn)對(duì)比

在實(shí)驗(yàn)中，將所提出的方法與文獻(xiàn)[20]，文獻(xiàn)[21]中的方法進(jìn)行比較，其中，文獻(xiàn)[20]使用“雙星”采樣模式和最大絕對(duì)值選擇融合規(guī)則（CS_MS），文獻(xiàn)[21]使用“星形”采樣模式和基于標(biāo)準(zhǔn)差的加權(quán)平均融合規(guī)則（CS-SD）。在醫(yī)學(xué)圖像融合中，很容易看出所提出的方法的融合結(jié)果比CS_MS和CS-SD具有更高的對(duì)比度，并且包含了單個(gè)輸入圖像的大部分細(xì)節(jié)。CS-SD具有較低的對(duì)比度，并且比原始圖像包含更多的噪聲。對(duì)于紅外和視覺(jué)圖像融合，可以看到所提出的方法結(jié)果也表現(xiàn)出最佳的視覺(jué)效果。與本文的方法相比，CS_MS方案由于亮度和對(duì)比度的失真以及包含很多帶狀噪聲而不適合紅外和視覺(jué)圖像融合。而CS-SD會(huì)損失目標(biāo)中的對(duì)比度。在光學(xué)多焦點(diǎn)圖像融合實(shí)驗(yàn)中，本文所提出的方法與CS-SD相比具有相同的視覺(jué)效果，并且優(yōu)于CS_MS融合。

5.3 ? 性能評(píng)估

為了進(jìn)一步比較，使用幾個(gè)客觀標(biāo)準(zhǔn)來(lái)評(píng)估融合結(jié)果。第一個(gè)標(biāo)準(zhǔn)是平均梯度（AG），它通常用于評(píng)估圖像的清晰度，AG越大，圖像越清晰。接下來(lái)的兩個(gè)標(biāo)準(zhǔn)是互信息（MI）和邊保持度（Q），MI反映融合圖像包含的原始圖像的信息總量，并且Q考慮從輸入圖像轉(zhuǎn)移到融合圖像的邊緣信息量。對(duì)于這兩個(gè)標(biāo)準(zhǔn)，值越大融合結(jié)果越好。最后，分別給出用于融合和CS重建的CPU運(yùn)行時(shí)間。三種方法的融合結(jié)果性能評(píng)價(jià)如表1所示。

由表1可見(jiàn)，所提出的方法在MI和Q方面優(yōu)于其他兩種方法，這說(shuō)明本文融合圖像的方法與其他方法相比，包含更多的細(xì)節(jié)和邊緣信息，這與視覺(jué)效果一致。盡管醫(yī)學(xué)圖像融合中的平均梯度（AG）略大于本方法，但其視覺(jué)效果遠(yuǎn)不及本方法。本文的融合和CS重建方法的CPU運(yùn)行時(shí)間遠(yuǎn)小于其他兩種方法。從主觀視覺(jué)比較和客觀指標(biāo)比較中，可以得出結(jié)論，所提出的方法比其他兩種方法可以獲得更好的性能。

5 ? 結(jié) ? 論

提出了一種壓縮感知的圖像融合方案，與傳統(tǒng)方法相比，在對(duì)原始圖像進(jìn)行單層小波變換的基礎(chǔ)上，根據(jù)高頻系數(shù)稀疏的特點(diǎn)，只需測(cè)量低采樣率的高頻小波系數(shù)，并設(shè)計(jì)了不同的融合規(guī)則融合低頻小波系數(shù)和高頻測(cè)量，結(jié)合一種新的高效總變分（TV）最小化算法進(jìn)行恢復(fù)。仿真結(jié)果表明，提出的方案具有較高的效率和良好的融合效果。此外，由于所提出的方案只需要不完整的測(cè)量而不是獲取整個(gè)圖像的所有樣本，因此計(jì)算復(fù)雜度顯著降低。并且由于采用了快速Walsh Hadamard變換，使得圖像融合和CS重建方法的CPU運(yùn)行時(shí)間遠(yuǎn)低于其他兩種方法。

CS圖像融合仍處于探索階段，仍有許多問(wèn)題需要解決（例如，原始圖像與測(cè)量之間的關(guān)系以及如何設(shè)計(jì)最佳融合規(guī)則）。因此，與CS原理相匹配的更先進(jìn)的融合規(guī)則研究是今后工作的又一研究課題。

參考文獻(xiàn)

[1] ? ?許良鳳，林輝，胡敏.基于差分進(jìn)化算法的多模態(tài)醫(yī)學(xué)圖像融合[J].電子測(cè)量與儀器學(xué)報(bào)，2013，27（02）： 110—114.

[2] ? ?谷雨，周陽(yáng)，任剛，等.結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J].中國(guó)圖象圖形學(xué)報(bào)，2017，22（06）： 842—851.

[3] ? ?李尊，苗同軍.基于DWT-IRLS的壓縮感知圖像融合[J].液晶與顯示，2017，32（01）：35—39.

[4] ? ?沈燕飛，朱珍民，張勇東，等.基于秩極小化的壓縮感知圖像恢復(fù)算法[J].電子學(xué)報(bào)，2016，44（03）：572—579.

[5] ? ?METZLER C A，MALEKI A，BARANIUK R G. From denoising to compressed sensing[J]. IEEE Transactions on Information Theory，2016，62（9）： 5117—5144.

[6] ? ?李鵬，王建新，丁長(zhǎng)松.WSN中基于壓縮感知的高能效數(shù)據(jù)收集方案[J].自動(dòng)化學(xué)報(bào)，2016，42（11）： 1648—1656.

[7] ? ?王強(qiáng)，張培林，王懷光，等.壓縮感知中測(cè)量矩陣構(gòu)造綜述[J].計(jì)算機(jī)應(yīng)用，2017，37（01）：188—196.

[8] ? ?殷明，龐紀(jì)勇，魏遠(yuǎn)遠(yuǎn)，等.結(jié)合NSDTCT和壓縮感知PCNN的圖像融合算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（03）：411—419.

[9] ? ?杜鑫.壓縮感知在多源圖像融合中的應(yīng)用[J].太赫茲科學(xué)與電子信息學(xué)報(bào)，2013，11（04）：614—618.

[10] BLANCHARD J D，TANNER J，WEI K. Conjugate gradient iterative hard thresholding： Observed noise stability for compressed sensing[J]. IEEE Transactions on Signal Processing，2015，63（2）： 528—537.

[11] ?ZHANG Q，MALDAGUE X. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing[J]. Infrared Physics & Technology，2016，74：11—20.

[12] ?LIU J，XING Q，YIN X，et al. Pipelined architecture for a radix-2 fast Walsh-Hadamard-Fourier transform algorithm[J]. IEEE Transactions on Circuits and Systems II： Express Briefs，2015，62（11）： 1083—1087.

[13] ?MA J，CHEN C，LI C，et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31： 100—109.

[14] OYMAK S，JALALI A，F(xiàn)AZEL M，et al. Simultaneously structured models with application to sparse and low-rank matrices[J]. IEEE Transactions on Information Theory，2015，61（5）： 2886—2908.

[15] ?RAVELOMANANTSOA A，RABAH H，ROUANE A. Compressed sensing： a simple deterministic measurement matrix and a fast recovery algorithm[J]. IEEE Transactions on Instrumentation and Measurement，2015，64（12）： 3405—3413.

[16] ?練秋生，宋爽，陳書(shū)貞，等.基于高階馬爾可夫隨機(jī)場(chǎng)及非線性壓縮感知的相位恢復(fù)算法[J].電子學(xué)報(bào)，2017，45（09）：2210—2217.

[17] ?曾誠(chéng)，何淦瞳.關(guān)于矩陣Kronecker乘積和Hadamard乘積的若干矩陣不等式[J].寧夏大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，37（03）：268—271.

[18] ?ZHANG Z，WANG Y，CHONG E K P，et al. Subspace selection for projection maximization with matroid constraints[J]. IEEE Transactions on Signal Processing，2017，65（5）： 1339—1351.

[19] ?FANG Y，ZENG K，WANG Z，et al. Objective quality assessment for image retargeting based on structural similarity[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems，2014，4（1）： 95—105.

[20] ?XING L，CAI L，ZENG H，et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J]. Signal Processing，2018，145： 233—240.

[21] ?ZHANG K，WANG M，YANG S，et al. Fusion of panchromatic and multispectral images via coupled sparse non-negative matrix factorization[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2016，9（12）： 5740—5747.