張 寬, 王 鵬*, 范訓(xùn)禮, 李曉艷, 孫夢宇, 喬夢雨
(1.西安工業(yè)大學(xué) 電子信息工程學(xué)院,陜西 西安 710021; 2.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;3.西安工業(yè)大學(xué) 光電工程學(xué)院,陜西 西安 710021; 4.陜西航天技術(shù)應(yīng)用研究院有限公司,陜西 西安 710100)
依托于當(dāng)今信息時代大背景,人們能夠通過聲、光、圖像等多種同/異介質(zhì)傳感器,綜合信息融合技術(shù)來獲得相對于單一傳感器而言更為豐富現(xiàn)場信息。圖像作為人類肉眼能夠直接感知的信息類型,與人類日常生活息息相關(guān),因此與之相關(guān)的融合日漸增多,可見光與紅外圖像融合便是當(dāng)下主流研究方向之一[1-2]。融合圖像既能發(fā)揮紅外射線對熱目標(biāo)敏感、探測距離遠(yuǎn)、穿透能力強等優(yōu)點,又能保持微光/可見光圖像對比度高、細(xì)節(jié)豐富、與人眼特性相近等明顯優(yōu)勢[3-5]。深入研究可見光與紅外圖像融合能夠用于軍事作戰(zhàn)、遙感影像分析、紅外檢測、防恐怖安全檢查、軍事觀測等應(yīng)用領(lǐng)域,同時亦有利于圖像后續(xù)處理(如檢測、識別、跟蹤等),為其提供圖像基礎(chǔ),因此也有著重要理論研究意義。
無論在頻域還是時域,小波變換對于信號的局部特征均具有良好的表達能力,基于此,Chipman等[6]人提出的基于小波變換的圖像融合方法在當(dāng)時獲得了廣泛的關(guān)注,但該算法的融合規(guī)則過于簡單,并不能很好地利用其表達能力;2014年,Naidu等[7]提出了小波變換(Wavelet Transform,WT)與主成分分析法(Principal Component Analysis,PCA)結(jié)合的圖像融合方法,能夠更好地保留空間細(xì)節(jié)信息,但由于PCA會受到大噪聲的影響,從而導(dǎo)致估計結(jié)果誤差偏大,最終影響圖像融合質(zhì)量;2018年,江澤濤等[8]提出了基于改進型脈沖耦合神經(jīng)網(wǎng)絡(luò)(Improved Pulse Coupled Neural Network,IPCNN)的紅外與可見光圖像融合算法,將圖像的高低頻信息分別進行融合,針對高頻信息,該算法采用IPCNN進行融合,但針對低頻信息的融合方法較為簡單,故對低頻信息的表達不夠完善;2020年,Guo等[9]提出了基于全卷積網(wǎng)絡(luò)的圖像融合算法,該算法通過數(shù)據(jù)集來訓(xùn)練全卷積網(wǎng)絡(luò),從而完成圖像融合任務(wù),但訓(xùn)練過程較為復(fù)雜,并且對設(shè)備性能要求較高;2021年,Zhang等[10]與Jiang等[11]分別提出了基于NSST和提升LSCN的圖像融合算法與基于紋理分析的IPCNN的融合算法,兩種方法均將信號分為高頻部分和低頻部分,針對高頻或紋理信息部分均采用脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)進行融合,這樣能夠較好地保證融合質(zhì)量,但對低頻信息并未進行噪聲分析。
本文結(jié)合了小波變換和PCNN的優(yōu)點,提出了基于魯棒性主成分分析法(Robust Principal Component Analysis,RPCA)與PCNN的融合方法。對源圖像進行小波變換后,將高頻信息送入PCNN中進行融合,以保證圖像細(xì)節(jié)融合質(zhì)量;對于低頻信號,采用RPCA的方法對其進行融合,采用非精確增廣拉格朗日乘子法對其進行優(yōu)化求解,保證融合圖像的保真度和求解效率;最后采用逆小波變換得到最終的融合圖像。
此方法中,首先是將已配準(zhǔn)的可見光圖像進行主分量變換[12];再對可見光圖像的第一主分量與近紅外圖像進行提升小波變換[13](Lifting Wavelet Transform,LWT)融合處理,其中,高低頻的融合規(guī)則均采用了加權(quán)平均的融合規(guī)則;用融合結(jié)果代替可見光圖像的第一主分量,其目的就是既要融入近紅外圖像的細(xì)節(jié)信息,又要保留可見光圖像的光譜信息;最后,對得到的可見光圖像3個新主分量做逆變換,從而得到最終的融合圖像。使其在多光譜信息的保持與空間細(xì)節(jié)表現(xiàn)的綜合性能得到提高。
在此,假設(shè)矩陣A表示信號矩陣即為高頻信號矩陣與低頻信號矩陣,且同時為低秩矩陣,矩陣E為標(biāo)準(zhǔn)差為σ的白噪聲矩陣,矩陣D為觀測矩陣,則傳統(tǒng)的PCA算法的優(yōu)化模型為
(1)
式中,ρ(·)為矩陣的秩;r為預(yù)定的目標(biāo)維度,且滿足條件r< 第二代小波變換——提升小波的步驟流程如圖1所示。 圖1 提升小波步驟流程圖 ① 分裂。分裂部分負(fù)責(zé)將原始信號sj分成偶數(shù)樣本和奇數(shù)樣本,分裂過程為 F(sj)=(sj-1,dj-1) (2) 式中,sj-1為低頻近似分量;dj-1為高頻近似分量;F(sj)指分解過程。 ② 預(yù)測。此步驟需要利用數(shù)據(jù)之間的關(guān)系,構(gòu)造預(yù)測算子,使用偶數(shù)樣本預(yù)測奇數(shù)樣本。預(yù)測誤差計算方法為 dj-1=dj-1-P(sj-1) (3) 式中,P(·)為預(yù)測算子。 ③ 更新。此步驟通過更新算子U(·)生成一個更好的數(shù)據(jù)集sj-1來保留原始數(shù)據(jù)集sj的一些特征。分解過程為 sj-1=sj-1+U(dj-1) (4) 由于LWT是完全可逆的,因此LWT的反變換與LWT具有對稱的結(jié)構(gòu),相比之下,可以準(zhǔn)確地重建圖像。 對源圖像的高頻信號和低頻信號采用加權(quán)平均的的融合規(guī)則即可形成融合后的高頻信號和低頻信號。 在信號出現(xiàn)較大的誤差時,PCA無法準(zhǔn)確恢復(fù)信號,而紅外與可見光圖像又是光譜特性差異很大的兩種圖像,傳統(tǒng)基于PCA與LWT的融合方法在此時便不太適用。另外,該算法在高頻圖像信息部分并未做針對性處理,因此最終獲得的融合圖像難免受到PCA算法本身局限性的影響[14]?;谝陨纤?,為了提高傳統(tǒng)基于PCA與LWT融合的魯棒性,使其更適用于多源圖像融合領(lǐng)域,同時增強融合圖像的細(xì)節(jié)表達能力,引入了RPCA與PCNN算法,提出了基于魯棒性主成分分析與脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法。 其中,RPCA[15]能夠很好地解決傳統(tǒng)PCA魯棒性差的缺點;而PCNN[16]是學(xué)者們在研究貓等哺乳動物的視覺神經(jīng)元時受到啟發(fā)而提出來的,該算法在原理上較為符合人類視覺成像原理,因此能夠通過該算法在圖像中提取出滿足人類肉眼觀察的豐富細(xì)節(jié)信息。 算法步驟具體如下:首先,將紅外與可見光圖像進行二代小波變換,將兩種圖像各自分解為高低頻信號;其次,對低頻信號采用RPCA完成融合,用以提高算法的魯棒性,利用非精確增廣拉格朗日乘子法還原低秩矩陣,對還原后的低秩矩陣采用加權(quán)平均的方式進行融合;然后,高頻信號則輸入至PCNN中進行融合,以提高融合后的圖像質(zhì)量;最后,將融合后的小波系數(shù)進行逆變換,便可獲得最終的融合圖像。 整體方案圖如圖2所示。 圖2 整體方案圖 主成分分析法[15]經(jīng)常被用于傳統(tǒng)的圖像融合方法中,尤其在信號噪聲較小時能夠獲得很好的估計結(jié)果,但當(dāng)出現(xiàn)某一較大的噪聲時,PCA無法準(zhǔn)確估計信號,圖3和圖4展示了當(dāng)信號噪聲小以及出現(xiàn)了較大的噪聲時PCA方法的估計結(jié)果,圖中橫縱坐標(biāo)僅僅代表數(shù)值大小,無其他實際意義。 圖3 小噪聲估計結(jié)果 圖4 大噪聲估計結(jié)果 可以看到,圖3中采樣數(shù)據(jù)噪聲較小,傳統(tǒng)的PCA方法能夠很好地估計出原本的信號曲線,圖4中出現(xiàn)了嚴(yán)重錯誤的數(shù)據(jù),此時PCA的估計結(jié)果偏差較大,無法準(zhǔn)確還原真實數(shù)據(jù)。因此,擬采用RPCA[16]以解決傳統(tǒng)融合方法魯棒性較低的問題。 (5) 此時,觀測矩陣的低頻小波系數(shù)矩陣可以表示為 (6) 此時求解公式可以寫為 (7) 在此假設(shè)Y為迭代的拉格朗日乘子,μ為用于調(diào)節(jié)計算效率與精確度平衡的參數(shù),因此構(gòu)建的增廣拉格朗日乘子函數(shù)為 (8) 將其劃分為兩個子問題迭代求解,公式為 (9) (10) (11) 式中,Dε為奇異值閾值算子。 (12) (13) 兩個矩陣迭代求解直至收斂。 對于引入的拉格朗日乘子Y和參數(shù)μ在每次迭代過程中的更新如式(14)所示: (14) 根據(jù)式(6)、式(12)、式(13),更新后的觀測矩陣數(shù)學(xué)公式如式為 (15) 在融合低頻小波系數(shù)中,采用了加權(quán)平均的方法,當(dāng)兩張融合圖像相似程度較高時,此方法十分有效,而本文采用了RPCA的方法,具有較好的保真度和一致性,因此加權(quán)平均的方法將會起到較好的效果。 傳統(tǒng)算法采用小波變換進行圖像分解與融合時,雖能夠較好地保留概貌信息,但細(xì)節(jié)信息略顯不足,因此,對高頻信息采用PCNN[17]進行融合。首先介紹了高頻子帶圖像的融合策略,之后對PCNN進行簡要介紹。 所采取高頻融合策略具體如下。 可見光與紅外圖像分別經(jīng)過提升小波分解后,各自都會轉(zhuǎn)換為多幅高頻子帶圖像和一幅低頻子帶圖像;將高頻子帶圖像作為輸入圖像,分別送入簡化版PCNN中,由此可以得到多個點火序列圖;接下來將根據(jù)高頻子帶圖像相應(yīng)位置的點火圖來判斷最終的高頻子帶系數(shù),具體判斷方法是:如果兩張相應(yīng)異源高頻子帶圖像中相同位置的點火圖的值小于某個閾值(例如,經(jīng)1層分解后的水平方向上的高頻可見光圖像和紅外圖像可被視為相應(yīng)異源圖像,其他分解層數(shù)與水平方向上的圖像同理),此時算法認(rèn)為空間上兩點的灰度值相似,取兩者灰度的算術(shù)平均值作為該點的高頻子帶融合系數(shù);如果該點的點火圖的值大于某個閾值,則認(rèn)為兩點的灰度值不相似,此時取點火值較大的點的灰度值作為該點高頻子帶融合系數(shù)。由此得到所有的高頻子帶融合系數(shù)。 最后,將低頻信息與高頻信息結(jié)合,通過小波逆變換即可得到最終融合后的圖像。 PCNN算法實質(zhì)上是一種無監(jiān)督的單層神經(jīng)網(wǎng)絡(luò),圖5為由學(xué)者簡化版本的PCNN單個神經(jīng)元模型框圖[18],其基本原理與標(biāo)準(zhǔn)PCNN算法相同,只是簡化了多余的參數(shù),模型的數(shù)學(xué)表達式如式(16)所示。整個模型由輸入部分、連接調(diào)制部分、脈沖發(fā)生器部分三部分構(gòu)成。 圖5 簡化版PCNN單個神經(jīng)元模型框圖 首先,神經(jīng)元模型會在接收域采集鄰近神經(jīng)元信號和外部輸入激勵信號。這兩種信號在模型中通過兩種不同的路徑進行傳遞,分別為L路徑(鄰近神經(jīng)元信號)和F路徑(外部激勵信號);接收到兩個信號后,神經(jīng)元模型會在連接調(diào)制部分通過累加和調(diào)制操作完成兩個信號的耦合,耦合的結(jié)果被稱為內(nèi)部活動項;PCNN模型中,脈沖發(fā)生部分由一個脈沖發(fā)生器和比較器構(gòu)成,其中,比較器的閾值大小能夠變化。在該模型運行過程中,如果內(nèi)部活動項達到比較器中所設(shè)定的閾值大小,此時神經(jīng)元被稱為點火狀態(tài)。在該狀態(tài)下,脈沖發(fā)生器將發(fā)出一個特殊的頻率不變的脈沖信號。 (16) 式中,(i,j)為輸入的神經(jīng)元序號,在圖像處理中為對應(yīng)的像素點位置;n為系統(tǒng)的迭代次數(shù);Uij(n)為神經(jīng)元的內(nèi)部行為;f用于控制Uij(n)衰減,取值范圍為0~1;Iij(n)為神經(jīng)元的外部激勵(常取圖像的灰度值或者像素所在區(qū)域的特性指標(biāo));W為神經(jīng)元之間的連接權(quán)系數(shù)矩陣;Ypq為鄰域神經(jīng)元的輸出;Eij(n)是變閾值函數(shù)輸出,其控制神經(jīng)元的點火閾值;g為閾值衰減系數(shù);h為閾值放大系數(shù);Yij(n)為第n次迭代神經(jīng)元的輸出狀態(tài),其由Uij(n)和Eij(n)大小關(guān)系共同決定,當(dāng)Yij(n)=1 時稱神經(jīng)元發(fā)放一次脈沖或者完成一次點火。 將PCNN應(yīng)用于圖像融合,此時每一個PCNN神經(jīng)元對應(yīng)于圖中單個的像素點,這些像素點彼此互為周圍神經(jīng)元,這樣就能夠形成一個單層二維PCNN,同時這也意味著算法在構(gòu)建PCNN時,神經(jīng)元的個數(shù)應(yīng)當(dāng)與輸入圖像像素數(shù)量相當(dāng)。輸入某張圖片至該網(wǎng)絡(luò)時,算法首先需要對圖片中各個像素點的灰度值進行歸一化處理,這樣才能作為外界刺激信號去激勵各個神經(jīng)元。而外部刺激越強,對應(yīng)神經(jīng)元的點火頻率就越高。當(dāng)某一神經(jīng)元(對應(yīng)于單個像素點)點火成功,而各神經(jīng)元又是彼此耦合鏈接,因此會導(dǎo)致周圍神經(jīng)元在這時的內(nèi)部活動項的值發(fā)生變化,若最終該值大于閾值,則某一個周圍神經(jīng)元也將點火,輸出脈沖。與此同時,隨著某一點神經(jīng)元點火,其內(nèi)部活動項對應(yīng)的閾值也會隨之增加,因此該神經(jīng)元不會一直不停地輸出脈沖。最后,隨著該像素點的點火次數(shù)不斷累加,脈沖次數(shù)也在不斷增加,最終算法能夠得到一張反映各個像素點點火次數(shù)的圖像,被稱為點火圖,它包含有圖像的區(qū)域、邊緣、紋理等信息,能夠為后續(xù)圖像處理提供重要信息。 本文中設(shè)置的PCNN參數(shù)數(shù)據(jù)參考于文獻[19],該數(shù)據(jù)是通過大量實驗總結(jié)而來的經(jīng)驗數(shù)值,具體為:內(nèi)部活動項的初始值為0;動態(tài)閾值初始值為1;f為0.2;g為0.9;h為20;n為3;W為 此選擇定量與定性兩種分析方法,并選擇了4個同場景下的可見光與紅外圖像進行融合實驗,將本文算法與其他4種算法進行了對比試驗。為保證實驗的公平性,所有算法均在Window 10 操作系統(tǒng)、Intel?CoreTMCPU i7-7700HQ 2.8 GHz 8GB內(nèi)存計算機上采用Matlab 2018a軟件進行仿真實驗。 所采用的用于融合的4組可見光與紅外圖片組來源于網(wǎng)絡(luò)公開的TNO Human Factors數(shù)據(jù)集,該數(shù)據(jù)集包含不同軍事相關(guān)場景的多光譜夜間圖像,每一組可見光與紅外圖像組都經(jīng)過嚴(yán)格的配準(zhǔn),因此可以被直接應(yīng)用于圖像融合研究。 對比了5種不同的算法,即本文算法、IFEVIP(Infrared Feature Extraction and Visual Information Preservation)算法[20]、WT算法、LWT+PCA算法和PCNN算法,經(jīng)5種算法處理后的融合圖像以及運行結(jié)果如圖6所示。 圖6 結(jié)果對比圖 從圖6中可以看到,4種算法均能保留源圖像中的背景信息,同時也能夠準(zhǔn)確提取目標(biāo)信息。但WT算法雖能夠提取到目標(biāo)信息,但目標(biāo)邊緣和細(xì)節(jié)不夠明顯,主要原因在于WT算法對高緯度的邊緣信息表達能力較差,對奇異信息表達更好;IFEVIP算法和LWT+PCA算法更多地保留了可見光圖像信息,而IFEVIP算法的對比度更高,但在汽船圖片中明顯看到,其對于船體邊緣很小的目標(biāo)并未顯示,并且空中分界線也未能夠顯示出來。LWT+PCA算法卻可以較好地融合這兩種信息,但整體而言,該算法對于背景信息的體現(xiàn)還是不夠好。例如,在汽船圖案中,在天空背景亮度方面,該算法明顯示不如IFEVIP算法能反映真實背景亮度。而對于單獨使用PCNN的融合圖片,與其他方法相比,該算法得到的圖片亮度都略低;與除WT算法之外的算法對比,該算法不夠突出目標(biāo)的輪廓信息;但是從細(xì)節(jié)信息的角度而言,該方法用于汽船與士兵圖案中,能夠看到清晰的船體邊緣與樹葉的形狀,這與PCNN的細(xì)節(jié)表達能力比較強有關(guān)。而所提出的方法融合圖像對比度高,目標(biāo)邊緣足夠清晰,結(jié)構(gòu)信息足夠豐富,例如汽船圖片中的小型目標(biāo)和邊界線、街道圖片中的牌匾文字、士兵圖片中的柵欄等均能夠看清,原因在于本文所采用的RPCA方法能夠從背景中準(zhǔn)確分離提取目標(biāo),邊緣清晰,利用PCNN的高頻融合能夠保留較好的細(xì)節(jié)信息。從定性實驗綜合來看,本文所提出的算法的可見光與紅外融合圖像效果最好,視覺效果最佳。 本文選取了4種指標(biāo)對比了5種算法的表現(xiàn),具體指標(biāo)如下。 ① 熵[21](Entropy)。熵表示該融合圖像中信息含量的多少,熵值越高,表示包含信息越豐富。熵值計算公式為 (17) 式中,pl為融合圖像中該灰度的歸一化灰度值;L為灰度數(shù)量。 ② 空間頻率[22](Spatial Frequency,SF)。空間頻率是根據(jù)圖像梯度指標(biāo)對圖片質(zhì)量放假行評價的指標(biāo),通過對圖像中梯度的測量,可以表示圖像的細(xì)節(jié)紋理的豐富程度,空間頻率越高,表示細(xì)節(jié)越豐富。其計算公式為 SF= (18) 式中,i和j為圖像的索引值;F為圖像的灰度值;M和N分別為目標(biāo)的長和寬。 ③ 結(jié)構(gòu)相似度[23](Structural Similarity,SSIM)。結(jié)構(gòu)相似度表示兩張圖之間的相似度,計算公式為 (19) 式中,X和F分別為源圖像與融合圖像;σ為圖像的協(xié)方差矩陣;μ為圖像的均值;C1、C2、C3為中間變量,用于穩(wěn)定測試算法,當(dāng)C1=C2=C3=0時,此指標(biāo)為通用指標(biāo)。 ④ 峰值信噪比[23](Peak Signal-to-Noise Ratio,PSNR)。峰值信噪比度量是融合圖像中峰值功率與噪聲功率的比值,反映了融合過程中的失真程度。該值度量定義為 (20) 式中,r為融合后圖像的峰值。PSNR越大,融合圖像越接近源圖像,融合后的圖像失真越小。 本文所測試的4種算法的測試結(jié)果如表1所示。表1中,粗體字表示該方法在此指標(biāo)下性能最好。對于熵指標(biāo)而言,所提出的算法僅僅在馬路圖片序列中的測試結(jié)果落后于IFEVIP算法,排在第2位,在其他測試圖片中均為第一名。PCNN算法表現(xiàn)最差,對于每張融合測試圖片,由該算法得到的融合圖片的熵值都為最低。但實際上,各個算法的熵指標(biāo)性能測試數(shù)據(jù)相差并不太大,最大差值數(shù)據(jù)體現(xiàn)在汽船圖片的測試結(jié)果中,分別是本文算法的6.66和PCNN算法的5.00,最大差值為1.66,其他的數(shù)據(jù)差別都小于該值,大多相差不超過1。因此,由熵指標(biāo)測試結(jié)果可以得到的結(jié)論是相對于其他4種算法,本文算法在獲取源圖像的信息量方面略強于其他算法,但其實各個算法本身在該方面的性能相仿。 表1 定量測試仿真結(jié)果表 在空間頻率指標(biāo)方面,除街道圖片中略遜于PCNN算法外,本文算法在其他測試圖片中的表現(xiàn)均為最好,且由各個算法間的數(shù)據(jù)差值能夠看出,本文算法相對其他算法提升較大。在該指標(biāo)中,PCNN的值變化較大,最低時候仍舊是5個算法中效果最差的,但最高的時候比本文算法都好,遠(yuǎn)強于其他算法。另外在該指標(biāo)測試數(shù)據(jù)中,IFEVIP算法和LWT-PCA算法的數(shù)據(jù)值相對穩(wěn)定,但表現(xiàn)較差。因此,相對于其他算法,本文算法能夠獲得較為豐富的細(xì)節(jié)信息,并且表現(xiàn)穩(wěn)定。 在結(jié)構(gòu)相似度指標(biāo)中,對比熵指標(biāo)的數(shù)據(jù)結(jié)果不難看出,本文算法與其他算法在兩個指標(biāo)中的表現(xiàn)類似。說明本文算法生成的融合圖像與源圖像相似度更高。但各個算法在此方面的性能相差不大。 而在峰值信噪比的指標(biāo)中,本文算法在各個測試圖片中的測試結(jié)果中,排名處于中上位置,僅次于WT算法;同時遠(yuǎn)遠(yuǎn)超過LWT-PCA算法,該算法是對比算法中在峰值信噪比指標(biāo)測試中表現(xiàn)最差的。與其相比,本文算法在失真程度上要小很多。另外在算法運行速度方面,本文算法較為耗時,在各個測試圖片中,均表現(xiàn)不佳,但略強于普通PCNN算法,因為采用了多尺度變換,整個PCNN不需要對整張源圖像做相關(guān)運算,而是僅對高頻子帶圖像做相關(guān)運算。 整體而言,由表1可以看出,相對于以上其他4種融合算法,本文算法在接近一半的測試結(jié)果數(shù)據(jù)中排在第1位,這部分?jǐn)?shù)據(jù)主要集中于熵指標(biāo)、空間頻率指標(biāo)和結(jié)構(gòu)相似度指標(biāo);另外在峰值信噪比指標(biāo)測試中也有較好的表現(xiàn),僅次于WT算法;最后在運行時間指標(biāo)中表現(xiàn)一般,算法運行所需時間僅低于PCNN算法。試驗結(jié)果表明,與上傳統(tǒng)LWT-WT算法相比,經(jīng)本文算法融合后的圖像中熵指標(biāo)、空間頻率指標(biāo)、結(jié)構(gòu)相似度指標(biāo)和峰值信噪比指標(biāo)均有不同程度的提高,其中空間頻率指標(biāo)和峰值信噪比指標(biāo)差距提升最大,說明了本文算法的先進性和有效性。 本文提出了基于RPCA與PCNN的圖像融合算法,利用RPCA的優(yōu)勢,更好地提取目標(biāo)信息,使得融合圖像中目標(biāo)的邊緣更加清晰;將LWT分解出的高頻信息利用PCNN進行融合,因此本文所提出的算法融合后得到的圖像具有更好的視覺效果,并且相關(guān)指標(biāo)皆有明顯提升,證明了算法改進的有效性。另外,所提出的算法亦有待提高,例如在峰值信噪比指標(biāo)測試結(jié)果中,經(jīng)本文算法融合后的圖像的PSNR值落后于WT算法;相對于上述對比方法,本文算法由于采用復(fù)雜度較高的PCNN算法,因此在計算速度方面會落后于其他算法。2 基于魯棒性主成分分析與脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合
2.1 基于魯棒主成分分析法的低頻融合策略
2.2 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的高頻融合策略
3 實驗
3.1 定性分析
3.2 定量分析
4 結(jié)束語