劉雪峰+孫巧巧+趙文倉

摘 要： 信息融合技術(shù)作為一門新興學科，近年來已取得突飛猛進的發(fā)展，已在軍事和民事方面獲得了廣泛的應(yīng)用，對人類的生產(chǎn)生活方式產(chǎn)生了重大的影響。主要介紹了多傳感器圖像融合的3個融合層次及在每個融合層次典型的融合方法。單一的融合方法有各自的優(yōu)勢和不足，為了克服單一融合方法存在的問題，可以將單一的融合方法進行結(jié)合，通過從灰度標準差、平均灰度梯度和熵等方面對融合后圖像效果比較可以發(fā)現(xiàn)，將兩種單一的融合方法結(jié)合，可以很好地實現(xiàn)優(yōu)勢互補，獲得更理想的融合效果并對多種不同的融合方法進行分析總結(jié)，可以為融合算法的應(yīng)用提供一定的參考。

關(guān)鍵詞： 多傳感器； 信息融合； 融合層次； 融合算法； 效果評價

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2016）22?0158?05

0 引 言

多源信息融合又稱為多傳感器數(shù)據(jù)融合（Multi?Sensor Data Fusion，MSDF），其基本原理是模擬人大腦綜合處理各種信息的過程，利用計算機對獲得的多源數(shù)據(jù)按照一定的規(guī)則算法進行綜合、過濾、相關(guān)、識別和融合等處理，從而得到對被測對象的一致性評價及看法[1]。

近年來，圖像融合的理論研究迅速發(fā)展，圖像融合技術(shù)也被廣泛地應(yīng)用于各個領(lǐng)域，例如模式識別、醫(yī)學影像、遙感探測、工業(yè)過程控制、安全導航、反恐檢查、環(huán)境保護、交通監(jiān)測等[2]。國外對圖像融合技術(shù)的研究較早，目前已將圖像融合技術(shù)用于衛(wèi)星獲得的遙感圖像[3]，從而獲得對被測目標的進一步了解；在軍事和醫(yī)學領(lǐng)域，圖像融合技術(shù)也慢慢嶄露頭角，如英國的CONDOR2系統(tǒng)、美國的MANTIS系統(tǒng)以及GE公司于2001年6月推出的Discovery LS[4]，都將圖像融合技術(shù)成功應(yīng)用其中，并因此產(chǎn)生了巨大的經(jīng)濟和社會效益。我國對圖像融合技術(shù)的研究相較于國外雖然起步略晚，但隨著國家和社會各界對圖像融合技術(shù)越來越重視，近年來不論是在理論研究還是應(yīng)用上都取得了的一定的進展。如由四川大學研究的多航管雷達數(shù)據(jù)融合系統(tǒng)[5]，性能已達世界領(lǐng)先水平，而且已成功運行于多家航空港。單個傳感器獲得的信息通常不完整也不夠精確，有時還會出現(xiàn)對立、模糊的情況，帶有很大的不確定性，而多傳感器信息融合可以有效提高所獲得信息的準確性和可信性[1]。同時，圖像信息相比于其他一般信號具有更高的特殊性和復雜性，研究的深度和完善程度也遠不如對一般數(shù)據(jù)融合的研究，因此本文主要介紹了多傳感器圖像融合算法，對目前常用的融合算法及其優(yōu)缺點作了分析歸納。隨著小波變換被成功應(yīng)用于圖像處理領(lǐng)域，融合的效果在一定程度上也獲得了很大的提升[6]，但是，小波融合算法仍然存在一些問題和不足。為了使融合效果達到更優(yōu)，可以將小波變換（Wavelet Transform， WT）分別與Hue?Saturation?Intensity（HSI）變換和主成分分析（Principal Component Analysis，PCA）變換相結(jié)合并從灰度標準差、平均灰度梯度和熵等三個方面對多種融合方法獲得的圖像處理結(jié)果進行了對比評估，進而又對多傳感器圖像融合技術(shù)做了深入闡述，并給出了總結(jié)和展望。

1 多傳感器圖像融合的一般處理過程

多傳感器圖像融合可分為圖像預處理、圖像配準、圖像融合三個主要過程[7]。

1.1 圖像預處理

圖像預處理包括圖像歸一化（如灰度插值、灰度均衡）、圖像濾波、圖像色彩增強、圖像邊緣增強等。圖像歸一化的目的是為了實現(xiàn)圖像、分辨率、灰度等的歸一化；圖像濾波技術(shù)主要針對于高分辨率圖像，其目的是獲取高分辨率圖像的紋理信息；圖像色彩增強主要針對低分辨率圖像，其目的是增加圖像的色彩反差，在保持圖像原有光譜信息的基礎(chǔ)上使得圖像色彩比較明亮，把低分辨率圖像的光譜信息反映到圖像上；圖像邊緣增強主要是針對高分辨率圖像，其目的是在盡可能地降低圖像噪聲的同時使圖像層次分明、邊緣清晰[8]。

1.2 圖像配準

圖像配準是指將參與融合的圖像（可能來自不同的時間和空間）進行對應(yīng)，特別是進行幾何校正，最終獲得的效果一般體現(xiàn)在像素層上。圖像配準可通過坐標變換和仿射變換來實現(xiàn)，圖像配準可分為相對配準和絕對配準，還可以分為基于區(qū)域的配準和基于特征的配準。圖像配準的精度對圖像融合的效果影響較大，如果出現(xiàn)一個像素的空間誤差，融合結(jié)果就會出現(xiàn)重影，對融合圖像的質(zhì)量產(chǎn)生嚴重影響[9]。

1.3 圖像融合

對傳感器獲得的多幅圖像完成預處理和圖像配準后，便可進行圖像融合。圖像融合是指將關(guān)于同一目標獲得的多幅原始圖像經(jīng)過圖像處理和計算機技術(shù)等，最大限度地提取原始圖像中的有用信息，并將其融合成一幅新的圖像，從而獲得對被測目標的更可靠認識[10]。

1.3.1 多傳感器圖像融合的三個層次

多傳感器圖像融合方式按照層次由低到高可分為三個層次，像素級、特征級和決策級[11]。

（1） 像素級融合。像素級融合也常稱為數(shù)據(jù)級融合，屬于融合的最底層，其融合主要是在傳感器采集的原始數(shù)據(jù)上進行[12]。像素級圖像融合是目前常用的算法，應(yīng)用也最為廣泛。其優(yōu)點是數(shù)據(jù)損失量最少、精度相對最高，但是處理的數(shù)據(jù)量最大，抗干擾能力比較差，而且要求傳感器必須是同類的。

（2） 特征級融合。特征級融合屬于融合的中間層，它與像素級融合最明顯的差異是特征圖像融合在信息融合之前需要先對傳感器獲得的圖像信息進行特征提取，如提取圖像的輪廓邊緣、亮度較高區(qū)域等，然后再進行融合[13]。特征級融合優(yōu)點是有效地實現(xiàn)了信息壓縮，降低了通信帶寬要求，缺點是在提取過程中因丟失部分數(shù)據(jù)使得出的結(jié)果正確率降低。

（3） 決策級融合。決策級融合屬于融合的最頂層，它在完成特征提取后，先基于每個傳感器獲得的圖像得出一個初步的判定結(jié)果，再對各傳感器得出的初步結(jié)果進行關(guān)聯(lián)和進一步的融合，得出最終結(jié)果。決策級融合可以按照一定的準則或者是各個傳感器的可信度進行協(xié)調(diào)獲得全局最優(yōu)決策。決策級融合的優(yōu)點是具有很高的靈活性和容錯性而且傳輸帶寬要求比較低，有很高的實用性，缺點是精度在空間上和時間上都比較低。

1.3.2 三種融合方式的比較

三種融合方式各有自己的特點，實際應(yīng)用中可根據(jù)對精確度、計算量等的具體要求而選取融合方式[14]。表1給出了在數(shù)據(jù)級、特征級、決策級對三種融合方式的比較。

2.1 典型融合算法

上述三種融合方式各有不同的融合算法[15?16]，下面介紹其中比較常用的幾種典型算法：

（1） 加權(quán)平均法：對參與融合圖像的像素值選取一定的權(quán)值進行加權(quán)平均得到融合后圖像的像素值。以兩幅原始圖像[f1（x，y）]和[f2（x，y）]融合為例， 融合后獲得的圖像用[g（x，y）]表示，其基本原理為：

[g（x，y）=w1f1（x，y）+w2f2（x，y）] （1）

式中，[w1]和[w2]分別為對[f1（x，y）]和[f2（x，y）]的加權(quán)值。

加權(quán)平均法的優(yōu)點是方法簡單、計算量小。缺點是融合后的圖像視覺效果比較差而且常包含噪聲[6]。

（2） 貝葉斯法?；谪惾~斯條件概率公式，把多個傳感器的決策看作是樣本的子空間，設(shè)將樣本空間劃分為[A1]，[A2]，…，[An]，則對任一事件B，[PB>0]，依據(jù)貝葉斯公式：

[PAiB=P（A，B）P（B）=PBAiP（Ai）j=1nPBAjP（Aj）] （2）

式中：[PB]表示事件B發(fā)生的概率；[P（A，B）]表示事件A，B同時發(fā)生的概率；[P（AiB）]表示在事件B已發(fā)生的條件下，事件[Ai]發(fā)生的概率。通過計算，選擇可使系統(tǒng)具有最大后驗概率的決策作為最終決策，但它要求必須要遵循概率的可加性，當出現(xiàn)兩個相反的命題而且可信度都很小時，此法就不再適用。

（3） 證據(jù)推理法或D?S（Dempster?Shafer）理論。將傳感器獲取的信息作為證據(jù)，計算出各個傳感器的基本可信數(shù)、可信度函數(shù)和似真函數(shù)，再按照一定的合并規(guī)則，求所有傳感器的基本可信數(shù)、可信度函數(shù)和似真函數(shù)，最后遵循一定的決策規(guī)則，選擇具有最大支持度的目標[17]。證據(jù)推理法的優(yōu)點是不需要遵循可加性原則，滿足半可加性原則即可。存在的問題是不適用于處理沖突證據(jù)，因為組合規(guī)則中的歸一化過程會出現(xiàn)違背常理的理論。

（4） 金字塔融合法。主要利用多尺度表達，當圖像在兩個正交方向上的尺度均2倍變化時，圖像的尺寸將會以4倍變換，這時的多尺度表達將會變成金字塔結(jié)構(gòu)。其主要過程是將參與融合的圖像都作金字塔分解，在各層上將分解結(jié)果按照一定的規(guī)則進行融合，最后利用金字塔生成的逆過程重構(gòu)出原始圖像。這種方法的缺點是在圖像融合過程中容易引入噪聲。

（5） HSI（Hue?Saturation?Intensity）變換融合法。借助HSI變換進行圖像融合操作?；舅枷胧怯糜休^高空間分辨率的灰度圖像的亮度成分來代替HSI變換后得到的亮度分量，最后借助HSI反變換獲得融合圖像，融合后圖像的空間分辨率大大提高，但它只能同時對3個波段的影像進行融合，而且存在嚴重的光譜畸變現(xiàn)象[18]。

（6） PCA（Principal Component Analysis）變換融合法。以PCA（主分量分析）為基礎(chǔ)，選擇待融合圖像的多個波段進行PCA 變換，將單波段的高分辨率圖像經(jīng)過灰度拉伸使其與主成分變換后得到的第一主分量圖像灰度均值和方差一致。最后通過PCA反變換得到融合圖像。其優(yōu)點是可以較好地保留原始圖像的高空間分辨率和高光譜分辨率特征，融合后的圖像在細節(jié)特征方面清晰度也較高，缺點是分析的輸入圖像必須有兩個或兩個以上，而且圖像第一主分量中的有用信息部分損失，最終影響融合圖像的光譜分辨率[19]。

（7） 小波變換融合法：利用小波分解的各子圖像進行融合。小波變換的基礎(chǔ)是序列展開、縮放函數(shù)、小波函數(shù)，最后通過小波反變換得到融合圖像[15]。小波變換融合法可以比較容易地提取圖像的細節(jié)信息部分和結(jié)構(gòu)信息部分，其重構(gòu)能力比較完善，在分解的過程中可以盡可能地減少信息損失，同時降低冗余信息。而且，對表示光譜信息的多光譜圖像，小波變換融合方法可以很好地保留多光譜圖像的低頻信息，并把包含圖像細節(jié)信息的高頻部分加入全色圖像當中去[20]，視覺效果較好，缺點是容易出現(xiàn)分塊模糊現(xiàn)象[21]。表2給出了上述融合算法在三種融合方式中的歸屬。

2.2 融合方法的改進：多融合方法的結(jié)合

在單一型融合方法中，每一種融合方法有各自的優(yōu)點和缺點，為了達到更好的融合效果，可以考慮將單一融合方法結(jié)合起來使用。

（1） HSI變換與小波變換相結(jié)合（HSI+WT）。利用小波變換融合的圖像可以很好地保留多光譜圖像的光譜信息，但因為高空間分辨率圖像的低頻部分被舍棄，就會出現(xiàn)方塊效應(yīng)，對視覺效果會產(chǎn)生一定的影響[21]。HSI變換融合圖像的高頻信息非常豐富，但是光譜信息損失卻非常大[22]。因此，將小波變換融合方法與HSI變換融合方法結(jié)合起來可以實現(xiàn)優(yōu)勢互補，融合后的圖像不僅可以很好地保留多光譜圖像的光譜信息，而且視覺效果也較好。

（2） PCA變換與小波變換相結(jié)合（PCA+WT）。利用PCA變換融合法獲得的融合結(jié)果中原始圖像的第一主分量，一些反映光譜特性的信息量有損失，將小波變換與PCA變換相結(jié)合得到的融合圖像不僅清晰度較高而且可以較好地保留圖像第一主分量中的光譜信息。

2.3 融合方法性能比較

為了對圖像的融合結(jié)果進行客觀評價，一般要從灰度標準差、平均灰度梯度和熵等方面進行衡量[19]?；叶葮藴什罘从沉烁骰叶认鄬τ诨叶染档碾x散情況，主要是用來比較圖像反差的大小，灰度標準差越小，說明圖像的反差越小，圖像的整體色調(diào)也就比較單一，可以觀察到的信息也較少，反之亦然；平均灰度梯度與灰度標準差類似，也反映了圖像的反差，但其更多的是反映圖像局部的微小細節(jié)變化和紋理特征；熵是衡量一幅圖像中信息量豐富程度的指標，若融合圖像的熵比原始圖像的熵大，說明融合圖像比原始圖像的信息量有所增加，反之亦然[23]。

為了更好地對比分析，本文通過圖1～圖3比較了三種單一的信息融合方法與兩種結(jié)合型方法的灰度標準差、平均灰度梯度和熵[8]。

從圖中可以看出，小波變換的灰度標準差和平均灰度梯度最小，但是熵比較大；PCA變換的灰度標準差和平均灰度梯度較大但是熵最??；HSI變換的灰度標準差和平均灰度梯度比較大但是熵較小。HSI變換與小波變換相結(jié)合的融合方法與單一的HSI變換法相比，標準差基本上一樣，但是熵明顯的增加，與單一的小波變換相比，灰度標準差、平均灰度梯度和熵都有所增加，這說明采用HSI和小波變換相結(jié)合得到的融合圖像信息更加豐富，融合效果也要更好一些；PCA變換與小波變換相結(jié)合的融合方法與單一的PCA變換法相比，標準差相對變小，熵有明顯的增加，與單一的小波變換法相比較，平均灰度梯度和熵都有明顯的增加，這說明采用PCA變換與小波變換相結(jié)合得到的融合圖像中包含更加豐富的信息而且清晰度有所提高。一般而言，若對融合圖像的效果要求不是特別嚴格，根據(jù)要求選取適合的單一融合方法即可滿足需要，若要求融合后的圖像反應(yīng)圖像細節(jié)較多，就可以考慮采用PCA變換融合法；若要求融合后的圖像視覺效果較好且包含較多的信息量，就可以考慮采用小波變換融合法；若要求融合后圖像不僅視覺效果要好、含有較多的信息量而且對融合后圖像細節(jié)要求比較高，那么就可以考慮將小波變換與PCA變換相結(jié)合的圖像融合方法。

3 結(jié) 語

多傳感器圖像融合技術(shù)近年來得到了迅猛的發(fā)展，本文介紹了多傳感器圖像融合技術(shù)中的典型算法，并進行了分析比較，由于每種算法各有自己的優(yōu)缺點，對融合后圖像的效果要求也不盡相同，所以要根據(jù)實際情況選取最適合的算法[24]。對于像序列圖像的融合，就可以優(yōu)先考慮加權(quán)平均法，其不僅融合速度較快而且可以獲得較好的融合效果；可見光圖像和紅外圖像融合時，為獲得良好的融合效果，通常選用金字塔融合法[25]。近年來小波變換以其在時域、頻域的良好局部化特性在圖像融合中扮演者越來越重要的角色，通過選擇合適的融合規(guī)則及融合算法就可以得到較理想的融合效果。盡管多傳感器圖像融合技術(shù)在很多領(lǐng)域已取得重大成果，但仍然存在很多問題，如多傳感器系統(tǒng)的容錯性和穩(wěn)健性需要進一步的提高，多傳感器系統(tǒng)的設(shè)計也存在很多實際問題，還沒有形成完整的理論體系和有效的廣義算法和模型等，這些將成為多傳感器圖像融合今后研究的熱點。

參考文獻

[1] 陳立偉，蔣勇.圖像融合算法的綜合性能評價指標[J].計算機工程，2015（2）：219?223.

[2] LUO R C. Data fusion and sensor integration： state?of?art 1990s [C]// Proceedings of 1992 International Conference on Data Fusion in Robotics and Machine Intelligence. [S.l.： s.n.]， 1992： 127?135.

[3] 陳利霞，鄒寧，袁華，等.基于改進Contourlet變換的遙感圖像融合算法[J].計算機應(yīng)用，2015，35（7）：2015?2019.

[4] 葉傳奇.基于多尺度分解的多傳感器圖像融合算法研究[D].西安：西安電子科技大學，2009.

[5] 李永寧，游志勝，聶建蓀，等.一種分布式多雷達航跡數(shù)據(jù)融合系統(tǒng)[J].四川大學學報（自然科學版），2004，41（2）：305?309.

[6] 江澤濤，楊陽，郭川.基于提升小波變換的圖像融合改進算法的研究[J].圖像與信號處理，2015（4）：11?19.

[7] 郁文賢，雍少為，郭桂蓉.多傳感器信息融合技術(shù)述評[J].國防科技大學學報，1994（3）：1?11.

[8] 王璐.月球表面多光譜圖像融合及其應(yīng)用研究[D].南昌：南昌航空大學，2010.

[9] MITCHELL H B. Multi?sensor data fusion： an introduction [M]. Berlin： Springer Publishing Company， 2007.

[10] 賀文飛.像素級圖像融合技術(shù)研究[D].長沙：國防科技大學，2006.

[11] 章毓晉.圖像工程[M].3版.北京：清華大學出版社，2013.

[12] EGFIN NIRMALA D， VAIDEHI V. Comparison of pixel?level and feature level image fusion methods [C]// Proceedings of 2015 2nd International Conference on Computing for Sustainable Global Development. New Delhi： Bharati Vidyapeeth， 2015： 743?748.

[13] 楊晉偉.多光譜融合前端圖像實時降噪處理系統(tǒng)的研究[D].南京：南京理工大學，2009.

[14] 馬靜.網(wǎng)絡(luò)化控制系統(tǒng)的建模與融合估計[D].哈爾濱：黑龍江大學，2012.

[15] 張毅.基于亮度歸一化的人臉識別的研究及應(yīng)用[D].上海：復旦大學，2010.

[16] 袁張露.基于小波分析與偏微分方程的圖像去噪研究[D].杭州：浙江理工大學，2012.

[17] 楊武，尹迪，耿伯英.改進的證據(jù)組合算法編隊情報信息融合技術(shù)[J].火力與指揮控制，2008（5）：110?113.

[18] 牛曉暉.基于小波變換的圖像融合算法的研究與實現(xiàn)[D].北京：北京工業(yè)大學，2010.

[19] 王海松.圖像融合技術(shù)在圖像去噪中的應(yīng)用研究[D].上海：上海交通大學，2009.

[20] MANGALRAJ P， AGRAWAL R A. An efficient method based on wavelet for fusion of multi?sensor satellite images [C]// Proceedings of 2015 IEEE International Conference on Electrical， Computer and Communication Technologies. [S.l.]： IEEE， 2015： 1?6.

[21] 任金順.基于多小波變換的圖像融合研究與實現(xiàn)[D].西安：西安電子科技大學，2009.

[22] 楊璐菁，余華.多源信息融合理論與應(yīng)用[M].北京：北京郵電大學出版社，2006：1?20.

[23] 楊萬海.多傳感器數(shù)據(jù)融合及其應(yīng)用[M].西安：西安電子科技大學出版社，2004.

[24] KONG W W. Multi?sensor image fusion based on NSST domain I2CM [J]. Electronics letters， 2013， 49（19）： 802?803.

[25] 黃小丹.基于拉普拉斯金字塔變換的小波域圖像融合[J].電子科技，2014，27（6）：170?173.