劉志明

(湖北第二師范學(xué)院計(jì)算機(jī)學(xué)院，湖北 武漢 430205)

1.引言

近年來(lái)，隨著軟硬件技術(shù)的發(fā)展及人類社會(huì)生產(chǎn)的發(fā)展，數(shù)字圖像融合在技術(shù)、算法、應(yīng)用等領(lǐng)域都有了較大的變化，多源、多維、多尺度、多時(shí)空、復(fù)雜環(huán)境等方面的因素及某些應(yīng)用要求更高的處理效率催生了新的處理技術(shù)，如并行處理技術(shù)、計(jì)算智能的仿生學(xué)、固件化專業(yè)處理設(shè)備等。

在深入討論之前，先對(duì)數(shù)字圖像融合作簡(jiǎn)要介紹。數(shù)字圖像融合是將2個(gè)或2個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或者圖像序列信息加以綜合，生成一個(gè)新的有關(guān)此場(chǎng)景的解釋，而這個(gè)場(chǎng)景是從單一傳感器獲取的信息中無(wú)法得到的[1，2，3]。數(shù)字圖像融合的目的是減少不確定性。上述定義在現(xiàn)代得到進(jìn)一步加強(qiáng)，從單一場(chǎng)景到多場(chǎng)景，從靜態(tài)到動(dòng)態(tài)。數(shù)字圖像融合技術(shù)廣泛應(yīng)用于遙感影像處理、圖像分析、機(jī)器視覺(jué)等領(lǐng)域。

數(shù)字圖像融合的作用主要有：隱寫(xiě)加密[4，5]、去噪[6]、圖像增強(qiáng)[7，8]、特征提取[9]、目標(biāo)識(shí)別與跟蹤[10]、三維重構(gòu)[11]等方面。

2.數(shù)字圖像融合技術(shù)動(dòng)向

鑒于數(shù)字圖像融合的不同數(shù)據(jù)基礎(chǔ)及不同應(yīng)用目的，可對(duì)其進(jìn)行簡(jiǎn)單的層次劃分：信號(hào)、像素、特征、決策。

在信號(hào)級(jí)數(shù)字圖像融合研究方面，技術(shù)相對(duì)成熟，主要從處理效率方面有較大的改進(jìn)，逐步從通用到專用，從軟件到固件，針對(duì)特定領(lǐng)域應(yīng)用的專用數(shù)字圖像融合預(yù)處理設(shè)備表現(xiàn)出更好的性能。

像素級(jí)數(shù)字圖像融合有著較廣泛的應(yīng)用需求，多源多尺度多時(shí)空遙感影像融合、圖像拼接、隱寫(xiě)加密等多方面的應(yīng)用需求，促使新技術(shù)的不斷引入。首先，在遙感影像處理方面，由于多源多尺度多時(shí)空高光譜遙感影像海量數(shù)據(jù)的廣泛應(yīng)用，超光譜圖像壓縮算法、多視角圖像配準(zhǔn)技術(shù)、多分辨小波變換、并行圖像處理技術(shù)被深度引入，同時(shí)也促進(jìn)了海量數(shù)據(jù)的存取和檢索技術(shù)的發(fā)展。其次，在圖像拼接方面，要將具有重疊區(qū)域的多幅數(shù)字圖像或多幀視頻圖像通過(guò)數(shù)字配準(zhǔn)和融合，獲得單幅寬視場(chǎng)圖像或動(dòng)態(tài)全景圖，需要處理圖像間平移、縮放、旋轉(zhuǎn)等多種幾何失真及色度亮度不一致、部分模糊、圖像拍攝視點(diǎn)差異、場(chǎng)景中的運(yùn)動(dòng)物體等?；趨^(qū)域的拼接算法主要有基于空間的像素匹配算法及基于頻域的拼接算法。另外，在數(shù)字隱寫(xiě)方面，較有代表性的空域LSB隱寫(xiě)算法和頻域JPEG圖像隱寫(xiě)算法及相應(yīng)的隱寫(xiě)分析算法研究方面都有了較大的發(fā)展，Jpeg-steg、F5等算法在隱藏圖像的抗視覺(jué)懷疑性、隱藏信息的抗檢測(cè)性、魯棒性、防容量估計(jì)性等方面都有較好的表現(xiàn)。

特征級(jí)數(shù)字圖像融合屬于中間層次，處理過(guò)程可歸結(jié)為：對(duì)來(lái)自不同傳感器或相同傳感器不同時(shí)段獲取的原始信息進(jìn)行特征提取，再對(duì)提取的多個(gè)特征信息進(jìn)行綜合分析和處理，以獲取目標(biāo)狀態(tài)融合數(shù)據(jù)或目標(biāo)特性融合數(shù)據(jù)。特征提取基于圖像分析，在圖像分割、目標(biāo)表達(dá)和描述、紋理分析、形狀分析及運(yùn)動(dòng)分析等方面都存在較大的發(fā)展空間。在軍事應(yīng)用中主要用于軍事目標(biāo)的檢測(cè)、定位、跟蹤和識(shí)別，民用則非常廣泛，如工業(yè)生產(chǎn)中的故障檢測(cè)、天氣變化、農(nóng)作物分布及收成、OCR(Optical Character Recognition)、人的身份識(shí)別、交通監(jiān)管、遠(yuǎn)程診斷、礦產(chǎn)資源調(diào)查、城市熱島效應(yīng)分析等。在特征級(jí)數(shù)字圖像融合技術(shù)方面，大量引入的統(tǒng)計(jì)學(xué)習(xí)算法及仿生算法使得特征級(jí)數(shù)字圖像融合技術(shù)成果非常豐富：貝葉斯估計(jì)、信息熵、表決、加權(quán)平均、聚類分析、支持向量機(jī)[15]、模糊邏輯[16]、神經(jīng)網(wǎng)絡(luò)[17]、微粒群算法[18]等方法。

決策級(jí)數(shù)字圖像融合必須和具體的應(yīng)用相結(jié)合，層次最高，數(shù)據(jù)量最小，在決策知識(shí)表達(dá)方面還需進(jìn)一步研究。

3.數(shù)字圖像融合研究熱點(diǎn)及問(wèn)題

在軍事領(lǐng)域，IR ATR（Infrared imaging automatic target recognition）、基于二維成像聲納的水下運(yùn)動(dòng)目標(biāo)三維運(yùn)動(dòng)軌跡測(cè)量、動(dòng)態(tài)目標(biāo)跟蹤、水下自主機(jī)器人(ROV)及多目標(biāo)定位技術(shù)等為主要研究熱點(diǎn)。

IR ATR在精確武器系統(tǒng)有著廣泛的應(yīng)用，要求工作幀頻高、信號(hào)動(dòng)態(tài)范圍大、實(shí)時(shí)性強(qiáng)、處理精度高和具有高度的靈活性，但紅外成像圖像細(xì)節(jié)模糊不清、傳輸過(guò)程中易受到噪聲的污染，嚴(yán)重影響后續(xù)目標(biāo)檢測(cè)、匹配的精度，另外，其復(fù)雜背景低、信噪比小、目標(biāo)還容易受到虛假目標(biāo)及隨機(jī)干擾的影響，還存在進(jìn)一步研究的必要。

水下運(yùn)動(dòng)目標(biāo)三維運(yùn)動(dòng)軌跡測(cè)量有內(nèi)測(cè)和外測(cè)兩種方法，內(nèi)測(cè)是在運(yùn)動(dòng)目標(biāo)自身內(nèi)部安裝速度、姿態(tài)等相關(guān)傳感器來(lái)感知運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)過(guò)程中的狀態(tài)信息，可同步提取并處理，但對(duì)敵方移動(dòng)軍事目標(biāo)大多只能采用外測(cè)，以光學(xué)和聲學(xué)成像系統(tǒng)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行軌跡測(cè)量?；诠鈱W(xué)的測(cè)量設(shè)備的測(cè)量效果受環(huán)境影響較大，特別是水體的渾濁度，主動(dòng)高分辨成像聲納能較好地解決惡劣環(huán)境的負(fù)面影響。高分辨的三維成像聲納實(shí)現(xiàn)的技術(shù)環(huán)境不成熟，多部二維高分辨聲納成像是現(xiàn)階段采用較多的技術(shù)，實(shí)時(shí)高速處理二維高分辨聲納圖像、超分辨率重建及相關(guān)的水下多目標(biāo)定位、ROV等都是有待于今后進(jìn)一步深入研究的問(wèn)題。

在醫(yī)學(xué)領(lǐng)域，腦部磁共振成像 (Magnetic Resonance Imaging，MRI)與單光子發(fā)射計(jì)算機(jī)斷層成像(Single Photon Em ission Computed Tomography，SPECT)的融合、CT圖像分析、人體病理部位的三維重建在輔助醫(yī)學(xué)診斷及治療過(guò)程中的應(yīng)用日益廣泛和深入。在預(yù)處理、配準(zhǔn)、特征提取、融合過(guò)程中所使用的算法對(duì)其它領(lǐng)域的應(yīng)用也具有借鑒價(jià)值。另外，基于ITK和VTK的二次開(kāi)發(fā)使得醫(yī)學(xué)圖像分割、三維重建更加方便快捷。近幾年在中醫(yī)辨證和人體體表特征的相關(guān)性研究也逐步深入，但離臨床應(yīng)用還存在一定的距離。

在工農(nóng)業(yè)生產(chǎn)領(lǐng)域，水下及特殊環(huán)境下的自主機(jī)器人視覺(jué)是代表數(shù)字圖像融合技術(shù)應(yīng)用的前沿方向之一，與軍事領(lǐng)域應(yīng)用研究部分重疊，值得進(jìn)一步關(guān)注。此外，ICT(Industrial Computed Tomography)無(wú)損檢測(cè)技術(shù)通過(guò)射線掃描物體獲得投影數(shù)據(jù)，進(jìn)一步重建物體斷面圖像和體數(shù)據(jù)，較適合分析復(fù)雜封閉的檢測(cè)對(duì)象，關(guān)鍵問(wèn)題是特征提取，MSG（Multiscale Geometric Analysis）是繼小波分析之后對(duì)高維數(shù)據(jù)進(jìn)行有效分析的工具，工業(yè)CT體數(shù)據(jù)面特征的提取包括兩種思路：一種是先將CT體數(shù)據(jù)按某個(gè)方向進(jìn)行切片劃分，再對(duì)每張切片進(jìn)行線特征的提取，最后由線特征堆砌出面特征；另一種是直接對(duì)CT體數(shù)據(jù)進(jìn)行面特征的提取，這方面存在的主要問(wèn)題是找到合適的方式描述工業(yè)CT體數(shù)據(jù)面特征。其它工業(yè)應(yīng)用如工業(yè)流水線監(jiān)控過(guò)程的連續(xù)幀圖像分析、故障診斷等方面的研究則異彩紛呈，由于其分析與故障表征模型的專用性，在數(shù)據(jù)預(yù)處理、分析、特征提取等階段所采取的處理方式也各不相同，但努力的方向都是一樣的：準(zhǔn)確、實(shí)時(shí)，在這方面也還存在期待解決的問(wèn)題：能否構(gòu)建通用的特征表示模型，算法是否有并行的解決方案等。在農(nóng)業(yè)生產(chǎn)方面，多源多時(shí)空多尺度遙感影像融合技術(shù)在農(nóng)作物長(zhǎng)勢(shì)分析、收成預(yù)測(cè)、水土保持、病蟲(chóng)害信息提取等方面都有豐富的研究成果，隨著超光譜遙感影像數(shù)據(jù)的廣泛使用所產(chǎn)生的海量數(shù)據(jù)處理技術(shù)應(yīng)用需求更加迫切。超光譜數(shù)據(jù)壓縮、特征提取、并行計(jì)算、海量數(shù)據(jù)存取及檢索方法方面還有較多的改進(jìn)空間。

其它領(lǐng)域應(yīng)用如電力設(shè)施在線監(jiān)控、交通監(jiān)控、礦業(yè)資源及林業(yè)資源調(diào)查、礦體三維可視化、礦區(qū)環(huán)境監(jiān)測(cè)、礦區(qū)開(kāi)發(fā)現(xiàn)狀動(dòng)態(tài)監(jiān)測(cè)、地質(zhì)災(zāi)害監(jiān)測(cè)及危險(xiǎn)性評(píng)價(jià)也都是近年來(lái)的研究熱點(diǎn)。

4.數(shù)字圖像融合算法

數(shù)字圖像融合算法種類繁多，在信號(hào)級(jí)、像素級(jí)、特征級(jí)及決策級(jí)圖像融合過(guò)程中都有著豐富的研究成果，本文僅就其中關(guān)鍵過(guò)程做簡(jiǎn)要評(píng)述。

先討論洗配準(zhǔn)問(wèn)題，像素級(jí)圖像融合的四個(gè)步驟：預(yù)處理、變換、綜合及反變換（也即是重構(gòu)圖像）。在預(yù)處理階段中的配準(zhǔn)處理算法SIFT及SURF都有著較強(qiáng)的匹配能力，可以處理兩幅圖像之間發(fā)生的平移、旋轉(zhuǎn)、放射變換情況下的匹配問(wèn)題，但在多模態(tài)遙感影像配準(zhǔn)中特征匹配正確率極低，如何有效地引入邊緣、輪廓信息提高匹配正確率及速度期待解決。像素級(jí)數(shù)字圖像融合方法從PCA、IHS到金字塔算法、多分辨小波變換方法，到現(xiàn)階段智能算法的深度引入，如 KBNNF（know ledge-based neural network fusion）、SVM、PSO、模擬退火算法等，目的是盡可能利用多源多時(shí)空影像中提取的特征進(jìn)行配準(zhǔn)，減少配準(zhǔn)過(guò)程中的人工交互干預(yù)。

其次在去噪過(guò)程中，基于小波變換的去噪方法被廣泛應(yīng)用。此外，由于Bandelet變換它能對(duì)圖像局部方向進(jìn)行最優(yōu)逼近，可選擇效果較好的半軟閾值函數(shù)。還有Directionlet基函數(shù)的方向與圖像中各向異性目標(biāo)匹配時(shí)，對(duì)圖像的逼近效果較好，不匹配時(shí)則退化為小波，逼近效果很差，可通過(guò)自適應(yīng)地尋找圖像的主要方向，構(gòu)造Directionlet變換的采樣矩陣，使Directionlet的變換方向和隊(duì)列方向盡量與圖像的主要方向一致，能夠自適應(yīng)地捕捉圖像中的各向異性特征。隨著多分辨率概念的提出及Contourlet變換的發(fā)展，可對(duì)目標(biāo)多個(gè)極化強(qiáng)度圖像分別利用Contourlet變換進(jìn)行多尺度、多方向分解，從而得到含有低頻系數(shù)的子圖和一系列具有不同分辨率和不同方向的高頻系數(shù)的子圖，再為每個(gè)方向的高頻子帶系數(shù)進(jìn)行區(qū)域差異信息的測(cè)量，最后對(duì)得到的融合系數(shù)進(jìn)行Contourlet逆變換，重構(gòu)圖像。

最后就模糊圖像融合、仿生計(jì)算及并行圖像處理做簡(jiǎn)要評(píng)價(jià)。在數(shù)字圖像融合的智能融合算法中引入模糊集合、模糊關(guān)系及模糊邏輯和推理，便產(chǎn)生了相應(yīng)的模糊圖像融合智能算法：模糊聚類、模糊模式識(shí)別、模糊神經(jīng)網(wǎng)絡(luò)、模糊專家系統(tǒng)、模糊綜合評(píng)判、模糊決策等。另外，由于計(jì)算智能中的仿生學(xué)發(fā)展迅猛，仿生過(guò)程算法（模擬進(jìn)化計(jì)算、遺傳算法）、仿生結(jié)構(gòu)算法（人工神經(jīng)網(wǎng)絡(luò)）、仿生行為算法（Fuzzy邏輯與Fuzzy推理）在圖像融合中應(yīng)用日益廣泛和深入。而并行圖像處理技術(shù)則主要應(yīng)實(shí)時(shí)圖像分析的需要而發(fā)展的，也必將更深遠(yuǎn)地影響數(shù)字圖像處理及應(yīng)用的深度和廣度。

5.總結(jié)

數(shù)字圖像融合技術(shù)及其應(yīng)用涵蓋的內(nèi)容較多，本文只就其中主要的技術(shù)和關(guān)鍵的應(yīng)用做出分析和評(píng)價(jià)，代表著數(shù)字圖像融合技術(shù)的發(fā)展前沿，也希望在未來(lái)的工作中在某些方面有所超越。

[1]覃征，鮑復(fù)民等.數(shù)字圖像融合[M].西安：西安交通大學(xué)出版社，2004.

[2]M aiter H，Bloch I.Image Fusion.Vistas in Astronomy，1997，41(3)：329-335.

[3]Taxt T，Solberg A H S.Information Fusion in Remote Sensing.Vistas in Astronomy，1997，41(3)：337-342.

[4]Moulin P.The Role of Information Theory in Watermarking and its Application to Image Watermarking.SignalProcessing，2001，81：1121-1139

[5]Ettinger j.Steganalysis，Game Equilibria.Information Hiding.Lecture Notes in Computer Science，1525.Springer-Verlag，1998：319-328.

[6]Liu Dan-Dan，Tang Chun-Rui，Detail enhance FRIT de-noisy method based on energy delamination.1st International Congress on Image and Signal Processing，CISP 2008.PP357-361.

[7]Kuan Shen，YumeiWen，Yufang Cai.Efficient x-ray image enhancement algorithm using image fusion[J]，Journal of X-RAY Science and Technology，2009，17(3)：207-221.

[8]CaiW L，Chen SC，Zhang DQ.Fastand robust fuzzy c-means cluster algorithms incorporating local information for image enhance-mentation.Pattern Recognition，2007，40(3)：825-833.

[9]F.A.Andalo，P.A.V.Miranda，R.Da S.Torres，A.X.Falcao.Shape feature extraction and description based on tensor scale[J].Pattern Recognition.Volume 43，Issue 1，2010.1：26-36.

[10]Yong Deng，X iaoyan Su，Dong Wang，Q i Li.Target recognition based on fuzzy dempster data fusion method.Defence Science Journal.2010，Vol60，No 5.

[11]N ina Jahrling，KlausBecker，Cornelia Schonbauer，F(xiàn)rank Schnorrer，Hans-U lrich Dodt.Three-Dimensional Reconstruction and Segmentation of IntactDrosophilaby U ltram icroscopy.Front SystNuerosci.2010.4.

[12]Hill.P.R，Bull.D.R，Canagarajah.C.N.Image fusion using a new framework for complex wavelet transforms[C].IEEEConference on Image Processing.Italy：Genova，2005，2：1338.

[13]章毓晉.圖像工程（中冊(cè)）圖像分析[M].北京：清華大學(xué)出版社，2005.

[14]Braunl，T.等.并行圖像處理[M].李俊山等譯.西安：西安交通大學(xué)出版社，2003.

[15]Zheng Sheng，ShiWenzhong，Liu Jianguo，Tian Jin Wen.Remote Sensing Image Fusion Using Multiscal Mapped LS-SVM.Transactions on Geoscience&Remote Sensing.Volume 46，Issue 5，2008.5.Pages：1313-1322.

[16]Singh，Harpreet Reet，Raj，Jyoti，Karu Gulsheen，Meitzler Thomas J.Image fusion using fuzzy logic and applications.Fuzzy Systems.Volume：1，2004.Pages：337-340.

[17]W eiHuang，Zhongliang Jing.Multi-focus image fusion using pulse coupled neuralnetwork.Pattern Recognition Letters.Volume 28，Issue 9，1 July 2007，Pages：1123～1132.

[18]N iu，Yi-feng.Shen，Lin-Cheng.The Optimal Multi-objective Optim ization Using PSO in Blind Color Image Fusion.Multimedia and U-biquitousEngineering.2007.8.Page(s)：970-975.

[19]王新洲，史文中，王樹(shù)良.模糊空間信息處理[M].武漢：武漢大學(xué)出版社.2003.

[20]Jiaqian Yu，Haibin Duan.Artificial Bee Colony approach to information granulation-based fuzzy radialbasis function neuralnetworks for image fusion.Optik-International Journal for Lightand Electron Optics，2012.