蔣寧 劉煒

（西藏民族大學(xué)信息工程學(xué)院，陜西 咸陽(yáng) 712082）

0 引言

早在上個(gè)世紀(jì)，國(guó)內(nèi)外的專(zhuān)家對(duì)影像融合進(jìn)行了數(shù)量多且高層次的的研究和實(shí)驗(yàn)。在目標(biāo)識(shí)別層上專(zhuān)家學(xué)者區(qū)分出了三個(gè)融合層次，分別為像素（Pixel based）［2］、特征級(jí)融合［3］（Feature based）和決策級(jí)融合［4］（Decision level）。在上述的三個(gè)層次中，當(dāng)前較為常用的影像融合方法是像素級(jí)融合。相對(duì)于比較其他層次，它能在融合過(guò)程中使其圖像的微小的信息保留的很好。本文在傳感器采集信息之后，將通過(guò)使用ENVI5.3 和MATLAB 軟件對(duì)較為常用的Brovey、PCA、Gram-Schmidt 和NNDiffuse 四種融合方式對(duì)拉薩某地區(qū)從Landsat 8_OLI（2021 年1 月28 日）衛(wèi)星上得到的遙感影像進(jìn)行融合處理，并對(duì)融合之后的效果進(jìn)行評(píng)價(jià)，從而將會(huì)找到最為理想的一種融合方法。理想的融合方法可以使圖像的質(zhì)量有質(zhì)的變化。

1 數(shù)據(jù)源與預(yù)處理

1.1 數(shù)據(jù)源

Landsat8 影像數(shù)據(jù)獲取時(shí)間為2021 年1 月28 日，在地理空間數(shù)據(jù)云的官網(wǎng)中就可以下載云的覆蓋率小于等于百分之一的影像，這樣就可以保證實(shí)驗(yàn)的合理性和真實(shí)性。Landsat8_OLI衛(wèi)星總共有11 波段，每個(gè)波段的波長(zhǎng)都不相同。其中第8波段是所要用到的質(zhì)量較高的波段，第4、3、2 波段為該影像的紅綠藍(lán)波段。在做圖像融合時(shí)，Brovey 會(huì)選擇較低分辨率的多光譜圖像的紅綠藍(lán)波段與第8波段的全色影像進(jìn)行融合，其它三個(gè)方法融合而是針對(duì)于具有7 個(gè)波段的影像與全色影像的融合。

其中作為實(shí)驗(yàn)地區(qū)的拉薩市，它位于中國(guó)的西南地區(qū)。處在西藏高原中部、北鄰喜馬拉雅山、東靠林芝、西接日喀則、南連山南，它是西藏自治區(qū)的中心城市。拉薩海拔高，太陽(yáng)光照時(shí)間充足，故有“日光城”之說(shuō)。

1.2 圖像預(yù)處理

圖像進(jìn)行融合通過(guò)ENVI 軟件對(duì)下載的Landsat8影像進(jìn)行裁剪和預(yù)處理。預(yù)處理的步驟如下，首先在ENVI 軟件中打開(kāi)下載的影像數(shù)據(jù)的MTL 文件，打開(kāi)MTL 文件可以顯示出所有波段。對(duì)MTL 文件和8 波段的全色圖像進(jìn)行相同大小的裁剪；然后對(duì)裁剪過(guò)的影像采用自動(dòng)設(shè)置參數(shù)的輻射定標(biāo)操作，為的使在大氣校正中有適合的數(shù)據(jù)類(lèi)型；之后就可以進(jìn)行大氣校正了，選擇適當(dāng)?shù)膮?shù)然后就可以應(yīng)用實(shí)現(xiàn)；把校正過(guò)的影像再進(jìn)行融合。這就是影像融合之前的準(zhǔn)備工作。之后把融合后的影像輸出格式為T(mén)IFF的影像格式，這樣會(huì)方便計(jì)算其評(píng)價(jià)指標(biāo)。經(jīng)過(guò)處理之后得到的低分辨率的彩色影像與全色Pan 影像如圖1所示。

2 研究方法

Brovey、PCA、GS 和NNDiffuse［5］融合方式是文章所需要用到的，原理簡(jiǎn)單介紹如：

2.1 Brovey融合

Brovey 融合就是使彩色的多光譜各個(gè)波段影像進(jìn)行歸一化的處理，然后再用具有乘積性的影像波段來(lái)計(jì)算全色影像從而達(dá)到增強(qiáng)影像信息的目的，所以Brovey融合也稱(chēng)為乘積變換法融合［6］。因?yàn)檫@種方法只有紅綠藍(lán)這幾個(gè)波段參與影像融合，所以會(huì)造成其光譜的扭曲變形?？偨Y(jié)如下，Brovey 變換融合的缺點(diǎn)是波譜失真較為嚴(yán)重，然后還會(huì)使彩色影像和Pan 融合后的圖像波譜范圍不均勻。Brovey 融合的優(yōu)勢(shì)在于能夠使融合前的彩色圖像的波譜內(nèi)容依然存在，也能使融合后的圖像的邊緣清晰度增大。并且在物體地物的劃分上會(huì)更加清楚，但是顏色的亮度在城市的居住區(qū)域，效果不是特別亮好。

2.2 PC Spectral

PC Spectral也稱(chēng)作銳化融合。它也是一種通過(guò)分辨率較低的多光譜影像的融合方法。它是一種偏線性的、多種維度的融合方式，可以通過(guò)多個(gè)波段進(jìn)行正交變換［7］而顯示出來(lái)。最開(kāi)始先將影像矩陣中的最大特征向量的求出來(lái)，作為第一主成分；其次為了防止波譜中的信息丟失，必須確保高分辨率的波段能夠匹配到第一個(gè)的主成分的分量，通常會(huì)使用ENVI軟件將高分辨率圖像進(jìn)行拉伸，其目的是為了使分辨率較好的波段替代第一主成分波段；最后，還需要把圖像進(jìn)行逆向變換，從而獲取到實(shí)驗(yàn)后的圖像。總結(jié)如下,PC Spectral 融合方法的優(yōu)勢(shì)能夠使全部的彩色波段參與到融合過(guò)程里；而PC Spectral 融合方法的缺點(diǎn)是它的主要融合方式中只能用彩色多光譜影像的首個(gè)成分被Pan 影像所取代來(lái)實(shí)現(xiàn)，因?yàn)樗氖讉€(gè)成分的信息值含量最大。而且是會(huì)導(dǎo)致PC Spectral 方法里多光譜的首個(gè)成的彩色信息的量變少。這是PC Spectral 融合算法里的最為重要的缺陷，該種方法僅僅基于數(shù)學(xué)計(jì)算的問(wèn)題處理，而沒(méi)有基于影像中每個(gè)波長(zhǎng)的特征。

2.3 Gram-Schmidt融合

Gram-Schmidt 融合變換就是在其變換的過(guò)程中使每個(gè)分量之間都能進(jìn)行正交［8］?？傮w來(lái)說(shuō)它的變換和PCA 變換有很大承程度相似的。它的相似表現(xiàn)為都是多維線性的的融合方式。為了使融合的兩幅影像具有相差較小的信息特征，首先需要把全色波段的影像通過(guò)多光譜影像的函數(shù)進(jìn)行模擬，或者把全色波段的影像縮小模糊到與多光譜影像等大小；把模擬過(guò)的全色影像像PCA變換一樣作為第一波段，準(zhǔn)備工作走完之后就可以進(jìn)行Gram-Schmidt 變換；總結(jié)如下：Gram-Scehmidt 的優(yōu)點(diǎn)在于它的融合過(guò)程不像是PC Spectral 融合方法的缺點(diǎn)一樣，PC Spectral 融合方法只能用彩色多光譜影像的首個(gè)成分被Pan影像所取代。而是它具有成分幾乎一樣的各個(gè)成分，這樣就會(huì)使彩色的光譜信息保持良好。它的第二種特征為融合前后的GS1（GS 變換融合的第一個(gè)分量）分量是相同的并且它的數(shù)值沒(méi)有發(fā)生改變的。

在試驗(yàn)中，耗能鋼棒是通過(guò)預(yù)埋鋼筋和預(yù)埋板焊接在一塊共同實(shí)現(xiàn)作用，在試驗(yàn)中構(gòu)件沒(méi)有發(fā)生扭轉(zhuǎn)，底部鋼板和反力架底梁之間幾乎沒(méi)有滑移，所以在有限元模型中，并未對(duì)預(yù)埋鋼板進(jìn)行建模，而是將墻板兩端各自的自由度分別耦合在一個(gè)點(diǎn)上，再通過(guò)固接的方式來(lái)處理，為了讓模型分析時(shí)更好收斂，把墻板側(cè)面均耦合到一個(gè)加載點(diǎn)上，從而保證模擬與試驗(yàn)情況相吻合。有限元分析加載制度與試驗(yàn)工況一致。

2.4 NNDiffuse融合

NNDiffuse 融合為了提高其處理性能采用了OpenMP 和CUDA 兩種技術(shù)，運(yùn)用這兩個(gè)技術(shù)并執(zhí)行矩陣乘法運(yùn)算；相較于以往的方法，使用的方法能使融合后影像能較好地保留色光譜信息［9］。并且在彩色影像融合質(zhì)量方面和對(duì)影像的處理速度方面都會(huì)有比較好的的結(jié)果。為了讓其融合的效果更好，需要使多光譜波段的波長(zhǎng)在區(qū)域內(nèi)不相交，高分辨率的Pan也就能夠全面的覆蓋住多光譜波段的全部的波長(zhǎng)范圍。本實(shí)驗(yàn)需要用到的Landsat-8 衛(wèi)星類(lèi)型的傳感器就可以被NNDiffuse 方法所支持。它的優(yōu)點(diǎn)是具備RPC 信息、多線程的計(jì)算還能提供API 接口。NN‐Diffuse 融合結(jié)果反映出其對(duì)光譜上的各種細(xì)節(jié)都可以有比較好的實(shí)現(xiàn)。

3 融合結(jié)果與質(zhì)量評(píng)價(jià)

3.1 融合結(jié)果

本次試驗(yàn)的數(shù)據(jù)是選用2021 年1 月28 日的Landsat8_OLI 遙感影像，通過(guò)ENVI 平臺(tái)進(jìn)行輻射定標(biāo)和大氣校正。選取融合的影像是波段分別為空間分辨率較低的彩色影像和較高分辨率的全色影像。融合得出的影像既具有較低分辨率的彩色特點(diǎn)，又具有高分辨率的特點(diǎn)。因?yàn)樗芯繉?shí)驗(yàn)的區(qū)域內(nèi)有道路、水體和山脈，所以本文采用波段為OLI4、3、2 的真彩色圖像進(jìn)行試驗(yàn)。Band4 為紅色波段既可用于城市中道路的觀察，又可以觀測(cè)不同種類(lèi)的植物和無(wú)植物的土壤；Band3 為綠色波可以分辨圖像里是否有植物；Band2藍(lán)色波段可用于水體穿透，能分辨出土壤和植被。

四種影像融合Brovey、PCA、Gram-Schmidt 和NNDiffuse融合結(jié)果如下所示：

3.2 定性評(píng)價(jià)

通過(guò)判斷圖2 中Landsat8 融合的圖像可知，上述幾種方法融合后都比原始的多光譜影像要清晰的多，細(xì)節(jié)的表現(xiàn)能力會(huì)有所提高，表現(xiàn)在其能使模糊的道路、水體和建筑物的輪廓比較準(zhǔn)確的分辨出來(lái)，也容易看出不相同的融合方式有不盡相同的呈現(xiàn)方式。從光譜特征方面來(lái)看，Brovey 融合因其亮度較低，因此不能清晰的區(qū)分影像上各種類(lèi)別的物體，Brovey 變換融合后整體會(huì)呈現(xiàn)出相對(duì)較暗的影像，從圖上很容易看出來(lái)其光譜扭曲嚴(yán)重，是因?yàn)锽T 融合在房屋建筑上得出的結(jié)果亮度會(huì)偏暗。但是也能從圖片上顯示它的保真度較好，相較于原始彩色影像物體種類(lèi)的劃分較為明顯。而GS、PCA 和NND 融合在光譜特征方面會(huì)比Brovey 融合在此實(shí)驗(yàn)地區(qū)內(nèi)會(huì)融合好的多。之后在光譜色調(diào)方面GS、PCA 和NND 三種融合方法會(huì)更靠近于原始影像，它們使光譜信息更好的保留。從圖2 總體來(lái)看，GS 融合和NDD 融合目視的效果是比較好一些的，PCA、Brovey融合結(jié)果會(huì)差一些。

3.3 定量評(píng)價(jià)

3.3.1 定量評(píng)價(jià)標(biāo)準(zhǔn)。本文進(jìn)一步研究選用平均值、標(biāo)準(zhǔn)差、信息熵、扭曲程度、平均梯度這5 個(gè)標(biāo)準(zhǔn)再予以評(píng)價(jià)。

圖像的平均亮度是均值評(píng)價(jià)方法的重要指標(biāo)，均值評(píng)價(jià)方法也常被稱(chēng)作灰度平均值［10］。其評(píng)價(jià)標(biāo)準(zhǔn)為均值的大小，均值的值增加則表示該圖像的亮度較好，融合的結(jié)果也是不錯(cuò)的。反之均值的值減少則表示該圖像的亮度較為不理想，融合的結(jié)果也是差一些的。

圖像的灰度離散的程度是標(biāo)準(zhǔn)差［11］的重要標(biāo)準(zhǔn)，其評(píng)價(jià)標(biāo)準(zhǔn)為標(biāo)準(zhǔn)差的偏差大小。隨著標(biāo)準(zhǔn)差的變大，灰度圖像越分布的離散，圖像的像素相對(duì)來(lái)講越高，眼睛所看到的結(jié)果是較為滿意的。反之，標(biāo)準(zhǔn)差值得變小，灰度圖像離散程度較弱，其目視效果較差。

圖像的清晰程度是衡量平均梯度［12］是的關(guān)鍵參數(shù)，通俗的講它能清楚的反映圖像的紋理的細(xì)致程度。隨著平均梯度的變大，就能得出其融合后的圖像清晰程度越好。圖像的清晰程度越好則能表現(xiàn)出圖像的質(zhì)量?jī)?yōu)秀。

信息熵［13］是融合的常用指標(biāo)。它也被叫做香農(nóng)熵。熵的主要功能是評(píng)價(jià)一幅影像所含平均信息量多少。融合后影像的信息熵越大，其所蘊(yùn)藏的相關(guān)信息越豐富，融合效果就會(huì)越好。信息熵越小所得出的信息就稍顯匱乏。信息熵能表現(xiàn)出來(lái)影像灰度圖像的聚集的性質(zhì)，二維熵能表現(xiàn)出起空間分布特征。

3.3.2 定量評(píng)價(jià)結(jié)果。在進(jìn)行定量評(píng)價(jià)的過(guò)程中，需要用到Matlab 軟件。在進(jìn)行有參照物的評(píng)價(jià)結(jié)果中，融合前后的維度會(huì)不一樣，這時(shí)候就需到用到imwrite()函數(shù)的方法來(lái)對(duì)圖像進(jìn)行處理，才能對(duì)融合后的影像進(jìn)行評(píng)價(jià)，否則就會(huì)因?yàn)榫S度不匹配而無(wú)法運(yùn)行程序。這是總結(jié)運(yùn)行評(píng)價(jià)指標(biāo)的過(guò)程中Matlab 軟件所遇到的問(wèn)題。當(dāng)然這個(gè)問(wèn)題也可以在ENVI 軟件中選擇右側(cè)工具欄中的Resize 方法將圖片重新確定維度大小。

解決上述問(wèn)題并進(jìn)行定量評(píng)價(jià)的結(jié)果如表1所示：

表1 定量評(píng)價(jià)結(jié)果

其中Mul，Pan 分別為原來(lái)的多光譜彩色影像和全色影像，GS、NDD、PCA 與BT 分別為以上四種融合方式的縮寫(xiě)。

根據(jù)表1 所顯示的結(jié)果，NDD 的影像平均數(shù)值為109.3267，在這幾種方法里面都是最大的，說(shuō)明了NDD算法有相對(duì)于其他幾種具有比較好的亮度，其眼睛所目視的效果是比較好的并且和之前定性的評(píng)價(jià)保持一致；而B(niǎo)T 的灰度平均是36.5001，相比于其他四種效果都是較差的，BT 之所以比較差是因?yàn)樗挥腥齻€(gè)波段進(jìn)行融合，也是因?yàn)閷?shí)驗(yàn)地區(qū)是房屋建筑較多區(qū)域的緣故，所以從圖片上看亮度也是比較暗的；還有GS 的均值和NDD 融合差不了太多，PCA 次之。對(duì)于標(biāo)準(zhǔn)差來(lái)說(shuō)，NDD 和GS標(biāo)準(zhǔn)差比較接近，都在五十五以上，這就意味著如果圖像的反差對(duì)比大一點(diǎn)，而且灰度級(jí)數(shù)分散，那么就可以得到更多的紋理信息了；BT 算法的標(biāo)準(zhǔn)差很小，值是20.2505，說(shuō)明了影像的對(duì)比反差小了一些，而且灰度級(jí)數(shù)也不是非常的離散的，所以紋理信息就比較小，但由于是標(biāo)準(zhǔn)比值法所以整個(gè)圖象就比較簡(jiǎn)單；PCA 的標(biāo)準(zhǔn)差就比NDD 差了有百分之四，但是效果也會(huì)比BT 好一些。對(duì)于信息熵來(lái)說(shuō)，NDD 算法數(shù)值7.6114，在這四種融合中也是最好的。GS 融合與PCA 融合次之，其熵分別為7.6084 和7.5252。信息熵越大表明圖中的信息就越多；從平均梯度這個(gè)定量評(píng)價(jià)來(lái)看，Brovey 平均梯度數(shù)值為0.0621，而NDD 的平均梯度數(shù)據(jù)為0.1725，依然是最好的，這就表示其細(xì)節(jié)是較好的。從光譜的扭曲程度可以知道NDD與GS的扭曲程度與全色影像相差不大，雖然與原本的彩色圖像相比數(shù)值大，但是整體效果會(huì)更好。通過(guò)這幾種的客觀評(píng)價(jià)中可以知道GS和NDD融合在拉薩的該實(shí)驗(yàn)地區(qū)的效果是較為理想的。雖然每個(gè)參數(shù)只有不到1 的差別，但是NDD融合的結(jié)果會(huì)比GS融合的結(jié)果更好。

4 結(jié)論

影像融合技術(shù)是一種基于多傳感器的成像技術(shù)。它主要包括對(duì)同一場(chǎng)景中的各種傳感器獲得的圖像數(shù)據(jù)信息進(jìn)行有明顯成果的空間匹配。并以此為基礎(chǔ)，實(shí)現(xiàn)了各種圖像數(shù)據(jù)的優(yōu)勢(shì)。并且可以把這些優(yōu)勢(shì)變?yōu)檫@些數(shù)據(jù)信息的有效信息，將其轉(zhuǎn)化為新穎的、效果更好的信息。

對(duì)以上定性與定量的評(píng)價(jià)結(jié)果進(jìn)行總結(jié)可以知道，BT 變換在該區(qū)域的融合效果沒(méi)有特別理想，相比其他三種的融合效果較差，其具有嚴(yán)重的光譜失真，信息量沒(méi)有特別的豐富。是因?yàn)锽T 融合的結(jié)果在房屋建筑上亮度是相對(duì)來(lái)說(shuō)是較暗的。所以BT 的融合方法在此實(shí)驗(yàn)的區(qū)域融合效果不佳。而在GS 和PCA中融合效果相比較BT 變換而言會(huì)好的很多，各種信息會(huì)比之前都要好。最為理想的就是NNDiffuse 融合，它在綜合了目視和客觀的評(píng)價(jià)標(biāo)準(zhǔn)之后，對(duì)于該實(shí)驗(yàn)區(qū)來(lái)說(shuō)結(jié)果是較為不錯(cuò)的。NNDiffuse 融合之后的影像能最大程度的區(qū)分地類(lèi)范圍，并且圖像信息和空間細(xì)節(jié)也會(huì)更豐富，各個(gè)方面比融合之前的多光譜圖像要好。

因此，對(duì)于Landsat8-OLI 衛(wèi)星所獲取的拉薩這一區(qū)域的融合影像通過(guò)分析，得出來(lái)了下面的結(jié)果：NNDiffuse融合相較于Brovey、PCA和Gram-Schmidt這三種融合成果來(lái)說(shuō)是最為好的。所以在拉薩的這個(gè)區(qū)域它能達(dá)到更好的融合結(jié)果。也表明了不一樣的融合方式、衛(wèi)星類(lèi)型和實(shí)驗(yàn)地域都會(huì)對(duì)融合的結(jié)果產(chǎn)生差異影像。