李小軍，閆浩文，楊樹(shù)文，牛麗峰

(1.蘭州交通大學(xué) 測(cè)繪與地理信息學(xué)院，蘭州 730070；2.甘肅省地理國(guó)情監(jiān)測(cè)工程實(shí)驗(yàn)室，蘭州 730070)

0 引言

無(wú)人機(jī)技術(shù)的快速發(fā)展，使得無(wú)人機(jī)遙感影像的獲取更加快捷和方便。無(wú)人機(jī)航拍簡(jiǎn)便快捷，空域要求低，時(shí)效性更好，在工業(yè)和軍事領(lǐng)域均得到了廣泛應(yīng)用[1]。由于無(wú)人機(jī)一般在云層以下飛行，獲取的遙感影像分辨率更高，受遮擋影響更小。但小型無(wú)人機(jī)受載重限制，一般獲取的航拍影像缺乏多光譜信息，影響了后續(xù)遙感影像光譜分析與解譯。為此，需要采用多光譜融合技術(shù)，提高無(wú)人機(jī)航拍影像的光譜分辨率。

過(guò)去的20年間，多分辨率分析的融合方法作為有效解決多光譜融合問(wèn)題的主要手段之一獲得了大量學(xué)者的關(guān)注。多分辨率分析方法主要通過(guò)多分辨率分解提取高分辨影像的空間紋理細(xì)節(jié)信息，將其注入到低分辨多光譜影像中，獲取兼有空間分辨率和光譜分辨率的融合影像?？臻g細(xì)節(jié)信息的提取，主要包含降采樣小波變換[2]、非抽樣小波方法[3]、孔小波變換[4-5]、拉普拉斯金字塔方法[6]、輪廓波方法[7]、和曲小波方法[8]等。多分辨率分析方法在計(jì)算注射權(quán)重時(shí)，一般采用全局或局部的統(tǒng)計(jì)方法。其中，采用局部的統(tǒng)計(jì)方法明顯優(yōu)于全局的統(tǒng)計(jì)方法。但在對(duì)局部進(jìn)行聚類(lèi)統(tǒng)計(jì)時(shí)，學(xué)者大多采用固定的矩形框，而沒(méi)有考慮像素間的相關(guān)性，這將導(dǎo)致注入信息增益的方塊效應(yīng)，特別是高分影像的邊緣更易出現(xiàn)光譜扭曲。另外，由于多光譜影像和航片影像分辨率差異較大，單次的融合處理也難以直接對(duì)其進(jìn)行融合。

為此，本文提出了一種基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse-coupled neural network，PCNN)的遙感衛(wèi)星多光譜影像與無(wú)人機(jī)航拍影像融合算法。該算法通過(guò)二次融合方案逐級(jí)提高多光譜影像的分辨率，同時(shí)在融合中利用PCNN符合人眼視覺(jué)特性的非規(guī)則區(qū)域分割特性進(jìn)行注射權(quán)重的計(jì)算，最后將細(xì)節(jié)信息注入到多光譜影像獲得融合影像。實(shí)驗(yàn)結(jié)果表明，本方法在較好保持無(wú)人機(jī)遙感影像亞米級(jí)分辨率同時(shí)，獲得了多光譜影像的光譜信息。

1 PCNN遙感影像分割

PCNN最初是基于哺乳動(dòng)物視覺(jué)皮層神經(jīng)元脈沖發(fā)放現(xiàn)象建立的，它對(duì)圖像的理解符合人眼視覺(jué)特性。標(biāo)準(zhǔn)PCNN是一種由脈沖耦合神經(jīng)元橫向連接的反饋網(wǎng)絡(luò)。每個(gè)神經(jīng)元由3個(gè)部分組成，分別為接收輸入域、連接調(diào)制域及脈沖產(chǎn)生域[9]。其數(shù)學(xué)描述如下：

(1)

(2)

Uij[n]=Fij[n]1+βLij[n]

(3)

(4)

Eij[n+1]=e-αEEij[n]+VEYij[n]

(5)

PCNN模型應(yīng)用于遙感影像處理時(shí)，一個(gè)像素就是一個(gè)神經(jīng)元(i，j)，(k，l)是(i，j)鄰域神經(jīng)元。I為輸入的遙感影像。參數(shù)αF、αL和αE是時(shí)間常量，VF、VL和VE為標(biāo)準(zhǔn)化常量，β為連接權(quán)重，F(xiàn)和L分別為反饋輸入和連接輸入。當(dāng)內(nèi)部活動(dòng)項(xiàng)U大于活動(dòng)閾值E時(shí)，神經(jīng)元在當(dāng)前迭代n被激發(fā)，產(chǎn)生輸出脈沖Y。

遙感影像融合中，主要利用PCNN的分割特性。在這里，如果神經(jīng)元在第n次迭代中被激發(fā)，則將活動(dòng)閾值E相應(yīng)設(shè)為無(wú)窮大，以保證每個(gè)神經(jīng)元屬于唯一的分割區(qū)域。利用PCNN進(jìn)行遙感影像分割的部分分割結(jié)果如圖1所示，其中圖1(a)為原始輸入遙感圖像，圖1(b)～圖1(h)為不同迭代n下的分割結(jié)果。通過(guò)PCNN分割，整個(gè)遙感影像被分割為具有一定相關(guān)性的非規(guī)則區(qū)域。如圖2(a)所示為傳統(tǒng)進(jìn)行局部注射權(quán)重統(tǒng)計(jì)所采用的矩形區(qū)域統(tǒng)計(jì)方法，本文采用的非規(guī)則統(tǒng)計(jì)區(qū)域如圖2(b)和圖2(c)所示。顯而易見(jiàn)，非規(guī)則統(tǒng)計(jì)區(qū)域更容易統(tǒng)計(jì)到具有相似特征和鄰域關(guān)系的相關(guān)像素特征。

圖1 PCNN遙感影像分割示例

2 多光譜影像與無(wú)人機(jī)航拍影像融合算法

本文提出的衛(wèi)星多光譜影像和無(wú)人機(jī)航拍影像融合算法如圖3所示。算法具體執(zhí)行步驟如下：

圖3 本文算法流程示意圖

①對(duì)多光譜遙感影像采用三次非線(xiàn)性插值到全色分辨率，得到全色尺寸多光譜影像Imsk，其中k表示多光譜影像不同的光譜通道，K為光譜通道總數(shù)；

②對(duì)全色影像執(zhí)行“trous”小波分解，提取全色影像細(xì)節(jié)Psd[4]；

③對(duì)多光譜影像執(zhí)行PCNN神經(jīng)網(wǎng)絡(luò)，將其分割為非規(guī)則區(qū)域，進(jìn)行統(tǒng)計(jì)特征計(jì)算，并通過(guò)公式(6)計(jì)算增益權(quán)重Gk1；

④對(duì)全色分辨率的多光譜影像繼續(xù)進(jìn)行PCNN處理，獲得Y矩陣，并利用公式(6)計(jì)算增益權(quán)重Gk2；

⑤對(duì)航拍影像執(zhí)行HSV顏色空間變換，對(duì)其中的V分量執(zhí)行“à trous”小波分解，提取航拍影像細(xì)節(jié)Pud；

⑥根據(jù)公式(7)計(jì)算獲得具有航片亞米級(jí)分辨率的多光譜影像Ismsk。

(6)

Ismsk=Imsk+Gk1×Psd+Gk2×Pud， k=1，…，K

(7)

3 實(shí)驗(yàn)結(jié)果分析及評(píng)價(jià)

3.1 實(shí)驗(yàn)數(shù)據(jù)源

用于實(shí)驗(yàn)的無(wú)人機(jī)影像數(shù)據(jù)，是課題組采用八旋翼無(wú)人機(jī)攜帶航拍相機(jī)于2017年11月25日于蘭州交通大學(xué)八教廣場(chǎng)拍攝，采用的無(wú)人機(jī)如圖4所示，拍攝的八教廣場(chǎng)航拍影像如圖5(a)所示。無(wú)人機(jī)航拍影像的分辨率為0.2 m。多光譜和全色影像采集于高分二號(hào)遙感衛(wèi)星于2017年8月4日的成像結(jié)果。多光譜圖像具有藍(lán)色、綠色、紅色和近紅外4個(gè)波段。多光譜影像的分辨率為3.5 m，全色影像的分辨率為0.875 m。相應(yīng)的八教廣場(chǎng)全色影像和多光譜影像分別如圖5(b)和圖5(c)所示。

圖4 航拍無(wú)人機(jī)

圖5 遙感原始影像數(shù)據(jù)

3.2 PCNN參數(shù)設(shè)置

PCNN參數(shù)設(shè)置中除了αE參數(shù)采用1.9，VE設(shè)置為無(wú)窮大值，其他PCNN參數(shù)均采用經(jīng)典值[10]。其中，輸入遙感影像I歸一化到0～1之間。迭代次數(shù)初始值n=1。F=YF=YU=0，E=1。連接權(quán)重矩陣W和M為[0.5，1，0.5；1，0，1；0.5，1，0.5]。其余參數(shù)如表1所示。

表1 PCNN模型參數(shù)設(shè)置值

3.3 融合質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)主要采用通用的遙感影像融合評(píng)價(jià)指標(biāo)進(jìn)行定量評(píng)價(jià)，主要包括光譜扭曲度、空間信息失真度、光譜映射角和融合質(zhì)量評(píng)價(jià)索引4個(gè)指標(biāo)[11]。其中，光譜扭曲度是對(duì)融合后的遙感影像光譜失真的描述，其值越小融合效果越好；空間信息失真度描述融合影像與原始高分辨率影像紋理細(xì)節(jié)的相似性，同樣值越小融合效果越好；光譜映射角通過(guò)計(jì)算融合影像與多光譜影像的差異角來(lái)獲得光譜扭曲程度，其值越小融合效果越好；融合質(zhì)量評(píng)價(jià)索引是對(duì)融合影像光譜扭曲和空間細(xì)節(jié)保持的綜合評(píng)價(jià)，值越大融合質(zhì)量越好，融合質(zhì)量評(píng)價(jià)索引的最大值為1。公式(8)～公式(11)分別給出了4種指標(biāo)的數(shù)學(xué)描述[11]。其中，Dλ表示光譜扭曲度、Ds表示空間信息失真度、SAM表示光譜映射角、QR表示融合質(zhì)量評(píng)價(jià)索引。

(8)

(9)

(10)

QR=(1-Dλ)α(1-Ds)β

(11)

3.4 對(duì)比實(shí)驗(yàn)

為了評(píng)價(jià)本文算法的有效性，本節(jié)將本文算法與其他5種方法做了對(duì)比實(shí)驗(yàn)。包括基于形態(tài)學(xué)算子的融合算法(morphological operators based fusion method，MOF)[12]、基于小波分解的融合算法(additive à trous wavelet transform with unitary injection model，ATWT)[4]、GS(gram-schmidt)變換融合方法[13]、IHS分解的融合方法[14]及主成分分析(principal component analysis，PCA)融合方法[15]。對(duì)比算法中均采用2次融合的方法，即先將全色影像與多光譜影像融合，再將融合結(jié)果與無(wú)人機(jī)航片影像融合。圖6(a)為本文算法融合結(jié)果，圖6(b)～圖6(f)分別為對(duì)比算法融合結(jié)果。從主觀上觀察發(fā)現(xiàn)，相比圖5原始遙感影像，本文方法、MOF方法和ATWT方法光譜保持較好，紋理細(xì)節(jié)也獲得了較大提升，而Gram-Schmidt變換方法、IHS融合方法和PCA融合方法在紋理細(xì)節(jié)上得到了較好提升，但它們的光譜信息均發(fā)生較大扭曲，特別是大理石地面和廣場(chǎng)均出現(xiàn)不同程度的其他波段光譜成分，樹(shù)木的光譜也出現(xiàn)了較大失真。

圖6 對(duì)比結(jié)果圖

對(duì)幾種方法的融合定量指標(biāo)分析見(jiàn)表2所示。由表2可見(jiàn)，本文方法的融合結(jié)果在光譜扭曲度、空間信息失真度、光譜映射角和融合質(zhì)量評(píng)價(jià)索引等4個(gè)指標(biāo)均優(yōu)于其他方法。因此，本文融合方法所得的融合影像光譜失真更少、空間紋理信息更加豐富，驗(yàn)證了本文衛(wèi)星多光譜遙感影像與無(wú)人機(jī)航拍影像融合算法的有效性。

表2 定量對(duì)比評(píng)價(jià)結(jié)果

4 結(jié)束語(yǔ)

針對(duì)無(wú)人機(jī)航拍影像缺乏多光譜信息問(wèn)題，提出了一種基于PCNN模型的衛(wèi)星遙感多光譜影像與無(wú)人機(jī)航拍高分影像的融合算法。由于PCNN模型符合人眼視覺(jué)特性，將其引入遙感影像融合，獲得的融合影像光譜扭曲更小，空間紋理細(xì)節(jié)保持更好。通過(guò)采用高分二號(hào)遙感影像和無(wú)人機(jī)影像融合的對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性。