易嘉聞,李 希,歐陽爾,李 彬,吳健輝,趙 林

(湖南理工學(xué)院 信息科學(xué)與工程學(xué)院,湖南 岳陽 414006;湖南理工學(xué)院 機(jī)器視覺及人工智能研究中心,湖南 岳陽 414006)

0 引言

隨著地球觀測技術(shù)的不斷發(fā)展,高光譜圖像(HSI)的應(yīng)用領(lǐng)域越來越廣泛,包括城市測繪、森林監(jiān)測、環(huán)境管理、精準(zhǔn)農(nóng)業(yè)等[1,2].HSI的主要優(yōu)點(diǎn)在于其高維數(shù)的光譜數(shù)據(jù),具有數(shù)百個準(zhǔn)連續(xù)的波段,光譜特征可反映有關(guān)觀測材料的相關(guān)信息,這些信息對于分類任務(wù)非常有用.然而,HSI的光譜波段在分類中的作用存在差異性.通常在分類過程中,作用不同的波段信息被平等對待,這不利于分類任務(wù)的高效執(zhí)行.為了提高HSI 數(shù)據(jù)的質(zhì)量和分類的效率,需要對波段進(jìn)行重校正.

在過去十年里,深度學(xué)習(xí)在HSI 分類領(lǐng)域取得了前所未有的成功.由于深度學(xué)習(xí)方法具有強(qiáng)大的圖像特征提取能力,不同的卷積神經(jīng)網(wǎng)絡(luò)(CNN)被用來完成HSI 分類,并取得了比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法更好的結(jié)果[3,4].同時,加權(quán)機(jī)制[5～8]的方法專注于放大關(guān)鍵信息而忽略冗余信息,能夠自動為波段分配連續(xù)變化的權(quán)重,其中基于注意機(jī)制的波段加權(quán)被廣泛研究.例如,Wang[9]等提出了一種波段加權(quán)網(wǎng)絡(luò)(BW),該網(wǎng)絡(luò)能夠捕捉波段之間的關(guān)系并重校正HSI.BW 可以通過像素級的加權(quán)結(jié)構(gòu)來處理每個HSI 像素的權(quán)重,但是其復(fù)雜的模型結(jié)構(gòu)增加了培訓(xùn)成本.Mou[10]等提出了一種光譜注意模塊(Spec),它利用全局卷積層和門控機(jī)制自動校正HSI的波段.波段注意模塊(BAM)由五個二維卷積層組成,實(shí)現(xiàn)了基于深度學(xué)習(xí)的HSI波段加權(quán)分類[11].Spec 和BAM 都使用一個卷積層或一系列級聯(lián)卷積層來提取波段特征和波段加權(quán)關(guān)系.然而,數(shù)百個HSI 波段中存在著冗余信息和干擾波段加權(quán)效應(yīng)的噪聲,單純的卷積并不是有效降低噪聲和捕獲波段特征的最佳選擇.卷積層降低噪聲和提取特征的能力不強(qiáng),并且一系列級聯(lián)卷積層可能會因增加訓(xùn)練成本而降低效率,因此,設(shè)計一種有效的、功能強(qiáng)大的特征抽取器將是解決該問題的關(guān)鍵.基于此,本文提出一種基于注意機(jī)制的自編碼波段加權(quán)網(wǎng)絡(luò)EBW,自編碼波段加權(quán)網(wǎng)絡(luò)通過自編碼器自適應(yīng)地對波段深度特征進(jìn)行提取和去噪處理,并生成波段加權(quán)向量,用于重校正輸入HSI的波段,增強(qiáng)關(guān)鍵光譜信息和抑制冗余信息,從而提高HSI 分類精度.

1 算法設(shè)計

如圖1所示,本文提出的自編碼波段加權(quán)網(wǎng)絡(luò)總體由自編碼波段加權(quán)模塊和分類網(wǎng)絡(luò)組成.自編碼波段加權(quán)模塊首先對輸入的HSI 數(shù)據(jù)進(jìn)行重校正,然后通過分類網(wǎng)絡(luò)對其進(jìn)行特征提取,得到預(yù)測結(jié)果.

圖1 自編碼波段加權(quán)網(wǎng)絡(luò)總體流程

1.1 自編碼波段加權(quán)模塊EBW

自編碼波段加權(quán)模塊EBW 包括三個步驟:壓縮、自編解碼和波段加權(quán).首先,將輸入HSI的全局空間信息壓縮為包含輸入HSI 數(shù)據(jù)整體光譜特征的波段信息向量.然后,利用帶跳接的光譜自編碼器來捕獲波段與噪聲之間的深層特征和關(guān)系.最后,利用去噪的波段相關(guān)性特征生成波段加權(quán)向量,并對輸入的HSI 數(shù)據(jù)進(jìn)行重校正.

空間信息壓縮:提取以HSI 標(biāo)記樣本為中心的截取塊作為輸入數(shù)據(jù),得到一組HSI 子集,設(shè)c為波段數(shù)目,H和W為輸入HSI 數(shù)據(jù)的高度和寬度.子立方體I可以表示為2D 矩陣,其中.由此可以看出,子立方體I包含空間和光譜信息,而空間信息對于波段加權(quán)來說并不重要.二維空間信息需要通過壓縮來獲取一維光譜信息.因此,我們利用一個全局平均池化層將輸入HSI的空間信息壓縮到一個光譜信息向量中,以減少噪聲.光譜信息向量vs,c可表示為

其中G(?)是全局平均池化函數(shù),pc,ij是圖像Ic中坐標(biāo)(i,j)的像素的數(shù)值大小.

光譜自編碼器:經(jīng)過空間信息壓縮得到光譜信息向量后,需要探索波段之間的關(guān)系和特征,以生成一個能用高權(quán)重值反映關(guān)鍵波段、用低權(quán)重值表示其余波段的加權(quán)向量.考慮到波段眾多和相關(guān)性復(fù)雜,我們使用自編碼器來實(shí)現(xiàn)這一目的.同時,自編碼器還可以通過進(jìn)一步限制波段噪聲干擾來改善加權(quán)的效果.自編碼器可分為編碼器和解碼器.編碼器采用兩個級聯(lián)的全連接(FC)層來構(gòu)建,通過降低輸入向量的一半維度來捕獲原始關(guān)系,去除多余的噪聲.解碼器由兩個級聯(lián)FC 層構(gòu)成,用于解碼深層相關(guān)特征和恢復(fù)帶向量的維度.FC 層可以描述為

其中y和x分別是FC層的輸出和輸入向量,W和b分別是權(quán)重參數(shù)矩陣和偏差,R()?是ReLU激活函數(shù).為了加速網(wǎng)絡(luò)的收斂,提高自編碼器的性能,我們計劃在自編碼器之間增加兩個跳接.一般來說,深度去噪的波段特征是通過自編解碼得到的特征向量ved.

波段加權(quán):采用批量歸一化層和sigmoid 函數(shù)對ved進(jìn)行加權(quán)處理.批量歸一化層和sigmoid 函數(shù)將每個權(quán)重賦值為0 到1 之間.通過批量歸一化層和sigmoid 函數(shù)得到帶權(quán)向量wv.最后,HSI 可描述為

其中S()?表示sigmoid 函數(shù),?表示向量元素對應(yīng)相乘,Ire表示重校正的HSI 數(shù)據(jù).通過波段加權(quán)增強(qiáng)了對分類更有價值的關(guān)鍵波段數(shù)據(jù),限制了冗余波段信息和噪聲.因此,EBW 提高了輸入HSI 數(shù)據(jù)的質(zhì)量.

1.2 分類網(wǎng)絡(luò)CN

在自編碼波段加權(quán)模塊對輸入的HSI 數(shù)據(jù)進(jìn)行重校正后,通過分類網(wǎng)絡(luò)CN 對重校正的HSI 數(shù)據(jù)進(jìn)行分類.卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種功能強(qiáng)大的空間光譜特征提取模型.我們采用由四個卷積塊、兩個全連接FC 層和兩個MaxPooling 層組成的分類網(wǎng)絡(luò)CN.1 ×1 卷積層和3 ×3 卷積層的組合比單獨(dú)3 ×3 卷積層在CNN 中變換特征映射的信道時具有更小的計算量和更快的訓(xùn)練速度.因此,該分類網(wǎng)絡(luò)的每個卷積塊由1 ×1的卷積層作為通道變換單元來改變特征映射的通道數(shù),再由一個3 ×3的卷積層作為特征提取單元,以降低模型復(fù)雜度,提高分類效率.每個卷積層后都接上一個批量歸一化層和ReLU 激活函數(shù).CN 使用的多類分類器為Softmax 分類器,通過Softmax 分類器可獲得各類預(yù)測的置信度,然后從中選擇置信度最高的一類作為最后的預(yù)測結(jié)果.

1.3 訓(xùn)練方法

整個網(wǎng)絡(luò)包括自編碼波段加權(quán)模塊EBW 和分類網(wǎng)絡(luò)CN,均由基于深度學(xué)習(xí)的操作模塊構(gòu)建,所以整個過程可以進(jìn)行端到端的訓(xùn)練.這意味著自編碼波段加權(quán)模塊和分類網(wǎng)絡(luò)一樣可以利用反向傳播理論自適應(yīng)修正模型參數(shù),從而提升整體網(wǎng)絡(luò)的分類精度.自編碼波段加權(quán)模塊實(shí)質(zhì)上是采用注意機(jī)制來自適應(yīng)地探索波段加權(quán)的特征和關(guān)系.本文網(wǎng)絡(luò)模型訓(xùn)練使用Adam 優(yōu)化器來進(jìn)行網(wǎng)絡(luò)反向傳播過程中的參數(shù)更新,并采用適用于多分類情況的交叉熵?fù)p失作為損失函數(shù)以提高網(wǎng)絡(luò)的訓(xùn)練效果.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用ROSIS Pavia University 圖像和 AVIRIS Salinas 圖像兩個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).

Pavia University數(shù)據(jù)集(PaviaU)是由ROSIS 傳感器在意大利帕維亞大學(xué)周圍的一個城市區(qū)域記錄的.圖像尺寸為610×340×103,其中包括103 個光譜波段,光譜覆蓋范圍為0.43～0.86 um,共有9 個類別.圖2為PaviaU 圖像和相應(yīng)的地面真實(shí)數(shù)據(jù)的假彩色合成.

Salinas 數(shù)據(jù)集是由AVIRIS 傳感器在加利福尼亞州薩利納斯山谷地區(qū)記錄的.圖像尺寸大小為512×217×204,有204 個光譜波段,波長范圍為0.4～2.5 um.由于水汽吸收和低信噪比,波段108～112、154～167 和224 被去除.圖3 為該數(shù)據(jù)集圖像和相應(yīng)的地面真實(shí)數(shù)據(jù)假彩色合成圖像,包含有16 個類.

圖2 PaviaU 數(shù)據(jù)集

圖3 Salinas 數(shù)據(jù)集

2.2 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證EBW 模塊性能的優(yōu)越性,我們與其他深度學(xué)習(xí)帶加權(quán)模塊進(jìn)行了對比實(shí)驗(yàn).實(shí)驗(yàn)波段加權(quán)模塊包括BW、SE、Spec 和BAM[9～11].

BW 模塊對輸入的HSI 數(shù)據(jù)的每個像素進(jìn)行波段加權(quán),使用兩個FC 層來提取光譜特征.因此,BW 模型是復(fù)雜的.而SE 模塊是SENet的基本模塊,由一個平均池和兩個簡單的級聯(lián)FC 層組成.Spec 模塊使用全局卷積作為選通機(jī)制來自適應(yīng)地重新校準(zhǔn)光波段.BAM 由五個卷積層和兩個池化層組成,然后利用兩個一維卷積層進(jìn)行信道間的非線性學(xué)習(xí).

實(shí)驗(yàn)參數(shù)設(shè)置見表1.最初將批量大小設(shè)置為100,學(xué)習(xí)率設(shè)置為0.001,輸入HSI 數(shù)據(jù)的尺寸大小為11×11.PaviaU 數(shù)據(jù)集使用的Epoch 是50,Salinas 數(shù)據(jù)集使用的Epoch 是100.為了分析EBW 在不同訓(xùn)練樣本數(shù)下的表現(xiàn),隨機(jī)抽取0.5%、1%和2%的樣本作為訓(xùn)練樣本.所有的模型都在NVIDIA GTX1060 3GB的PC 上訓(xùn)練.

表1 實(shí)驗(yàn)參數(shù)設(shè)置

為了衡量分類方法的性能,采用總體準(zhǔn)確度(OA)作為評價指標(biāo).OA 是指正確分類的類別樣本數(shù)量與類別總數(shù)的比率.

2.3 實(shí)驗(yàn)結(jié)果與分析

各實(shí)驗(yàn)方法在兩個數(shù)據(jù)集上的分類效果如圖4所示.為了方便比較,用方框在圖中標(biāo)出分類效果差異最為明顯的區(qū)域作為觀察區(qū).從PaviaU 分類圖中可以發(fā)現(xiàn)CN 錯誤分類的情況較為明顯,Bricks 類樣本被錯誤分類成Gravel 類樣本的情況頻頻出現(xiàn).在使用現(xiàn)有的各類波段加權(quán)算法之后,觀察區(qū)內(nèi)的錯分類情況得到了一定的緩解,但是仍然能較為明顯地發(fā)現(xiàn)觀察區(qū)內(nèi)有錯分類的情況.然而,當(dāng)CN 使用EBW 模塊對HSI 重校正后,在觀察區(qū)內(nèi)幾乎找不到Bricks的錯分類情況.同樣,從Salinas 分類結(jié)果圖的觀察區(qū)中可以發(fā)現(xiàn),相比與其他的實(shí)驗(yàn)方法,EBW 更加顯著地降低了Grapes 和Fallow 類樣本的錯分類情況的出現(xiàn)次數(shù),有效提高了整體的分類效果.這說明EBW 波段加權(quán)網(wǎng)絡(luò)有效減少了光譜信息中的噪聲干擾,提高了分類的精確度.

圖4 各實(shí)驗(yàn)方法在PaviaU(上)和Salinas(下)數(shù)據(jù)集上的分類結(jié)果

為了更加精確地分析各實(shí)驗(yàn)方法的分類效果,表2 和表3 分別記錄了在不同訓(xùn)練樣本數(shù)的PaviaU 數(shù)據(jù)集和Salinas 數(shù)據(jù)集上各實(shí)驗(yàn)方法和我們提出的EBW 網(wǎng)絡(luò)的總體準(zhǔn)確度(OA).

表2 各實(shí)驗(yàn)方法在PaviaU 數(shù)據(jù)集上的分類準(zhǔn)確度

表3 各實(shí)驗(yàn)方法在Salinas 數(shù)據(jù)集上的分類準(zhǔn)確度

通過對表2的分析可以看出,在不同訓(xùn)練樣本數(shù)下,各方法的分類性能存在差異,而我們提出的EBW算法在三個訓(xùn)練樣本的PaviaU 數(shù)據(jù)集上取得了最優(yōu)的分類性能.其中,SE 不是專門為波段加權(quán)而設(shè)計的,所以它對CN的OA 只有輕微的改善,精度提升不明顯.Spec的模型結(jié)構(gòu)不夠深,無法提取深層特征,所以對CN的OA 在采樣率為0.5%、1%和2%時,提升效果分別為1.37%、1.82%和0.35%.BW 和BAM 對CN的OA 均有明顯改善,其對CN 提升效果分別為r=0.5%時提高0.37%和0.83%,r=1%時提高0.69%和0.34%,r=2%時提高0.38%和0.21%.然而EBW 對CN的改善更為顯著,r=0.5%時OA 提高了2.42%,r=1%時OA 提高了0.9%,r=2%時OA 提高0.5%,均提高了0.5%以上.結(jié)果表明,EBW 在PaviaU 數(shù)據(jù)集上對CN 具有較好的提高分類精度的效果,特別是在訓(xùn)練樣本數(shù)較少的情況下.在Salinas 數(shù)據(jù)集上,各實(shí)驗(yàn)方法的精度與前者相似.SE、BW 和BAM 對CN的OA 有輕微改善,在高訓(xùn)練樣本采樣率的情況下OA 改善效果更明顯.但EBW 在r=0.5%時提高了1.77%的OA,r=1 時增加了0.79%的OA,r=2%時增加了1.51%的OA,即在Salinas 數(shù)據(jù)集上也達(dá)到了最好的分類效果.

上述實(shí)驗(yàn)結(jié)果證實(shí)了EBW 利用自編碼器對HSI 光譜信息進(jìn)行特征提取生成光譜權(quán)重的有效性,從而說明利用光譜重校正HSI 可以提高分類網(wǎng)絡(luò)的精確度.其中值得注意的是,在訓(xùn)練樣本較少且訓(xùn)練樣本不足的情況下,EBW 對CN的OA 具有更大的改善作用.

3 結(jié)語

本文提出了一種能自適應(yīng)地增強(qiáng)關(guān)鍵信息并限制HSI 波段中冗余和噪聲的自編解碼波段加權(quán)分類網(wǎng)絡(luò)EBW.新開發(fā)的EBW 模塊采用自編解碼技術(shù)來探索HSI 譜帶的深層特征和相關(guān)性,并利用注意機(jī)制進(jìn)行波段加權(quán).實(shí)驗(yàn)證明,所提出的網(wǎng)絡(luò)能夠更準(zhǔn)確地獲取HSI 譜帶的深層特征和相關(guān)性,有效地增加了HSI 光譜信息的有效性,降低了分類網(wǎng)絡(luò)特征提取的難度,提高了HSI的分類精度,成功地解決了因波段貢獻(xiàn)差異性導(dǎo)致的分類效果不佳的問題.